python 爬虫加代理

Python是一种强大的脚本语言，其爬虫能力十分出色。但如果频繁地访问一个网站，则很容易被封闭IP地址。为了解决这个问题，我们可使用代理服务器。

import requests
url = 'https://www.example.com'
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
response = requests.get(url, proxies=proxies)
print(response.content)

在上述示例中，我们使用requests库访问一个网站，同时还使用了代理服务器来避免IP封闭。proxies的键是URL末真个“http”或“https”，值是代理服务器的地址和端口。

需要注意的是，使用代理不一定能100%保证不被封闭。有些网站会检测代理服务器并将其列入黑名单。