使用同壹個ip頻繁爬取壹個網站,久了之後會被該網站的服務器屏蔽。所以這個時候需要使用代理服務器。通過ip欺騙的方式去爬取網站
可以使用.com/proxy中找到很多服務器代理地址
2、應用
# *-*coding:utf-8*-*
from urllib import request
def use_porxy(porxy_addr,url):
porxy = request.ProxyHandler({'")
print(len(data))