當前位置:編程學習大全網 - 網站源碼 - python爬蟲 如何自己用雲服務器上搭建代理服務器 並使用requests測試代理?

python爬蟲 如何自己用雲服務器上搭建代理服務器 並使用requests測試代理?

1、簡介

使用同壹個ip頻繁爬取壹個網站,久了之後會被該網站的服務器屏蔽。所以這個時候需要使用代理服務器。通過ip欺騙的方式去爬取網站

可以使用.com/proxy中找到很多服務器代理地址

2、應用

# *-*coding:utf-8*-*

from urllib import request

def use_porxy(porxy_addr,url):

porxy = request.ProxyHandler({'")

print(len(data))

  • 上一篇:AVA:開槍總比別人慢
  • 下一篇:如何使用導航源代碼
  • copyright 2024編程學習大全網