當前位置:編程學習大全網 - 網站源碼 - 怎麽使用python腳本運行多個scrapy爬蟲

怎麽使用python腳本運行多個scrapy爬蟲

1、創建多個spider, scrapy genspider spidername domain

scrapy genspider CnblogsHomeSpider cnblogs.com

通過上述命令創建了壹個spider name為CnblogsHomeSpider的爬蟲,start_urls為 、查看項目下有幾個爬蟲scrapy list

[root@bogon cnblogs]# scrapy list

CnblogsHomeSpider

CnblogsSpider

由此可以知道我的項目下有兩個spider,壹個名稱叫CnblogsHomeSpider,另壹個叫CnblogsSpider。

  • 上一篇:微信公眾平臺的消息模板就是這麽用的。
  • 下一篇:我有個免費空間要用hph源碼,誰能教我怎麽把網站源碼整進去?和在那裏找源碼?
  • copyright 2024編程學習大全網