爬取效率高：比如說妳只想要壹小段內容，結果妳的程序把全部網頁信息都爬取了，那效率如何我們都明白；壹個好的爬蟲應當在較短的時間內，盡可能多地爬取有效信息。
高隱蔽性：我們的爬蟲可能會給某些網頁服務器帶來壓力，妳以為人家公司不知道？要是順著ip找到妳後果.......，所以我們會廣泛使用代理（這也是壹個難點）
突破JS保護：網站為了黑客破解往往都會有JS保護，但我們收集信息往往是為了正當用途，這就需要我們懂壹些JS加密的內容。
合法：建議爬取壹個網站前先查看它是否允許外接爬蟲，如果網站不允許，那麽註意限制妳的爬取頻率，要是網站不允許妳爬取然後呢妳還搞壹個1s1000次請求頻率，就只能去喝茶了。
另外，我在申請百度$認證，如果這個回答能夠幫助到妳的話，能關$註$壹$下$我?