爬蟲，其實網絡爬蟲（Webcrawler）的壹種簡寫，爬蟲就是預先制定的規則，自動地抓取萬維網網頁頁面信息的程序或者腳本，它們被廣泛用於互聯網搜索引擎或其他類似網站，可以自動采集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲壹般分為數據采集，處理，儲存三個部分。
在爬蟲技術開發方面，爬蟲分為三類爬蟲：
（1）分布式爬蟲：Nutch
（2）JAVA爬蟲：Crawler4j、WebMagic、WebCollector
（3）非JAVA爬蟲：scrapy（基於Python語言開發）
分布式爬蟲壹般應用於大量數據爬取，用於爬取海量URL的場景。
java爬蟲是發展的最為完善的壹種爬蟲。由於java語言的健壯性和整個生態的原因，java爬蟲發展出了壹整臺爬蟲的機制，不管是類庫、開發、調試，整個過程都是十分規範和簡單的。並且有很多開源項目可以參考和使用，社區非常活躍和完善。能夠適用於很多企業開發應用場景。
Python爬蟲，python可以用30行代碼，完成JAVA50行代碼幹的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多於編碼階段省下的時間。使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用python這種爬蟲也是蠻不錯的，可以輕松完成爬取任務。
所以，如果提問者需要學習爬蟲，可以先考慮下自己學爬蟲的目的是什麽比較好，根據妳的目的去進行技術選型才是最省力的壹種，不過壹般作為個人開發者的話，Python還是最實用的。