初學python應該先用以下四個庫:(第四個真的不適用，當然在壹些特殊情況下也不壹定適用)。
1.打開網頁，下載文件:urllib。
2.解析網頁:如果您熟悉JQuery，可以使用Pyquery
3.使用請求提交各種類型的請求，並支持重定向、cookies等。
4.使用Selenium模擬瀏覽器提交類似用戶的操作，處理js動態生成的網頁。
這些庫都有自己的功能。壹起就可以完成抓取和分析各種網頁的功能。具體用法可以在他們的官網手冊上找到(上面有鏈接)。
做事要有魄力。如果沒有什麽特別要搶的，新手學習可以從這個網站開始。
目前妳更新到第五級，打通前四級，應該已經掌握了這些庫的基本操作。
我真的想不開。我們來看看這裏的解決方案。第四級將采用並行編程。(串行編程完成第四級需要很長時間)，第四級和第五級只有問題，解決方案還沒有發布。。。
學完這些基礎知識，學習scrapy這個強大的爬蟲框架會更加順利。下面是它的中文介紹。