優點:速度快。
缺點:1因為速度快，容易被服務器檢測到，可能會限制目前的ip抓取。對於這壹點，可以嘗試用ip代碼來解決。
2.如果妳要抓取的數據是在網頁加載之後，js修改網頁元素，無法抓取。
3.如果需要抓取壹些大型網站，比如登錄的頁面，可能需要破解服務器端的賬號加密算法和各種加密算法，測試其技術性。
適用場景:網頁是完全靜態的，第壹次加載網頁時就加載了妳要抓取的數據。涉及登錄或權限操作的類似頁面，沒有任何賬號加密，或者只是簡單加密。
當然，如果妳從這個網頁抓取的數據是通過接口獲得的json，那麽妳會更開心，直接抓取json頁面就好了。
對於有登錄的頁面，如何獲取登錄頁面後的源代碼？
首先我要介紹壹下，session保存賬號信息時，服務器是如何確定用戶身份的。
首先，用戶登錄成功後，服務器會將用戶當前的會話信息保存到sessions中，每個會話都有壹個唯壹的標誌，sessionId。然後用戶將訪問這個頁面，在創建會話之後，他將接收服務器返回的sessionId，並將其保存在cookie中。所以我們可以用chrome瀏覽器打開check項，查看當前頁面的jsessionId。用戶下次訪問需要登錄的頁面時，sessionId會被附加到用戶發送的請求頭中，服務器可以通過這個sessionId確定用戶的身份。
這裏，我設置了壹個簡單的jsp登錄頁面，登錄帳戶信息保存在服務器端會話中。
思路:1，登錄。2.成功登錄後獲取cookie。3.將cookie放在請求頭中，並將請求發送到登錄頁面。
附上java版本的代碼和python。
Java版本: