當前位置:編程學習大全網 - 編程語言 - 如何用python爬取網站數據?

如何用python爬取網站數據?

這裏簡單介紹壹下吧,以抓取網站靜態、動態2種數據為例,實驗環境win10+python3.6+pycharm5.0,主要內容如下:

抓取網站靜態數據(數據在網頁源碼中):以糗事百科網站數據為例

1.這裏假設我們抓取的數據如下,主要包括用戶昵稱、內容、好笑數和評論數這4個字段,如下:

對應的網頁源碼如下,包含我們所需要的數據:

2.對應網頁結構,主要代碼如下,很簡單,主要用到requests+BeautifulSoup,其中requests用於請求頁面,BeautifulSoup用於解析頁面:

程序運行截圖如下,已經成功爬取到數據:

抓取網站動態數據(數據不在網頁源碼中,json等文件中):以人人貸網站數據為例

1.這裏假設我們爬取的是債券數據,主要包括年利率、借款標題、期限、金額和進度這5個字段信息,截圖如下:

打開網頁源碼中,可以發現數據不在網頁源碼中,按F12抓包分析時,才發現在壹個json文件中,如下:

2.獲取到json文件的url後,我們就可以爬取對應數據了,這裏使用的包與上面類似,因為是json文件,所以還用了json這個包(解析json),主要內容如下:

程序運行截圖如下,已經成功抓取到數據:

至此,這裏就介紹完了這2種數據的抓取,包括靜態數據和動態數據。總的來說,這2個示例不難,都是入門級別的爬蟲,網頁結構也比較簡單,最重要的還是要會進行抓包分析,對頁面進行分析提取,後期熟悉後,可以借助scrapy這個框架進行數據的爬取,可以更方便壹些,效率更高,當然,如果爬取的頁面比較復雜,像驗證碼、加密等,這時候就需要認真分析了,網上也有壹些教程可供參考,感興趣的可以搜壹下,希望以上分享的內容能對妳有所幫助吧。

  • 上一篇:面試問題如何回答
  • 下一篇:易語言怎麽把菜單寫在_啟動窗口標題上
  • copyright 2024編程學習大全網