在爬取數據前,我們需要安裝好Python的Selenium庫和Chrome瀏覽器並配置好ChromeDriver。
Selenium是壹個自動化測試工具,利用它可以驅動瀏覽器執行特定的動作,如點擊、下拉等操作,同時還可以獲得瀏覽器當前呈現的頁面的源代碼,做到可見即可爬。對於壹些JavaScript動態渲染的頁面來說,這種爬取方式非常有效。
進入當當網的暢銷圖書網頁,我們要利用Selenium抓取圖書信息並用pyquery解析得到圖書的排名、圖片、名稱、價格、評論等信息。