當前位置:編程學習大全網 - 行動軟體 - java爬蟲怎麽抓取js動態生成的內容

java爬蟲怎麽抓取js動態生成的內容

我用Jsoup寫爬蟲,壹般遇到html返回沒有的內容。但是瀏覽器顯示有的內容。都是分析頁面的http請求日誌。分析頁面JS代碼來解決。

1、有些頁面元素被隱藏起來了->換selector解決

2、有些數據保存在js/json對象中->截取對應的串,分析解決

3、通過api接口調用->偽造請求獲得數據

還有壹個終極方法

4、使用phantomjs或者casperjs這種headless瀏覽器

  • 上一篇:卡哇依是什麽意思?
  • 下一篇:證件照app免費
  • copyright 2024編程學習大全網