網絡爬蟲（又被稱為爬蟲，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者）是壹種按照壹定的規則，自動地抓取萬維網信息的程序或者腳本。
主要用於搜索引擎,它將壹個網站的所有內容與鏈接進行閱讀，並建立相關的全文索引到數據庫中，然後跳到另壹個網站。
當人們在網絡上(如google)搜索關鍵字時，其實就是比對數據庫中的內容，找出與用戶相符合的。網絡爬蟲程序的質量決定了搜索引擎的能力，網絡爬蟲程序高效,編程結構好。
工作原理：傳統爬蟲從壹個或若幹初始網頁的URL開始，獲得初始網頁上的URL，再不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的壹定停止條件。
擴展資料：
網絡爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型：通用網絡爬蟲（General Purpose Web Crawler）、聚焦網絡爬蟲（Focused Web Crawler）、增量式網絡爬蟲（Incremental Web Crawler）、深層網絡爬蟲（Deep Web Crawler）。 實際的網絡爬蟲系統通常是幾種爬蟲技術相結合實現的
參考資料：