做法：傳統爬蟲從壹個或若幹初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的壹定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據壹定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。
然後，它將根據壹定的搜索策略從隊列中選擇下壹步要抓取的網頁URL，並重復上述過程，直到達到系統的某壹條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行壹定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這壹過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常被稱為網頁追逐者），是壹種按照壹定的規則，自動的抓取萬維網信息的程序或者腳本，已被廣泛應用於互聯網領域。搜索引擎使用網絡爬蟲抓取Web網頁、文檔甚至圖片、音頻、視頻等資源，通過相應的索引技術組織這些信息，提供給搜索用戶進行查詢。