網絡爬蟲是壹種主要用於搜索引擎的程序。它讀取壹個網站的所有內容和鏈接，在數據庫中建立相關的全文索引，然後跳轉到另壹個網站。它看起來像壹個奧庫莫。
當人們在互聯網上搜索關鍵詞時(如谷歌)，他們實際上是在比較數據庫中的內容，找出與用戶匹配的內容。網絡爬蟲的質量決定了搜索引擎的能力。比如谷歌的搜索引擎，因為效率高，編程結構好，明顯比百度好。