所有搜索引擎的祖先，是1990年由Montreal的McGill University三名學生（Alan Emtage、Peter Deutsch、Bill Wheelan）發明的Archie（Archie FAQ）。Alan Emtage等想到了開發壹個可以用文件名查找文件的系統，於是便有了Archie。Archie是第壹個自動索引互聯網上匿名FTP網站文件的程序，但它還不是真正的搜索引擎。Archie是壹個可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然後Archie會告訴用戶哪壹個FTP地址可以下載該文件。 由於Archie深受歡迎，受其啟發，Nevada System Computing Services大學於1993年開發了壹個Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是後來另壹個Gopher搜索工具。
編輯本段搜索引擎的發展：
發 展（1）：
世界上第壹個Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用於追蹤互聯網發展規模。剛開始它只用來統計互聯網上的服務器數量，後來則發展為也能夠捕獲網址（URL） 。 搜索引擎壹般由以下三部分組成： 爬行器（機器人、蜘蛛） 索引生成器 查詢檢索器
發 展（2）：
Excite 的歷史可以上溯到1993年2月，6個Stanford University（斯坦福大學）大學生的想法是分析字詞關系，以對互聯網上的大量信息作更有效的檢索。到1993年中，這已是壹個完全投資項目，他們還發布了壹個供webmasters在自己網站上使用的搜索軟件版本，後來被叫做Excite for Web Servers。 註：Excite後來曾以概念搜索聞名，2002年5月，被Infospace收購的Excite停止自己的搜索引擎，改用元搜索引擎 Dogpile
發 展（3）：
1994年4月，斯坦福大學的兩名博士生，美籍華人楊致遠和David Filo***同創辦了Yahoo！。隨著訪問量和收錄鏈接數的增長，Yahoo目錄開始支持簡單的數據庫搜索。因為Yahoo!的數據是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是壹個可搜索的目錄。Yahoo!中收錄的網站，因為都附有簡介信息，所以搜索效率明顯提高。 註：Yahoo以後陸續有 Altavista、Inktomi、Google提供搜索引擎服務 Yahoo!－－幾乎成為20世紀90年代的因特網的代名詞。
發 展（4）：
1995年，壹種新的搜索引擎形式出現了——元搜索引擎（Meta Search Engine）。用戶只需提交壹次搜索請求，由元搜索引擎負責轉換處理後提交給多個預先選定的獨立搜索引擎，並將從各獨立搜索引擎返回的所有查詢結果，集中起來處理後再返回給用戶。 第壹個元搜索引擎，是Washington大學碩士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上非常好聽，但搜索效果始終不理想，所以沒有哪個元搜索引擎有過強勢地位。
發 展（5）：
智能檢索的產生：它利用分詞詞典、同義詞典，同音詞典改善檢索效果，進壹步還可在知識層面或者說概念層面上輔助查詢，通過主題詞典、上下位詞典、相關同級詞典檢索處理形成壹個知識體系或概念網絡，給予用戶智能知識提示，最終幫助用戶獲得最佳的檢索效果。 例： （1）查詢“計算機”，與“電腦”相關的信息也能檢索出來； （2）可以進壹步縮小查詢範圍至“微機”、“服務器”或擴大查詢至“信息技術”或查詢相關的“電子技術”、“軟件”、“計算機應用”等範疇； （3）還包括歧義信息和檢索處理，如“蘋果”，究竟是指水果還是電腦品牌，“華人”與“中華人民***和國”的區分，將通過歧義知識描述庫、全文索引、用戶檢索上下文分析以及用戶相關性反饋等技術結合處理，高效、準確地反饋給用戶最需要的信息。
發 展（6）：
個性化趨勢是搜索引擎的壹個未來發展的重要特征和必然趨勢之壹。壹種方式通過搜索引擎的社區化產品（即對註冊用戶提供服務）的方式來組織個人信息，然後在搜索引擎基礎信息庫的檢索中引入個人因素進行分析，獲得針對個人不同的搜索結果。自2004年10月yahoo推出myweb測試版，到11月a9推出個性化功能，到2005年Googlesearchhistory基本上都沿著壹條路子走，分析特定用戶的搜索需求限定的範圍，然後按照用戶需求範圍擴展到互聯網上其他的同類網站給出最相關的結果。另外壹種是針對大眾化的，Google個性化搜索引擎，或者yahooMindSet，或者我們都知道的前臺聚類的vivisimo。但是無論其中的哪壹種實現方式，即Google的主動選擇搜索範圍，還是yahoo，vivisimo的在結果中重新組織自己需要的信息，都是壹種實驗或者創想，短期內無法成為主流的搜索引擎應用產品。
發 展（7）：
網格技術（great global grid)：由於沒有統壹的信息組織標準對網絡信息資源進行加工處理，難以對無序的網絡信息資源進行檢索、交接和***享乃至深層次的開發利用，形成信息孤島。網格技術就是要消除信息孤島實現互聯網上所有資源的全面連通。 美國全球信息網格（Global Information Grid) Robot（機器人）壹詞對編程者有特殊的意義。Computer Robot是指某個能以人類無法達到的速度不斷重復執行某項任務的自動程序。由於專門用於檢索信息的Robot程序像蜘蛛(spider)壹樣在網絡間爬來爬去，因此，搜索引擎的Robot程序被稱為spider程序。 1993年Matthew Gray開發了 World Wide Web Wanderer，這是第壹個利用HTML網頁之間的鏈接關系來檢測萬維網規模的“機器人（Robot）”程序。開始，它僅僅用來統計互聯網上的服務器數量，後來也能夠捕獲網址（URL）。 1994年4月，斯坦福大學（Stanford University）的兩名博士生，美籍華人Jerry Yang（楊致遠）和David Filo***同創辦了Yahoo。隨著訪問量和收錄鏈接數的增長，Yahoo目錄開始支持簡單的數據庫搜索。因為Yahoo！的數據是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是壹個可搜索的目錄。雅虎於2002年12月23日收購inktomi，2003年7月14日收購包括Fast和Altavista在內的Overture，2003年11月，Yahoo全資收購3721公司。 1994年初，華盛頓大學（University of Washington ）的學生Brian Pinkerton開始了他的小項目WebCrawler。1994年4月20日，WebCrawler正式亮相時僅包含來自6000個服務器的內容。WebCrawler是互聯網上第壹個支持搜索文件全部文字的全文搜索引擎，在它之前，用戶只能通過URL和摘要搜索，摘要壹般來自人工評論或程序自動取正文的前100個字。 1994年7月，卡內基·梅隆大學（Carnegie Mellon University） 的Michael Mauldin將John Leavitt的spider程序接入到其索引程序中，創建了Lycos。除了相關性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第壹個在搜索結果中使用了網頁自動摘要，而最大的優勢還是它遠勝過其它搜索引擎的數據量。 1994年底，Infoseek正式亮相。其友善的界面，大量的附加功能，使之和Lycos壹樣成為搜索引擎的重要代表。 1995年，壹種新的搜索引擎形式出現了——元搜索引擎（A Meta Search Engine Roundup）。用戶只需提交壹次搜索請求，由元搜索引擎負責轉換處理，提交給多個預先選定的獨立搜索引擎，並將從各獨立搜索引擎返回的所有查詢結果，集中起來處理後再返回給用戶。第壹個元搜索引擎，是Washington大學碩士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。 1995年12月，DEC的正式發布AltaVista。AltaVista是第壹個支持自然語言搜索的搜索引擎，第壹個實現高級搜索語法的搜索引擎（如AND、 OR、 NOT等)。用戶可以用AltaVista搜索新聞組（Newsgroups）的內容並從互聯網上獲得文章，還可以搜索圖片名稱中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects。AltaVista也聲稱是第壹個支持用戶自己向網頁索引庫提交或刪除URL的搜索引擎，並能在24小時內上線。AltaVista最有趣的新功能之壹，是搜索有鏈接指向某個URL的所有網站。在面向用戶的界面上，AltaVista也作了大量革新。它在搜索框區域下放了“tips”以幫助用戶更好的表達搜索式，這些小tip經常更新，這樣，在搜索過幾次以後，用戶會看到很多他們可能從來不知道的的有趣功能。這系列功能，逐漸被其它搜索引擎廣泛采用。1997年，AltaVista發布了壹個圖形演示系統LiveTopics，幫助用戶從成千上萬的搜索結果中找到想要的。 1995年9月26日，加州伯克利分校助教Eric Brewer、博士生Paul Gauthier創立了Inktomi，1996年5月20日，Inktomi公司成立，強大的HotBot出現在世人面前。聲稱每天能抓取索引1千萬頁以上，所以有遠超過其它搜索引擎的新內容。HotBot也大量運用cookie儲存用戶的個人搜索喜好設置。 1997年8月，Northernlight搜索引擎正式現身。它曾是擁有最大數據庫的搜索引擎之壹，它沒有Stop Words，它有出色的Current News、7100多出版物組成的Special Collection、良好的高級搜索語法，第壹個支持對搜索結果進行簡單的自動分類。 1998年10月之前，Google只是斯坦福大學（Stanford University）的壹個小項目BackRub。1995年博士生Larry Page開始學習搜索引擎設計，於1997年9月15日註冊了域名，1997年底，在Sergey Brin和Scott Hassan、Alan Steremberg的***同參與下，BachRub開始提供Demo。1999年2月，Google完成了從Alpha版到Beta版的蛻變。Google公司則把1998年9月27日認作自己的生日。Google以網頁級別（Pagerank）為基礎，判斷網頁的重要性，使得搜索結果的相關性大大增強。Google公司的奇客（Geek）文化氛圍、不作惡（Don’t be evil）的理念，為Google贏得了極高的口碑和品牌美譽。2006年4月，Google宣布其中文名稱“谷歌”，這是Google第壹個在非英語國家起的名字。 Fast（Alltheweb）公司創立於1997年，是挪威科技大學(NTNU)學術研究的副產品。1999年5月，發布了自己的搜索引擎AllTheWeb。Fast創立的目標是做世界上最大和最快的搜索引擎，幾年來庶幾近之。Fast（Alltheweb）的網頁搜索可利用ODP自動分類，支持Flash和pdf搜索，支持多語言搜索，還提供新聞搜索、圖像搜索、視頻、MP3、和FTP搜索，擁有極其強大的高級搜索功能。（2003年2月25日，Fast的互聯網搜索部門被Overture收購）。 1996年8月，sohu公司成立，制作中文網站分類目錄，曾有“出門找地圖，上網找搜狐”的美譽。隨著互聯網網站的急劇增加，這種人工編輯的分類目錄已經不適應。sohu於2004年8月獨立域名的搜索網站“搜狗”，自稱“第三代搜索引擎”。 Openfind 創立於1998年1月，其技術源自臺灣中正大學吳升教授所領導的GAIS實驗室。Openfind起先只做中文搜索引擎，鼎盛時期同時為三大著名門戶新浪、奇摩、雅虎提供中文搜索引擎，但2000年後市場逐漸被Baidu和Google瓜分。2002年6月，Openfind重新發布基於GAIS30 Project的Openfind搜索引擎Beta版，推出多元排序（PolyRankTM），宣布累計抓取網頁35億，開始進入英文搜索領域。 2000年1月，兩位北大校友，超鏈分析專利發明人、前Infoseek資深工程師李彥宏與好友徐勇（加州伯克利分校博士後）在北京中關村創立了百度（Baidu）公司。2001年8月發布百度搜索引擎Beta版（此前Baidu只為其它門戶網站搜狐新浪Tom等提供搜索引擎），2001年10月22日正式發布Baidu搜索引擎，專註於中文搜索。Baidu搜索引擎的其它特色包括：百度快照、網頁預覽/預覽全部網頁、相關搜索詞、錯別字糾正提示、mp3搜索、Flash搜索。2002年3月閃電計劃（Blitzen Project）開始後，技術升級明顯加快。後推出貼吧、知道、地圖、國學、百科、文檔、視頻、博客等壹系列產品，深受網民歡迎。2005年8月5日在納斯達克上市，發行價為USD 27.00，代號為BIDU。開盤價USD 66.00，以USD 122.54收盤，漲幅353.85%，創下了5年以來美國股市上市新股當日漲幅最高紀錄。 2003年12月23日，原慧聰搜索正式獨立運做，成立了中國搜索。2004年2月，中國搜索發布桌面搜索引擎網絡豬1.0，2006年3月中搜將網絡豬更名為IG（Internet Gateway） 。 2005年6月，新浪正式推出自主研發的搜索引擎“愛問”。2007年起，新浪愛問使用google搜索引擎。 2007年7月1日 全面采用網易自主研發的有道搜索技術，並且合並了原來的綜合搜索和網頁搜索。有道網頁搜索、圖片搜索和博客搜索為網易搜索提供服務。其中網頁搜索使用了其自主研發的自然語言處理、分布式存儲及計算技術；圖片搜索首創根據拍攝相機品牌、型號，甚至季節等高級搜索功能；博客搜索相比同類產品具有抓取全面、更新及時的優勢，提供“文章預覽”，“博客檔案”等創新功能。