robots.txt寫的。
robots.txt的編寫是seo人員必須要知道的事情(什麽是robots.txt)，但是怎麽寫，什麽是禁止的，什麽是允許的，就要靠我們自己去設置了。百度是壹臺機器，它只知道數字、字母和漢字，而robots.txt是最重要的，也是最先與百度“對話”的內容。
當我們的網站沒有建好的時候，我們不希望百度抓取我們的網站，也經常有人禁止百度抓取。但是這種做法很不好，會讓百度蜘蛛很難再來妳的網站。所以我們現在壹定要成立壹個本地網站，等壹切都做好了再買域名，空。否則壹個網站的反復修改會對妳的網站產生壹定的不良影響。
我們的網站最初被寫成robots.txt如下:
用戶代理:*
不允許:/wp-admin/
不允許:/wp-includes/
User-agent:*表示允許所有引擎爬網。
而Disallow:/wp-admin/和Disallow:/wp-includes/禁止百度抓取我們的隱私，包括用戶密碼、數據庫等。這樣的寫法，既保護了我們的隱私，又最大化了百度蜘蛛的抓取。
如果想禁止百度蜘蛛抓取某個頁面，比如123.html，只需添加壹個代碼“禁止:/123.html/”。
robots.txt寫好之後，只需要上傳到網站的根目錄就可以了。
robot是什麽文件夾？
robots.txt文件是壹個文本文件，使用任何壹個常見的文本編輯器，比如Windows系統自帶的Notepad，就可以創建和編輯它。robots.txt是壹個協議，而不是壹個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第壹個文件。robots.txt文件告訴蜘蛛程序在服務器上什麽文件是可以被查看的。
robot是什麽協議？
robots協議也叫robots.txt（統壹小寫）是壹種存放於網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的，哪些是可以被漫遊器獲取的。因為壹些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統壹為小寫。robots.txt應放置於網站的根目錄下。
什麽叫網站robots權限限制？
robots是網站跟爬蟲間的協議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，
也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第壹個文件。當壹個搜索蜘蛛訪問
壹個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會
按照該文件中的內容來確定訪問的範圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站
上所有沒有被口令保護的頁面。
機器人開放協議是什麽？
Robots協議也稱為爬蟲協議、爬蟲規則、機器人協議，是網站國際互聯網界通行的道德規範,其目的是保護網站數據和敏感信息、確保用戶個人信息和隱私不被侵犯。
“規則”中將搜索引擎抓取網站內容的範圍做了約定,包括網站是否希望被搜索引擎抓取,哪些內容不允許被抓取,而網絡爬蟲可以據此自動抓取或者不抓取該網頁內容。如果將網站視為酒店裏的壹個房間,robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進入和參觀,哪些不對搜索引擎開放。
robots.txt（統壹小寫）是壹種存放於網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的，哪些是可以被漫遊器獲取的。
因為壹些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統壹為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜索引擎的漫遊器訪問子目錄時的行為，那麽可以將自定的設置合並到根目錄下的robots.txt，或者使用robots元數據。