今天由我們黑帽百科SEO為大家分享“robots協議是什么？在網站優化中，robots.txt有什么用？”robots.txt文件其實是我們網站與搜索引擎的一個協議，這個協議簡單理解就為一道門，那個目錄可以被抓取收錄，哪些目錄不能被抓取收錄，只要你把規則寫到robots.txt協議上面去，搜索引擎就會跟著執行。

　　但是要知道，并不是說，你寫了協議，百度搜索引擎就不會抓取了，不是這樣的，有的時候，百度依然還是會抓取的，robots.txt協議并不是完全適用于百度，但是完全適用于谷歌，百度也是為了檢查我們網站中是否有違法內容等等，也會強制抓取robots.txt目錄，但是不會收錄，測試了很多詞，百度不會收錄禁止抓取的文件，但抓取還是會的。下面我們詳細來講解robots文件。

　　robots.txt協議（也稱為爬蟲協議、爬蟲規則、機器人協議等。）

　　robots.txt文件是存儲在網站根目錄下的TXT文本文檔。這是網站和蜘蛛之間的協議，該網站告訴搜索引擎哪些頁面可以被抓取，哪些頁面不想通過機器人協議被抓取。推薦注意事項（深圳搜索引擎優化培訓）

　　robots.txt的角色是什么？

　　如果你的網站根目錄中有一個像robots.txt這樣的文件，蜘蛛在抓取你的網站時會首先訪問這個文件（robots文件通常存儲在根目錄中，蜘蛛首先訪問這個文件，所以這個文件非常重要）。

　　機器人文件用于告訴搜索引擎蜘蛛網站的哪些文件夾可以被檢索，哪些文件夾不能被檢索，從而確保我們網站的隱私內容不會被包括在內。

　　robots.txt可以限制的搜索引擎如下！

　　1.百度蜘蛛

　　拜德斯皮德的名字是拜德斯皮德。百度蜘蛛日志中也有百度蜘蛛-手機、百度蜘蛛-圖像、百度蜘蛛-視頻和百度蜘蛛-新聞。百度蜘蛛和百度蜘蛛圖片是百度蜘蛛的兩種。

　　2.谷歌蜘蛛：谷歌機器人，谷歌機器人移動，它的名字是抓取wap內容

　　3.蜘蛛，這家伙很勤奮

　　4.索索斯派德：索索斯派德，比360更勤奮

　　5.雅虎蜘蛛：雅虎！詆毀中國

　　6.有一只蜘蛛：你的機器人

　　7.搜狗蜘蛛：搜狗新聞蜘蛛

　　搜狗蜘蛛還包括以下幾種：搜狗蜘蛛、搜狗inst蜘蛛、搜狗搜狗蜘蛛2

　　博客、搜狗新聞蜘蛛、搜狗蜘蛛等。

　　8.MSNSpider:msnbot，MSNbot-媒體

　　9.冰蜘蛛：冰機器人

　　以上就是我們今天所分享的內容所在，至于robots文件的編寫，我們會在以后的文章中詳細分享，大概的說一下，robots.txt禁止指令，包含某一個文件，禁止被抓取，某一個目錄禁止被抓取，某一種類型的文件禁止被抓取，當然，不要寫錯robots.txt如果寫錯了，可能導致蜘蛛無法抓取內容，所導致的無收錄現象，如果發覺網站收錄變慢，可以刪除下robots.txt，更新一段時間檢查下，如果收錄正常就是robots.txt編寫內容錯誤了。