當你開啟一個全新站點的時刻，默認的情形下網(wǎng)站根目錄中是沒有Robots.txt文件的，這導致許多站長并不體貼Robots協(xié)議，這為日后的運營，埋下隱患，好比：  

① 發(fā)生大量重復頁面，動態(tài)鏈接被抓取。  

② 新站無內(nèi)容欄目，被收錄，影響站點質(zhì)量評定。  

對于新站而言，由于蜘蛛抓取頻率有限，我們應該合理行使Robos協(xié)議，巧用Robots.txt文件，指導蜘蛛爬行與抓取。  

那么，Robots協(xié)議是什么，Robots.txt的作用有哪些？  

1、Robots協(xié)議  

簡樸明白：Robots協(xié)議是搜索引擎蜘蛛爬行的一種尺度，當蜘蛛來訪的時刻會首先檢測網(wǎng)站根目錄下是否存在Robots.txt這個文件。  

若是存在，它會憑證Robots協(xié)議的劃定，去抓取只被SEO治理允許抓取的頁面，而屏障不需要抓取的內(nèi)容，它可以明白為是蜘蛛與站點之間的橋梁。  

2、Robots.txt文件樣式  

Robots.txt通常存放在網(wǎng)站跟目錄，你可以登錄FTP查看站點跟目錄下是否存在這個文件，若是沒有可以自行確立，當Robotx.txt為空的時刻，它代表不為網(wǎng)站做任何的抓取限制。  

通常Robots.txt的寫法如下：  

User-agent:*  

Allow:/  

它示意允許抓取所有的內(nèi)容，而將Allow:/替換成Disallow:/則示意阻止抓取站點所有內(nèi)容。  

其中值得注重的是，百度支持使用通配符"*"和"$"來模糊匹配URL，詳細關于Robots.txt文件的相關設置，你可以參考百度官方文檔，百度搜索資源平臺->網(wǎng)站支持->數(shù)據(jù)監(jiān)控->Robots。  

同時，當你修改了相關Robots.txt文件，而并不清晰是否設置準確的時刻，也可以通過上述工具舉行檢測。  

3、Robots.txt常見問題  

① 若何天生Robots.txt文件  

現(xiàn)在線上平臺有許多SEO推廣軟件，都支持客戶端自動天生Robots.txt文件，它提供了一些便利的條件，好比：自動屏障一些沒需要的爬蟲，阻止虛耗過多資源，以及相關欄目頁面與圖片等。  

② 網(wǎng)站不收錄，熊掌號不出數(shù)據(jù)  

通常泛起這個問題，你可以第一時間查看Robots.txt文件，是否由于操作失誤，屏障了百度蜘蛛，導致網(wǎng)站不收錄  

③ Robots.txt與nofollow標簽  

有的時刻當你試圖屏障一個URL的時刻，顯著在Robots.txt阻止抓取了，仍然會被索引，這種情形是可能存在的，為了平安起見，你可以在<meta>標簽中，添加nofollow，來到達萬無一失的作用。  

總結：Robots.txt文件是一個值得站長研究的協(xié)議，它合理的調(diào)配網(wǎng)站資源，有利于站點運營的快速生長。  

黑帽百科 http://m.790079.com 轉載需授權！