網站蜘蛛日志分析是非常重要的一個環節，作為SEO優化人員必須掌握這項技能，我們通過網站蜘蛛日志的分析可以總結出：每天有多少蜘蛛來抓取我們的網站，都抓取了那些鏈接？有那些被成功抓取？那些抓取失敗？為什么抓取失敗？原因是什么？網站是否有被K的嫌疑等一系列信息！這對于我們SEO優化來講都是非常重要的，下面我們進行詳細講解。
網站蜘蛛日志在哪里獲取？
如果你是虛擬主機，你可以用FTP鏈接空間，里面的“Log目錄”就存放著你的蜘蛛日志，如果沒找到的，可以問你的空間商，他們會告訴你的，如果你用的WDCP面板、寶塔面板那么你需要在“www/wwwlogs”目錄下來下載你的網站蜘蛛日志，如果用的windows服務器請在“BtSoft\WebSoft\apache\logs”目錄中去尋找！另外蜘蛛日志都是以“.log”為結尾的文件，如果是“_log”你下載到本地，直接重命名為“.log”即可！
使用什么軟件分析網站蜘蛛日志？
當你把蜘蛛日志下載到本地的時候，你需要把日志放入軟件去分析，我們常用到的軟件有兩種，第一種是在線的“www。loghao。com”日志分析工具，第二種是需要下載“光年日志分析軟件”這兩款分析日志工具非常不錯，通常我們都結合使用，效果非常好！
如何識別蜘蛛都來自哪些搜索引擎
下圖是我用Notepad++軟件打開網站日志的圖片，下面做了詳細的注解，分析蜘蛛來自哪個搜索引擎主要看“蜘蛛類型”就可以分辨出來！
Baiduspider：就是百度蜘蛛，針對的是百度搜索引擎的抓取
Googlebot：就是Googlebot蜘蛛，針對的是谷歌搜索引擎的抓取
Sogou：就是搜狗蜘蛛，針對的是搜狗搜索引擎的抓取
360Spider：就是360蜘蛛，針對的是360搜索引擎的抓取
我們可以用光年日志工具來分析蜘蛛的抓取數據，非常直觀！
網站蜘蛛返回狀態碼解析
蜘蛛返回狀態碼，也就是上圖的“蜘蛛返回狀態碼”，根據不同的返回狀態碼，我們可以分析出抓取成功、抓取未成功、是什么原因造成的等等信息，下面舉出各類狀態碼所代表的意思！
200：代表搜索引擎蜘蛛訪問成功；同時代表抓取成功。
404：代表頁面無法訪問；蜘蛛訪問頁面未找到資源。
410：代表請求的資源已永久刪除，蜘蛛抓取資源被永久性刪除。
301：代表頁面跳轉；表示蜘蛛抓取資源時，我們的鏈接進行了跳轉。
403：狀態碼表示服務器拒絕請求。應該檢查robots或者服務器訪問權限。
500：(服務器內部錯誤) 服務器遇到錯誤，服務器很不穩定造成的。
一般而言，蜘蛛狀態碼我們用在線工具“logohao。com”來查看比較方便！
當然也可以用光年日志分析軟件進行分析蜘蛛抓取狀態碼！
如何查看蜘蛛抓取了那些鏈接目錄
鏈接與目錄，我們通過上圖的“蜘蛛抓取目錄”可以分析出來，比如“/robots.txt”就是我們的“域名/robots.txt”我們通過光年日志進行分析比較直觀一些！我們可以通過點擊光年日志左邊的“目錄抓取”、“頁面抓取”來進行查看分析！
通過IP段分析蜘蛛類型
IP段是指上圖中的“蜘蛛IP”，這個IP代表的意思非常多，有降權蜘蛛，沙盒蜘蛛，高權重蜘蛛，低權重蜘蛛等等，通過蜘蛛IP段我們可以分析出我們網站的整體質量，下面來詳細講解下！
123.125.68.*：這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了，或被者降權。
220.181.68.*：每天這個IP 段只增不減很有可能進沙盒或K站。
220.181.7.*、123.125.66.*：代表百度蜘蛛IP造訪，準備抓取你東西。
121.14.89.*：這個ip段作為度過新站考察期。
203.208.60.*：這個ip段出現在新站及站點有不正常現象后。
210.72.225.*：這個ip段不間斷巡邏各站。
220.181.108.*：段的話，基本來說你的網站會天天隔夜快照，絕對錯不了的，我保證。
220.181.*：段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。
123.125.71.106：抓取內頁收錄的，權重較低，爬過內頁文章不會很快放出來，因不是原創或采集文章。
220.181.108.91：屬于綜合的，主要抓取首頁和內頁，屬于權重IP段，爬過的文章或首頁基本24小時放出來。
我們通過“loghao。com”分析日志的時候，也可以從首頁分析中更直觀的看出來！
今天我們就分享到這里，如果大家可以從這篇文章學到知識的話，大家可以參加我們黑帽百科SEO實戰SEO培訓，我們有一套絕對有效的排名技術，同時包括“網站建設-》實戰排名-》成交轉化-》項目包裝”等這一些列的教程內容，價格非常優惠，課程通俗易懂，同時也包售后這一塊！
