網(wǎng)站日志，是服務(wù)器端自動(dòng)生成的一個(gè)文本記錄，詳細(xì)記載了網(wǎng)站的訪(fǎng)問(wèn)詳情，做為站長(zhǎng)的你，如果是需要查看訪(fǎng)問(wèn)統(tǒng)計(jì)數(shù)據(jù)，那用51.la或者百度統(tǒng)計(jì)工具就可以了，但是如果你想查看各搜索引擎的蜘蛛是否準(zhǔn)時(shí)來(lái)爬行自己的網(wǎng)站，那就要學(xué)會(huì)自己查看網(wǎng)站日志文件了。結(jié)合我們自己的網(wǎng)站做為一個(gè)實(shí)例來(lái)做一個(gè)介紹：
首先利用FTP工具登錄服務(wù)器端，一般在服務(wù)器根目錄之下存在一個(gè)logs文件夾，這里面裝的就是網(wǎng)站日志，當(dāng)然不同的服務(wù)器類(lèi)型，日志文件的文件夾名稱(chēng)和我介紹的不一樣，但沒(méi)關(guān)系，日志文件的擴(kuò)展名是log。
進(jìn)入日志文件夾，你會(huì)發(fā)現(xiàn)，日志文件是按每一天的訪(fǎng)問(wèn)情況為一個(gè)文件保存的：
好吧，我的服務(wù)器只保留最近三天的日志文件，真小氣，我還用過(guò)一個(gè)國(guó)外的服務(wù)器，人家是按月記錄，并且當(dāng)月結(jié)束后會(huì)將當(dāng)月的日志打包供下載，只要你不人為刪除，該日志文件會(huì)永遠(yuǎn)存在，這才叫個(gè)性化，但是沒(méi)辦法，誰(shuí)叫我們只能用國(guó)內(nèi)的服務(wù)器。
OK，報(bào)怨了幾句，隨便下載一天的日志文件，用Windows文本工具打開(kāi)該日志文件，會(huì)看到一堆酷似代碼的字符，祝文件大小打開(kāi)速度也不同：
注意看有背景的這一小部分，我用CTRL+F搜索功能查找baiduspider，好吧，為什么要查找baiduspider，
這里先普及一下關(guān)于搜索引擎蜘蛛的一點(diǎn)小知識(shí)，各大搜索引擎的蜘蛛都有名字：
百度的叫baiduspider;
360的叫360Spider;
谷歌的叫Googlebot;
微軟的叫bingbot;
搜狐的叫Sogou web spider;
騰訊的叫Sosospider;
因?yàn)閲?guó)內(nèi)主要是以百度為優(yōu)化對(duì)象，我們來(lái)看看關(guān)于百度蜘蛛爬行記錄的信息分析，在日志記錄中隨便找一個(gè)百度蜘蛛的信息：
42.236.10.71 - - [03/Mar/2017:21:28:19 +0800] "GET / HTTP/1.1" 200 34656 "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 QIHU 360SE; 360Spider"
怎么解讀這些信息呢？蜘蛛IP--【訪(fǎng)問(wèn)時(shí)間】“獲取路徑”HTTP反饋值200 反饋?zhàn)止?jié)數(shù)34656 百度蜘蛛標(biāo)記。
好吧，這里面獲取路徑與HTTP反饋值是非常重要的信息，200為正常讀取，讀取了5374個(gè)字節(jié)。我們?cè)俜治鲆粭l記錄：
220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
認(rèn)真看獲取路徑這一項(xiàng)，因?yàn)槲业木W(wǎng)站是老域名，原來(lái)的主人被收錄的路徑/product/disp.php?id=93，百度蜘蛛同樣爬行，結(jié)果我的 新網(wǎng)站里肯定不會(huì)有這一條信息，由于HTTP反饋了301，而301代表已移動(dòng) — 請(qǐng)求的數(shù)據(jù)具有新的位置且更改是永久的。其實(shí)這對(duì)于我來(lái)說(shuō)是一件好事，蜘蛛爬行不通，知道這條收錄記錄已經(jīng)失效，慢慢就會(huì)從百度的收錄數(shù)據(jù)庫(kù)中刪除?，F(xiàn)在 百度正在審核我的新站點(diǎn)，一天爬行只有23次，也很不錯(cuò)了的。
好了，大家是不是可以舉一反三的學(xué)會(huì)看其它搜索引擎蜘蛛的爬行記錄了呢？下次，筆者將重點(diǎn)再分享一下HTTP的反饋值，大家通過(guò)這個(gè)反饋值可以獲悉自己網(wǎng)站的健康狀態(tài)哦，非常重要。
當(dāng)然，有朋友會(huì)說(shuō)為什么不利用一些日志查看工具，人工手動(dòng)察看費(fèi)時(shí)費(fèi)力，是的，有些不錯(cuò)的工具可以提供更便捷的操作，今天筆者所述內(nèi)容旨在用最初級(jí)的方法教會(huì)大家學(xué)會(huì)察看自己網(wǎng)站的日志。希望以上內(nèi)容能對(duì)你有點(diǎn)幫助。
