怎樣利用百度蜘蛛referer找到報錯頁面入口？眾人應當都曉得百度依然全站https并撤銷referer主要詞顯現了，那么“百度蜘蛛referer“又是什么?有什么妙用嗎?藝龍SEO負責人劉明發現經過百度蜘蛛referer不妨迅速定位部分站內url的報錯(4xx或許5xx)緣故。隨后社區版主飛鷹正義也對文章做了補充更正，現舉薦給諸位同窗們。

　　百度蜘蛛的referer，是指當百度蜘蛛抓取某一個URL的時辰，在HTTP頭中帶的Referer字段。請關注，這個定義和百度近聲明去除Referer中主要詞數據沒有任何關系。此次講的是spider提議的HTTP請求，百度而去除的是用戶提議的。假如百度蜘蛛抓取百度首頁的logo，會提議如此的請求

　　上面Referer字段很明白的表示了他是從這個頁面上發現并抓取了。而眾人在服務器拜訪日志中也應當能看到相應的記載。目前發現唯有當百度抓取一個網頁的同時，又抓取了網頁中的：img、js和css才會帶上referer字段。這部分卓殊的抓取量，應當不會占用百度分派的抓取配額，屬于“買1送1”。

　　關于站長的意義

　　假如你發現有一批URL(僅限于img,js,css)報錯(4xx或許5xx)，可是一直找不到進口在哪，也即是說你不清楚百度蜘蛛是從哪處發現這些差錯URL的。這個字段不妨協助你迅速定位。

　　舉個例子

　　譬如咱們的SEO日志分析體系中不妨看到，符合底下這種URL Pattern的路徑天天有6萬到10萬的抓取而且所有報404。

　　從發現問題至今過了1個月，查遍悉數網站我也沒找到進口。今日偶然仔細查了一下日志，想起了百度蜘蛛的referer，趕快就可以定位問題了。這些404的URL來自于一套沒人愛護也沒人關注的頁面(往往是如此)。收錄流量都不錯。由于近公司圖片體系更新，圖片的URL所有更改了，但這套頁面并沒有跟隨更新。

　　iis請在這里勾選“cs(Referer)”

　　apache請參考:

　　apache log配置“Combined Log Format”章節

　　apache log配置的鏈接

　　Nginx請參考：

　　nginx log配置

　　nginx log配置的鏈接