避免蜘蛛陷阱
有一些網站設計技術對搜索引擎來說很不友好，不利于蜘蛛爬行和抓取，這些技術被稱為蜘蛛陷阱。常見的應該全力避免的蜘蛛陷阱包括如下這些。
1.Flash
在網頁的某一小部分使用 Flash增強視覺效果是很正常的，比如用Flash 做成的廣告、圖標等。這種小Flash和圖片是一樣的，只是HTML代碼中的很小一部分，頁面上還有其他以文字為主的內容，所以對搜索引擎抓取和收錄沒有影響。
但是有的網站整個首頁就是一個大的 Flash 文件，這就構成了蜘蛛陷阱。搜索引擎抓取的HTML代碼只有一個連向Flash文件的鏈接，沒有其他文字內容。讀者可以參考前面例子的源代碼。搜索引擎是無法讀取 Flash 文件中的文字內容和鏈接的。這種網站整個就是一個Flash 的網站，可能視覺效果做得精彩異常，可惜搜索引擎看不到，不能索引出任何文字信息，也就無從判斷相關性。
有的網站喜歡在首頁放一個Flash 動畫片頭（Flash Into），用戶訪問網站看完片頭后被轉向到真正的HTML 版本的文字網站首頁。搜索引擎不能讀取 Flash，一般也沒辦法從 Flash Intro 跟蹤到HTML 版本頁面。
近幾年搜索引擎不停嘗試讀取 Flash 文件，尤其是里面的文字內容和鏈接，也取得了一定進展。站長可以使用SWFObject和 sIFR 等技術使Flash 文件更易于被搜索引擎讀取。不過我的觀點是，與其費勁去研究怎么讓搜索引擎讀取Flash 文件，不如做成普通的HTML版本的網站。如果你的網站除了 Flash 外不足以展現公司實力，那么你的公司應該是世界 500 強級別的，SEO 就不重要了。
整個網站就是一個大 Flash文件，從 SEO 角度來說是萬萬不可的。如果Flash效果是必需的，至少也需要在首頁加上一個通往 HFTM版本的鏈接。這個鏈接應該是在Flash 文件之外的 HTML 代碼中，搜索引擎跟蹤這個鏈接可以抓取后面的 HTML版本頁面。
2.Session ID
有些網站使用 Session ID（會話ID）跟蹤用戶訪問，每個用戶訪問網站時都會生成獨特唯一的 Session ID，加在 URL 中。搜索引擎蜘蛛的每一次訪問也會被當成一個新的用戶，URL 中會加上一個不同的 Session ID，這樣搜索引擎蜘蛛每次來訪問時所得到的同一個頁面的 URL 將不一樣，后面帶著一個不一樣的 Session ID。這也是最常見的蜘蛛陷阱之一。
搜索引擎遇到這種長長的 Session ID，會嘗試判斷字符串是 Session ID還是正常參數，成功判斷出 Session ID 就可以去掉 Session ID，收錄正常URL。但也經常判斷不出來，要么不愿意收錄，要么收錄多個帶有不同 Session ID的URL，內容卻完全一樣，形成大量復制內容，這兩種情況對網站優化都不利。
通常建議跟蹤用戶訪問應該使用 cookies而不要生成 Session ID。或者程序判斷訪問者是搜索引擎蜘蛛還是普通用戶，如果是搜索引擎蜘蛛，則不生成 Session ID。跟蹤搜索引擎蜘蛛訪問是沒什么意義的，蜘蛛既不會填表，也不會把商品放入購物車。
3.各種跳轉
除了后面會介紹的301轉向以外，搜索引擎對其他形式的跳轉都比較敏感，如302跳轉、JavaSecript 跳轉、Flash 跳轉、Meta Refresh 跳轉。
有些網站用戶訪問首頁時會被自動轉向到某個目錄下的頁面。如果是按用戶地理位置轉向至最適合的目錄，那倒情有可原。但大部分這種首頁轉向看不出任何理由和目的，這樣的轉向能避免則避免。
如果必須轉向，301 轉向是搜索引擎推薦的、用于網址更改的轉向，可以把頁面權重從舊網址轉移到新網址。其他轉向方式都對蜘蛛爬行不利，原因在于后面作弊一章所要介紹的，黑帽 SEO 經常使用轉向欺騙搜索引擎和用戶。所以除非萬不得已，盡量不要使用 301轉向以外的跳轉。
4.框架結構
如果作為站長的你不知道什么是框架結構（Frame），那么恭喜你，你已經避免了這個蜘蛛陷阱，根本沒必要知道什么是框架結構。如果你在網站設計中還在使用框架結構，我的建議是立即取消。
使用框架結構設計頁面，在網站誕生初期曾經挺流行，因為對網站的頁面更新維護有一定方便性。不過現在的網站已經很少使用框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一。對搜索引擎來說，訪問一個使用框架的網址所抓取的HTML 只包含調用其他HTML 文件的代碼，并不包含任何文字信息，搜索引擎根本無法判斷這個網址的內容是什么。雖然蜘蛛可以跟蹤框架中所調用的其他HTML文件，但是這些文件經常是不完整的頁面，比如沒有導航只是正文。搜索引擎也無法判斷框架中的頁面內容應該屬于主框架，還是屬于框架調用的文件。
總之，如果你的網站還在使用框架，或者你的老板要使用框架結構，唯一要記住的是，忘記使用框架這回事。和 Fash一樣，別浪費時間研究怎么讓搜索引擎收錄框架結構網站。
5.動態 URL
動態 URL 指的是數據庫驅動的網站所生成的、帶有問號、等號及參數的網址。一般來說動態 URL 不利于搜索引擎蜘蛛爬行，應該盡量避免。下面對動態 URL及其靜態化還有更詳細的討論。
6.JavaScript 鏈接
由于 JavaScript 可以創造出很多吸引人的視覺效果，有些網站喜歡使用 JavaScript腳本生成導航系統。這也是比較嚴重的蛛蛛陷阱之一。雖然搜索引擎都在嘗試解析 JS 腳本，不過我們不能寄希望于搜索引擎自己去克服困難，而要讓搜索引擎跟蹤爬行鏈接的工作盡量簡單容易。
據我觀察，雖然有的搜索引擎在技術上可以獲得 JavaScript 腳本中包含的鏈接，甚至可以執行腳本并跟蹤鏈接，但對一些權重比較低的網站，搜索引擎覺得沒有必要，不會費那個勁。所以網站上的鏈接必須使用最簡單標準的HTML鏈接，尤其是導航系統。用CSs做導航系統一樣可以實現很多視覺效果。
JavaScript 鏈接在 SEO 中也有特殊用途，那就是站長不希望被收錄的頁面（比如沒有排名意義的頁面，重復內容頁面等），不希望傳遞權重的鏈接，可以使用Javascrip腳本阻擋搜索引擎爬行。 4.2.7 要求登錄
有些網站內容放在需要用戶登錄之后才能看到的會員區域，這部分內容搜索引擎無法看到。蜘蛛不能填寫用戶名、密碼，也不會注冊。
8.強制使用Cookies
有些網站為了實現某種功能，如記住用戶登錄信息、跟蹤用戶訪問路徑等，強制用戶
使用Cookies,用戶瀏覽器如果沒有啟用Cookies,頁面顯示不正常。搜索引擎蜘蛛就相當 于一個禁用了 Cookies的瀏覽器，強制使用Cookies只能造成捜索引擎蜘蛛無法正常訪問
黑帽WiKi_黑帽百科(m.790079.com),8年黑帽SEO優化技術,黑帽seo快速排名,黑帽SEO技術培訓學習,黑帽SEO快速排名程序、泛目錄、寄生蟲技術,贈送免費黑帽SEO視頻教程
（黑帽seo技術,網站快速排名,蜘蛛池加速收錄,目錄程序定制）
掃一下添加微信：
