蜘蛛池就是一堆由域名組成的站群,在每個(gè)站點(diǎn)下都生成海量頁(yè)面(抓一堆文本內(nèi)容相互組合),頁(yè)面模板與正常網(wǎng)頁(yè)沒(méi)多大區(qū)別。由于每個(gè)站點(diǎn)都有海量的頁(yè)面,所以整個(gè)站群的蜘蛛總抓取量也是巨大的。給未收錄的頁(yè)面引蜘蛛,就是在站群正常網(wǎng)頁(yè)的模板中單獨(dú)開(kāi)一個(gè)DIV,塞上未收錄網(wǎng)頁(yè)的鏈接,服務(wù)器不設(shè)緩存,蜘蛛每次訪問(wèn),這塊DIV中展現(xiàn)的鏈接都是不一樣的。
一,給那些未收錄的頁(yè)面,在短時(shí)間內(nèi)提供大量的真實(shí)的外鏈,入口曝光多了,被抓取幾率就大,收錄率自然也就上去了,又因?yàn)槭峭怄湥栽谂琶弦灿幸欢ǖ恼蚣臃帧Uf(shuō)到底,蜘蛛池的做的就是外鏈,所謂日發(fā)外鏈上百萬(wàn),并不是不可能實(shí)現(xiàn)的。
二,蜘蛛池的難點(diǎn),關(guān)鍵的不是技術(shù)問(wèn)題,因?yàn)榧夹g(shù)上實(shí)現(xiàn)并不復(fù)雜,主要是資源的問(wèn)題,因?yàn)樾枰S護(hù)站群,每個(gè)站點(diǎn)做的越像正規(guī)站,蜘蛛抓取量就多。而且高酷蜘蛛池2000個(gè)獨(dú)立域名站點(diǎn),日均蜘蛛訪問(wèn)量高達(dá)200萬(wàn),維護(hù)起來(lái)確實(shí)很耗資源。
三,很多新站,小站蜘蛛量很少,收錄起來(lái)自然是非常慢,甚至是不收錄。收錄重點(diǎn)有二:1.沒(méi)蜘蛛 2.有蜘蛛不抓取(涉及內(nèi)容質(zhì)量,網(wǎng)站基礎(chǔ)等),但是前提一定是要有蜘蛛訪問(wèn)才行。沒(méi)有訪問(wèn),在精心準(zhǔn)備的內(nèi)容也是白搭。

鏈接導(dǎo)入之后,隔天需觀察網(wǎng)站日志,觀察蜘蛛量級(jí)是否增多
