一、我是從網絡推廣入門SEO的
2008年,剛剛大學結業就面臨著找事情。我自己學的專業是電子商務,其著實上大學之前基本不知道電子商務是什么,由于怙恃都是農村的,考的大學也欠好,也沒有人指導我若何去選專業。不外信托我以后的小孩就不會有這樣的情形了,那時的電子商務剛剛興起,一線都會很火爆,像我們這樣三四線的小都會,找電子商務事情真的太難了。
跟許多剛結業的學生一樣,穿這西裝革履,一本正經的帶上打印好的簡歷,就這樣加入了種種面試。去了企業別人問的問題真的一問三不知,面試的自己都沒有信心了。厥后都劈面試發生了恐懼,由于著實受不了襲擊。
厥后看到一個崗位,叫網絡推廣。看了職位形貌,感受也挺簡樸,也不需要語言。投了許多這樣的簡歷,屁顛屁顛的就去了。果真面試上了,一個月1600。武斷的就準許了。那時我租的城中村,一個月房租140。
厥后上班知道,原來推廣確實很簡樸。就是注冊賬號,拼命的發帖。一天發上百條。剛最先的一個月就跟傻子一樣,一直的注冊賬號,一直的保留分類信息網站,一直的發帖。
二、反思推廣的未來,正式加入SEO雄師中
又干了一段時間,我最先有點受不了了,感受這么干,就跟機械人一樣,重復重復在重復,而且也沒人鳥我。整個公司的氣氛都很平靜,只聽到鍵盤敲個一直,一邊在偽原創,一邊在發帖。我著實受不了,就最先在百度上搜索若何提升自己。那時就看到了一篇對照完整的先容SEO的文章。
看完后我才明了,原來推廣只是為了配合SEO。由于內里寫了一句話:內容為王、外鏈為皇。那時的分類信息是可以帶鏈接的。公司之前另有一個崗位,是專門換外鏈的。可見那時外鏈的主要性。大凡有流量的網站,外鏈至少都是好幾萬,甚至幾十萬幾百萬。
厥后繼續搜索SEO做的好的人,感受他們的收入也還可以,就最先自己學習SEO了。并自己做了一個網站。(彌補一下:現在推廣的形式異常多,而且移動端也很蓬勃,以是推廣一定不是為了SEO服務。)
三、一做SEO就是10年,不外厥后的SEO只是輔助了
剛最先的幾年,SEO照樣對照吃香的,那時知道了要害詞設置,標簽、發外鏈,文字鏈,錨文本之類的,包羅新聞源帶鏈接權重高,真的是無所不用,厥后網站的權重,要害詞排名都很好,記得網站最好的時刻,權重是5,一天有萬把的流量。
不外好景不長啊,2012年左右的時刻,分類信息被襲擊的很嚴重,外鏈也逐漸的失效了,或者說變得沒有那么有用了。之前業內的做法都是發偽原創。厥后優化了良久,都沒有優化回來,看到了許多關于百度算法的文章,才知道,野蠻時代已經由去。
信托做過SEO的人,天天都查詢要害的排名,使用追詞工具,發外鏈,下面一幫偽原創的編輯,另有一個換友鏈的,少則手上三個網站,多則幾百個網站。
四:認真的做內容,不用刻意,也有用果
SEO的優化變的難了,然則獲取流量任然是企業永一直止的蹊徑。我最先走向了運營的蹊徑。我輔助一家企業運營一個農業電商的網站,通過推廣,通過不停的迭代產物,不停的流動,不停的輸出有價值的的器械。
有一天有時的查了一下自己網站的權重,居然也到達了3。雖然很一樣平常 ,然則我并沒有刻意的去優化。厥后照樣舉行了一些簡樸的要害詞和重點標簽的調整。
實在現在想來,百度調整以后 ,只是讓我們輸出有價值的內容。之前的SEO太野蠻生長,不外現在看來,我小我私人的明白,SEO他不是過時了,只是從主位變到了輔位。他不是一個職位,而是許多職位所必備的一個手藝。
自從Google退出中國市場,Baidu就成了海內搜索引擎巨頭,所謂樹大招風,一直以來百度成為海內眾多黑客攻擊的工具。又由于其自己作為一款搜索引擎,擁有許多的網絡資源,因此借助baidu來獲取海量數據,成為了一種便捷有用的信息網絡途徑。雖然baidu在爬蟲算法上沒有google那么優異,但對中文搜索的支持并不會很差(小小吐槽一番百度),然而在通過百度爬取數據時,我們往往會遇到百度自身的反爬蟲措施,若何解決這些反爬蟲措施,將會是本文的重點。
關于反爬蟲的手藝,網上有許多資源,方式不外乎(署理、識別驗證碼、漫衍式架構、模擬瀏覽器、ADSL切換ip等),這些不是本文的重點,本文只針對爬取百度搜索引擎時遇到的反爬蟲措施,以及一些解決方案。
一樣平常來說,單線程的爬蟲時間距離設置為>2s,短時間內應當不會被屏障,固然長時間爬取照樣不行;若是使多線程無時間距離爬取,那么也許30分鐘一定就會屏障了。 我曾實驗過添加headers,甚至使用phantomjs模擬瀏覽器等方式,均以失敗了結。我想百度作為一家搜索引擎公司,爬蟲手藝本就是其焦點手藝之一,因此跟它玩反爬蟲手藝應當是以卵擊石(類似模擬瀏覽器,修改headers等方式應該無效)。然而我們可以換個思緒,百度也不是不允許爬蟲接見,只是限制了爬取頻率。而對于接見的headers等信息并沒有做顯著的限制。那么也就是說,百度的反爬蟲現實上是控制單ip接見的頻率,那么我們就可以通過漫衍式架構或者切換ip等方式去解決。
在探討若何解決被屏障問題前,我們先來研究下被百度屏障時的征象。一樣平常來說,當百度檢測到某ip接見流量稀奇大時,會先舉行源碼提醒,若是還沒住手接見,那么就會直接屏障接見。基于百度反爬蟲的特點,我們可以通過漫衍式部署爬蟲服務器,來采集資源,固然小我私人以為ADSL服務器效果會更佳。然則漫衍式部署,尤其是ADSL服務器部署,成本會變得異常高,而且需要維護。那么有沒有只用一臺服務器就可以解決被屏障的問題呢?
謎底是一定,那就是單機+多線程+ip署理,這種方式對照實惠,但對照磨練ip署理的穩固性。經小我私人測試,感受海內絕大部門署理(收費、免費、動態等)都不是很穩固,因此這是一種折中的方式,那么有沒有更好的方式呢署;又由于百度在海內的占有率很高,因此其提供搜索服務的服務器也應當是漫衍式部署的,也就是說天下各地部署了許多百度的服務器。 那么當我們打開瀏覽器,接見百度時,提供搜索服務的服務器往往是離我們最近的那臺,因此可以想見屏障我們的也就是那臺服務器。勇敢想象一下,若是我們能自由切換去接見差異區域的百度服務器,那么是否可以繞過被單一服務器屏障的問題呢?固然這一解決方案的條件是:我們必須擁有大量的百度服務器的ip地址,百度允許用ip地址接見(著實不行就更改host)
可喜的是,以上2點都不難辦到。網上有百度服務器的資源可以獲取,固然也可以通過在差異區域的服務器ping百度獲取ip;至于直接通過ip地址接見百度,這默認即是可行的(不知道百度為何這樣設置)百度的大招通過以上幾種方式,應該可以繞過百度的反爬蟲機制,然則百度也不是食齋的,它也有自己怪異的反爬蟲殺招,或許稱之為”搜索限制”或者是”資源珍愛”措施更合適一點。
在幾回爬取歷程中,我無意發現在headers中加不加cookies會影響最終的搜索效果(主要影響搜索效果的若干)。以上幾點嚴酷意義上來說,并不算反爬蟲手藝,只是一種珍愛自身資源的方式,其意不言而喻通過獲取百度搜索效果源碼,以及通過正則匹配,我們能夠獲得一些搜索效果鏈接,然后這些鏈接并不是網站原鏈接,有以下2種形式:我暫且稱它為”百度鏈接”,其基本就是以上2種形式。第一種是通過點擊右鍵復制鏈接地址獲取到的,通常帶有eqid參數,用來示意referer;第二種是通過頁面源代碼獲取到的,這種是不帶wd與eqid參數的。而eqid參數的值在每次刷新頁面后,都市改變,這可能是百度限制黑帽SEO所設置的一個參數。 那么我們對照兩者之差異,當我們劃分取接見這2條毗鄰時,返回的數據包是紛歧樣的。
最后,我談談我的感受,豈論是做網站,做APP,照樣做民眾號,堅持做、專心做,還要連續的輸出有價值的內容。一定會有用果。加油,列位站長。 本文標簽:。轉載請注明來源地址:黑帽SEO http://m.790079.com 專注于SEO培訓,快速排名
黑帽WiKi_黑帽百科(m.790079.com),8年黑帽SEO優化技術,黑帽seo快速排名,黑帽SEO技術培訓學習,黑帽SEO快速排名程序、泛目錄、寄生蟲技術,贈送免費黑帽SEO視頻教程
(黑帽seo技術,網站快速排名,蜘蛛池加速收錄,目錄程序定制)
掃一下添加微信:
