引言
網絡黑產是互聯網各類地下產業的簡稱。2017年網絡安全生態峰會1發布的《電子商務生態安全白皮書》 指出，我國網絡黑產從業人數已超過150萬，市場規模高達千億元，每年由黑產直接或間接造成的經濟損失估算高達915億元[1]。典型的網絡黑產包括網絡欺詐、網絡色情、網絡賭博和違禁品買賣等，這些不僅是我國法律明令禁止的行業，還會給社會穩定帶來威脅。
網絡黑產一方面需要躲避監管平臺的檢測，另一方面卻又需要擴散信息、尋找潛在客戶群以獲取利益。在躲避監管方面，黑產目前多采用快速頻繁更換行業關鍵詞的方式，例如“氣狗”“汽狗”指氣槍，“狗糧”指子彈，“溜冰壺”代表吸毒用品等。在信息擴散方面，主要采用惡意互聯網推廣模式來尋找客戶進行交易，最終實現獲利。這其中主要模式就是黑帽SEO，即通過攻擊搜索引擎算法提高黑產關鍵詞在搜索結果中的曝光率，使潛在客戶能夠快速找到交易平臺。長期以來，搜索引擎與黑產開展了一輪又一輪的檢測與反檢測技術對抗與升級。
黑帽SEO與黑產
黑帽SEO
對普通用戶而言，搜索引擎是其獲取各類互聯網資源的入口，每日從搜索引擎產生的訪問流量數量巨大。以Google為例，其每秒查詢量超過66000次 [2]。對于一個特定網站，如何提升其在搜索引擎上的排名、以獲得更大的訪問流量，是至關重要的事情。
SEO(Search Engine Optimization)，即“搜索引擎優化”，是通過對網站內部結構、內容調整及外部鏈接關系進行優化，幫助搜索引擎對該網站快速定位特征、提取重要信息，使網站滿足搜索引擎收錄要求，并逐步提高在搜索結果中的排名。
根據優化手段和側重點不同，SEO又分為白帽SEO和黑帽SEO。其中，白帽SEO是根據搜索引擎發布的網站優化指南，合理優化網站，提高用戶體驗，并改善與其他網站的鏈接關系，獲得搜索引擎較好的權重判定，使網站排名逐步提升。其特點是關注長遠利益，優化周期長但效果穩定，適合于正常網站長期使用。與之相反，黑帽SEO更注重實現排名短期快速提升，使被推廣網站短時間內獲得較大的訪問量，因此往往采用被搜索引擎認為是作弊或攻擊的方法。黑帽SEO主要被黑產用于推廣與之相關的關鍵詞或網站信息。這種方式一旦被搜索引擎廠商發現，將面臨嚴厲的懲罰，一般情況下搜索引擎廠商會將該網站所有內容從搜索結果中直接刪除，即俗稱的“K站(kill site)”。
傳統的黑帽SEO技術包括關鍵詞堆砌(keyword stuffing)、頁面障眼法(cloaking)、偽原創(article spinning)、暗鏈(hidden links)等。伴隨著每個黑帽SEO技術的大規模使用，搜索引擎廠商也開發了相應的檢測系統。
目前有關黑帽SEO的研究主要集中在對于分散技術點的分析與檢測，因此存在著檢測技術滯后、無法進行主動監控、監控實時性不強等問題，導致搜索引擎廠商在與黑帽SEO的技術對抗中始終處于不利的境地。
黑產
為了在推廣非法物品的同時逃避監管部門及安全廠商的檢測，黑產的買賣雙方多會通過其專有的黑產網絡語義體系進行溝通，掩蓋其真實的商業意圖。黑產網絡語義體系很大程度上由黑產關鍵詞(black keyword)構成，而這些關鍵詞又多通過自創新詞、舊詞新用、同音詞替換、形似詞替換等獲得。例如，在網絡黑產中，“出肉”代表賣出毒品，“鐵算盤”代表六合彩彩票，“菠菜”代表博彩，“杏彩娛樂”代表原有賭博平臺“吉彩娛樂”等。這類關鍵詞很難通過一般的語義環境推測其真實含義，因此增加了黑產的檢測難度。
深入挖掘黑產網絡語義體系對于追蹤和打擊黑產具有非常重要的意義，但同時也是一項極具挑戰性和耗時巨大的工作。傳統的挖掘方法主要通過滲透進入地下論壇、獲取黑產從業人員溝通交流記錄，通過人工觀察提取特征詞的方式不斷完善對該語言體系的理解。這種方法存在許多困難：需要較大的人工和時間成本投入，而產出不可預期；當面臨大規模擴展應用時，無法有效支撐應用環境；對研究人員素質要求比較高，需要深入了解黑產語義體系，對于非母語的研究對象將存在更高的難度。同時，隨著黑產網絡語義體系的不斷升級，黑產關鍵詞的語義信息更加難以從上下文文本中直接推理獲得，因此研究難度更大。
目前有關黑產網絡語義體系的研究主要集中在黑產關鍵詞的自動挖掘與分析方面，對于深層次網絡語義的理解仍存在較大的改進空間。
對黑產的研究
網絡語義是指一個網絡內多數計算機包含內容的規律性、內在解釋，以及在表達方面的共性。這里的網絡語義包括域名語義、鏈接語義、內容語義和視覺語義等。本文所描述的網絡語義既包括正常網站、正常頁面表達的正常網絡語義，也包括黑產網站、黑產頁面表達的黑產網絡語義。
我們在研究中發現，網絡黑產是個相對封閉的體系，直接基于自然語言處理和關鍵詞處理的檢測方法很難形成有效、準確率高的檢測方法。而通過網絡語義對黑產進行檢測，是一個高效、有針對性的手段。
有明確語義背景的黑產
通過對黑帽SEO技術的跟蹤分析，我們發現黑帽SEO經常通過攻擊高權重網站2、在被攻擊的網站上放置黑產關鍵詞、欺騙搜索引擎索引黑產關鍵詞的方法，使黑產關鍵詞快速進入搜索結果索引列表并在搜索結果中顯示。這類SEO技術的明顯特征是通過網絡攻擊或其他手段獲得權威網站操作權限，并以該網站為基礎，搭建SEO的基礎設施，達到推廣的目的。這類方法運維成本低，且聚焦在利用高權重網站配置、運行漏洞上，手段隱蔽，效果很好。
針對這類攻擊技術，我們研究了：使用自然語言處理方法，對含有明確語義信息的頂級域名（Top Level Domain，TLD，如“.edu”代表教育、“.gov”代表政府等）提取正常網站的域名語義、文本語義，并轉換為基本向量。在搜索結果中查找高權重網站出現的包含黑產關鍵詞的頁面，將這些頁面的域名語義、文本語義同樣做特征提取，并轉換為基本向量。對比兩個向量之間的距離，如果超過一定的閾值，將視為高權重網站中出現了與原語義不相符的內容，記錄并報警。按照這個思路，我們構建了基于網絡語義的自動檢測系統SEISE[3]并對141個國家的403個贊助頂級域名(sponsored TLD, sTLD)進行檢測，發現超過11000個被攻擊的高權重網站。通過SEISE的研發、部署和對檢測結果的分析，我們發現了多個利用高校、教育機構、政府等高權重網站進行惡意推廣的地下組織及其所采用的黑帽SEO特征，初步探索了對黑產網絡語義的挖掘方法，為后續研究提供了參考性思路。
目前該研究成果已經被2016年信息安全領域四大頂級會議之一的Oakland Security S&P錄用，該檢測系統已經部署在清華大學網絡科學與網絡空間研究院，近期完成了對我國中小學網站的安全性檢測，取得了很好的檢測結果。
沒有明確語義背景的黑產
黑帽SEO的推廣方式中，還有一種通過購買域名、服務器等基礎設施，自主搭建網站進行搜索引擎優化的方法，對黑產網站或黑產關鍵詞進行惡意優化推廣。該類方法的運維成本相對較高，優化周期相對較長，但由于全部組件均由黑產從業者掌控，具有生存能力強、技術變化快的優勢。目前這種推廣方式叫做“蜘蛛池”[4]。
“蜘蛛池”采用DNS泛域技術創建無數個三級以上的子域名，導致域名沒有明確的語義；同時采用惡意文本填充的方式，即自動爬取高權重網站內容、替換其中一部分為黑產推廣的關鍵字，在文本語義方面進行混淆。然而，從鏈接結構的分析中我們發現，“蜘蛛池”的目標在于構建相互鏈接的封閉池，使搜索引擎爬蟲一旦進入將很難跳出，始終在池子內爬取精心構造的推廣內容，實現惡意推廣。因此，對于這類黑帽SEO方法，我們采用了基于鏈接語義的檢測方法。
在構建檢測系統的過程中，我們主要完成了以下幾個方面的工作：(1)實現了針對“蜘蛛池”的自動挖掘、檢測系統。該系統利用“蜘蛛池”鏈接語義的特征，從DNS端和網頁結構端出發，對22個TLD/SLD下的超過1300萬個域名進行檢測，最終發現了超過45萬個被用于黑帽SEO的域名。(2)深入挖掘“蜘蛛池”的結構特征，對所涉及的基礎設施特點、客戶類別及其對搜索引擎的影響進行分析，分析了“蜘蛛池”的實際推廣效果。(3)與搜索引擎廠商合作，將檢測系統部署在實際生產環境中，對“蜘蛛池”的技術變化進行實時跟進。
目前該項研究成果已經被信息安全領域四大頂級會議之一的Usenix Security 2017錄用，同時檢測系統部署在百度公司，累計檢測出超過500萬個“蜘蛛池”域名（2018年5月3日與百度確認，具體數字是5046806個），取得了良好的檢測效果。
黑產網絡
黑產關鍵詞是黑產推廣的核心要素。然而黑產關鍵詞不同于普通的關鍵詞，具有如下特點：(1)隱蔽性。為了逃避檢測，黑產關鍵詞都是自然語言無法正常理解的詞，例如“平馬二中一”“丁香五月天”，目前沒有可用的處理系統能夠將這類關鍵詞的語義屬性正確地歸類。(2)實時性。黑產關鍵詞具有很強的時間特性，一些關鍵詞只出現在特定時間背景下。如“微信紅包 尾數”，這是2017年春節前后伴隨著微信紅包的流行出現的新型網絡賭博關鍵詞，通過押注微信隨機紅包的尾數進行賭博。(3)依賴性。黑產關鍵詞對其前后內容的語義環境比自然語言有更強的依賴性，如“菠菜”“鐵算盤”，如果沒有前后的語義環境，很難將其與博彩聯系起來。
針對以上特點，我們對黑產網絡語義進行了體系化的研究，并研發出自動分析、挖掘工具。
(1)構建針對網絡黑產關鍵詞的自動挖掘與檢測系統KDES[5]，該系統能夠從已知的黑產SEO站點出發，自動挖掘、提取其中的關鍵詞，并在所挖掘黑詞的基礎上，結合搜索引擎的相關搜索功能，對黑產關鍵詞進行自動擴展。(2)對黑產網絡語義的核心詞的自動篩選，實現對黑產網絡語義的實時監測分析。(3)評估了黑產關鍵詞在實際網絡流量中的保有量及其覆蓋范圍，揭示了長尾關鍵詞在其中的重要作用，并重點就黑產關鍵詞對搜索引擎的實際影響進行測量。(4)對黑產網絡語義特征進行系統性的梳理，就黑產關鍵詞在推廣過程中所涉及的關鍵技術進行分類，從實際操作層面分析了黑產網絡語義的形成過程。(5)針對黑產的具體細分領域進行探究，為后續對網絡黑產不同領域的深度挖掘提供了指導性思路。
目前該項研究成果已經被收錄在Oakland Security S&P 2017，檢測系統部署在百度公司，在協助百度分析、獲得最新流行的黑產關鍵詞方面取得了良好的實際效果。
黑帽SEO的趨勢
互聯網黑色產業具有產業規模龐大、業務紛繁復雜、技術迭代迅速、語言體系封閉等特點，對于這類產業實現有效的檢測和監管都是非常大的挑戰。從網絡語義出發的黑產推廣技術研究，幫助我們抓住了黑產推廣的根源和本質，為我們不斷深入開展后續研究工作提供了基礎的研究思路。
黑帽seo技術與檢測技術
目前網絡空間檢測與反檢測的技術對抗不斷升級演化，通過對黑帽SEO技術近幾年發展特點分析，未來黑帽SEO技術演化可能會在以下幾個方面進行：(1)多種黑帽SEO手段的綜合運用。之前已經研究的黑帽SEO手段包括泛域名、惡意關鍵詞填充、構建惡意鏈接等，而對“蜘蛛池”的研究使我們發現，黑帽SEO將以上多個技術進行了綜合應用，構建了一個圍困搜索引擎的推廣池。同時，最新的技術跟蹤表明，黑帽SEO傾向于將泛域名、泛目錄、泛端口等技術結合起來，構建一個能夠產生無數子域名、無數URL路徑和擁有相對豐富開放端口的推廣池，與現有檢測技術進行對抗。(2)降低每個頁面的惡意推廣閾值。基于對多種惡意推廣技術的結合，黑帽SEO在構建無數頁面的同時，降低每個頁面中的惡意推廣內容出現的頻率，使其在自然語言處理和語義分析的范疇內降低到理論上不可識別的程度，躲避黑產檢測。
對于黑帽SEO的檢測技術研究有幾個方面：
(1)系統性分析。當前針對黑帽SEO技術的研究大多局限于具體的案例，針對該類技術的系統性分析較少，相應的防范措施也缺乏完善的防護體系，因此，如何系統性地加強針對該類技術的分析檢測將是一個很有意義的研究方向。(2)實時性分析。當前針對黑帽SEO技術的探索多為“被動發現式”研究，很大程度基于人工對海量數據的分析，很多新的惡意推廣技術都是在投入使用相當一段時間后才被發現，導致業界已經受到一定危害。如何加強對該類技術的實時性跟蹤，進一步預測技術的變化路線，是黑帽SEO檢測領域的一個重要問題。(3)完善性分析。通過研究探索完善搜索引擎排名算法，盡可能減少存在的漏洞，提高黑帽SEO攻擊的技術難度。
黑產網絡語義體系
語義是黑產要表達給用戶的最終目標。無論黑產采用何種技術手段進行欺騙、仿冒，目標用戶所看到的內容將是黑帽SEO所想要表達的最終內容。因此，需要對黑產網絡語義進行研究。
主要研究內容有：(1)黑產語義的自動理解：現階段已初步實現基于各類黑產網頁內容的關鍵詞自動挖掘，并可以針對最新的黑產頁面進行檢測。但當前僅能對黑產關鍵詞所屬的大類（如博彩、色情等）進行分析，暫時無法自動挖掘黑產關鍵詞自身的含義，故如何自動理解黑產關鍵詞的深層含義將是未來一個很重要的研究方向。(2)黑產語料庫的構建：在了解黑產關鍵詞語義的基礎上，不斷完善和豐富黑產關鍵詞語料庫，預測黑產關鍵詞的變化趨勢。同時，在完善語料庫的基礎上，還可以充分利用新的語料庫進一步對黑產檢測平臺給予反饋，形成良性循環。(3)多元素語義信息的挖掘分析：在黑產相關的線上平臺中，很多重要內容均以圖片或JS動態渲染的形式呈現并逃避常規檢測。然而，該類資源在當前的研究中并沒有得到充分的挖掘利用。同時，不規范的第三方支付，為黑產的最終獲利提供了便捷的渠道。如何充分挖掘這類黑產相關的多元素語義信息，也是非常值得研究探討的問題。 ■
參考文獻
[1] 人民網.“網絡黑產”市場規模高達千億[OL].(2017-07-28).http://legal.people.com.cn/n1/2017/0728/c42510-29434169.html，2015
[2] Thomas K, Huang D, Wang D, et al. Framing Dependencies Introduced by Underground Commoditization[C]// Proceedings of the Workshop on the Economics of Information Security. 2015.
[3] STATS, I.L. http://www.internetlivestats.com/google-search-statistics/, 2018.
[4] Liao X, Yuan K, Wang X F, et al. Seeking Nonsense, Looking for Trouble: Efficient Promotional-Infection Detection through Semantic Inconsistency Search[C]// ser. IEEE Security and Privacy. IEEE, 2016:707-723.
[5] Du K, Yang H, Li Z, et al. The ever-changing labyrinth: A large-scale analysis of wildcard dns powered blackhat seo[C]//Proceedings of the 25th USENIX Security Symposium (USENIX Security 16). Austin, TX: USENIX Association, 2016: 245-262.
[6] Yang H, Ma X, Du K, et al. How to Learn Klingon without a Dictionary: Detection and Measurement of Black Keywords Used by the Underground Economy[C]//Proceedings of the 2017 IEEE Symposium on Security and Privacy. IEEE, 2017: 751-769.
黑帽WiKi_黑帽百科(m.790079.com),8年黑帽SEO優化技術,黑帽seo快速排名,黑帽seo技術培訓學習,黑帽SEO快速排名程序、泛目錄、寄生蟲技術,贈送免費黑帽SEO視頻教程
（黑帽SEO技術,網站快速排名,蜘蛛池加速收錄,目錄程序定制）
掃一下添加微信：
