站點流量異常追查文檔

　　百度站長平臺幾乎每天都會接到站長關于流量的詢問，很多站長發(fā)現(xiàn)站點流量發(fā)生很大變化后，第一反應就是認為自己被誤判降權了，情緒激動者不經(jīng)審核立即開始在公開媒體聲討百度為自己造勢。但經(jīng)過百度站長平臺追查，大部分站點都不是真的被懲罰了，或者說并不是因為站點主觀原因被懲罰。所以，為了解開站長關于站點流量大幅下滑的謎團，更好地幫助站長查找原因，我們推出了《站點流量異常追查文檔》，希望能給站長一些啟示。

　　目錄：

　　先普及一個概念：什么是流量異常

　　一，運維篇

　　1、CDN

　　2、robots

　　3、UA/IP

　　4、安全問題/管理不善

　　A、域名泛解析

　　B、網(wǎng)站被黑

　　C、網(wǎng)頁被掛馬

　　D、UGC站點被SPAMMER群發(fā)

　　二，特征頁分析

　　1、分析流程圖

　　2、查找特征頁面

　　3、分析異常特征

　　A、排名無，流量無

　　B、部分排名無，流量損失較大

　　三，相關因素——外鏈爆增

　　1、首頁、頻道頁、重要頁面被惡意投票

　　2、用戶創(chuàng)建頁面、垃圾個人頁、內(nèi)容頁被惡意投票

　　3、拼接搜索結(jié)果頁漏洞

　　4、如何預防產(chǎn)生拼接搜索結(jié)果頁

　　什么是流量異常

　　來自百度搜索的流量突然間降了50%以上，且是持續(xù)性的，即已經(jīng)連續(xù)四至五天流量沒有明顯漲幅變化。如下圖所示：

　　如果出現(xiàn)上述現(xiàn)象，建議大家從運維角度、頁面特征，以及相關因素來判斷原因。

　　一、站點流量異常原因之運維篇

　　1、CDN

　　一些網(wǎng)站會使用CDN加速服務，最近每周站長平臺都會接到一兩個跟CDN加速問題有關的案例。CDN這里存在一個問題：不同的CDN服務商在全國分布的節(jié)點數(shù)不同，站點在使用CDN服務時，同一地區(qū)CDN給蜘蛛返回的IP地址要和給用戶的一致。那么現(xiàn)實情況是，部分CDN服務商出于成本考慮與資源使用率的問題，會在不告知用戶的情況下變更IP地址以節(jié)約成本，這樣就導致蜘蛛在去抓的時候，會遇到新IP和老IP的問題，在站點沒有告知更換IP的情況下，蜘蛛會認為站點目前存在問題，首先是減少抓取量，其次會判斷是否把不可訪問的頁面下掉，這時候就出現(xiàn)了用戶訪問IP與蜘蛛抓取IP不一致的情況。所以建議站點在選擇CDN服務時要選擇穩(wěn)定的CDN服務商，其次如果IP更換最好通過站長平臺抓取診斷工具抓取測試，如果IP不正確可以點擊下圖紅框“報錯”提示給站長平臺

　　2、Robots

　　站長應該對robots都不陌生，但為什么還要提呢？有這樣一種情況：站點需要更新robots文件，對站內(nèi)部分內(nèi)容禁止或放開抓取。但由于操作后沒有檢查是否生效，站長會默認為已經(jīng)生效。同時還有一個生效周期的問題，那么站點需要在百度站長平臺提供的robots檢測工具中做一個抓取測試來驗證是否生效。

　　如果看到robots內(nèi)容和你更改后的內(nèi)容不一致，有幾種可能：第一種可能是網(wǎng)站沒有全面布局，因為有的站點服務器可能在很多地方，你需要確認robots是否已全部推送；第二種可能是百度沒有及時做更新，可以通過robots檢測工具下方的更新按鈕來告訴百度Robots有變化。

　　3、UA/IP

　　UA封禁一般不會是站點主觀錯誤操作，往往是意外情況，站點在程序中過濾誤操作UA封禁，而通常卻不知道自己封禁了蜘蛛。只有在逐步的排查才會發(fā)現(xiàn)這種概率很小的問題。所以在流量異常中我們在運維篇中把這項列進去，讓站點注意這些個細節(jié)。

　　那么當您的網(wǎng)站不希望Baiduspider訪問時，才需要該設置，如果您希望Baiduspider訪問您的網(wǎng)站，useragent相關的設置中是否有Baiduspider UA，并及時修改。禁止所有來自百度的抓?。?User-agent: Baiduspider Disallow: /

　　IP封禁往往是遇到CC攻擊的時候不知道哪些是真百度蜘蛛和仿冒百度蜘蛛而封禁了蜘蛛IP，這里我們建議通過DNS反查方式讓站點了解哪些是真實蜘蛛，根據(jù)平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

　　A、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　B、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　C、在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　更多內(nèi)容請訪問：http://zhanzhang.baidu.com/college/articleinfo?id=34

　　4、安全/管理不善

　　安全問題在站長平臺能觀察到的絕大多數(shù)屬于管理問題，站點被黑客鉆了漏洞而受到了懲罰等，且懲罰力度與站點漏洞的存在時間成正比。

　　A、域名泛解析

　　近幾個月域名泛解析是一個非常經(jīng)典的案例，很多網(wǎng)站由于安全意識薄弱、密碼簡單被黑客鉆了空子，解析出了大量非本站內(nèi)容的低質(zhì)頁面，導致百度搜索引擎對整站采取了臨時措施，使得站點流量掉了很多甚至清零。

　　B、網(wǎng)站被黑

　　網(wǎng)站被黑跟泛解析也有相似之處，網(wǎng)站內(nèi)有大量的垃圾頁面都是黑客創(chuàng)造出來的，導致受到懲罰，給站點帶來致命的打擊。

　　C、網(wǎng)頁被掛馬

　　其實這也是被黑的一種，但比被黑釋放垃圾頁面更為隱蔽，這類案例主要出現(xiàn)在企業(yè)網(wǎng)站或者是一些比較小的網(wǎng)站上，黑客直接在頁面上放置展現(xiàn)廣告代碼，而且會判斷來訪者是普通用戶還是蜘蛛，然后區(qū)別對待；或者是僅給某一個地區(qū)的用戶訪問掛馬頁面，給蜘蛛和其他大部分所在地展現(xiàn)正常頁面等，這些其實都是非常隱蔽的行為，沒有用戶舉報站點也很難發(fā)現(xiàn)，但百度搜索引擎無法容忍這樣的頁面出現(xiàn)在搜索結(jié)果里，自然這些站點會受到懲罰。

　　D、UGC站點被SPAMMER群發(fā)

　　最后說UGC站點，所有以用戶貢獻內(nèi)容的站點在審核機制上一定要加強防范，目前平臺能夠接到的不少案例都是UGC站點存在監(jiān)管不利，導致有大量的垃圾內(nèi)容在線上，當垃圾內(nèi)容與正常內(nèi)容的比例達到一定閾值，就有可能整站被百度搜索引擎懲罰。

　　二、站點流量異常原因之特征頁分析

　　1、分析流程圖

　　流程圖會按照三步來讓站點確認到底是正常下跌還是異常下跌，在此站長第一步首先要找到特征頁面

　　2、查找特征頁面

　　首先說什么叫特征頁面，即流量下滑比較多的頁面，這類頁面又是結(jié)構化頁面，內(nèi)容不同頁面所搶的關鍵詞不同，但頁面框架結(jié)構是統(tǒng)一的。比如關鍵詞“北京旅游、上海旅游、天津旅游”對應A類頁面，那么在此類關鍵詞消失后，這個A類頁面也沒有流量，于是A類頁面就是我們說的特征頁面，要看看A類頁面發(fā)生過哪些變化。首先找出昔日的流量對比，過去一段時間與現(xiàn)狀的差距。其次回憶一下近期此類頁面有怎樣的改動，這些改動是否存在運維篇的問題，那么觀察幾日后給出流量損失范圍。

　　3、分析異常特征

　　從流量損失范圍大體可以判定兩種情況：

　　A、排名無，流量無

　　上面所講的關鍵詞排名無，網(wǎng)站流量無——很有可能是受到了懲罰，可能是局部懲罰也可能是站點整體被懲罰。具體原因可以參見之前推出的石榴算法及綠蘿2.0算法，當然大量算法我們沒有公布出來，各位可以參考《百度網(wǎng)頁搜索質(zhì)量白皮書》，觀察站點是否存在此類問題。參考鏈接：

　　百度綠蘿算法2.0更新公告

　　石榴算法—低質(zhì)量頁面終結(jié)者

　　對買賣鏈接行為的提醒，出售鏈接同樣會受打擊

　　B、部分排名無，流量損失較大

　　例如，特征頁面A本對應多個關鍵詞，有些關鍵詞下已找不到A，而有些仍然可以找到，基本可以說明該頁面并不在懲罰范圍內(nèi)，可能是百度算法在做調(diào)整。而如果所有關鍵詞下都難以找到A頁面，那極有可能是被懲罰了。

　　三、站點流量異常原因之相關因素：外鏈爆增

　　站長平臺在接到很多案例中，有很大一部分是因為外鏈異常而流量受到較大影響的，在此先給大家說一下外鏈工具顯示數(shù)據(jù)來源及規(guī)則：外鏈工具是統(tǒng)計站點在一段時間內(nèi)，鏈接到您網(wǎng)站的URL、被鏈接網(wǎng)頁URL、錨文本等內(nèi)容，站長可以通過這些數(shù)據(jù)識別和判斷哪些是符合預期的外鏈投票、哪些是不符合預期的。那么如果發(fā)生外鏈爆增時絕大部分站點是不符合預期的增長，這里我們從三種情況出發(fā)來剖析和解決此類問題。

　　1、首頁、頻道頁、重點頁面被惡意投票

　　A、此類事件主要是在被鏈接URL被莫名的站點大量投票，如果遇到此種現(xiàn)象一定要注意，很有可能是惡意投票行為，目的是通過大量垃圾站點對站點的投票，降低站點在百度搜索引擎中的評價。

　　B、此類問題的措施只能是站點加大拒絕力度，從而屏蔽掉無意義的投票鏈接

　　2、用戶創(chuàng)建頁面，垃圾個人頁，內(nèi)容頁

　　A、UGC站點尤其要關注這點，之前談過要加大審核及處理力度，杜絕讓用戶創(chuàng)建垃圾內(nèi)容、個人頁面。不良分子為了排名的效果更好，會再對這些垃圾頁進行投票。這里特別要提醒的是，如果站點審核力度及時就不會發(fā)生此類事情，只有站點內(nèi)容長期處于無人管理的狀態(tài)時才會出現(xiàn)如此問題。

　　B、此類問題的措施只能是站點加大審核力度，關閉垃圾頁面，同時拒絕這些垃圾投票的域名及站點

　　3、拼接搜索結(jié)果頁漏洞

　　拼接搜索結(jié)果頁是通過地址欄參數(shù)變化而動態(tài)創(chuàng)建出的頁面，例如下圖這些頁面，TITLE中往往包含了過多的垃圾詞，提交給搜索引擎后，為了排名效果再對這些頁面進行投票而產(chǎn)生了過量的外鏈投票。

　　此類頁面不良分子就是鉆了拼接搜索結(jié)果頁的title、description可以顯示拼接代碼中的垃圾內(nèi)容。理論上百度搜索引擎會拒絕收錄這樣的頁面，但畢竟站點數(shù)量巨大還會出現(xiàn)遺漏。所以如果想解決此類問題，可以在百度站長平臺反饋中心反饋下述內(nèi)容：

　　1）舉例已收錄被鏈接頁面

　　2）給出搜索此類頁面關鍵詞的鏈接

　　3）描述頁面收錄量及外鏈量（給出外鏈分析中的數(shù)據(jù)）

　　4、如何預防產(chǎn)生拼接搜索結(jié)果頁

　　上面也說了，拼接搜索結(jié)果頁是不良分子鉆了可以控制頁面的title、description內(nèi)容而制造了大量的頁面，從而進行投票的行為。那么如果在拼接搜索結(jié)果頁中禁止這些無效參數(shù)展示在Title和Description中自然就沒有這個漏洞，下圖以攜程為例，拼接頁面中的title和description都是固定內(nèi)容，無論頁面參數(shù)怎么變化這些都不會改變。

　　具體內(nèi)容可以參考之前平臺發(fā)布的相關文章《防止網(wǎng)站內(nèi)部搜索被他人惡意利用》