網(wǎng)站改版不生效，同內(nèi)容多套URL解決思路

　　該經(jīng)驗(yàn)分享主要是幫助一部分朋友在日常網(wǎng)站改版中規(guī)則遲遲不生效、同樣內(nèi)容多套URL被收錄問題，其實(shí)這個(gè)問題在很早之前也困擾過我，后面經(jīng)過man_hok大師指導(dǎo)后才發(fā)現(xiàn)問題的最終原因在于老的鏈接還存在，所以導(dǎo)致網(wǎng)站改版失效、新的內(nèi)容老的url還會(huì)被收錄。

　　如果你遇到如下的問題，就該考慮是否老的入口還沒有關(guān)閉：

　　1.網(wǎng)站改版不生效、部分不生效、生效周期超長。

　　2.一個(gè)同樣的內(nèi)容百度收錄多份URL。

　　3.百度經(jīng)常抓取一些不存在的頁面。

　　主要問題的癥結(jié)在于：

　　1.網(wǎng)站內(nèi)部存在老的鏈接入口。

　　2.如果是同內(nèi)容多套URL的問題，還要考慮網(wǎng)站是否存在泛解析，或改目錄泛解析。

　　3.外部存在錯(cuò)誤鏈接導(dǎo)向。

　　解決辦法綱要：

　　1.網(wǎng)站內(nèi)部的老鏈接可以由程序猿或者SEO來排查，從程序中、頁面里刪除或替換成新url格式。

　　2.泛解析的關(guān)閉，同時(shí)記得處理一下因此帶來的死鏈問題。

　　3.外部存在錯(cuò)誤鏈接導(dǎo)向的話，可控的參照（1）來解決，不可控的一定要把站內(nèi)的錯(cuò)誤鏈接返回404.

　　站內(nèi)查找錯(cuò)誤鏈接的方法

　　很多朋友跟我一樣，很難讓技術(shù)去排查這種問題，即便真去排查了，也沒有幾個(gè)能夠排查出問題的。

　　老板罵的又是我們自己，咋整？還是我們自己動(dòng)手想辦法解決。

　　這邊教程我推薦使用的XENU，相信大家都聽到過了，為了方便大家排查，我這里做一個(gè)簡單使用教程給大家，通過XENU我們可以很好的遍歷整個(gè)站點(diǎn)，找到一些錯(cuò)誤，沒有上述問題的朋友也可以通過該工具遍歷來了解站點(diǎn)存在的錯(cuò)誤，好！廢話不多說。

　　1.首先我們來新建遍歷網(wǎng)站，一般情況下，我建議有多域且頁面較多一個(gè)一個(gè)域來排查，否則很容易產(chǎn)生死角。打開xenu后 文件-檢查網(wǎng)址即可新建一個(gè)項(xiàng)目。

　　2.配置項(xiàng)目，我們可以在這里輸入我們要排查的網(wǎng)址，多子域且子域內(nèi)容較多的建議一個(gè)子域一個(gè)子域進(jìn)行排查，不建議勾選檢查外部鏈接。在使用過程中大家可以把一些不必要檢查的項(xiàng)目排除掉，這樣會(huì)提高遍歷的速度。

　　3.高級配置。這一步一般站點(diǎn)收錄量不大，對性能要求不高的可以不用設(shè)置，直接跳過這步。

　　在更多選擇中我們可以設(shè)置線程數(shù)，線程數(shù)越高速度越快，同時(shí)占用系統(tǒng)資源越高，對站點(diǎn)的壓力也會(huì)越大，如果站點(diǎn)的服務(wù)器空間性能不是特別好，或者在使用該工具過程中遇到站點(diǎn)掛了?？梢栽谶@里減少增加線程，部分電腦比較卡的也可以通過調(diào)低線程數(shù)量來緩解卡頓。

　　這里有一個(gè)層數(shù)建議大家要特別注意，因?yàn)檫@涉及到遍歷的邏輯，一般情況寫3-5即可，看網(wǎng)站的層級是否復(fù)雜，如果遍歷出來的結(jié)果不夠完整，大家可以調(diào)高最大層數(shù)。

　　4.設(shè)置完成后點(diǎn)擊確定，程序就會(huì)開始遍歷URL，這個(gè)時(shí)候建議數(shù)量較多的不要把程序放本地電腦，以免影響工作。

　　5.程序跑完后會(huì)詢問是否需要報(bào)表，看大家需要可以自動(dòng)生成報(bào)表，不過在這里我建議一部分朋友，第一次跑完后點(diǎn)菜單欄：文件-重試無法訪問的鏈接。在讓程序確認(rèn)一遍這些鏈接是否是真的無法訪問。

　　6.在說明一下，在這里列出的鏈接除了200狀態(tài)外，其他的都在，包括301的也在這里顯示。從上圖大家可以看到，我還有很多這樣錯(cuò)誤的301鏈接還存在對外入口。那么這些鏈接我必須刪除或者替換成為新的鏈接格式。查看方式很簡單，點(diǎn)擊鏈接右鍵屬性，就可以看到這個(gè)錯(cuò)誤的鏈接在哪些頁面中保留入口了。一般標(biāo)準(zhǔn)化頁面的錯(cuò)誤，我們通過該工具可以一次性排查掉。一般301 302 這里都會(huì)返回沒有返回信息，而404會(huì)返回狀態(tài)沒有找到。當(dāng)然如果量更大建議可以導(dǎo)出excel里面去排查。

　　這里排查的時(shí)候有個(gè)技巧：點(diǎn)擊菜單欄“視圖”-勾選“只顯示無效鏈接”，這樣哪些正確的鏈接就不見了。

　　另外這個(gè)工具還可以去挖掘某個(gè)頁面內(nèi)部鏈接的數(shù)量和位置等等信息。

　　--百度站長社區(qū)【版主-飛鷹正義】