詳談404常見(jiàn)問(wèn)題以及處理方法

　　今天為什么要說(shuō)一下404問(wèn)題呢，最近看case過(guò)程中發(fā)現(xiàn)個(gè)很有意思的網(wǎng)站，該網(wǎng)站被灌了大量的垃圾信息，被其發(fā)現(xiàn)后及時(shí)地進(jìn)行了刪除，這一點(diǎn)是值得肯定的。通常情況下，正常網(wǎng)站將自動(dòng)返回404狀態(tài)碼，搜索引擎進(jìn)行更新并刪除，避免對(duì)網(wǎng)站用戶及搜索引擎帶來(lái)負(fù)面影響。但問(wèn)題來(lái)了，該網(wǎng)站只刪除了內(nèi)容，沒(méi)有任何主體內(nèi)容的頁(yè)面被保存了下來(lái)，未做404處理。當(dāng)然，存在一類網(wǎng)站只刪除內(nèi)容后返回正常200狀態(tài)碼，提醒一句"該內(nèi)容已刪除",但其都沒(méi)有。可以發(fā)現(xiàn)目前這個(gè)搜藏中的url仍然正常返回200,http://cang.baidu.com/Lee/snap/3b0a0cc8e7d7899facd36fad.html,造成的后果：搜索引擎將花費(fèi)大量的資源在這種無(wú)效頁(yè)面上，那么，同等耗損下用在重要頁(yè)面上的資源將被大量擠占，可想而知，正常優(yōu)質(zhì)頁(yè)面在搜索引擎的部分表現(xiàn)將受到影響。經(jīng)過(guò)我們運(yùn)營(yíng)同學(xué)的多方溝通下至今仍未進(jìn)一步處理。我覺(jué)得，21世紀(jì)第二個(gè)十年了，這種問(wèn)題不應(yīng)該再存在了的。

　　好吧，承認(rèn)我被打敗了。簡(jiǎn)單說(shuō)一下：

　　404狀態(tài)碼代表‘Not Found’，spider更新時(shí)會(huì)認(rèn)為該頁(yè)面已失效，此時(shí)呢將在索引庫(kù)中刪除，短期內(nèi)spider再次發(fā)現(xiàn)該url不再會(huì)抓取。因此，出來(lái)了兩類問(wèn)題：第一，網(wǎng)頁(yè)臨時(shí)性打不開(kāi)；第二，頁(yè)面永遠(yuǎn)無(wú)法打開(kāi)。針對(duì)第一類問(wèn)題，我建議不要立刻返回404,而是使用503.503等同于告訴spider該頁(yè)面臨時(shí)訪問(wèn)不了，過(guò)段時(shí)間再來(lái)光臨。關(guān)于503,spider會(huì)認(rèn)為該網(wǎng)頁(yè)臨時(shí)無(wú)法訪問(wèn)，短期內(nèi)會(huì)再光臨。如果網(wǎng)頁(yè)已經(jīng)恢復(fù)，即刻正常抓取；如果繼續(xù)返回503,短期內(nèi)還會(huì)再光臨幾次，但如果該頁(yè)面長(zhǎng)時(shí)間返回503,該url仍會(huì)被認(rèn)作失效鏈接，從索引庫(kù)中刪除。針對(duì)第二類問(wèn)題，永遠(yuǎn)無(wú)法打開(kāi)的頁(yè)面，404,不用考慮。各種web2類頁(yè)面刪除后同樣需要返回404告知搜索引擎該頁(yè)面已失效。

　　回歸之前那個(gè)網(wǎng)站，刪除內(nèi)容后該頁(yè)面沒(méi)有任何價(jià)值。最恰當(dāng)?shù)奶幚硎牵?/p>

　　1、直接做死鏈處理并返回404;

　　2、在百度站長(zhǎng)平臺(tái)死鏈提交工具中提交死鏈sitemap.

　　最后呢，提醒一下各位站長(zhǎng)朋友，當(dāng)您的網(wǎng)站存在被發(fā)布大量垃圾信息時(shí)，請(qǐng)：

　　1、及時(shí)刪除相關(guān)垃圾頁(yè)面，并做404處理；

　　2、制作符合要求的死鏈sitemap;

　　3、登錄百度站長(zhǎng)平臺(tái)，進(jìn)入死鏈提交工具提交死鏈sitemap.

　　作者：百度站長(zhǎng)平臺(tái)lee 發(fā)布時(shí)間：2013年5月3日　來(lái)源：遨游網(wǎng)絡(luò)科技有限公司 轉(zhuǎn)載注明出處！