怎樣建設(shè)對搜索引擎比較友好的站點(diǎn)

　　搜索引擎技術(shù)飛速發(fā)展，對網(wǎng)站的解析越來越充分，而各家網(wǎng)站也面臨著強(qiáng)勁的對手競爭，如何讓自己的網(wǎng)站對搜索引擎更加友好，是站長要充分考慮的問題。

　　本文的主旨就告訴各位站長：怎樣建設(shè)對搜索引擎比較友好的站點(diǎn)。

目前分為五個章節(jié)：友好抓取；鏈接建設(shè)；網(wǎng)站安全；網(wǎng)站變更；其他。

　　第一節(jié)-友好抓取

　　如何正確識別Baiduspider移動ua

　　新版移動ua:

　　Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

　　PC ua:

　　Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

　　之前通過“+http://www.baidu.com/search/spider.html”進(jìn)行識別的網(wǎng)站請注意！您需要修改識別方式，新的正確的識別Baiduspider移動ua的方法如下：

　　1. 通過關(guān)鍵詞“Android”或者“Mobile”來進(jìn)行識別，判斷為移動訪問或者抓取。

　　2. 通過關(guān)鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。

　　另外需要強(qiáng)調(diào)的是，對于robots封禁，如果封禁的agent是Baiduspider，會對PC和移動同時生效。即，無論是PC還是移動Baiduspider，都不會對封禁對象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適配站點(diǎn)（同一個url，PC ua打開的時候是PC頁，移動ua打開的時候是移動頁），想通過設(shè)置robots的agent封禁達(dá)到只讓移動Baiduspider抓取的目的，但由于PC和移動Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。

　　如何識別百度蜘蛛

　　百度蜘蛛對于站長來說可謂上賓，可是我們曾經(jīng)遇到站長這樣提問：我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的？其實(shí)站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗(yàn)證方法不同，如linux/windows/os三種平臺下的驗(yàn)證方法分別如下：

　　1、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　2、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　3、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　Baiduspider IP是多少

　　即便很多站長知道了如何判斷百度蜘蛛，仍然會不斷地問“百度蜘蛛IP是多少”。我們理解站長的意思，是想將百度蜘蛛所在IP加入白名單，只準(zhǔn)白名單下IP對網(wǎng)站進(jìn)行抓取，避免被采集等行為。

　　但我們不建議站長這樣做。雖然百度蜘蛛的確有一個IP池，真實(shí)IP在這個IP池內(nèi)切換，但是我們無法保證這個IP池整體不會發(fā)生變化。所以，我們建議站長勤看日志，發(fā)現(xiàn)惡意蜘蛛后放入黑名單，以保證百度的正常抓取。

　　同時，我們再次強(qiáng)調(diào)，通過IP來分辨百度蜘蛛的屬性是非常可笑的事情，所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來都不存在的。

　　robots寫法

　　robots是站點(diǎn)與spider溝通的重要渠道，站點(diǎn)通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。

　　robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR、CR/NL、or NL作為結(jié)束符），每一條記錄的格式如下所示：

　　"<field>:<optional space><value><optionalspace>"

　　在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,詳細(xì)情況如下：

　　User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設(shè)為*，則對任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

　　Disallow:該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。

　　Allow:該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。

　　使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

　　"*" 匹配0或多個任意字符

　　"$" 匹配行結(jié)束符。

　　最后需要說明的是：百度會嚴(yán)格遵守robots的相關(guān)協(xié)議，請注意區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無法生效。

　　robots需求用法對應(yīng)表

　　上面說了那么多理論，有沒有簡單對照表格告訴我，怎樣的需求場景下應(yīng)該怎樣撰寫robots文件？有的：