robots.txt主要作用

　　有些人會問，既然robots文件沒弄好，或出錯了，會影響整個網(wǎng)站的收錄，那為什么還要這個文件呢？
　　其實robots是為有特別情況的站長準備的，因為有些網(wǎng)站，有一些頁面是站長不想被任何搜索引擎收錄的，所以才有了這個robots文件。
　　robots.txt文件用法舉例：
　　例1、禁止所有搜索引擎訪問網(wǎng)站的任何部分
　　User-agent: *
　　Disallow: /
　　例2、允許所有的robot訪問
　　User-agent: *
　　Disallow:
　?。ɑ蛘咭部梢越ㄒ粋€空文件 "/robots.txt" file）
　　例3、禁止某個搜索引擎的訪問
　　User-agent: BadBot
　　Disallow: /
　　例4、允許某個搜索引擎的訪問
　　User-agent: Baiduspider
　　Disallow:
　　User-agent: *
　　Disallow: /
　　例5、假設(shè)某個網(wǎng)站有三個目錄對搜索引擎的訪問做了限制，可以這么寫：
　　User-agent: *
　　Disallow: /cgi-bin/
　　Disallow: /tmp/
　　Disallow: /joe/
　　需要注意的是，對每一個目錄必須分開聲明，而不要寫成：“Disallow: /cgi-bin/ /tmp/”。
　　User-agent：后的*（通配符） 具有特殊的含義，代表“any robot”，所以在該文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif ”這樣的記錄出現(xiàn)。
　　另外，robots.txt主要作用是保障網(wǎng)絡(luò)安全與網(wǎng)站隱私，百度蜘蛛遵循robots.txt協(xié)議。通過根目錄中創(chuàng)建的純文本文件robots.txt，網(wǎng)站就可以聲明哪些頁面不想被百度蜘蛛爬行并收錄，每個網(wǎng)站都可以自主控制網(wǎng)站是否愿意被百度蜘蛛收錄，或者指定百度蜘蛛只收錄指定的內(nèi)容。當百度蜘蛛訪問某個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果該文件不存在，那么爬蟲就沿著鏈接抓取，如果存在，爬蟲就會按照該文件中的內(nèi)容來確定訪問的范圍。