9、Robots.txt

robots.txt是什么？有沒有想過，如果我們某個(gè)站點(diǎn)不讓百度和google收錄，那怎么辦？　搜索引擎已經(jīng)和我們達(dá)成一個(gè)約定，如果我們按約定那樣做了，它們就不要收錄。這個(gè)寫約定的的文件命名為:robots.txt。robots.txt是一個(gè)最簡(jiǎn)單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄，哪些不允許收錄。關(guān)于robots.txt一般站長(zhǎng)需要注意?！?/span>

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個(gè)網(wǎng)站（比如 http://www.abc.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件，如果 Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

我所在的網(wǎng)站算是一個(gè)大型網(wǎng)站，百度收錄3000萬(wàn)，每天百度爬蟲抓取總次數(shù)在500w次左右，單頁(yè)的百度收錄率 80%，看起來已經(jīng)是一個(gè)相當(dāng)不錯(cuò)的數(shù)據(jù)，但分析一下詳細(xì)的日志文件，還是可以發(fā)現(xiàn)一些問題?！?/span>

robots.txt文件的重要作用意義（點(diǎn)擊閱讀）

搜索引擎機(jī)器人通過鏈接抵達(dá)互聯(lián)網(wǎng)上的每個(gè)網(wǎng)頁(yè)，并抓取網(wǎng)頁(yè)信息。搜索引擎機(jī)器人在訪問一個(gè)網(wǎng)站時(shí)，會(huì)首先檢查該網(wǎng)站的根目錄下是否有一個(gè)叫做robots.txt的純文本文件。當(dāng)我們的網(wǎng)站有一些內(nèi)容不想被搜索引擎收錄，我們可以通過設(shè)置robots.txt文件告知搜索引擎機(jī)器人。

網(wǎng)站安全是重中之重

網(wǎng)站服務(wù)是否穩(wěn)定，對(duì)用戶、站方和搜索引擎來說都非常重要。目前國(guó)內(nèi)網(wǎng)站的安全問題十分嚴(yán)峻，眾多網(wǎng)站由第三方代建，維護(hù)人員缺乏足夠的知識(shí)，大量的網(wǎng)站都存在不同程度的安全和管理漏洞。