robots能(néng)規範網站的URL，robots協議（也稱為(wèi)爬蟲協議、機器人協議 等）的全稱是“網絡爬蟲排除标準”（Robots Exclusion Protocol），網站通過robots協議告訴搜索引擎哪些頁(yè)面可(kě)以抓取，哪些頁(yè)面不能(néng)抓取。robots協議可(kě)以控制蜘蛛抓取站長(cháng)需要抓取的某些有(yǒu)效有(yǒu)價值的信息，減輕對服務(wù)器的負擔。
Robots協議使用(yòng)
1、網站調試期間和網站改版：這時候往往會涉及到網站的标題、描叙或者結構導航的更改，如果任由搜索引擎得抓取，往往會造成搜索引擎對網站好感度下降，收錄異常，嚴重者直接進入沙盒期!但是記得上線(xiàn)之後要取消屏蔽，我一個朋友得網站很(hěn)久都不被網站收錄，後來檢查竟然是網站robots裏面屏蔽了蜘蛛，真的有(yǒu)點啼笑皆非了。
2、網站的後台：網站的後台數據一方面涉及網站隐私，另一方面對于用(yòng)戶來說也沒價值必要，通常是大中(zhōng)小(xiǎo)網站屏蔽的首要内容。
3、不希望被某個搜索引擎爬行：總所周知淘寶2008已經在robots中(zhōng)禁止百度抓取，但是百度還是保留淘寶的首頁(yè)，如圖：
4、一些不想被抓取的頁(yè)面：可(kě)适當控制網站權重流向，如廣告頁(yè)、不重要頁(yè)面等。
robots協議的作(zuò)用(yòng)
1、引導搜索引擎蜘蛛抓取指定欄目或内容；
2、網站改版或者URL重寫優化時候屏蔽對搜索引擎不友好的鏈接；
3、屏蔽死鏈接、404錯誤頁(yè)面；
4、屏蔽無内容、無價值頁(yè)面；
5、屏蔽重複頁(yè)面，如評論頁(yè)、搜索結果頁(yè)；
6、屏蔽任何不想被收錄的頁(yè)面；
7、引導蜘蛛抓取網站地圖；
使用(yòng)好robots協議對于我們網站的SEO有(yǒu)着重要作(zuò)用(yòng)，做的好可(kě)以有(yǒu)效的屏蔽那些我們不想讓搜索引擎抓取的頁(yè)面，也就是對用(yòng)戶體(tǐ)驗不高的頁(yè)面，從而将有(yǒu)利于關鍵詞排名(míng)的内頁(yè)充分(fēn)展示個客戶，獲得搜索引擎對站内頁(yè)面的權重，從而有(yǒu)利于我們将網站關鍵詞排名(míng)做的更好，從而獲取更多(duō)流量。
