1、robots協議是什么

robots協議也叫 robots.txt（統一小寫）是一種存放于網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫游器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。

2、robots協議怎么寫

因為一些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統一為小寫。

User-agent: *

Disallow:

allow:

'*'和'$'的含義

Baiduspider支持使用通配符'*'和'$'來模糊匹配url。

'$' 匹配行結束符。

'*' 匹配0或多個任意字符。

對于一般企業可以這樣的去寫，在Disallow掉不想被搜索引擎抓取的文件即可，比如我們的網站數據，圖片等等。

本文來源：徐州酷優網絡科技有限公司

本文網址：https:///news/faq/2732.html

聲明，本站文章均為酷優網絡原創或轉載，歡迎分享，轉載時請注明文章作者和“來源：徐州網站建設”并附本文鏈接