搜索引擎数据库中的所有网页，都是由Robot程序自动抓取收录的。但我们网站上总会有部分私密性数据不希望被搜索引擎抓取，这时候，就需要robots.txt。
robots.txt 是一个标准文档，意在阻止搜索引擎的Spider(蜘蛛）从您的 Web 服务器下载某些或全部信息，控制Spider的搜索范围。robots.txt的设置很简单，只要用记事本或其他文本编辑器，依照自己的网站需求，设定一系列选项，然后将其上传到网站根目录即可。robots.txt的设置如下：
User-agent: 搜索引擎的spider代号
Disallow: 输入数据夹或文件名的路径
如设定所有的spider都能够搜索及抓取整个网站。
User-agent: *
Disallow:
如拒绝Google搜索及抓取整个网站，但允许其它的
User-agent: Googlebot
Disallow:
如拒绝所有的Spider
User-agent: *
Disallow: /
如拒绝所有的Spider搜索及抓取protect目录及seo目录下abc.html文件
User-agent: *
Disallow: /protect/
Disallow: /seo/abc.html
如拒绝google搜索及抓取protect目录及seo目录下abc.html文件，但允许其他的
User-agent: Googlebot
Disallow: /protect/
Disallow: /seo/abc.html
很简单吧？另有一点请记住，搜索引擎不会立即对robots.txt 文件所作的更改作出反应，必须等到搜索引擎下一次读取该文件。这段时间，依搜索引擎及具体网站情况，从几小时到几天不等。
相关新闻
- 提高网站的制高点，网站运营的必读之论 2021-04-20
- 网站如何获得长尾关键词的流量 2021-04-13
- 三级分销佣金设置的基本原理 2020-11-06
- 对新手电商的四个经验之谈 2020-08-15
- 自然搜索流量下跌了原因何在？ 2020-08-15
