robots协议的简单介绍 -世界杯365买球
robots是一个协议，告诉搜索引擎爬虫什么可以抓取什么不可以抓取，就相当于一个公司门口的广告一样。
robots往往就是一个.txt的文档，它往往存在于我们网站的根目录下。
功能：我们利用robots可以屏蔽我们网站无用的信息，节省服务器的带宽资源，提升收录。
注意：我们的网站在刚上线时我们需要编写我们的robots文件，屏蔽掉百度爬虫，我们需要进行测试之后再修改我们的robots，让搜索引擎来抓取。
robots往往就是一个.txt的文档，它往往存在于我们网站的根目录下。
功能：我们利用robots可以屏蔽我们网站无用的信息，节省服务器的带宽资源，提升收录。
注意：我们的网站在刚上线时我们需要编写我们的robots文件，屏蔽掉百度爬虫，我们需要进行测试之后再修改我们的robots，让搜索引擎来抓取。
世界杯365买球的版权声明：如无特殊标注，文章均来源于网络投稿，如有侵权，请联系邮箱[email protected]删除
