咨询电话:010-13522123008 QQ:284598818

聚源SEO培训,免费网页基础培训,终生会员制,快乐学习,轻松赚钱----详情查看

ROBOTS协议是WEB站点和搜索引擎爬虫交互的一种方式，既将一个ROBOT.TXT的文件放在网站的根目录上，
在上述文件中，ROBOTS秀逸通过告知搜索引擎非公开目录和非公开网页，说明如下。
表示对一切搜索引擎爬虫有效.

如果特别针对某个爬虫，则可以写明，表示抓取这个目录
通过遵守ROBOTS协议，表示出爬虫尊重和执行WEB站点的要求，因此爬虫需要有一个分析ROBOTS协议的模块，并严格按照秀逸的规定值抓取WEB主机允许访问的目录和网页。