咨询电话:010-13522123008 QQ:284598818
聚源SEO培训,免费网页基础培训,终生会员制,快乐学习,轻松赚钱----详情查看
page库的作用是什么
抓取的封闭性越强，对外的通信开销越小。假如爬虫1从这个种子站点开始抓取，由于
总是抓取的网页，而这些网页总是应该归属爬虫1抓取，因此不需要和其他爬虫通信，反过来，如果抓取的封闭性差，表示可能抓到各种各样域名下的网页，并且可能需要交给其他爬虫抓取.
总调度不得不把这些信息相互转发，这样就会增加额外的通信代价，因此提高抓取的封闭性额可以减少这种合作抓取带来的通信开销，前面提到过的宽度优先的遍历方法及深度策略能够有效的保证这种抓取的封闭性.