Yahoo!的新爬虫：Slurp

最近，Yahoo!宣布其新的网站爬虫已投入使用，根据David Simpson在Yahoo Search Blog上的说明，该新爬虫仍然沿用Yahoo!爬虫的传统名称：Slurp，但索引速度更快更有效率，与它的前辈相比，它大约可节省25%的访问请求和带宽占用。

Yahoo!爬虫的效率对我们来说一直是个困扰，以IT技术点评6月份的情况为例，“Yahoo Slurp的读取数据量为170.31M，与之相对的是Googlebot的57.48M和BaiduSpider 39.26M，明显的投入产出比较差，有点可笑的是，6月Yahoo Slurp读取Robots.txt的次数为3104，平均每天100次，不知道是不是因为Yahoo Slurp从不记录Robots.txt的内容，每读取一次网页就要查看一下Robots.txt。”老实说，究竟为什么Yahoo!的效率低到这个程度我们也无从知晓，也许，是Yahoo!与Yahoo!中文造成的重复访问？（纯属猜测）

Anyway，希望新的索引爬虫的上线能够让这种情况多多少少得到些改善，不然，真的要考虑是不是干脆在robots.txt中禁掉了Yahoo! Slurp了。

Yahoo! Slurp的介绍

从Yahoo!对其的介绍看，应该还是值得期待的。——虽然目前从我们的Web服务器日志上仍看不出有什么改变。

In addition to crawling the Internet faster, our new crawler is more efficient at visiting websites. As a result, site owners will notice as much as a 25% reduction in the number of requests and bandwidth consumed by the crawler.

Now, with the new crawler in full production, we have turned off the old crawler and site owners should see a much lower crawl load without a loss in content coverage.

同时，Yahoo!还对前段时间引人诟病的Yahoo!爬虫“疯狂”的访问提出解释：

While transitioning to the new crawler over the past few weeks, we had been running both crawlers in tandem. In some cases, this increased the frequency of Yahoo Search requests to websites. Now, with the new crawler in full production, we have turned off the old crawler and site owners should see a much lower crawl load without a loss in content coverage.

With this change of behavior in the crawler, you may see some shuffling of the pages that are included in the index and some changes in ranking as well.

文章来源：维博科技

上一条：PageRank，TrustRank与Yahoo
下一条：雅虎优化：次级页面（Subpages）、主域名（Main Domain）与网页级别

【声明】：

以上文章或资料除注明为维博科技自创或编辑整理外，均为各方收集或网友推荐所得。其中摘录的内容以共享、研究为目的，不存在任何商业考虑。

目前网站上有些文章未注明作者或出处，甚至标注错误，此类情况出现并非不尊重作者及出处网站，而是因为有些资料来源的不规范。如果有了解作者或出处的原作者或网友，请告知，本网站将立即更正注明，并向作者或出处单位道歉。

被摘录的对象如有任何异议，请与本站联系，联系邮箱：webmaster@grank.org，本站确认后将立即撤下。谢谢您的支持与理解！