搜搜、雅虎中国搜索引擎蜘蛛

对西藏信息网的搜索引擎收录试验出现了一个小突破。百度蜘蛛到访一天多之后，4月24日发现了搜搜、雅虎中国搜索引擎蜘蛛的足迹。虽然，现在在这些搜索引擎中还查不到西藏信息网的网页，但有了蜘蛛爬抓，搜索引擎收录就不远了。

搜搜由Google提供搜索结果，不知道搜搜蜘蛛与Google蜘蛛是怎么分工的：
124.115.0.169 – – [23/Apr/2008:04:16:44 -0700] “HEAD / HTTP/1.1” 200 0 “http://xizanginfo.com/” “Sosospider+(+http://help.soso.com/webspider.htm)”
124.115.0.169 – – [23/Apr/2008:04:16:46 -0700] “GET / HTTP/1.1” 200 2113 “http://xizanginfo.com/” “Sosospider+(+http://help.soso.com/webspider.htm)”
124.115.0.27 – – [23/Apr/2008:10:45:34 -0700] “GET /robots.txt HTTP/1.1” 200 11 “http://xizanginfo.com/robots.txt” “Sosospider+(+http://help.soso.com/webspider.htm)”

雅虎中国蜘蛛这么快就到来，有点意外：
202.160.178.154 – – [23/Apr/2008:16:05:07 -0700] “GET /robots.txt HTTP/1.0” 200 11 “-” “Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”
202.160.181.184 – – [23/Apr/2008:16:05:08 -0700] “GET / HTTP/1.0” 200 2113 “-” “Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

因为我没有向任何搜索引擎提交过网址。所以，这些搜索引擎蜘蛛显然是顺着文章中留下的http://xizanginfo.com链接爬过来的。

转载请注明来自:jijian91与小z - 互联网

永久链接:https://jijian91.com/blog20080424/soso-yahoo-search-bot.html