搜索引擎蜘蛛访问动态

2008/4/28 19:44  

24日以后，搜索引擎蜘蛛访问西藏信息网动态：

  1. 25日，百度搜索蜘蛛首次访问西藏行政区划页，与百度蜘蛛首次来访相距5天。与google第一时间访问全部网页不同，百度长时间只访问首页。之后，百度仍然频繁访问首页，而很少访问下级网页。有时甚至频繁到令人吃惊的地步：

    61.135.166.102 – – [25/Apr/2008:15:11:02 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
    220.181.38.169 – – [25/Apr/2008:15:11:12 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
    61.135.166.102 – – [25/Apr/2008:16:04:36 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
    220.181.38.169 – – [25/Apr/2008:16:09:57 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
    61.135.166.102 – – [25/Apr/2008:17:05:14 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
    220.181.38.169 – – [25/Apr/2008:17:06:44 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”
    61.135.166.102 – – [25/Apr/2008:18:06:21 -0700] “GET / HTTP/1.1” 200 2189 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”

  2. 26日，出现搜索蜘蛛MLBot (www.metadatalabs.com/mlbot)
  3. 26日，出现yahoo搜索蜘蛛Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp。这是来自Yahoo.com，与之前来自雅虎中国的不同。首次来到即访问了全部网页。
  4. 26日，出现MSN搜索蜘蛛msnbot-media/1.0 (+http://search.msn.com/msnbot.htm。首次来到即访问了全部网页。

转载请注明来自:jijian91与小z - 互联网

永久链接:https://jijian91.com/blog20080428/xizanginfo-search-spider.html