SurveyBot/2.3 (Whois Source)

2008/4/15 22:00  

Google bot之后,又一个蜘蛛来到新网站。这就是SurveyBot/2.3 (Whois Source),来自域名信息Whois网站http://www.whois.sc/。SurveyBot/2.3从哪里得到的新域名信息呢?有点奇怪。但肯定与Google Webmasters没有关系。

访问log如下:
/robots.txt
Http Code: 200     Date: Apr 14 21:45:44     Http Version: HTTP/1.0     Size in Bytes: 11
Referer: http://www.whois.sc/
Agent: SurveyBot/2.3 (Whois Source)

/
Http Code: 206     Date: Apr 14 21:45:44     Http Version: HTTP/1.1     Size in Bytes: 524
Referer: http://www.whois.sc/新域名
Agent: SurveyBot/2.3 (Whois Source)

后一条log中,referer的最后原本是我的新域名。为防止在网上留下链接,影响试验,我把它改了。

转载请注明来自:jijian91与小z - 编程

永久链接:http://jijian91.com/blog20080415/surveybot.html