2008年4月15日

Google bot之后,又一个蜘蛛来到新网站。这就是SurveyBot/2.3 (Whois Source),来自域名信息Whois网站http://www.whois.sc/。SurveyBot/2.3从哪里得到的新域名信息呢?有点奇怪。但肯定与Google Webmasters没有关系。

访问log如下:
/robots.txt
Http Code: 200     Date: Apr 14 21:45:44     Http Version: HTTP/1.0     Size in Bytes: 11
Referer: http://www.whois.sc/
Agent: SurveyBot/2.3 (Whois Source)

/
Http Code: 206     Date: Apr 14 21:45:44     Http Version: HTTP/1.1     Size in Bytes: 524
Referer: http://www.whois.sc/新域名
Agent: SurveyBot/2.3 (Whois Source)

后一条log中,referer的最后原本是我的新域名。为防止在网上留下链接,影响试验,我把它改了。

原文永久链接:https://jijian91.com/blog20080415/surveybot.html