继Google bot之后,又一个蜘蛛来到新网站。这就是SurveyBot/2.3 (Whois Source),来自域名信息Whois网站http://www.whois.sc/。SurveyBot/2.3从哪里得到的新域名信息呢?有点奇怪。但肯定与Google Webmasters没有关系。
访问log如下:
/robots.txt
Http Code: 200 Date: Apr 14 21:45:44 Http Version: HTTP/1.0 Size in Bytes: 11
Referer: http://www.whois.sc/
Agent: SurveyBot/2.3 (Whois Source)
/
Http Code: 206 Date: Apr 14 21:45:44 Http Version: HTTP/1.1 Size in Bytes: 524
Referer: http://www.whois.sc/新域名
Agent: SurveyBot/2.3 (Whois Source)
后一条log中,referer的最后原本是我的新域名。为防止在网上留下链接,影响试验,我把它改了。
分类: 编程 — jijian91