上次提到新网址提交Google Webmasters后，立即引来了Google蜘蛛。现在又有了新进展。

连续几天，Google蜘蛛每天到访，但只放问/robots.txt。因为/robots.txt并不存在，所以返回500错。

13日，我增加了/robots.txt文件。当天，Google蜘蛛在访问到/robots.txt后，又访问了网站的根目录：
/robots.txt
Http Code: 200 Date: Apr 13 21:10:33 Http Version: HTTP/1.1 Size in Bytes: 11
Referer: –
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

/
Http Code: 200 Date: Apr 13 21:10:34 Http Version: HTTP/1.1 Size in Bytes: 0
Referer: –
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

原文永久链接：https://jijian91.com/blog20080414/googlebot-log.html