您的服务器是否把Googlebot当作普通的网站访问者?

尽管Googlebot尽力表现的像一个普通用户，但有一些服务器可能还是会感到困惑而以比较奇怪的方式进行回应。比如，当用户以Googlebot为user-agent进行访问时，虽然您的服务器在大多数时间里都可以完美无暇地工作，但是有一些运行IIS的服务器会返回服务器错误(或者其他一些和发生服务器错误相关的操作)。在网站管理员支持论坛里，我们曾经碰到过IIS服务器返回500错误(服务器错误)和404错误(文件找不到)出现在"网络抓取"诊断部分的情况，还有提交网站地图(Sitemap)文件时出现302错误。如果您的服务器重定向到错误页面，您应该确保我们可以抓取这个错误页面，并且确保服务器返回正确的错误代码。当您做好这些以后，我们就可以在网站管理员工具里显示这些错误。

如果您的网站托管在运行MicrosoftIIS的服务器上，请记住，自然情况下网址是区分大小写的(我们也是如此处理他们的)。这包括那些出现在robots.txt文件里的网址。如果您的服务器以不区分网址大小写的形式工作，您应该小心处理这一部分。例如,"disallow:/paris"将阻止我们访问/paris，而不是/Paris。

您的网站是否存在一些系统性的已损坏的链接?

现代内容管理系统(CMS)经常会导致一些问题，而这些问题往往能够影响大批的网页。有时候这些问题很直接，当您在浏览这些页面时就可以发现;有时候，靠您自己很难发现这些问题。如果某个类似上述的问题产生了大量损坏的链接，它们一般会显示在您网站管理员工具帐户的"网络抓取"诊断部分(列出那些正常返回404代码的已损坏的网址)。在最近的一个个案中，一个网站的RSSfeed出了一个小的编码错误，结果导致超过60,000个坏的网址显示在该网站的网站管理员工具帐户里。您一定能理解，我们更愿意将时间花在抓取内容而不是这些404错误页面上:)。