Проверить, является ли робот, осуществляющий доступ к вашему серверу, роботом Googlebot, можно, выполнив обратный поиск в DNS и убедившись, что имя относится к домену googlebot.com, а затем выполнив прямой поиск в DNS по этому имени робота googlebot. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники.

 

 

Рассмотрим пример.

> host 66.249.66.1
 
1.66.249.66.in-addr.arpa domain name pointer 
 
 
crawl-66-249-66-1.googlebot.com. 
 
> host crawl-66-249-66-1.googlebot.com 
 
 
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
 

Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Это связано с тем, что эти диапазоны IP-адресов могут измениться, что создаст проблемы для веб-мастеров, которые установили к ним жесткую привязку. Наилучший способ идентифицировать доступ робота Googlebot - с помощью агента user-agent (Googlebot).