Se puede establecer la frecuencia de rastreo del robot
Googleboot (el rastreador de contenidos de
Google, encargado de indexar nuestras páginas) a través de las herramientas para editores de Google.
La explicación esta aquí:
www.google.com/ ...swer=48620
Para
establecer dicha frecuencia, es necesario tener una cuenta en la sección de
herramientas de editores de
Google (vale con una dirección de correo de
Google) y validar que el sitio es nuestro (para evitar uso fraudulento).
Su principal aplicación es poder establecer una frecuencia de rastreo acorde con la política de nuestro sitio. A veces nos puede interesar que los contenidos se indexen muy rápido (sobre todo cuando estamos empezando y tenemos pocos contenidos)… o cuando tenemos cientos de miles de páginas indexadas, el interés puede ser el opuesto (que sea lento, para evitar colapsar nuestro servidor).
La validación de que el sitio es nuestro se hace mediante un "tag" en el código de la pagina o mediante un archivo descargable "html" que debemos poner en nuestro directorio raíz, para que
Google reconozca que tenemos el control sobre el sitio web.
La frecuencia es una petición/recomendación que hecemos a
Googlebot y que se atiende de modo condicional (no se le pide una velocidad, sino que reduzca el ritmo).... Pero es el
robot el que decide en cuanto lo reduce y cuando atiende a la solicitud (aveces tarda semanas).