Se puede establecer la frecuencia de rastreo del robot Googleboot (el rastreador de contenidos de Google, encargado de indexar nuestras páginas) a través de las herramientas para editores de Google.
Para establecer dicha frecuencia, es necesario tener una cuenta en la sección de herramientas de editores de Google (vale con una dirección de correo de Google) y validar que el sitio es nuestro (para evitar uso fraudulento).
Su principal aplicación es poder establecer una frecuencia de rastreo acorde con la política de nuestro sitio. A veces nos puede interesar que los contenidos se indexen muy rápido (sobre todo cuando estamos empezando y tenemos pocos contenidos)… o cuando tenemos cientos de miles de páginas indexadas, el interés puede ser el opuesto (que sea lento, para evitar colapsar nuestro servidor).
La validación de que el sitio es nuestro se hace mediante un "tag" en el código de la pagina o mediante un archivo descargable "html" que debemos poner en nuestro directorio raíz, para que Google reconozca que tenemos... Leer más ...