Cómo reducir la velocidad de rastreo de Googlebot en tu dominio
En la mayoría de los sitios, Googlebot ajusta automáticamente su ritmo de rastreo. Sin embargo, si tu servidor nota picos de carga causados por el bot, puedes solicitarle que disminuya su frecuencia. El único método admitido oficialmente es a través de Google Search Console.
Nota: Google no tiene en cuenta la directiva Crawl-delay del archivo robots.txt; incluirla no modificará la velocidad de rastreo.
1. Ajustar la frecuencia de rastreo en Google Search Console
- Inicia sesión en Google Search Console.
- Selecciona la propiedad del dominio que quieres limitar.
- En el menú lateral, ve a Configuración y, en la sección «Herramientas y reportes anteriores», haz clic en Ajuste de la frecuencia de rastreo (puede aparecer como «Crawl rate»).
- Marca la opción Limitar la frecuencia de rastreo y desplaza el control deslizante hacia la izquierda para elegir un nivel inferior (por ejemplo,
Low). - Haz clic en Guardar. La reducción suele aplicarse en pocos minutos y permanecerá activa durante 90 días.
Importante: Si el panel muestra “La velocidad de rastreo de Google ya se está optimizando automáticamente”, significa que Search Console considera el ritmo apropiado y no permite cambios manuales.
2. Verificar que la reducción ha surtido efecto
- En Search Console, vuelve a Configuración → Estadísticas de rastreo y revisa la gráfica «Páginas rastreadas por día». Debería mostrar una caída en las 24–48 horas siguientes.
- En tu servidor, consulta el número de peticiones de Googlebot mediante:
grep "Googlebot" /ruta/del/access.log | wc -l
Compara el resultado diario antes y después del cambio.
3. Buenas prácticas
- Evita bloqueos radicales: usar
403o404perjudica el SEO; limita solo la frecuencia. - Mejora el rendimiento: habilita caché, compresión y CDN para que tu servidor soporte el rastreo normal.
- Revisa con regularidad: si publicas contenido nuevo con frecuencia, aumenta el límite pasado un tiempo para no retrasar la indexación.
- Monitoriza la carga: observa CPU, RAM y disco para detectar cuellos de botella que puedas optimizar sin depender de la tasa de rastreo.
Conclusión
La forma más segura y efectiva de reducir la actividad de Googlebot es mediante la opción de Ajuste de la frecuencia de rastreo en Google Search Console. Después de aplicarla, controla las métricas en Search Console y en tu servidor para confirmar que la carga se estabiliza sin comprometer la visibilidad en los resultados de búsqueda.
