Cómo reducir la velocidad de rastreo de Bing en tu dominio
Si tu servidor recibe un número elevado de peticiones desde los bots de Bing (bingbot y msnbot) y notas sobrecarga, puedes limitar la frecuencia con la que el buscador rastrea tus páginas. A continuación verás dos métodos válidos:
- Usar Bing Webmaster Tools (recomendado).
- Añadir Crawl-delay en el archivo
robots.txt.
1. Ajustar el rastreo desde Bing Webmaster Tools
Este panel permite un control horario y se aplica de forma casi inmediata.
- Accede a Bing Webmaster Tools con tu cuenta Microsoft.
- Selecciona el sitio web en la lista de propiedades.
- En el menú izquierdo, ve a Settings → Crawl Control.
- Se muestra una gráfica de 24 h:
- El eje horizontal representa las horas locales.
- El eje vertical, la intensidad del rastreo (de “Very Low” a “Very High”).
- Arrastra los puntos para fijar un nivel inferior (por ejemplo “Low”) en las franjas de mayor carga de tu servidor.
- Haz clic en Save. Los cambios suelen aplicarse en menos de una hora.
Consejo: si no estás seguro, empieza con “Low” durante el horario laborable (09:00–18:00) y revisa los registros pasada una semana.
2. Limitar la velocidad con robots.txt
Bing respeta la directiva Crawl-delay expresada en segundos (intervalo mínimo entre peticiones). Google ignora este valor, por lo que el cambio solo afecta a Bing y a otros motores que lo soporten.
User-agent: bingbot
Crawl-delay: 10
User-agent: msnbot
Crawl-delay: 10
- Coloca el fragmento al principio de tu
robots.txt(raíz del sitio). 10segundos es un ejemplo moderado; aumenta o reduce según la capacidad de tu hosting.- Cualquier valor inferior a
1se interpreta como rastreo sin restricciones.
Importante: no uses Crawl-delay con decimales; algunos bots lo redondean.
3. Verificar los cambios
- En Bing Webmaster Tools, sección Reports → Crawl Information, consulta el gráfico “Pages Crawled per Day” antes y después del ajuste.
- Revisa los access logs de tu servidor:
grep -i bingbot access.log | wc -lcompara el conteo diario para confirmar la reducción.
4. Buenas prácticas
- Evita fijar valores demasiado altos (pocos segundos) si tu sitio publica contenido nuevo a menudo; podrías retrasar la indexación.
- Aumenta temporalmente la velocidad si lanzas una web renovada y quieres que Bing reindexe rápido.
- No bloquees completamente a
bingbot; perderías visibilidad en Bing, DuckDuckGo y otros buscadores que usan su índice. - Combina ajustes de rastreo con optimizaciones de servidor (caché, compresión, HTTP/2) para soportar más tráfico de bots y usuarios humanos.
Conclusión
Reducir la tasa de rastreo de Bing es sencillo: usa Crawl Control en Bing Webmaster Tools para un control granular, o añade un Crawl-delay en robots.txt si prefieres un método rápido. Supervisa tus registros y ajusta hasta encontrar el equilibrio entre carga del servidor y rapidez de indexación.
