Crawl budget: guía práctica para sitios web grandes

Un sitio web de 800 páginas rara vez necesita «conseguir más crawl budget». Un sitio de 80.000 URL creadas por combinaciones de filtros puede hacer que Googlebot dedique casi todo su tiempo a páginas que nadie quiere indexar. Los síntomas pueden parecerse en Search Console, pero los remedios son completamente distintos.

Esta guía está pensada para ecommerce, medios, marketplaces y proyectos de SEO programático que ven muchas URL atascadas en «Descubierta: actualmente sin indexar», un descubrimiento tardío de los sitemaps o logs del servidor dominados por páginas con parámetros.

¿Qué es el crawl budget?

El crawl budget es el conjunto de URL que Google puede y quiere rastrear en un sitio durante un periodo de tiempo. Tiene dos componentes:

• Límite de capacidad de rastreo: cuántas solicitudes puede hacer Googlebot sin saturar el servidor.
• Demanda de rastreo: cuánto quiere Google volver a visitar las URL según su frescura, popularidad, calidad y valor.

Un servidor más rápido mejora la capacidad, pero no garantiza más rastreo. Si miles de URL son pobres, casi idénticas o no tienen demanda de búsqueda, la demanda de rastreo sigue siendo baja.

Google afirma que el crawl budget es relevante sobre todo para sitios muy grandes, para sitios con unas 10.000 URL o más que cambian a diario, o para sitios con una gran proporción de URL «Descubierta: actualmente sin indexar». En un blog pequeño, suele bastar con un sitemap limpio y unos enlaces internos razonables.

Primero confirma que el problema es el crawl budget

No empieces editando robots.txt. Responde a cuatro preguntas:

1. ¿Se rastrean las URL importantes poco después de su publicación o de actualizaciones relevantes?
2. ¿Permanecen muchas URL válidas en «Descubierta: actualmente sin indexar» durante semanas?
3. ¿Muestra Crawl Stats que Googlebot gasta solicitudes en parámetros, en la búsqueda interna o en duplicados?
4. ¿Devuelve el servidor 5xx frecuentes, timeouts o respuestas lentas durante los picos de rastreo?

Si la respuesta es negativa en todos los casos, es más probable que el problema sea la calidad, los enlaces internos o la indexabilidad que el crawl budget.

Empieza por los logs del servidor, no por la intuición

GA4 no proporciona registros de acceso del servidor. Consulte registros autorizados para revisar las URL solicitadas, los estados y los tiempos; una comprobación pública de etiquetas no ofrece esos datos.

Un informe de referencia útil incluye:

No confíes ciegamente en un user agent. Los bots maliciosos pueden decir que son Googlebot. Verifica el DNS inverso o los rangos de IP oficiales antes de incluir solicitudes en tu informe de rastreo.

Siete formas de mejorar la eficiencia del rastreo

1. Reduce el inventario de URL que Google puede descubrir

La navegación por facetas es un culpable habitual. Una categoría con 10 filtros, varios valores por filtro y combinaciones sin restricciones puede generar decenas de miles de URL.

Sepáralas en tres grupos:

• Con demanda de búsqueda y valor propio: indexar, canonical autorreferenciado y enlaces internos.
• Útiles para los visitantes pero no pensadas para buscadores: controlar el rastreo y la indexación de forma deliberada.
• Sin valor: dejar de generarlas o de enlazarlas.

Las etiquetas canonical no eliminan el rastreo, porque Google debe descargar la página para leerlas. La solución más eficaz es dejar de distribuir URL inútiles.

2. Trata el sitemap como una lista de prioridades

Un sitemap no es un volcado de la base de datos. Incluye solo las URL que sean:

• canónicas;
• que devuelvan 200;
• indexables;
• con contenido suficiente para ser útil;
• con una fecha <lastmod> veraz.

Cambiar todos los lastmod cada vez que se despliega un pie de página hace que la señal sea menos útil. Actualízalo cuando cambie el contenido principal, los datos del producto o información relevante.

Usa el Sitemap Checker para inspeccionar los índices de sitemaps, el recuento de URL y la cobertura de lastmod.

3. Elimina las cadenas de redirecciones y los enlaces obsoletos

Googlebot puede seguir redirecciones, pero A → B → C → D retrasa la llegada y aumenta el mantenimiento. Los enlaces internos deben ir directamente a D, y el sitemap debe contener solo D.

Tras una migración, no elimines demasiado pronto las redirecciones antiguas. Reduce las cadenas a un solo salto y vigila los logs para ver si las URL heredadas siguen recibiendo solicitudes. El Redirect Chain Checker muestra rápidamente todos los saltos.

4. Devuelve códigos de estado con sentido

Un producto eliminado de forma permanente debe devolver 404 o 410, no una página de «no encontrado» con estado 200. Los soft 404 hacen que los rastreadores sigan procesando URL sin valor.

Los errores 5xx repetidos y los timeouts son más graves. Cuando el servidor falla, la capacidad de rastreo puede disminuir para evitar más carga. Agrupa los errores por plantilla y por hora para distinguir los defectos de la aplicación de los picos de tráfico.

5. Haz que las páginas sean más baratas de descargar y renderizar

Las respuestas rápidas, el HTML compacto y los recursos estables permiten a Google procesar más contenido en las mismas condiciones. El TTFB, la caché, las consultas a la base de datos, las imágenes y el JavaScript afectan a la eficiencia del rastreo además de a la experiencia de usuario.

Las páginas con mucho JavaScript también necesitan una fase de renderizado después de rastrear el HTML. El renderizado en el servidor o el prerenderizado del contenido crítico reduce la dependencia de la cola de renderizado.

6. Construye enlaces internos en torno al valor de negocio

Una URL importante que solo existe en un sitemap puede seguir pareciendo débil. Las categorías, los hubs, las migas de pan y el contenido relacionado deberían crear caminos de rastreo naturales hacia los productos y las landing pages prioritarios.

Una regla práctica: si el equipo de contenido no sabe explicar cómo llega un visitante a la página, un rastreador puede tener la misma dificultad.

7. Planifica los grandes lotes de publicación y actualización

Los medios y los marketplaces pueden provocar picos de carga al modificar cientos de miles de registros a la vez. Dividir en lotes razonables, usar índices de sitemap por tipo de contenido y mantener valores de lastmod precisos ayuda a los rastreadores a centrarse en lo que ha cambiado.

«Trucos» de crawl budget que salen mal

Añadir noindex en todas partes

Google debe rastrear una URL para ver el noindex, así que no elimina la solicitud. Las reglas de robots tampoco deben tratarse como un regulador casual del presupuesto; las URL bloqueadas pueden seguir conocidas y en cola durante mucho tiempo.

Bloquear CSS y JavaScript

Google necesita los recursos clave para renderizar y evaluar las páginas. Bloquearlos puede hacer que una página parezca incompleta o poco adaptada a móviles.

Sustituir sitemaps para forzar la prioridad

Los sitemaps favorecen el descubrimiento; no asignan una cuota garantizada. Un sitemap limpio aclara el inventario, pero no puede hacer que un contenido pobre merezca ser rastreado.

Subir la tasa de rastreo a toda costa

Si el servidor es lento o falla, más actividad de rastreo empeora el problema. Restablece la salud del rastreo antes de preocuparte por su volumen.

Un plan de 14 días para un sitio grande

Días 1–3: establece una línea base

Exporta Crawl Stats, los informes de indexación y de 7 a 14 días de access logs. Agrupa las URL por plantilla, estado, tipo de parámetro y tiempo de respuesta.

Días 4–6: elige las tres mayores fuentes de desperdicio

Suelen ser las URL facetadas, las cadenas de redirecciones y los soft 404. Corregir 20 problemas a la vez hace imposible atribuir los resultados.

Días 7–10: corrige el generador

Elimina de los componentes los enlaces con parámetros, normaliza la creación de URL, actualiza los generadores de sitemap y devuelve los códigos de estado correctos. Prueba en staging, recordando que los rastreadores evalúan el entorno público.

Días 11–14: monitoriza el lanzamiento

Compara las solicitudes a las URL prioritarias, la frecuencia de 5xx, el tiempo de respuesta y la evolución de la indexación. Los patrones de rastreo no cambian de la noche a la mañana, pero los logs ofrecen pruebas más tempranas que los informes agregados.

Search Console frente a los logs

Search Console es lo mejor para las tendencias de rastreo, los estados de indexación y los errores de todo el sitio. Los logs responden a las preguntas detalladas: qué bot solicitó qué URL, a qué hora, con qué estado y con qué latencia.

Las fuentes se complementan. Search Console aporta el mapa; los logs muestran las huellas.

Cómo debería verse el éxito

No juzgues el proyecto por el total de solicitudes de Googlebot. Un lanzamiento exitoso para mejorar la eficiencia del rastreo puede mantener estable el volumen de solicitudes mientras cambia el destino de esas solicitudes.

Sigue un pequeño cuadro de mando durante cuatro a seis semanas:

• la proporción de solicitudes de Googlebot que llegan a páginas canónicas con 200;
• las solicitudes desperdiciadas en parámetros, redirecciones, soft 404 y errores;
• el tiempo de respuesta mediano de las plantillas más rastreadas;
• el tiempo transcurrido entre la publicación de una URL importante y su primer rastreo;
• el número de URL valiosas que siguen descubiertas pero no indexadas;
• los errores del servidor durante los picos de rastreo.

El mejor resultado no es «más rastreo» por sí solo. Es un descubrimiento más rápido de los cambios importantes, menos solicitudes a variantes inútiles y un rendimiento estable del servidor.

La estacionalidad importa. Un marketplace antes de una gran rebaja, un medio durante una noticia de última hora o un catálogo tras una migración pueden experimentar cambios temporales en la demanda. Compara periodos equivalentes y anota los lanzamientos para que una semana movida no se convierta en una conclusión falsa.

Por último, separa el rastreo de la indexación. Una URL puede descargarse con frecuencia y seguir sin indexarse porque su contenido es pobre, duplicado o no lo bastante útil. Cuando los logs muestren que Google llega a la página de forma fiable, deja de ajustar las reglas de rastreo y mejora la propia página.

Punto de partida: ejecuta una auditoría SEO gratuita para encontrar problemas de sitemap, robots, redirecciones e indexabilidad y usa después los logs del servidor para medir el rastreo real en un sitio grande.

Conclusión

Optimizar el crawl budget no consiste en encontrar un truco que haga que Googlebot nos visite más a menudo. Consiste en dirigir la actividad de rastreo existente hacia URL valiosas mientras el servidor responde con rapidez y fiabilidad. Reduce el inventario desperdiciado, mantén sitemaps honestos, corrige los códigos de estado, acorta las redirecciones y enlaza internamente según la prioridad. Si el sitio no es lo bastante grande para que el crawl budget importe, mejorar la calidad del contenido suele ser la mejor inversión.

Referencias: Google Search Central – Crawl Budget Management y documentación de Googlebot.