¿Qué significan el rastreo y la indexación?

Rastreo e indexación: definición

Para que una página pueda aparecer en Google, antes hay que encontrarla (rastreo), procesarla y almacenarla (indexación). De ello se encarga Googlebot, un programa que sigue enlaces y consulta páginas. En el índice los contenidos se ordenan por temas y términos, de modo que ante una búsqueda se encuentran páginas adecuadas en fracciones de segundo.

El rastreo no garantiza la indexación, y la indexación no garantiza buenas posiciones. Google decide según calidad y utilidad qué páginas incorpora. Para las empresas, la pregunta central es, por tanto: ¿están mis páginas importantes realmente en el índice? Search Console muestra qué páginas conoce Google, cuáles ha incorporado y dónde hay problemas.

Cómo entran las páginas en el índice

Google descubre páginas a través de enlaces y de sitemaps XML. Después, Googlebot consulta la página y la renderiza; también se ejecuta JavaScript, aunque eso requiere tiempo adicional. Los tiempos de carga largos y los errores frecuentes del servidor frenan además al rastreador. El comportamiento puede controlarse con algunas herramientas:

• robots.txt: define qué áreas no deben consultar los rastreadores
• noindex: indica a los buscadores que no incorporen una página al índice
• Etiqueta canonical: señala la dirección preferida cuando hay contenido duplicado
• Sitemap XML: enumera las páginas que deben indexarse
• Enlazado interno: hace accesibles las páginas importantes en pocos clics

Ejemplo práctico: una tienda online con direcciones de filtro

Un comercio online ofrece filtros por talla, color y precio. Con ello surgen miles de variantes de dirección del mismo surtido. Googlebot invierte mucho tiempo en esos duplicados, mientras que los productos nuevos llegan tarde o nunca al índice. En Search Console, muchas direcciones muestran «Rastreada: actualmente sin indexar».

Ayudan las etiquetas canonical o noindex para las combinaciones de filtros, un sitemap que contenga solo las páginas relevantes y un enlazado interno más ajustado. Además, los productos agotados o retirados deben redirigirse correctamente o servirse con el código de estado adecuado, para que no queden páginas de error en el índice.

Ventajas, límites y errores habituales

Un rastreo bien dirigido concentra la atención en las páginas importantes. Según Google, el presupuesto de rastreo afecta sobre todo a sitios web muy grandes; las páginas de pequeñas empresas suelen tener otras palancas. Conviene saber que una página bloqueada en robots.txt puede aparecer igualmente en el índice si otras páginas enlazan a ella. Quien quiera excluirla con seguridad utiliza noindex y permite su consulta. Causas frecuentes de que falte la indexación:

• noindex trasladado por error del entorno de pruebas tras un relanzamiento
• Páginas, además de archivos CSS y JavaScript, bloqueadas por robots.txt
• Páginas de error (4xx/5xx) o largas cadenas de redirecciones
• Contenidos escasos o duplicados sin valor propio
• Páginas importantes sin enlaces internos («páginas huérfanas»)

Qué deben tener en cuenta las empresas

Revise con regularidad en Search Console el informe «Indexación de páginas» y la Inspección de URLs de las páginas importantes. Los entornos de prueba deben protegerse con control de acceso en lugar de confiar solo en noindex. Nano Concepts realiza auditorías técnicas de SEO, resuelve problemas de indexación y acompaña los relanzamientos con un plan de redirecciones.