¿Qué es el robots.txt?

robots.txt: definición e importancia

El robots.txt es un sencillo archivo de texto en el directorio raíz de un dominio, por ejemplo en ejemplo.de/robots.txt. Se basa en el Robots Exclusion Protocol, estandarizado en 2022 como RFC 9309. Los rastreadores serios consultan el archivo antes de visitar un sitio web y se rigen por las reglas que contiene.

Cada subdominio necesita su propio robots.txt, y el archivo es de lectura pública: cualquiera puede abrirlo y ver qué rutas están excluidas. Por eso no sirve para ocultar áreas confidenciales. De eso se encargan la protección de acceso, el inicio de sesión y la gestión de permisos.

Cómo funciona el robots.txt

El archivo se compone de bloques. Con User-agent se define a qué rastreador se aplica una regla, con Disallow se bloquean rutas y con Allow se permiten excepciones. Google solo evalúa los primeros 500 KiB del archivo y reconoce únicamente estas indicaciones y la línea Sitemap. Instrucciones como crawl-delay las ignora.

Es importante distinguir entre rastrear e indexar. Una página bloqueada con Disallow puede aparecer igualmente en los resultados de búsqueda si otras páginas enlazan a ella, aunque sin descripción. Si una página debe salir del índice, necesita un noindex y no puede estar bloqueada; de lo contrario, el rastreador nunca ve el noindex.

• User-agent: * – se aplica a todos los rastreadores
• Disallow: /carrito/ – bloquea una ruta para el rastreo
• Allow: – permite una excepción dentro de una ruta bloqueada
• Sitemap: – indica la dirección completa del sitemap XML

Ejemplo práctico: un relanza­miento con conse­cuen­cias

Una empresa de oficios hace rehacer su sitio web. En el servidor de pruebas, un Disallow bloquea todo el sitio para que nadie encuentre la versión inacabada. Al salir a producción, el archivo se copia por error. Pocas semanas después, las solicitudes que llegan a través de Google caen de forma notable porque los rastreadores ya no pueden consultar nada.

Se corrige con un archivo rectificado y una comprobación en Google Search Console; después, Google tarda un tiempo en volver a consultar todas las páginas por completo. Por eso el robots.txt debe figurar en toda lista de comprobación para la puesta en producción. Los entornos de prueba se protegen además con contraseña, no solo con Disallow.

Límites y errores habituales

El robots.txt es una petición, no una medida de seguridad: los rastreadores serios la respetan, los bots malintencionados simplemente la ignoran. Además, es propenso a errores, porque una sola línea mal puesta puede dejar fuera áreas enteras sin que se note de inmediato en el propio sitio web.

• Disallow: / en el sitio en producción bloquea todo el sitio web
• Bloquear archivos CSS y JavaScript: Google no puede mostrar la página correctamente
• Querer «eliminar» páginas con el robots.txt: para eso está noindex
• Incluir rutas confidenciales: el archivo se las revela a cualquier lector

Rastreadores de IA e imple­menta­ción

Muchos operadores usan ya el robots.txt también para permitir o bloquear rastreadores de IA como GPTBot, ClaudeBot o PerplexityBot. El token Google-Extended controla el uso para los modelos Gemini de Google; la búsqueda normal de Google no se ve afectada. Nano Concepts revisa el robots.txt en la auditoría SEO técnica y lo ajusta a sus objetivos.