Todo sobre cómo crear un archivo robots.txt

Un archivo robots.txt es un archivo de texto en la raíz del sitio que indica a los rastreadores qué URLs pueden visitar, y sirve sobre todo para gestionar el tráfico de rastreo, no para ocultar páginas de Google. Esta guía explica cómo se crea, qué reglas admite Google, dónde se publica y cómo se comprueba.

Contenido elaborado por Centria Group, agencia de SEO, GEO y AEO. Actualizado en noviembre de 2026.

Qué es un archivo robots.txt y para qué sirve

Según la documentación de Google Search Central, un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs del sitio pueden acceder. Su uso principal es evitar sobrecargar el sitio con solicitudes de rastreo. No funciona como mecanismo para mantener una página fuera de Google: una URL bloqueada en robots.txt todavía puede aparecer en los resultados, aunque sin descripción, si otras páginas la enlazan.

Para que una página no aparezca en los resultados, Google indica otros métodos, como la directiva noindex o la protección con contraseña. Esta diferencia es la que más errores genera en sitios de empresas: bloquear una URL en robots.txt no equivale a desindexarla.

Cómo se crea y dónde se publica

Google explica que un archivo robots.txt se puede crear con casi cualquier editor de texto simple, como el Bloc de notas, y que conviene evitar los procesadores de texto porque pueden añadir caracteres inesperados, como comillas curvas. El archivo debe guardarse con codificación UTF-8 y llamarse exactamente robots.txt.

Cada sitio puede tener un solo archivo, ubicado en la raíz del host al que se aplica. Un archivo en https://example.com/robots.txt no cubre subdominios como https://m.example.com/ ni el protocolo http. Cuando el sitio funciona sobre un gestor de contenidos o un servicio de alojamiento que no permite editar el archivo, el proveedor suele ofrecer una página de ajustes de visibilidad en buscadores. En ese caso, quien administra el sitio puede apoyarse en esa configuración o en las metaetiquetas.

Reglas que Google admite

El archivo se compone de grupos de reglas. Cada grupo empieza con una línea user-agent que identifica al rastreador, seguida de reglas allow y disallow con rutas. Por defecto, Google entiende que todo el sitio puede rastrearse, de modo que solo hace falta declarar lo que se desea restringir. La especificación aclara que Google reconoce cuatro campos y que otros, como crawl-delay, no son compatibles.

Un ejemplo básico de la propia documentación de Google bloquea una carpeta para Googlebot y deja el resto abierto: «User-agent: Googlebot», «Disallow: /nogooglebot/», luego «User-agent: *», «Allow: /» y «Sitemap: https://www.example.com/sitemap.xml». Los nombres de campo no distinguen mayúsculas de minúsculas.

Cómo comprobar el archivo y qué conviene vigilar

Google indica abrir el archivo en una ventana privada del navegador para confirmar que es público y, después, revisar su sintaxis con el informe de robots.txt de Search Console, que solo funciona con archivos ya accesibles en el sitio. Los rastreadores de Google encuentran y usan el archivo de forma automática una vez publicado.

Otros puntos que cubre la documentación: el archivo se procesa hasta 500 KiB y el contenido que exceda ese límite se ignora. Además, los recursos como imágenes, scripts o estilos solo conviene bloquearlos si su ausencia no afecta la comprensión de la página, porque si Google no puede cargarlos puede analizar peor las páginas que dependen de ellos.

Una buena práctica es revisar el robots.txt cada vez que cambia la estructura del sitio, con especial atención a que no queden bloqueadas por error las secciones que generan clientes. Centria Group, Google Partner y Meta Business Partner, ha trabajado con más de 300 clientes en más de 30 países. Las empresas que buscan apoyo pueden conocer el servicio de posicionamiento SEO en Guatemala de Centria Group. Para seguir leyendo, también conviene revisar qué es un sitemap y cómo se crea y qué es el SEO técnico y cuáles son sus elementos.