Controla lo que los motores de búsqueda rastrean en tu web: guía práctica de robots.txt

Vamos al grano: si tienes un sitio web, seguro que te interesa aparecer en Google. Pero ¿y si te digo que puedes decidir qué páginas pueden ver los motores de búsqueda y cuáles no? Sí, estoy hablando del robots.txt, ese archivo que quizá no terminas de entender pero que puede hacer tu sitio más visible (o completamente invisible) y te ayuda a controlar qué contenido se indexa. Hoy vas a aprender a usarlo like a boss.

¿Qué es el archivo robots.txt?

El archivo robots.txt es un archivo de texto que se encuentra en la raíz de tu sitio web y que le dice a los motores de búsqueda qué páginas pueden rastrear y cuáles no. Es una forma de controlar qué contenido se indexa y qué contenido no.

Por ejemplo, si tienes una página privada o interna en tu sitio web que no quieres que aparezca en los resultados de búsqueda, puedes bloquearla con el robots.txt.

Así es como se ve un archivo robots.txt básico:

User-agent: *
Disallow: /private/

¿Por qué es importante el archivo robots.txt?

Aunque el fichero robots.txt no es obligatorio, es una buena práctica tenerlo para gestionar la visibilidad de tu sitio web en los motores de búsqueda. Un archivo mal configurado puede hacer que los motores de búsqueda dejen de indexar páginas importantes o, peor aún, que rastreen páginas que preferirías mantener ocultas, como secciones de administración o contenido duplicado.

Pero no te equivoques: el archivo robots.txt no es una medida de seguridad. No bloquea el acceso de los usuarios a tus páginas, simplemente les indica a los motores de búsqueda qué contenido pueden rastrear. Si realmente quieres proteger contenido privado o sensible, deberías implementar otras medidas de seguridad, como la autenticación o configuraciones de permisos.

¿Cómo funciona el archivo robots.txt?

El archivo robots.txt es un simple archivo de texto que se ubica en la raíz de tu sitio web. A través de directivas específicas, les da instrucciones a los bots de los motores de búsqueda sobre qué hacer en tu sitio.

Cuando un motor de búsqueda llega a tu sitio, busca este archivo en la raíz y lo lee para saber qué páginas puede rastrear y cuáles debe evitar.

Hacks picantes con robots.txt

Aquí te dejo algunos hacks que puedes hacer con el robots.txt:

Dejar tu web abierta al 100% (porque estás orgulloso de todo tu contenido)

User-agent: *
Disallow:

Bloquear una carpeta entera (porque ahí guardas tus secretos)

User-agent: *
Disallow: /earnings/

Bloquear un archivo específico (porque mejor que eso no lo vea nadie)

User-agent: *
Disallow: /top-secret.pdf

¿Cómo crear un archivo robots.txt?

Crear un archivo robots.txt es muy sencillo. Solo necesitas cumplir con las siguientes reglas:

Ejemplos prácticos del archivo robots.txt

Ahora que ya te has reído, vamos a ver algunos ejemplos prácticos de cómo usar el robots.txt en tu sitio web:

Permitir a todos los robots acceder a todo el sitio

Esto ya lo hemos visto antes. Cualquier robot (el asterisco * significa “todos”) puede acceder a todas las páginas de tu sitio.

User-agent: *
Disallow:

Bloquear a todos los robots de acceder a todo el sitio

Este es el caso contrario. A todos los robots se les prohíbe acceder a cualquier página de tu sitio.

User-agent: *
Disallow: /

Bloquear un directorio específico

En este caso, bloqueamos el acceso a un directorio llamado salaries-2024 para todos los robots.

User-agent: *
Disallow: /salaries-2024/

Bloquear un archivo específico

Aquí bloqueamos el acceso a un archivo llamado secret.pdf para todos los robots.

User-agent: *
Disallow: /secret.php

Permitir solo a un robot específico y bloquear a los demás

Bloqueamos el acceso a todos los robots y permitimos solo a un robot llamado Googlebot acceder a todas las páginas.

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

Bloquear parámetros específicos de URL

En este caso, bloqueamos el acceso a todas las páginas que contengan el parámetro sort=desc.

User-agent: *
Disallow: /*?sort=desc

Permitir rastrear un directorio específico y bloquear todo lo demás

Aquí permitimos a todos los robots acceder a un directorio llamado public y bloqueamos el acceso a cualquier otra página.

User-agent: *
Disallow: /

User-agent: *
Allow: /public/

Bloquear imágenes de un directorio específico

En este caso, bloqueamos el acceso a todas las imágenes de un directorio llamado employees.

User-agent: *
Disallow: /employees/*.jpg

Bloquear el acceso a archivos CSS y JS

Bloquea el acceso a todos los archivos CSS y JS de tu sitio (fíjate en el uso de $ para indicar el final de la URL).

User-agent: *
Disallow: /*.js$
Disallow: /*.css$

Bloquear el acceso a todos los archivos excepto a los PDF

Bloquea el acceso a todos los archivos de tu sitio, excepto a los archivos PDF.

User-agent: *
Disallow: /*
Allow: /*.pdf$

Configuración de robots.txt según el proyecto

Esta es la configuración de robots.txt que tienen por defecto algunos de los CMS más populares:

WordPress

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Magento

User-agent: *
Disallow: /admin/
Disallow: /downloader/
Disallow: /includes/
Disallow: /pkginfo/
Disallow: /var/

Wix

User-agent: *
Disallow: /_api/
Disallow: /files/
Disallow: /site-assets/
Disallow: /_partials/

¿Conoces algún otro CMS? ¡Déjame un comentario y lo añadiré a la lista!

Bloquear bots específicos

Si te interesa bloquear el acceso a ciertos bots específicos, puedes hacerlo utilizando directivas Disallow para cada uno de ellos.

Existen muchos bots que pueden rastrear tu sitio web, algunos de los cuales son muy conocidos. Si no quieres que ChatGPT o similares rastreen tu sitio, te muestro cómo bloquear algunos de los bots de inteligencia artificial más comunes, como GPTBot, ChatGPT-User, Google-Extended y otros:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: YouBot
Disallow: /

Estos son solo algunos de los bots más conocidos de IA que puedes bloquear si no quieres que rastreen tu sitio. Si tienes identificados otros bots que prefieras bloquear, simplemente añade una directiva similar en tu archivo.

Limitaciones y recomendaciones

El archivo robots.txt te ayuda a controlar qué se rastrea en tu sitio web, pero no es una barrera de seguridad. Es fundamental entender bien sus limitaciones para evitar errores graves. A continuación, te dejo algunas consideraciones importantes:

Conclusión

El archivo robots.txt es una herramienta poderosa para controlar qué contenido se rastrea en tu sitio web. Aunque no es una medida de seguridad, es fundamental para mejorar la indexación de tu sitio y evitar que páginas no deseadas aparezcan en los resultados de búsqueda.

Espero que este artículo te haya ayudado a entender mejor cómo funciona el robots.txt y cómo puedes sacarle el máximo provecho.

Si tienes preguntas o necesitas ayuda para configurar tu archivo robots.txt, no dudes en dejar un comentario. Estoy aquí para ayudarte.

Un par de cosas que puedes hacer para ayudarme antes de irte:

A ti te cuesta cero y a mí me ayuda un montón. 😊

Jorge Baumann aka Baumannzone
Escrito por J. Baumann

Jorge Baumann es JavaScript senior software engineer, creador de contenido y speaker. Vive en Madrid, le encanta el testing, dibujar con CSS y tiene un perro que se llama Rambo.

Conoce más sobre J. Baumann