Cómo crear un archivo robots.txt seguro para SEO

El archivo robots.txt indica a rastreadores compatibles qué rutas pueden solicitar. Se publica en la raíz exacta del host, por ejemplo https://example.com/robots.txt. Una regla incorrecta puede impedir que Google rastree secciones importantes, pero robots.txt no es un sistema de privacidad ni garantiza que una URL desaparezca del índice.

Ejemplo mínimo

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Este ejemplo permite el rastreo general y declara un sitemap HTTPS. Una línea Disallow: vacía no bloquea rutas. En cambio, Disallow: / intenta bloquear todo el host para el grupo correspondiente.

Grupos de user-agent

Las reglas se agrupan bajo uno o varios valores User-agent. Un rastreador busca el grupo aplicable y evalúa sus rutas. No copies reglas de otra plataforma sin comprenderlas: una carpeta administrativa, un sistema de filtros o una estructura de URL pueden ser diferentes en tu sitio.

User-agent: *
Disallow: /internal-preview/
Allow: /

Las rutas distinguen mayúsculas y minúsculas y comienzan desde la raíz. Comprueba siempre la URL exacta de producción, incluidas las variantes www y no-www.

robots.txt, noindex y autenticación

• robots.txt: administra el rastreo de rutas.
• noindex: solicita que una página rastreable no aparezca en resultados.
• autenticación: protege contenido privado frente a usuarios no autorizados.

Si bloqueas una página mediante robots.txt, Google puede no ver su directiva noindex. Además, una URL bloqueada pero conocida por enlaces puede aparecer sin un fragmento útil. Para documentos confidenciales utiliza acceso real, no Disallow.

No bloquees recursos necesarios

Google necesita CSS, JavaScript e imágenes importantes para renderizar la página de forma parecida a un usuario. Bloquear recursos puede dificultar la evaluación de contenido, diseño móvil y enlaces. Solo restringe una ruta cuando comprendas el efecto y exista una razón clara.

Proceso de publicación seguro

1. Escribe una versión específica para producción.
2. Revísala con el Comprobador de robots.txt de ToolBlur.
3. Publícala en la raíz con respuesta 200 y tipo de texto apropiado.
4. Abre el archivo en una ventana privada.
5. Prueba URLs representativas y revisa Search Console.

Un error habitual consiste en copiar a producción el Disallow: / utilizado en staging. Incluye robots.txt en la lista de control de cada migración y despliegue.

Sitemap y robots.txt

La directiva Sitemap ayuda a descubrir el archivo, pero no anula un bloqueo. Utiliza la URL canónica HTTPS y evita listar sitemaps de otro entorno. Un sitemap debe contener solo URL válidas, canónicas e indexables.

Preguntas frecuentes

¿robots.txt elimina una página de Google?

No. Controla el rastreo. Para excluir resultados, permite el rastreo y utiliza una directiva de indexación adecuada.

¿Debo añadir todos los robots conocidos?

Normalmente un grupo User-agent: * es suficiente, salvo que necesites una política específica y comprendida.

¿Cuándo se aplican los cambios?

Los rastreadores deben volver a solicitar el archivo. El tiempo varía; corrige primero la respuesta de producción y supervisa el resultado.