Acerca de esta herramienta
Genera texto para un grupo User-agent: * con acceso general y rutas Disallow opcionales, o un bloqueo completo, además de una directiva Sitemap opcional. robots.txt controla solicitudes de rastreo compatibles, no garantiza que una URL desaparezca del índice ni protege contenido privado.
Cómo usarla
- 1Elige permitir o bloquear todos los rastreadores compatibles.
- 2Añade rutas empezando por /, una por línea, y una URL absoluta de sitemap si procede.
- 3Revisa el resultado, publícalo como /robots.txt y pruébalo antes de desplegar cambios críticos.
Ventajas
- Salida limpia sin valores de ejemplo peligrosos.
- Admite varias rutas Disallow.
- Sitemap opcional en el mismo archivo.
Detailed guides for this tool
Learn the underlying concepts, worked examples and common mistakes before relying on the result.
Preguntas frecuentes
¿Disallow elimina una página de Google?+
No necesariamente. Impide rastreo compatible, pero una URL puede conocerse por enlaces; usa controles de indexación adecuados.
¿robots.txt protege información privada?+
No. Es público y voluntario; usa autenticación y autorización para contenido privado.
¿Debo bloquear CSS o JavaScript?+
Normalmente no si son necesarios para renderizar páginas. Bloquear recursos puede dificultar la evaluación del sitio.