Über dieses Tool
Erzeuge Text für User-agent: * mit allgemeinem Zugriff und optionalen Disallow-Pfaden oder vollständiger Sperre sowie optionaler Sitemap-Zeile. robots.txt steuert freiwillige Crawl-Anfragen, entfernt URLs nicht garantiert aus dem Index und schützt keine privaten Inhalte.
So funktioniert es
- 1Zulassen oder vollständiges Sperren kompatibler Bots wählen.
- 2Pfade mit /, je einen pro Zeile, und gegebenenfalls eine absolute Sitemap-URL eingeben.
- 3Ausgabe prüfen, als /robots.txt veröffentlichen und kritische Änderungen vorher testen.
Vorteile
- Saubere Ausgabe ohne riskante Beispielwerte.
- Mehrere Disallow-Pfade möglich.
- Optionale Sitemap-Angabe.
Detailed guides for this tool
Learn the underlying concepts, worked examples and common mistakes before relying on the result.
Häufig gestellte Fragen
Entfernt Disallow eine Seite aus Google?+
Nicht zwingend. Crawling wird verhindert, die URL kann aber über Links bekannt sein; nutze passende Indexierungssteuerung.
Schützt robots.txt private Informationen?+
Nein. Die Datei ist öffentlich und freiwillig; private Inhalte benötigen Authentifizierung und Autorisierung.
Soll ich CSS oder JavaScript sperren?+
Normalerweise nicht, wenn diese Ressourcen zum Rendern nötig sind. Blockierung kann die Seitenauswertung erschweren.