Eine sichere robots.txt für SEO erstellen

Die robots.txt teilt kompatiblen Crawlern mit, welche Pfade sie abrufen dürfen. Sie liegt direkt im Stammverzeichnis des Hosts, zum Beispiel https://example.com/robots.txt. Eine falsche Regel kann das Crawling wichtiger Bereiche verhindern. Die Datei ist jedoch kein Datenschutzmechanismus und garantiert keine Entfernung einer URL aus dem Index.

Minimales Beispiel

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Dieses Beispiel erlaubt allgemeines Crawling und nennt eine HTTPS-Sitemap. Eine leere Disallow:-Zeile sperrt keinen Pfad. Disallow: / versucht dagegen, den gesamten Host für die passende Gruppe zu blockieren.

User-Agent-Gruppen

Regeln werden unter User-agent-Werten gruppiert. Ein Crawler ermittelt die passende Gruppe und wertet deren Pfade aus. Kopiere keine Regeln einer anderen Plattform ohne Verständnis: Verwaltungsordner, Filter und URL-Strukturen können auf deiner Website anders sein.

User-agent: *
Disallow: /internal-preview/
Allow: /

Pfade beachten Groß- und Kleinschreibung und beginnen am Stammverzeichnis. Prüfe immer die tatsächliche Produktions-URL einschließlich www- und Nicht-www-Varianten.

robots.txt, noindex und Authentifizierung

• robots.txt: steuert das Crawling von Pfaden.
• noindex: fordert den Ausschluss einer crawlbaren Seite aus Suchergebnissen.
• Authentifizierung: schützt private Inhalte vor unberechtigtem Zugriff.

Ist eine Seite durch robots.txt gesperrt, kann Google ihre noindex-Angabe möglicherweise nicht sehen. Eine bekannte gesperrte URL kann außerdem ohne hilfreichen Ausschnitt erscheinen. Vertrauliche Dokumente benötigen echten Zugriffsschutz und nicht nur Disallow.

Benötigte Ressourcen nicht sperren

Google benötigt wichtiges CSS, JavaScript und Bilder, um Seiten ähnlich wie Nutzer zu rendern. Gesperrte Ressourcen können die Bewertung von Inhalt, mobilem Design und Links erschweren. Sperre Pfade nur mit einem klaren Grund und verstandenem Effekt.

Sicher veröffentlichen

1. Eine eigene Produktionsfassung erstellen.
2. Sie mit dem ToolBlur robots.txt-Checker prüfen.
3. Im Stammverzeichnis mit Status 200 und passendem Texttyp veröffentlichen.
4. Die Datei in einem privaten Browserfenster öffnen.
5. Repräsentative URLs testen und Search Console beobachten.

Ein häufiger Fehler ist die Übernahme von Disallow: / aus einer Staging-Umgebung. Nimm robots.txt in jede Checkliste für Migration und Veröffentlichung auf.

Sitemap und robots.txt

Die Sitemap-Angabe hilft beim Auffinden, hebt aber keine Sperre auf. Verwende die kanonische HTTPS-URL und keine Sitemap aus einer anderen Umgebung. Eine Sitemap sollte nur gültige, kanonische und indexierbare URLs enthalten.

Häufig gestellte Fragen

Entfernt robots.txt eine Seite aus Google?

Nein. Sie steuert Crawling. Für einen Ausschluss muss der Crawler eine geeignete Indexierungsangabe sehen können.

Muss ich jeden bekannten Bot nennen?

Meist reicht User-agent: *, außer du benötigst eine bewusst entworfene Sonderregel.

Wann gelten Änderungen?

Crawler müssen die Datei erneut abrufen. Die Dauer variiert; korrigiere zuerst die Produktionsantwort und überwache sie.