ToolBlur

robots.txt prüfen

Eingefügte robots.txt-Regeln auf häufige Probleme untersuchen.

Checked locally in your browser. No URL is fetched and no data is uploaded.

Validation results

1 user-agent groups · 3 directives checked

  • The file has a valid basic structure.

A valid file can still block important pages. Review every Disallow rule before publishing.

Über dieses Tool

Analysiere den Inhalt einer robots.txt-Datei und erkenne Benutzeragenten-Gruppen, Pfade, Direktiven und häufige Fehler. Das Tool lädt keine Datei von einer Website und bildet nicht jede Besonderheit einzelner Suchmaschinen vollständig nach. Prüfe deshalb die veröffentlichte Fassung und wichtige URLs zusätzlich in der Search Console.

So funktioniert es

  1. 1Den vollständigen Inhalt der robots.txt einfügen.
  2. 2Erkannte Gruppen, Regeln und Warnungen prüfen.
  3. 3Datei korrigieren, im Stammverzeichnis veröffentlichen und wichtige URLs testen.

Vorteile

  • Lokale Analyse ohne Abruf der Zielwebsite.
  • Erkennt möglicherweise zu weit gefasste Sperren.
  • Erklärt Direktiven statt nur ein Ergebnis anzuzeigen.

Häufig gestellte Fragen

Verhindert robots.txt eine Anzeige in Google?+

Sie sperrt das Crawling, garantiert aber keine Entfernung aus dem Index. Eine bekannte URL kann ohne Snippet erscheinen; nutze geeignete Indexierungssteuerung bei erlaubtem Crawling.

Soll ich CSS und JavaScript sperren?+

Normalerweise nicht. Google benötigt wichtige Ressourcen, um eine Seite zu rendern und zu bewerten.

Wo muss die Datei liegen?+

Direkt im Stammverzeichnis des Hosts, zum Beispiel https://example.com/robots.txt.

Tool teilen:X / TwitterFacebook