KOSTENLOSE BROWSER-WERKZEUGE
robots.txt erstellen
Einfache Crawling-Regeln und Sitemap-Adresse zusammenstellen.
Anleitung: Mit einer praktischen Checkliste die häufigsten Website-Fehler vermeiden →
Deine Angaben
Ergebnis
Hier erscheint dein Ergebnis.
Ergebnis kopieren oder speichern
robots.txt schützt keine vertraulichen Daten vor Zugriff. Regeln vor Veröffentlichung prüfen.
Praxisbeispiel & wichtige Hinweise
Crawling gezielt beeinflussen
Mit robots.txt steuerst du, welche Pfade Suchmaschinenbots abrufen dürfen.
Beachten: robots.txt ist kein Zugriffsschutz und garantiert nicht, dass eine URL aus Suchergebnissen verschwindet.
Passende Schritt-für-Schritt-Anleitung →Was robots.txt leisten kann – und was nicht
Eine robots.txt steuert den Zugriff kooperierender Webcrawler auf bestimmte URL-Bereiche. Sie ist kein Passwortschutz und verhindert nicht in jedem Fall, dass eine URL in Suchergebnissen auftaucht.
Für vertrauliche Dateien brauchst du eine echte Zugriffssperre. Soll eine öffentlich erreichbare HTML-Seite nicht indexiert werden, ist häufig ein gezielt gesetzter robots-Meta-Tag oder HTTP-Header geeigneter. Vor der Veröffentlichung müssen die erzeugten Regeln mit deiner Verzeichnisstruktur abgeglichen werden.
robots.txt ist keine Zugriffssperre
Die robots.txt gibt kooperierenden Suchmaschinen Hinweise, welche Bereiche sie crawlen sollen. Sie ist geeignet, um unnötige Abrufe bestimmter Verzeichnisse zu reduzieren.
Vertrauliche Dateien müssen durch eine echte Zugriffskontrolle geschützt werden. Eine Disallow-Regel kann die Existenz sensibler Pfade sogar sichtbar machen.