Web / SEO
robots.txt-Generator
Erstelle eine saubere robots.txt für Suchmaschinen und andere Crawler. Das Tool erzeugt Regeln für User-Agents, erlaubte und gesperrte Pfade, Sitemap-Einträge und optional einen Crawl-Delay-Hinweis.
robots.txt erstellen
Wähle eine Vorlage, ergänze eigene Pfade und kopiere die fertige Datei anschließend in das Hauptverzeichnis deiner Webseite. Eine robots.txt ist ein Hinweis an Crawler und ersetzt keinen technischen Zugriffsschutz.
Generator
Die Ausgabe wird lokal im Browser erzeugt. Es werden keine Daten an einen Server gesendet.
Ausgabe
Wofür ist eine robots.txt da?
Die robots.txt liegt normalerweise im Stammverzeichnis einer Webseite, zum Beispiel unter /robots.txt. Sie teilt Crawlern mit, welche Bereiche sie besuchen dürfen und welche Bereiche nicht gecrawlt werden sollen.
User-Agent
Legt fest, für welchen Crawler die folgenden Regeln gelten. * steht für alle Crawler.
Disallow
Sperrt Pfade für Crawler, zum Beispiel interne Systemordner oder Suchergebnisseiten.
Sitemap
Verweist auf deine XML-Sitemap, damit Suchmaschinen wichtige URLs schneller finden können.
Typische Beispiele
Alles erlauben
Geeignet für öffentliche Webseiten ohne sensible Bereiche. Die robots.txt enthält dann eine leere Disallow-Regel.
Private Bereiche sperren
Typisch für Webseiten mit internen Bereichen wie /config/, /system/ oder /admin/.
Wichtige Hinweise
robots.txt ist kein Passwortschutz
Eine robots.txt verhindert keinen direkten Zugriff auf Dateien. Sensible Bereiche müssen zusätzlich serverseitig geschützt werden, zum Beispiel per Login, Dateirechten oder Webserver-Konfiguration.
Prüfe die fertige Datei vor dem Hochladen. Fehlerhafte Regeln können dazu führen, dass wichtige Seiten nicht gecrawlt werden oder dass Bereiche erreichbar erscheinen, die besser nicht öffentlich genannt werden sollten.