SEO
Robots.txt-Generator
Eine saubere robots.txt in dreißig Sekunden – ohne Syntaxfehler.
Die robots.txt ist eine winzige Datei mit enormen Folgen: Eine falsch geschriebene Zeile kann eine ganze Website aus dem Index werfen – oder Crawler in Bereiche lassen, die in Google nichts verloren haben. Stellen Sie Ihre Datei in wenigen Klicks zusammen: Erlauben oder sperren Sie alle Crawler, entscheiden Sie, ob KI-Trainings-Bots (GPTBot, ClaudeBot, PerplexityBot, CCBot…) ausgeschlossen werden sollen, listen Sie die zu sperrenden Pfade auf und tragen Sie die Adresse Ihrer Sitemap ein. Das Tool erzeugt eine Datei mit einwandfreier Syntax, bereit für das Stammverzeichnis Ihrer Website – und das Ergebnis aktualisiert sich live, während Sie die Optionen anhaken. Kostenlos, ohne Konto und so verständlich erklärt, dass nichts kaputtgeht.
Wie funktioniert es?
- Wählen Sie die Grundregel: alle Robots erlauben oder sperren.
- Haken Sie bei Bedarf die KI-Bot-Sperre an und listen Sie die auszuschließenden Pfade auf.
- Tragen Sie die URL Ihrer Sitemap ein.
- Kopieren Sie die erzeugte Datei und legen Sie sie im Stammverzeichnis ab (/robots.txt).
Häufige Fragen
Was macht die robots.txt genau?
Sie sagt Crawlern, welche Bereiche der Website sie durchsuchen dürfen. Es handelt sich um eine Crawling-Anweisung, nicht um eine Sicherheitsmaßnahme: Sensible Inhalte gehören hinter eine Anmeldung – niemals hinter eine bloße Disallow-Zeile.
Sollte ich KI-Bots blockieren?
Das ist eine redaktionelle Entscheidung: Wer GPTBot, ClaudeBot oder CCBot sperrt, verhindert, dass eigene Inhalte für das Training von KI-Modellen genutzt werden – verzichtet aber womöglich auf Sichtbarkeit in den Antworten von KI-Assistenten, einem stark wachsenden Kanal. Die Crawler klassischer Suchmaschinen bleiben in beiden Fällen unberührt.
Verschwindet eine in der robots.txt blockierte Seite aus Google?
Nicht unbedingt: Eine blockierte Seite kann im Index bleiben, wenn andere Websites auf sie verlinken. Um eine Seite aus den Ergebnissen fernzuhalten, verwenden Sie besser ein noindex-Tag – und sperren Sie die Seite dann nicht in der robots.txt, sonst bekommt Google das Tag nie zu sehen.
Wohin kommt die erzeugte Datei?
In das Stammverzeichnis der Domain, erreichbar unter ihrewebsite.ch/robots.txt. Jede Subdomain hat ihre eigene robots.txt. Prüfen Sie die Datei nach der Veröffentlichung in der Search Console.