SEO & Webmaster
Robots.txt-Tester
Erfahren Sie sofort, ob eine Seite für Google blockiert oder erlaubt ist.
Inhalt der robots.txt
Die robots.txt-Datei sagt Suchmaschinen, was sie auf Ihrer Website crawlen dürfen. Eine einzige falsch geschriebene Zeile kann einen ganzen Ordner blockieren – oder gleich die komplette Website –, während für menschliche Besucher alles völlig normal aussieht. Dieser Tester lädt die robots.txt einer beliebigen Website, zeigt ihren vollständigen Inhalt an und simuliert dann einen Crawler: Geben Sie einen Pfad und einen User-agent ein (etwa Googlebot) und erhalten Sie das Urteil – erlaubt oder blockiert. Die Simulation wendet die echten Vorrangregeln an, einschließlich der längsten Übereinstimmung, des Platzhalters * und des Ankers $. Das Ergebnis entspricht also dem, was Google tatsächlich tun würde. Kostenlos, ohne Anmeldung – ideal vor und nach jedem Deployment.
Wie funktioniert es?
- Geben Sie die Adresse der Website ein: Ihre robots.txt wird geladen und angezeigt.
- Tippen Sie den zu testenden Pfad ein (z. B. /blog/artikel oder /admin/).
- Wählen Sie den zu simulierenden Crawler (Googlebot, Bingbot oder einen anderen).
- Klicken Sie auf „Testen“ und lesen Sie das Urteil: erlaubt oder blockiert, samt der angewandten Regel.
Häufige Fragen
Verschwindet eine per robots.txt blockierte Seite aus Google?
Nicht unbedingt. Die Blockierung verhindert das Crawlen, nicht die Indexierung: Verlinken andere Websites auf die Seite, kann Google sie trotzdem ohne Beschreibung anzeigen. Um eine Seite aus den Ergebnissen fernzuhalten, verwenden Sie ein noindex-Tag – und lassen Sie den Crawler dann auf die Seite zugreifen, damit er es lesen kann.
Was bedeutet „Disallow: /“?
Totalblockade: Die betroffenen Crawler dürfen die Website überhaupt nicht durchsuchen. Oft ist die Zeile ein Überbleibsel aus der Entwicklungsphase – und einer der teuersten SEO-Fehler überhaupt, weil die Website nach und nach aus den Suchergebnissen verschwindet.
Wie funktionieren der Platzhalter * und das Zeichen $?
Das Sternchen steht für eine beliebige Zeichenfolge: „Disallow: /*.pdf“ blockiert alle PDFs. Das Dollarzeichen markiert das Ende der URL: „Disallow: /*.pdf$“ blockiert nur Adressen, die exakt auf .pdf enden. Bei widersprüchlichen Regeln gewinnt die längste Übereinstimmung, und bei gleicher Länge sticht Allow Disallow.
Meine Website hat keine robots.txt – ist das ein Problem?
Nein: Ohne die Datei crawlen Suchmaschinen alles, was für die meisten kleinen Websites passt. Nützlich wird die Datei, um Crawler von wertlosen Bereichen fernzuhalten (interne Suche, Filter, Warenkorb) und um auf Ihre Sitemap zu verweisen.