robots.txt-Validator
Überprüfen Sie Ihre robots.txt auf Syntaxfehler, fehlende User-Agent-Gruppen und fehlerhafte Sitemap-URLs.
Kurze Antwort: robots.txt-Validator: Prüfen Sie Ihre robots.txt auf Syntaxfehler, fehlende User-Agent-Gruppen und ungültige Sitemap-URLs. Läuft vollständig in Ihrem Browser, kostenlos und ohne Registrierung.
Zuletzt aktualisiert
Gut zu wissen
A robots.txt file lives at the root of your domain and tells crawlers which paths they may or may not request. Its syntax looks simple but is unforgiving: rules are grouped under a User-agent line, and a group with no preceding user-agent, a misspelled directive, or the wrong order can silently be ignored — meaning a rule you thought was blocking a section is doing nothing at all. This linter parses the file line by line and flags exactly those structural mistakes.
The most important thing to understand is what robots.txt does not do: it is a crawl directive, not an access-control or a de-indexing tool. A well-behaved crawler will not fetch a disallowed path, but the URL can still appear in search results if it is linked elsewhere, and malicious bots ignore the file entirely. To keep a page out of the index use a noindex meta tag or header, and to protect private content use real authentication.
A few directive quirks are worth knowing: Google honors wildcards (*) and end-of-URL anchors ($) in path patterns but ignores Crawl-delay, whereas Bing and Yandex still respect the delay. Absolute Sitemap URLs belong here too and are read independently of any user-agent group. Once the syntax is clean, generate matching declarations with the robots.txt generator and register your URL list with the sitemap generator.
Häufig gestellte Fragen
- Ist der Validator kostenlos?
- Ja — kostenlos ohne Anmeldung.
- Entspricht er dem Parser von Google?
- Er implementiert eine Teilmenge des Google robots.txt RFC (User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host) — die Regeln, die jeder moderne Crawler befolgt.
- Werden Uploads irgendwohin gesendet?
- Nein — jede Überprüfung erfolgt in Ihrem Browser.
- Warum warnen Sie vor Crawl-delay?
- Google ignoriert Crawl-delay; Bing und Yandex beachten es weiterhin. Die Warnung ist informativ.
- Wie sieht es mit Wildcards aus?
- Wildcards (*) und End-der-Zeichenkette ($) werden in Allow/Disallow-Mustern akzeptiert — das ist die moderne Google-Syntax.