robots.txt-Validator
Überprüfen Sie Ihre robots.txt auf Syntaxfehler, fehlende User-Agent-Gruppen und fehlerhafte Sitemap-URLs.
Kurze Antwort: Überprüfen Sie Ihre robots.txt auf Syntaxfehler, fehlende User-Agent-Gruppen und fehlerhafte Sitemap-URLs.
Zuletzt aktualisiert
Häufig gestellte Fragen
- Ist der Validator kostenlos?
- Ja — kostenlos ohne Anmeldung.
- Entspricht er dem Parser von Google?
- Er implementiert eine Teilmenge des Google robots.txt RFC (User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host) — die Regeln, die jeder moderne Crawler befolgt.
- Werden Uploads irgendwohin gesendet?
- Nein — jede Überprüfung erfolgt in Ihrem Browser.
- Warum warnen Sie vor Crawl-delay?
- Google ignoriert Crawl-delay; Bing und Yandex beachten es weiterhin. Die Warnung ist informativ.
- Wie sieht es mit Wildcards aus?
- Wildcards (*) und End-der-Zeichenkette ($) werden in Allow/Disallow-Mustern akzeptiert — das ist die moderne Google-Syntax.