robots.txt Validator
Lint je robots.txt op syntaxisfouten, ontbrekende user-agent groepen en onjuiste sitemap URL's.
Snel antwoord: Lint je robots.txt op syntaxisfouten, ontbrekende user-agent groepen en onjuiste sitemap URL's.
Laatst bijgewerkt
Veelgestelde vragen
- Is de validator gratis?
- Ja — gratis zonder aanmelding.
- Komt het overeen met Google's parser?
- Het implementeert de subset van de Google robots.txt RFC (User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host) — de regels die elke moderne crawler respecteert.
- Worden uploads ergens naartoe gestuurd?
- Nee — elke controle wordt in je browser uitgevoerd.
- Waarom waarschuwt het over Crawl-delay?
- Google negeert Crawl-delay; Bing en Yandex respecteren het nog steeds. De waarschuwing is informatief.
- Wat betreft jokertekens?
- Jokertekens (*) en het einde-van-string ($) worden geaccepteerd in Allow/Disallow patronen — dat is de moderne Google syntaxis.