Validateur de robots.txt
Vérifiez votre robots.txt pour des erreurs de syntaxe, des groupes d'agents utilisateurs manquants et des URLs de sitemap incorrectes.
Réponse rapide: Validateur de robots.txt : vérifiez la syntaxe de votre fichier robots.txt, repérez les groupes user-agent manquants et les URL de sitemap incorrectes. Fonctionne entièrement dans votre navigateur, gratuitement et sans inscription.
Dernière mise à jour
Bon à savoir
A robots.txt file lives at the root of your domain and tells crawlers which paths they may or may not request. Its syntax looks simple but is unforgiving: rules are grouped under a User-agent line, and a group with no preceding user-agent, a misspelled directive, or the wrong order can silently be ignored — meaning a rule you thought was blocking a section is doing nothing at all. This linter parses the file line by line and flags exactly those structural mistakes.
The most important thing to understand is what robots.txt does not do: it is a crawl directive, not an access-control or a de-indexing tool. A well-behaved crawler will not fetch a disallowed path, but the URL can still appear in search results if it is linked elsewhere, and malicious bots ignore the file entirely. To keep a page out of the index use a noindex meta tag or header, and to protect private content use real authentication.
A few directive quirks are worth knowing: Google honors wildcards (*) and end-of-URL anchors ($) in path patterns but ignores Crawl-delay, whereas Bing and Yandex still respect the delay. Absolute Sitemap URLs belong here too and are read independently of any user-agent group. Once the syntax is clean, generate matching declarations with the robots.txt generator and register your URL list with the sitemap generator.
Questions fréquentes
- Le validateur est-il gratuit ?
- Oui — gratuit sans inscription.
- Correspond-il au parseur de Google ?
- Il implémente le sous-ensemble RFC robots.txt de Google (User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host) — les règles que tous les crawlers modernes respectent.
- Les uploads sont-ils envoyés quelque part ?
- Non — chaque vérification s'exécute dans votre navigateur.
- Pourquoi avertit-il à propos de Crawl-delay ?
- Google ignore Crawl-delay ; Bing et Yandex le respectent encore. L’avertissement est informatif.
- Qu'en est-il des jokers ?
- Les jokers (*) et la fin de chaîne ($) sont acceptés dans les modèles Allow/Disallow — c'est la syntaxe moderne de Google.