Validateur de robots.txt
Vérifiez votre robots.txt pour des erreurs de syntaxe, des groupes d'agents utilisateurs manquants et des URLs de sitemap incorrectes.
Réponse rapide: Vérifiez votre robots.txt pour des erreurs de syntaxe, des groupes d'agents utilisateurs manquants et des URLs de sitemap incorrectes.
Dernière mise à jour
Questions fréquentes
- Le validateur est-il gratuit ?
- Oui — gratuit sans inscription.
- Correspond-il au parseur de Google ?
- Il implémente le sous-ensemble RFC robots.txt de Google (User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host) — les règles que tous les crawlers modernes respectent.
- Les uploads sont-ils envoyés quelque part ?
- Non — chaque vérification s'exécute dans votre navigateur.
- Pourquoi avertit-il à propos de Crawl-delay ?
- Google ignore Crawl-delay ; Bing et Yandex le respectent encore. L’avertissement est informatif.
- Qu'en est-il des jokers ?
- Les jokers (*) et la fin de chaîne ($) sont acceptés dans les modèles Allow/Disallow — c'est la syntaxe moderne de Google.