Générateur de robots.txt
Construisez un robots.txt valide avec des groupes d'exception, un plan du site, un délai d'exploration et un blocage des bots IA.
Réponse rapide: Construisez un robots.txt valide avec des groupes d'exception, un plan du site, un délai d'exploration et un blocage des bots IA.
Dernière mise à jour
Questions fréquentes
- Comment créer un robots.txt ?
- Ajoutez un groupe user-agent et les chemins à interdire. Le fichier se construit en direct en dessous ; copiez ou téléchargez-le en tant que robots.txt.
- Où dois-je mettre robots.txt ?
- À la racine de votre domaine — `https://example.com/robots.txt`. Les bots ne vérifient que cet emplacement exact.
- Que signifie User-agent: * ?
- Les règles s'appliquent à chaque crawler qui n'a pas son propre groupe. Des groupes spécifiques (comme `Googlebot`) remplacent le joker.
- Comment bloquer les crawlers IA ?
- Cochez les cases des crawlers IA — nous ajoutons un groupe Disallow: / pour chacun. C'est le signal poli standard pour les bots qui respectent robots.txt.
- Tous les bots respectent-ils robots.txt ?
- Non — c'est une demande, pas une enforcement. Les bots réputés (moteurs de recherche, Anthropic, OpenAI) l'honorent ; les scrapers malveillants l'ignorent.
- Quel est l'ordre de Allow vs Disallow ?
- La plupart des crawlers modernes utilisent le match le plus spécifique. Mettre Allow avant Disallow est courant mais l'ordre ne change pas la sémantique pour eux.
- Devrais-je ajouter Crawl-delay ?
- Seulement si vous avez des preuves qu'un bot surmène votre serveur. La plupart des crawlers majeurs ignorent Crawl-delay (Google le fait) ; c'est principalement utile pour Yandex et Bing.
- Ai-je besoin d'une ligne Sitemap ?
- Optionnel mais recommandé — cela aide les crawlers à découvrir les URL plus rapidement qu'en se contentant de crawlers seuls.
- Le fichier est-il envoyé à un serveur ?
- Non. La génération se fait entièrement dans votre navigateur.
- Ce générateur de robots.txt est-il gratuit ?
- Oui — gratuit, sans inscription, sans limites.