robots.txt Generator
Bouw een geldige robots.txt met disallow groepen, sitemap, crawl-delay en AI-bot blokkering.
Snel antwoord: Bouw een geldige robots.txt met disallow groepen, sitemap, crawl-delay en AI-bot blokkering.
Laatst bijgewerkt
Veelgestelde vragen
- Hoe maak ik een robots.txt?
- Voeg een gebruikersagentgroep toe en de paden die niet zijn toegestaan. Het bestand wordt live hieronder opgebouwd; kopieer of download het als robots.txt.
- Waar moet ik robots.txt plaatsen?
- In de root van je domein — `https://example.com/robots.txt`. Bots controleren alleen die exacte locatie.
- Wat betekent User-agent: *?
- Regels zijn van toepassing op elke crawler die geen eigen groep heeft. Specifieke groepen (zoals `Googlebot`) overschrijven de jokerteken.
- Hoe blokkeer ik AI-crawlers?
- Vink de AI-crawler-vakjes aan — we voegen een Disallow: / groep toe voor elk. Dit is het standaard beleefde signaal voor bots die robots.txt respecteren.
- Nemen alle bots robots.txt serieus?
- Nee — het is een verzoek, geen handhaving. Betrouwbare bots (zoekmachines, Anthropic, OpenAI) respecteren het; kwaadaardige scrapers negeren het.
- Wat is de volgorde van Allow versus Disallow?
- De meeste moderne crawlers gebruiken de meest specifieke overeenkomst. Allow voor Disallow plaatsen is gebruikelijk, maar de volgorde verandert de semantiek voor hen niet.
- Moet ik Crawl-delay toevoegen?
- Alleen als je bewijs hebt dat een bot je server aanvalt. De meeste grote crawlers negeren Crawl-delay (Google doet dat); het is voornamelijk nuttig voor Yandex en Bing.
- Heb ik een Sitemap-regel nodig?
- Optioneel, maar aanbevolen — het helpt crawlers om URL's sneller te ontdekken dan alleen crawlen.
- Wordt het bestand naar een server verzonden?
- Nee. Generatie gebeurt volledig in je browser.
- Is deze robots.txt-generator gratis?
- Ja — gratis, geen registratie, geen limieten.