robots.txt Generator
Erstellen Sie ein gültiges robots.txt mit Disallow-Gruppen, Sitemap, Crawl-Delay und Blockierung von KI-Bots.
Kurze Antwort: Erstellen Sie ein gültiges robots.txt mit Disallow-Gruppen, Sitemap, Crawl-Delay und Blockierung von KI-Bots.
Zuletzt aktualisiert
Häufig gestellte Fragen
- Wie erstelle ich eine robots.txt?
- Fügen Sie eine Benutzer-Agent-Gruppe und die zu sperrenden Pfade hinzu. Die Datei wird live darunter erstellt; kopieren oder laden Sie sie als robots.txt herunter.
- Wo lege ich robots.txt ab?
- Im Stammverzeichnis Ihrer Domain — `https://example.com/robots.txt`. Bots überprüfen nur diesen genauen Standort.
- Was bedeutet User-agent: *?
- Regeln gelten für jeden Crawler, der keine eigene Gruppe hat. Spezifische Gruppen (wie `Googlebot`) überschreiben den Wildcard.
- Wie blockiere ich KI-Crawler?
- Aktivieren Sie die Kontrollkästchen für KI-Crawler — wir fügen für jeden eine Disallow: / Gruppe hinzu. Dies ist das standardmäßige höfliche Signal für Bots, die robots.txt respektieren.
- Befolgen alle Bots robots.txt?
- Nein — es ist eine Anfrage, keine Durchsetzung. Renommierte Bots (Suchmaschinen, Anthropic, OpenAI) halten sich daran; böswillige Scraper ignorieren es.
- Was ist die Reihenfolge von Allow vs Disallow?
- Die meisten modernen Crawler verwenden die spezifischste Übereinstimmung. Es ist konventionell, Allow vor Disallow zu setzen, aber die Reihenfolge ändert die Semantik für sie nicht.
- Sollte ich Crawl-delay hinzufügen?
- Nur wenn Sie Beweise haben, dass ein Bot Ihren Server überlastet. Die meisten großen Crawler ignorieren Crawl-delay (Google tut dies); es ist hauptsächlich nützlich für Yandex und Bing.
- Brauche ich eine Sitemap-Zeile?
- Optional, aber empfohlen — es hilft Crawlers, URLs schneller zu entdecken als nur durch Crawlen.
- Wird die Datei an einen Server gesendet?
- Nein. Die Erstellung erfolgt vollständig in Ihrem Browser.
- Ist dieser robots.txt-Generator kostenlos?
- Ja — kostenlos, keine Anmeldung, keine Grenzen.