Generador de robots.txt
Crea un robots.txt válido con grupos de desautorización, sitemap, retraso de rastreo y bloqueo de bots de IA.
Respuesta rápida: Crea un robots.txt válido con grupos de desautorización, sitemap, retraso de rastreo y bloqueo de bots de IA.
Última actualización
Preguntas frecuentes
- ¿Cómo creo un robots.txt?
- Agrega un grupo de user-agent y las rutas a desautorizar. El archivo se construye en vivo abajo; cópialo o descárgalo como robots.txt.
- ¿Dónde pongo robots.txt?
- En la raíz de tu dominio — `https://example.com/robots.txt`. Los bots solo verifican esa ubicación exacta.
- ¿Qué significa User-agent: *?
- Las reglas se aplican a cualquier rastreador que no tenga su propio grupo. Los grupos específicos (como `Googlebot`) sustituyen al comodín.
- ¿Cómo bloqueo los rastreadores de IA?
- Marca las casillas de los rastreadores de IA — agregamos un grupo Disallow: / para cada uno. Esta es la señal estándar cortés para los bots que respetan robots.txt.
- ¿Todos los bots obedecen robots.txt?
- No — es una solicitud, no un cumplimiento. Los bots reputables (motores de búsqueda, Anthropic, OpenAI) lo honran; los raspadores maliciosos lo ignoran.
- ¿Cuál es el orden de Allow vs Disallow?
- La mayoría de los rastreadores modernos utilizan la coincidencia más específica. Poner Allow antes de Disallow es convencional, pero el orden no cambia la semántica para ellos.
- ¿Debería agregar Crawl-delay?
- Solo si tienes evidencia de que un bot está atacando tu servidor. La mayoría de los rastreadores importantes ignoran Crawl-delay (Google lo hace); es principalmente útil para Yandex y Bing.
- ¿Necesito una línea de Sitemap?
- Opcional pero recomendado — ayuda a los rastreadores a descubrir URLs más rápido que solo rastrear.
- ¿Se envía el archivo a un servidor?
- No. La generación se ejecuta completamente en tu navegador.
- ¿Es este generador de robots.txt gratis?
- Sí — gratis, sin registro, sin límites.