Validador de robots.txt
Revisa tu robots.txt en busca de errores de sintaxis, grupos de user-agent faltantes y malas URLs de sitemap.
Respuesta rápida: Revisa tu robots.txt en busca de errores de sintaxis, grupos de user-agent faltantes y malas URLs de sitemap.
Última actualización
Preguntas frecuentes
- ¿Es el validador gratuito?
- Sí, gratuito y sin registro.
- ¿Coincide con el analizador de Google?
- Implementa el subconjunto del RFC de robots.txt de Google (User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host) — las reglas que todos los rastreadores modernos respetan.
- ¿Se envían las cargas a algún lugar?
- No, cada verificación se realiza en tu navegador.
- ¿Por qué advierte sobre Crawl-delay?
- Google ignora Crawl-delay; Bing y Yandex aún lo respetan. La advertencia es informativa.
- ¿Qué pasa con los comodines?
- Los comodines (*) y el final de cadena ($) son aceptados en los patrones Allow/Disallow — esa es la sintaxis moderna de Google.