Por qué lo creamos
En itgrows.ai, una regla de robots.txt pensada para ocultar una sola página de redirección, /b, se escribió como prefijo. Del 11 de agosto al 21 de octubre de 2026 cerró también /blog, /business y todas nuestras guías a todos los rastreadores. Las páginas cargaban bien en el navegador, la regla parecía inofensiva y Bing mostró nuestra página de empresas como «descubierta pero no rastreada» todo ese tiempo. Leer las reglas no lo reveló; probar URL reales contra ellas, sí.
Qué hacer con el resultado
- Reglas que cierran páginas que usted quiere que se lean: reescríbalas para que solo coincidan con lo que pretendía, por ejemplo con un
$al final. Vea ¿su sitio bloquea a los rastreadores de IA? (en inglés). - Un rastreador rechazado por su servidor: es su firewall o su CDN, no el robots.txt. Vea GPTBot bloqueado por Cloudflare (en inglés).
- Todo abierto: la siguiente pregunta es si los asistentes le mencionan. Haga la comprobación de visibilidad en IA.
Preguntas frecuentes
¿Cómo decide la comprobación si una página está bloqueada?
Lee su robots.txt como lo hacen los rastreadores: el grupo de cada rastreador (o el grupo *), gana la regla coincidente más larga, Allow gana en caso de empate, * y $ funcionan como comodines. Después prueba las páginas de su sitemap contra esas reglas, un rastreador cada vez.
¿Por qué bloquearía robots.txt páginas que nunca quise bloquear?
Las reglas son prefijos. Una regla escrita para una página, como Disallow: /b, también coincide con /blog y /business. Cometimos exactamente este error en itgrows.ai y cerró nuestras guías a todos los rastreadores durante diez semanas antes de que nos diéramos cuenta.
Mi robots.txt lo permite todo. ¿Pueden estar bloqueados los rastreadores igualmente?
Sí. Un firewall, una CDN o una protección contra bots pueden rechazar a un rastreador aunque el robots.txt lo invite. Por eso la comprobación también consulta a su servidor identificándose como GPTBot, ClaudeBot y PerplexityBot y muestra qué respondió.
¿Qué rastreadores importan para que le mencionen en las respuestas de IA?
Los que alimentan la búsqueda y las respuestas en directo: OAI-SearchBot y ChatGPT-User para ChatGPT, Bingbot porque la búsqueda de ChatGPT y Copilot se apoyan en Bing, Googlebot para Gemini y AI Overviews, PerplexityBot y los rastreadores de Anthropic para Claude. GPTBot es el rastreador de entrenamiento de OpenAI.