Проверка ИИ-краулеров · без регистрации

Не закрыт ли ваш сайт для ИИ-краулеров?

Укажите свой сайт. Мы читаем ваш robots.txt так же, как краулеры, сверяем с ним страницы из вашего sitemap для GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot и Bingbot и обращаемся к вашему серверу от имени каждого ИИ-краулера.

Одно правило может закрыть для ИИ ваши лучшие страницы

Одно правило robots.txt может закрыть ваши лучшие страницы для всех ИИ-краулеров, пока в браузере сайт выглядит нормально: правило, написанное для одной страницы, /b, закрывает ещё и /blog и /business, потому что правила работают как префиксы. Чтение правил этого не покажет. Проверка реальных URL по ним — покажет, и именно это делает этот инструмент.

Что делать с результатом

  • Если правила закрывают страницы, которые должны быть доступны, перепишите их так, чтобы они совпадали только с тем, что вы имели в виду, например с $ на конце. Подробнее: не блокирует ли ваш сайт ИИ-краулеров (на английском).
  • Сервер отказывает краулеру: дело в вашем файрволе или CDN, а не в robots.txt. Подробнее: GPTBot заблокирован Cloudflare (на английском).
  • Всё открыто? Теперь проверьте, называют ли вас ассистенты на самом деле: запустите проверку видимости в ИИ.

Частые вопросы

Как проверка решает, закрыта ли страница?

Она читает ваш robots.txt так же, как краулеры: группа для каждого краулера (или группа *), побеждает самое длинное совпавшее правило, при равенстве побеждает Allow, * и $ работают как подстановочные знаки. Затем она сверяет страницы из вашего sitemap с этими правилами, по одному краулеру за раз.

Почему robots.txt может закрывать страницы, которые я не собирался закрывать?

Правила — это префиксы. Правило, написанное для одной страницы, например Disallow: /b, совпадает и с /blog, и с /business и незаметно закрывает их для всех краулеров. Эта проверка сверяет реальные страницы из вашего sitemap с вашими правилами, поэтому такое она находит.

Мой robots.txt всё разрешает. Могут ли краулеры всё равно быть заблокированы?

Да. Файрвол, CDN или защита от ботов могут отказать краулеру, даже если robots.txt его приглашает. Поэтому проверка также обращается к вашему серверу от имени GPTBot, ClaudeBot и PerplexityBot и показывает, что он ответил.

Какие краулеры важны, чтобы вас называли в ответах ИИ?

Те, что питают поиск и ответы в реальном времени: OAI-SearchBot и ChatGPT-User для ChatGPT, Bingbot — потому что поиск ChatGPT и Copilot опираются на Bing, Googlebot для Gemini и AI Overviews, PerplexityBot и краулеры Anthropic для Claude. GPTBot — краулер OpenAI для обучения моделей.