Зачем мы это сделали
На itgrows.ai правило robots.txt, которое должно было скрыть одну страницу-редирект, /b, было записано как префикс. С 11 августа по 21 октября 2026 года оно закрывало для всех краулеров ещё и /blog, /business и все наши руководства. В браузере страницы открывались нормально, правило выглядело безобидно, а Bing всё это время показывал нашу бизнес-страницу как «обнаружена, но не просканирована». Чтение правил этого не выявило; проверка реальных URL по ним — выявляет.
Что делать с результатом
- Если правила закрывают страницы, которые должны быть доступны, перепишите их так, чтобы они совпадали только с тем, что вы имели в виду, например с
$на конце. Подробнее: не блокирует ли ваш сайт ИИ-краулеров (на английском). - Сервер отказывает краулеру: дело в вашем файрволе или CDN, а не в robots.txt. Подробнее: GPTBot заблокирован Cloudflare (на английском).
- Всё открыто: следующий вопрос — называют ли вас ассистенты. Запустите проверку видимости в ИИ.
Частые вопросы
Как проверка решает, закрыта ли страница?
Она читает ваш robots.txt так же, как краулеры: группа для каждого краулера (или группа *), побеждает самое длинное совпавшее правило, при равенстве побеждает Allow, * и $ работают как подстановочные знаки. Затем она сверяет страницы из вашего sitemap с этими правилами, по одному краулеру за раз.
Почему robots.txt может закрывать страницы, которые я не собирался закрывать?
Правила — это префиксы. Правило, написанное для одной страницы, например Disallow: /b, совпадает и с /blog, и с /business. Мы допустили ровно эту ошибку на itgrows.ai, и она десять недель закрывала наши руководства для всех краулеров, прежде чем мы её заметили.
Мой robots.txt всё разрешает. Могут ли краулеры всё равно быть заблокированы?
Да. Файрвол, CDN или защита от ботов могут отказать краулеру, даже если robots.txt его приглашает. Поэтому проверка также обращается к вашему серверу от имени GPTBot, ClaudeBot и PerplexityBot и показывает, что он ответил.
Какие краулеры важны, чтобы вас называли в ответах ИИ?
Те, что питают поиск и ответы в реальном времени: OAI-SearchBot и ChatGPT-User для ChatGPT, Bingbot — потому что поиск ChatGPT и Copilot опираются на Bing, Googlebot для Gemini и AI Overviews, PerplexityBot и краулеры Anthropic для Claude. GPTBot — краулер OpenAI для обучения моделей.