Проверка ИИ-ботов: кого из ИИ-краулеров пускает ваш сайт

Введите домен. Мы прочитаем robots.txt так же, как это делают краулеры, и покажем для 12 ИИ-ботов, разрешена ли главная страница (или любой путь, который вы укажете) и какое правило это решает. Заодно проверим /llms.txt.

Как работает проверка

Наш сервер скачивает https://ваш-домен/robots.txt (до 500 КБ, не больше трёх редиректов) и применяет правила сопоставления из RFC 9309 — стандарта robots.txt, который Google описывает и в своей справке:

• Выбор группы. Бот подчиняется группе, в строке User-agent которой указано его имя (без учёта регистра). Если таких групп несколько, их правила объединяются. Только если бот нигде не назван, он берёт правила из User-agent: *. Поэтому сайт может закрыть всё для * и при этом пустить GPTBot — или наоборот.
• Побеждает самое длинное совпадение. Внутри группы решает правило Allow или Disallow с самым длинным совпавшим путём. При равной длине побеждает Allow. Поддерживаются * и якорь конца строки $.
• Нет файла или ошибка. Ответ 4xx (например, 404) означает «ограничений нет». Ошибка 5xx или недоступный сервер — краулеры должны считать весь сайт закрытым, поэтому в этом случае мы показываем всех ботов заблокированными.

В таблице видно правило, которое решило результат, и номер его строки — его легко найти в файле.

Боты для обучения, для поиска и по запросу пользователя

У ИИ-компаний теперь по несколько краулеров, и блокировка одного не блокирует остальных:

• Обучение: собирают страницы, которые могут пойти на обучение моделей. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, его открытый датасет широко используют в ИИ-исследованиях) и Bytespider (ByteDance). Google-Extended (Google) и Applebot-Extended (Apple) — не отдельные краулеры, а управляющие токены: они говорят Google и Apple, можно ли использовать страницы, скачанные их обычными ботами, для ИИ-моделей. Google пишет, что Google-Extended не влияет на попадание в Google Поиск.
• Поиск: строят индекс, на который ИИ-поиск ссылается в ответах. OAI-SearchBot (поиск ChatGPT), Claude-SearchBot и PerplexityBot. Если их закрыть, страницы могут не попадать в эти ответы.
• По запросу пользователя: открывают страницу, потому что человек попросил ассистента. ChatGPT-User, Claude-User и Perplexity-User. Некоторые компании пишут, что такие запросы могут не следовать robots.txt так же, как краулеры, — смотрите документацию по ссылкам выше.

Частая настройка для небольшого сайта, который хочет видимости в ИИ-ответах, но не хочет отдавать тексты на обучение: закрыть ботов обучения и оставить открытыми поисковых и пользовательских. Как это прописать, разбираем в статье про robots.txt и sitemap и в англоязычном гайде How to block AI crawlers, а как страницы попадают в ответы ChatGPT, Perplexity и Алисы — в разделе ИИ-поиск.

Чего проверка не покажет

robots.txt — просьба, а не замок: добросовестные боты её выполняют, остальные могут игнорировать. Инструмент также не видит правил файрвола или CDN (например, «блокировку ботов» у хостера), которые могут не пускать бота, даже если robots.txt разрешает. Если бот здесь «разрешён», но не приходит, смотрите логи сервера и настройки CDN.

А llms.txt?

Мы также проверяем, есть ли /llms.txt. Это предложение сообщества: короткая Markdown-карта сайта для языковых моделей. Это не часть robots.txt и не стандарт, который боты обязаны читать. Если хотите такой файл, генератор llms.txt соберёт черновик по вашему sitemap.

Частые вопросы

Если закрыть GPTBot, сайт пропадёт из поиска ChatGPT?

Не обязательно. OpenAI описывает GPTBot (обучение) и OAI-SearchBot (поиск) как разных ботов. Чтобы оставаться в поиске ChatGPT и не отдавать тексты на обучение, закройте GPTBot и оставьте открытым OAI-SearchBot.

Блокировка Google-Extended навредит позициям в Google?

Google пишет, что Google-Extended не влияет на попадание и ранжирование в Google Поиске. Токен управляет только использованием контента для моделей Gemini.

Почему бот «разрешён», хотя я добавил для него правило?

Чаще всего в имени User-agent опечатка или более длинный путь в Allow перекрывает ваш Disallow. В таблице видно, какая группа и какая строка решили результат.

robots.txt отдаёт ошибку. Что делают боты?

По RFC 9309 ответ 4xx (например, 404) означает, что можно сканировать всё; ошибка сервера 5xx — что весь сайт нужно считать закрытым, пока файл снова не станет доступен.

Проверка где-то сохраняется?

Результат кэшируется на час, чтобы повторные проверки были быстрыми. Регистрация и почта не нужны; мы скачиваем только robots.txt и llms.txt с указанного домена.

Другие инструменты: Генератор llms.txt · Проверка sponsored-ссылок · Все инструменты

Обновлено: 2026-10-16