Каких AI-роботов пускать в robots.txt (и какие из них только обучают модели)

Чтобы оставаться в ответах AI, разрешите доступ поисковым роботам (crawlers), которые собирают данные для поиска и ответов: OAI-SearchBot (ChatGPT), Claude-SearchBot и Claude-User (Claude), PerplexityBot (Perplexity), Googlebot (Google Поиск, AI Overviews, AI Mode), Bingbot (Bing и Copilot) и Applebot (Siri, Spotlight, Safari). GPTBot, ClaudeBot, Google-Extended и Applebot-Extended, по документации каждой компании, управляют только обучением моделей. Им можно закрыть доступ без потери видимости в поиске, но у Google-Extended есть оговорка.

Три вида AI-роботов

Теперь у каждой AI-компании несколько роботов, и они выполняют разные задачи. Если считать их одной группой («закрыть AI»), можно убрать сайт из ответов AI, хотя владелец хотел только отказаться от обучения. Документация OpenAI, Anthropic, Perplexity, Google и Apple делит их на три вида:

• Роботы для поиска и ответов строят индекс, по которому ассистент ищет, когда отвечает на вопрос. Если закрыть им доступ, ассистент не сможет ссылаться на ваши страницы.
• Роботы или метки для обучения определяют, можно ли использовать ваши материалы для обучения будущих моделей. По словам компаний, запрет для них не убирает вас из поиска.
• Роботы, которые открывают страницу по запросу пользователя, заходят на конкретную страницу, потому что человек попросил об этом ассистента, например вставил ссылку. Некоторые из них не соблюдают robots.txt, потому что такой заход считается действием пользователя.

Таблица по каждому роботу

Составлена по документации каждой компании на 9 ноября 2026 года. Компании добавляют и переименовывают роботов, поэтому перед изменением файла на работающем сайте проверьте страницы по ссылкам.

OpenAI: для поиска ChatGPT важен OAI-SearchBot

Документация OpenAI о роботах говорит об этом прямо. OAI-SearchBot показывает сайты в функциях поиска ChatGPT, и сайты, которые от него отказались, не будут показываться в ответах поиска ChatGPT. GPTBot собирает материалы, которые могут использоваться для обучения базовых моделей OpenAI; запрет для него сообщает, что сайт не следует использовать для обучения. OpenAI указывает, что каждая настройка не зависит от остальных, поэтому сайт может разрешить OAI-SearchBot и запретить GPTBot. Если разрешены оба, OpenAI может использовать один обход сайта для обеих целей. OpenAI также отмечает, что изменения в поиске после правки robots.txt могут вступить в силу примерно через 24 часа.

ChatGPT-User устроен иначе. Он обрабатывает заходы, которые начал пользователь, и OpenAI пишет, что правила robots.txt к нему могут не применяться.

Для ChatGPT важен и индекс Bing. Исследование BrightLocal о местных ответах ChatGPT показало, что поиск ChatGPT в основном опирался на индекс Bing (декабрь 2024). Сайт, который закрывает доступ Bingbot, теряет и этот путь.

Anthropic: три робота, и все соблюдают robots.txt

На странице справки Anthropic перечислены ClaudeBot для обучения, Claude-SearchBot для индексирования сайтов, чтобы улучшить результаты поиска, и Claude-User для загрузки страниц, когда пользователь задаёт вопрос. Anthropic пишет, что её роботы соблюдают правила robots.txt. Запрет для ClaudeBot сообщает, что новые материалы сайта нужно исключить из данных для обучения. Запрет для Claude-SearchBot означает, что материалы не будут индексироваться для поиска, а запрет для Claude-User означает, что страницы не будут загружаться для запросов пользователей; по словам Anthropic, и то и другое может снизить видимость в ответах Claude.

На той же странице есть два практических замечания. Anthropic поддерживает нестандартное правило Crawl-delay (пауза между обращениями робота) и приводит в пример ClaudeBot. И не советует блокировать IP-адреса Anthropic, потому что тогда роботы могут вообще не прочитать robots.txt. Для каждого поддомена нужен свой robots.txt.

Perplexity: разрешите PerplexityBot

В документации Perplexity о роботах сказано, что PerplexityBot нужен, чтобы показывать сайты и ссылки на них в результатах поиска Perplexity, и не используется для сбора материалов для базовых моделей AI. Perplexity рекомендует разрешить его сайтам, которые хотят появляться в результатах. Perplexity-User заходит на страницы, когда пользователь задаёт вопрос, и, по документации, как правило, не учитывает правила robots.txt. Для обучения он тоже не используется.

Для местных компаний важно, что Perplexity читает и данные, полученные по лицензии. С марта 2024 года он показывает данные Yelp, а с января 2025 года использует по лицензии отзывы и карточки Tripadvisor. Robots.txt касается только вашего сайта, а не этих карточек.

Google: Googlebot для поиска, Google-Extended для Gemini

У Google нет отдельного робота для AI. AI Overviews и AI Mode используют обычный поисковый индекс. В рекомендациях Google об AI-функциях сказано, что для появления в них нет дополнительных требований, кроме попадания в индекс и права на показ фрагмента текста (snippet) в результатах. Чтобы ограничить то, что показывается, Google предлагает nosnippet, data-nosnippet, max-snippet и noindex, а не метку в robots.txt.

Google-Extended, описанный на странице об общих роботах Google, является меткой в robots.txt без отдельного User-agent. Она определяет, можно ли использовать материалы для обучения будущих моделей Gemini, и также управляет использованием сайта как источника для ответов (grounding): в момент запроса модель получает материалы из поискового индекса в приложениях Gemini и в функции Grounding with Google Search на Vertex AI. Google указывает, что метка не влияет на попадание в Google Поиск и не учитывается при определении места в результатах.

Именно это второе назначение и есть оговорка для владельца бизнеса. Запрет для Google-Extended означает не только отказ от обучения. Он также ограничивает использование ваших страниц как источника для ответов в приложении Gemini.

Bingbot и Applebot

Microsoft называет карточку Bing Places карточкой компании для поиска и карт Bing (октябрь 2025); Copilot ищет через Bing. Bingbot строит индекс Bing. В блоге Bing для владельцев сайтов сказано, что Bingbot читает robots.txt в корне каждого хоста (домена или поддомена), а если в файле есть группа, написанная специально для bingbot, он не учитывает остальные правила в файле.

На странице Apple об Applebot сказано, что данные Applebot используются для поиска в Spotlight, Siri и Safari. Applebot-Extended не обходит страницы; он позволяет владельцам сайтов отказаться от использования их материалов для обучения генеративных моделей Apple, и Apple пишет, что страницы с запретом для него всё равно могут попадать в результаты поиска.

Рекомендуемый robots.txt

Файл ниже разрешает доступ всем роботам для поиска и ответов из таблицы, а отказ от обучения показан как необязательный блок. Замените примеры путей и домен на свои.

Сначала одно правило. По стандарту robots.txt, RFC 9309, робот, который нашёл группу со своим именем, следует этой группе и не учитывает группу User-agent: *. Поэтому любой путь, который вы хотите закрыть, нужно повторить в каждой группе с именем робота.

# Search and answer crawlers: allowed
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /admin/
Disallow: /cart/

# Optional: opt out of model training only.
# Delete this block if you are fine with training use.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
Disallow: /

# Google-Extended also limits grounding in Gemini Apps.
# Uncomment only if you accept that.
# User-agent: Google-Extended
# Disallow: /

# Everyone else
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://www.example.com/sitemap.xml

Несколько строк User-agent над одним набором правил допускаются RFC 9309 и делают файл короче. После публикации откройте yoursite.com/robots.txt в браузере, чтобы убедиться, что файл доступен, и помните, что, по словам OpenAI, изменения в поиске вступают в силу примерно через сутки.

Запрет для роботов обучения: это выбор, а не исправление ошибки

Единственно правильного ответа для роботов обучения нет. Причины закрыть им доступ: вы не хотите, чтобы ваши тексты или фото использовались для обучения коммерческих моделей, или хотите снизить нагрузку на сервер от обхода сайта. Причины разрешить: модель, которая прочитала ваш сайт, может точнее описать вашу компанию, когда отвечает без поиска, а в случае Google-Extended запрет ещё и ограничивает использование сайта как источника в приложении Gemini. Оба варианта допустимы. Бессмысленно другое: случайно закрыть доступ поисковым роботам, когда вы хотели закрыть только обучение.

Когда мы в AIReputa проверяем сайт, robots.txt входит в первые файлы, которые мы читаем, потому что одна строка может сделать компанию невидимой для ассистента, какие бы у неё ни были отзывы и карточки.