OpenAI, Google, Microsoft и Anthropic приняли единый сигнал отказа от обучения ИИ в robots.txt
Четыре крупнейшие ИИ-лаборатории обещают соблюдать один токен __usage_ai-training вместо четырёх отдельных запретов для краулеров. Черновик сигнала в тот же день внесён в IETF, но внедрение растянется до 2027 года.
30 октября OpenAI, Google, Microsoft и Anthropic заявили, что будут соблюдать единый сигнал отказа от обучения ИИ в robots.txt. Вместо отдельного запрета для каждого краулера сайту достаточно добавить одну группу строк с токеном __usage_ai-training. В тот же день сотрудник Anthropic Кевин Келли опубликовал в IETF черновик, описывающий этот механизм.
Одна группа вместо четырёх запретов
До сих пор издателю, который не хотел попадать в обучающие выборки, приходилось перечислять ботов поимённо: GPTBot у OpenAI, Google-Extended у Google и так далее. Новый подход переносит запрет с конкретной компании на вид использования.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Такой блок означает отказ от обучения на всех путях, кроме каталога с пресс-материалами.
Что внутри черновика
- Новых директив и грамматики нет: язык путей, приоритет самого длинного совпадения и структура групп взяты из RFC 9309.
- Группа с
User-Agent: *не считается выражением отношения к обучению. - Если группы с токеном в файле нет, значит сайт никакого предпочтения не выразил.
- Черновик индивидуальный: IETF его не утверждал, срок действия — до 3 мая 2027 года.
Кто и когда внедрит
Компании идут с разной скоростью. Anthropic уже начала внедрение. OpenAI обещает поддержку «в ближайшие месяцы». Google называет началом 2027 года: по словам его советника по поиску Джона Мюллера, компания планирует поддерживать сигнал вместе с другими провайдерами. Самый подробный план у Microsoft: новые настройки обучения и «заземления» (подстановки живых страниц в ответы) вступают в силу 1 февраля 2027 года и заменяют теги NoArchive и NoCache, а сайтам дают время до 1 марта, чтобы опубликовать предпочтения. Обучение и заземление при этом разделяются.
«Издатели не должны выбирать между видимостью в Bing и решением о том, как генеративные модели используют их работу», — заявил директор по продукту Microsoft Bing Кришна Мадхаван.
Чего сигнал не делает
Это предпочтение об использовании, а не контроль доступа: токен не управляет обходом страниц, и бот по-прежнему может их скачать. Материал, уже попавший в датасеты и веса моделей, обновлением robots.txt не удаляется, а провайдер, который сигнал не внедрил, вправе группу игнорировать — поэтому прежние персональные правила советуют оставлять. Работа в профильной группе IETF AIPREF, которой руководят Марк Ноттингем из Cloudflare и Суреш Кришнан из Cisco, идёт при участии Meta, Common Crawl Foundation, BBC и Creative Commons, но согласия там нет: участник обсуждений Нейт Хейк говорит, что «на уровне IETF работа не закончена».
Почему это важно
Спор о данных вышел за пределы технических настроек: The New York Times судится с OpenAI и Microsoft с декабря 2023 года, Cloudflare по умолчанию блокирует ИИ-ботов на новых сайтах клиентов с июля 2025-го. Пока издатель договаривается с каждым вендором отдельно, отказ стоит дорого. Единый токен превращает robots.txt из набора частных запретов в один публичный и проверяемый сигнал — и делает отказ от обучения дешёвым действием, а не позицией в переговорах.