OpenAI, Google, Microsoft и Anthropic поддержали единый сигнал в robots.txt для отказа от обучения ИИ

Что объявили

robots.txt — небольшой текстовый файл в корне сайта, который сообщает автоматическим посетителям, что им можно загружать. До сих пор сайту, который не хотел, чтобы его страницы использовались для обучения ИИ, приходилось отдельно указывать краулер или настройку каждой компании. Новое предложение добавляет одну общую для всех компаний запись — в черновике IETF она называется «policy token», — чтобы сайт мог указать одно предпочтение по обучению, которое прочитает каждый участвующий поставщик.

Предложение оформлено как Internet-Draft Кевина Келли от 30 октября и обсуждается в рабочей группе IETF по предпочтениям в отношении ИИ (AI Preferences). The Verge называет Келли техническим руководителем по стандартам в Anthropic и сообщает, что Anthropic уже внедрила сигнал. OpenAI планирует внедрить его «в ближайшие месяцы». Google намерена поддержать его «в 2027 году» и, если сайт откажется от обучения через общую запись, не задав отдельного правила для Google-Extended — своей существующей настройки обучения ИИ, — планирует считать это отказом и для Google-Extended. Microsoft будет учитывать новые предпочтения при обходе сайтов начиная с 1 февраля 2027 года.

Глава отдела коммуникаций Meta Энди Стоун высказался в поддержку, но, по данным The Verge, не сказал, будет ли Meta учитывать сигнал. OpenAI называет договорённость «добровольной инициативой», а существующие настройки для отдельных краулеров у компаний сохраняются.

Что сигнал охватывает, а что нет

Он касается только обучения. Черновик использует определение рабочей группы AI Preferences: использование контента для изменения обучаемых параметров генеративной модели ИИ. Microsoft говорит, что выбор по обучению не влияет на то, может ли сайт появляться в обычных результатах поиска Bing.

Это не запрет на обход сайта. В черновике сказано, что запись «не является директивой для поведения краулеров»; сайту, который хочет сократить визиты ботов, по-прежнему нужны обычные правила для краулеров. Общее правило для всех ботов тоже не считается предпочтением по обучению: по тексту черновика правила с подстановочным знаком «НЕ ДОЛЖНЫ» толковаться как относящиеся к новой записи, а файл robots.txt без этой записи вообще не выражает никакого предпочтения.

Это также не лицензия и не система оплаты. Microsoft пишет, что её настройки «не устанавливают лицензионных или платёжных договорённостей», а черновик отмечает, что частные соглашения могут иметь приоритет над robots.txt. Формального статуса у черновика пока нет: как любой Internet-Draft, это незавершённая работа, срок действия которой истекает 3 мая 2027 года, если документ не обновят.

Обучение — не то же самое, что появление в ответах ИИ

Для большинства компаний более важное решение лежит в другом месте. Microsoft добавляет отдельную настройку на уровне страницы — «AI Grounding», — которая определяет, можно ли использовать страницу как основу для ответов в Copilot, Bing и Microsoft 365. В блоге компании предупреждают, что ограничение или отключение grounding «значительно снизит видимость вашего контента в ответах, созданных ИИ». Microsoft добавляет, что после 1 марта 2027 года её старые теги NoArchive и NoCache перестанут учитываться как предпочтения по обучению и grounding.

Google проводит похожую границу. По её словам, сайты, которые явно разрешают Google-Extended, могут появляться в ответах приложений Gemini и получать переходы через grounding. Google также говорит, что общий сигнал соответствует Своду практик ЕС для поставщиков моделей ИИ общего назначения в рамках Закона ЕС об ИИ, где robots.txt признан основным способом, которым издатели выражают машиночитаемые предпочтения.

Что это значит для сайта небольшого бизнеса

По оценке Evoogen, для большинства небольших компаний полезный вопрос — не «можно ли ИИ обучаться на моём сайте?», а «хочу ли я, чтобы меня упоминали, когда кто-то спрашивает ИИ-ассистента о моей услуге?». Новый сигнал позволяет принимать эти два решения раздельно — по крайней мере с компаниями, которые его учитывают. Сантехник или ресторан, который из осторожности блокирует всё, что связано с ИИ, может заодно закрыть себе путь в ответы ИИ, которые приводят клиентов.

До начала действия правил в 2027 году стоит сделать три проверки. Во-первых, выясните, что robots.txt вашего сайта уже говорит об ИИ-краулерах: хостинг и конструкторы сайтов иногда настраивают это за вас, а The Verge отмечает, что Cloudflare по умолчанию блокирует ИИ-краулеры. Во-вторых, решите отдельно про обучение и про видимость и запишите решение, чтобы оно пережило редизайн сайта. В-третьих, если на сайте стоят теги Microsoft NoArchive или NoCache, учтите крайний срок в марте 2027 года. Подробный синтаксис — в источниках ниже, и правила ещё дорабатываются.