Google, OpenAI, Microsoft и Anthropic готовят общий запрет обучения ИИ в robots.txt

Google, OpenAI, Microsoft и Anthropic планируют поддержать единый механизм в robots.txt, с помощью которого владельцы сайтов смогут указывать предпочтения по использованию контента для обучения ИИ. Как пишет «Хабр: новости» 2 ноября 2026 года, вместо отдельных настроек для каждого участника можно будет задать общее правило. Внедрение намечено на 2027 год: пока это план, а не уже работающий у всех компаний инструмент.

Как будет работать общее правило

Предложение опирается на работу группы AIPREF в рамках Инженерного совета Интернета (IETF). В robots.txt предполагается использовать маркер политики — policy token. Он позволит выразить одно правило об использовании материалов для обучения сразу для компаний, участвующих в механизме. Речь не о полном отказе от индивидуальных настроек: существующие инструменты отдельных разработчиков продолжат работать.

Например, для Google таким инструментом остаётся Google-Extended. Если владелец сайта запретит обучение через общий маркер и не задаст Google-Extended отдельно, Google истолкует общий запрет так же, как запрет через Google-Extended. Другие разработчики ИИ могут поступать аналогично. Но «могут» не означает, что уже известно, как каждый участник обработает все сочетания общих и отдельных правил.

По замыслу, владелец сайта сможет либо установить ограничение для всех участников, либо уточнить выбор для конкретных провайдеров. Это сокращает число отдельных инструкций, но не избавляет от необходимости понимать, что именно запрещено и какие индивидуальные настройки уже действуют. О поддержке общего запрета Microsoft и Google в блоге уже рассказывали; теперь существенен вопрос, как общее правило будет сочетаться с прежними инструментами.

Обучение, ответы ИИ и поиск — не одно и то же

Предлагаемый маркер касается использования контента для обучения. Его не следует читать как универсальный запрет на любые обращения ИИ-продуктов к сайту. Предыдущее объявление Microsoft, которое упоминает источник, показывает, почему важно различать сценарии: владельцы ресурсов смогут отдельно запрещать обучение моделей на своих материалах и использование этих материалов при создании ответов Bing и Copilot. При этом страницы смогут оставаться в обычной поисковой выдаче.

Для Google описан ещё один нюанс. Сайты, явно разрешающие использование контента через Google-Extended, могут появляться в ответах приложений Gemini и получать переходы благодаря механизму «обоснования» — grounding. Это возможность, а не обещание определённого числа переходов. Из анонса нельзя вывести, сколько посетителей приобретёт или потеряет конкретный сайт при выборе того или иного правила.

Google объясняет инициативу запросом издателей, общественных организаций и регуляторов на единый подход. В материале также говорится о соответствии предложения Кодексу практики для поставщиков моделей ИИ общего назначения в рамках Закона ЕС об искусственном интеллекте: robots.txt там признан основным машиночитаемым способом выражать предпочтения владельцев сайтов. Механизм ещё будут дорабатывать и стандартизировать в IETF, поэтому объявление о поддержке не стоит путать с окончательными правилами применения.

Что делать владельцу сайта до внедрения

Я бы начал с проверки действующих настроек для отдельных компаний: общий механизм не отменит их автоматически. Затем нужно решить, какое ограничение требуется бизнесу — общее для участников или с исключениями для отдельных провайдеров. Это решение лучше принимать с пониманием того, насколько для сайта важны обычная поисковая выдача и возможное присутствие в ИИ-ответах, а не исходя из привлекательности единой настройки.

Техническую правку разумно отложить до появления окончательных правил. В материале нет готового синтаксиса маркера и подробного описания того, как будут разбираться все сочетания общих и индивидуальных директив. Разработчику пока полезнее зафиксировать текущие настройки и согласовать с владельцем сайта желаемые ограничения. Тогда после уточнения механизма будет с чем сравнить новую конфигурацию, не принимая единый маркер за решение всех вопросов сразу.

Моё мнение: сначала границы, потом обещания

Как владелец магазина, я вижу пользу в одном правиле вместо нескольких, но не готов считать экономию на настройке выгодой для SEO. Я сам смотрю отчёты по рекламе и органике, поэтому меня интересует не только то, где стоит запрет, но и что происходит с переходами. ИИ-ответы могут изменить клики, однако товары покупателям всё равно нужно находить и сравнивать. В источнике нет расчёта, который позволил бы оценить эффект маркера для моего магазина, и подменять его предположениями я не хочу.

Я бы потребовал чётко обозначить границы: что ограничивает общий маркер, как с ним взаимодействует отдельная директива и какие способы появления материалов в ответах остаются самостоятельным выбором. Формула «настроили один раз» звучит удобно, но без этих условий её трудно сравнить с действующими инструментами. Когда внедрение начнётся, мне нужны будут понятные правила и возможность сопоставить их с результатами сайта, а не просто более короткий robots.txt.

Источники

Откуда новость. Текст — пересказ своими словами, факты — из источника, мнение — автора.

1. Крупные ИИ‑компании договорились о едином запрете обучения ИИ в файле robots.txt habr.com

Об авторе

Лаури К.

владелец магазина спортивного снаряжения

Управляю небольшим магазином и сам смотрю отчёты по рекламе и органике. Перед сменой CMS хочу увидеть не только миграционный план, но и расчёт того, что мы получим взамен.

Все публикации автора