Microsoft и Google поддержали общий запрет на обучение ИИ на материалах сайтов
Microsoft и Google поддержали общий механизм запрета на обучение ИИ на материалах сайтов. Microsoft также позволит отдельно ограничить использование контента в ответах Bing и Copilot.
30 октября Microsoft объявила о правилах, позволяющих владельцам сайтов отдельно запрещать обучение ИИ на своих материалах и их использование в ответах Bing и Copilot. В тот же день Google сообщила о планах поддержать общий механизм запрета на обучение. Как пишет Хабр, страницы при этом смогут оставаться в обычной поисковой выдаче.
Два вида использования — два разных запрета
Microsoft разделяет обучение модели и обращение к сайту при подготовке ответа. В первом случае для обучения используют тексты, изображения и другие материалы. После этого модель может применять полученные сведения без нового обращения к сайту. Во втором ИИ берёт сведения со страницы для ответа пользователю — например, пересказывает статью и ссылается на неё.
Запрет на обучение для всего сайта предлагается задавать в robots.txt:
User-agent: __usage_ai-training
Disallow: /Эта директива не запрещает индексацию. Если обход сайта поисковым роботом Bing разрешён, страницы смогут оставаться в обычных результатах поиска.
Для запрета на использование материалов в ответах Bing и Copilot robots.txt не подойдёт. Вместо него можно добавить в HTML страницы метатег:
<meta name="Bingbot" content="ai-grounding:disallow">Другой вариант — HTTP-заголовок X-Robots-Tag: Bingbot: ai-grounding:disallow. Для ограничения на всём сайте его нужно возвращать для каждой страницы. Более узкая настройка ai-grounding:disallowextended разрешает Microsoft использовать материалы в собственных продуктах, включая Copilot, но запрещает передавать их сторонним разработчикам через Web IQ и Foundry API.
Оба запрета независимы: можно закрыть материалы для обучения, но оставить их доступными для ответов, или наоборот. Если ничего не указать, Microsoft считает оба способа использования разрешёнными.
Сроки и планы Google
Правила Microsoft начнут действовать с 1 февраля 2027 года по мере повторного обхода сайтов. Для тех, кто использует прежние ограничения NoArchive и NoCache, предусмотрен переходный период до 1 марта 2027 года: настройки потребуется заменить. Чтобы сохранить запрет на использование материалов в ответах до повторной индексации, может понадобиться временная настройка в Bing Webmaster Tools.
Google планирует внедрить общий запрет на обучение в течение 2027 года. Если сайт задаст новую директиву, но не укажет отдельного правила для Google-Extended, компания будет считать обучение запрещённым и для своего механизма. Настройки Google-Extended при этом сохраняют приоритет. Поддержку запрета Microsoft на использование материалов при генерации ответов Google пока не анонсировала.
Компании ориентируются на проект стандарта IETF, который должен избавить владельцев сайтов от отдельных правил для каждого поставщика ИИ. Стандарт ещё не утверждён. Директивы к тому же не защищают от копирования технически: они выражают предпочтения владельца сайта, а соблюдение зависит от компаний, использующих контент.
Что проверить владельцу сайта
Сначала нужно определить, какое использование материалов ограничивать. Запрет на обучение не мешает использовать страницу при подготовке ИИ-ответа; запрет на ответы не убирает её из обычного поиска. И настройки разные: для обучения — robots.txt, для ответов Bing и Copilot — метатег либо HTTP-заголовок.
Microsoft предупреждает, что запрет на использование материалов при генерации ответов уменьшит присутствие сайта в ИИ-ответах и потенциальный трафик из этих сервисов. Компенсации за разрешённое использование новые правила не предусматривают. Владельцу сайта придётся решить, какая видимость ему нужна, прежде чем ставить запрет.
Разработчикам стоит проверить, на каких страницах действительно появляется метатег или возвращается заголовок. Если ограничение нужно для всего сайта, одной настроенной страницы недостаточно. А тем, у кого уже действуют NoArchive или NoCache, понадобится учесть переходный период и повторную индексацию.
Моё мнение: сначала цель, потом директива
Мне нравится возможность не смешивать обычный поиск с использованием контента для ИИ. Для небольшого сайта я бы сначала решил, полезно ли появление в ответах Bing и Copilot, а уже затем попросил одного хорошего фрилансера проверить настройки. Для сайта моего масштаба это обычно проще и выгоднее, чем собирать команду ради пары директив.
Но директива не заменит работу над самим сайтом. Клиент может искать мастерскую с телефона прямо по дороге — ему нужны ясный адрес и кнопка записи. Переходы между блоками, какими бы аккуратными они ни были, этого не исправят. Запрет для ИИ тоже не запишет велосипед на диагностику.
Источники
Откуда новость. Текст — пересказ своими словами, факты — из источника, мнение — автора.
владелец сервиса ремонта велосипедов
У меня мастерская во Вроцлаве, сайт нужен для записи и нескольких страниц услуг. Скорость запуска важна: велосипед сам себя на диагностику не запишет.
Все публикации автораПохожие статьи
Google, OpenAI, Microsoft и Anthropic готовят общий запрет обучения ИИ в robots.txt
Google, OpenAI, Microsoft и Anthropic планируют поддержать общий маркер в robots.txt, чтобы владельцы сайтов могли задать единые предпочтения по использованию контента для обучения ИИ. Внедрение ожидается в 2027 году.
Google добавил совет по индексации страниц для обмена ссылками в руководство по спаму
Google обновил руководство по спаму и объяснил, как управлять индексацией страниц для обмена ссылками, совместной работы и онлайн-инструментов. Если страницу не должны находить через поиск, рекомендуется применять noindex.
Google обновил рекомендации по ИИ-контенту: что проверить перед публикацией
Google обновил рекомендации по ИИ-контенту: перед публикацией тексты нужно проверять на фактические ошибки и редактировать. Что это значит для редакций и владельцев сайтов.
Обсуждение 5
Наталья Горакова
В аудитах я уже встречала сайты, где robots.txt закрывает важные разделы целиком, а владелец не знает, что это влияет не только на ботов ИИ. С новой директивой для обучения особенно важно проверить, куда именно она добавлена: запрет для `__usage_ai-training` не должен случайно превратиться в блокировку обычной индексации.
Мила Петкова
Для магазина тут ещё важный нюанс: запрет на использование материалов в ответах может убрать не только пересказ, но и часть шансов попасть в рекомендации товаров — а обычная индексация при этом останется. Я бы сначала проверила, какие страницы реально приносят заявки из поиска, и не ставила директивы на весь сайт одним махом 🙂
Лена Фишер
Разделение запретов кажется особенно полезным для товарных страниц: обычная индексация может приводить покупателей из поиска, а использование страницы в ответах Bing и Copilot — давать дополнительную видимость. Я бы начала с проверки, какие страницы важны для продаж, и включала ограничения поэтапно: ошибку в robots.txt легко допустить своими силами, а последствия для трафика могут проявиться не сразу.
Байба Андерсоне
мне кажется, тут риск потери рекомендаций пока звучит весомее, чем он есть: запрет на ответы Bing/Copilot не равен выпадению из обычной выдачи, а сам факт, что товар могут упомянуть в ответе, ещё не гарантирует заявки. Я бы не только проверила, какие страницы уже приводят клиентов, но и сравнила это с тем, откуда приходят реальные заказы — прежде чем оставлять ИИ доступ ко всему каталогу на всякий случай 🙂
Брам Зеегерс
@baiba.andersone, с чем именно вы сравнивали бы источники заказов: с переходами из Bing и Copilot или с упоминаниями товаров в ответах без перехода на сайт? Для небольшого магазина важно понять, можно ли это измерить своими силами до смены директив в robots.txt, иначе решение о доступе к каталогу будет опираться на предположения.