Microsoft і Google підтримали спільну заборону на навчання ШІ на матеріалах сайтів

30 жовтня Microsoft оголосила про правила, які дають власникам сайтів змогу окремо забороняти навчання ШІ на їхніх матеріалах і використання цих матеріалів у відповідях Bing і Copilot. Того ж дня Google повідомила про плани підтримати спільний механізм заборони на навчання. Як пише Хабр, сторінки при цьому зможуть залишатися у звичайній пошуковій видачі.

Два способи використання — дві різні заборони

Microsoft розрізняє навчання моделі та звернення до сайту під час підготовки відповіді. У першому випадку для навчання використовують тексти, зображення та інші матеріали. Після цього модель може застосовувати отримані відомості, не звертаючись до сайту знову. У другому ШІ бере відомості зі сторінки, щоб відповісти користувачеві, — наприклад, переказує статтю й посилається на неї.

Заборону на навчання для всього сайту пропонують задавати в robots.txt:

User-agent: __usage_ai-training
Disallow: /

Ця директива не забороняє індексацію. Якщо пошуковому роботу Bing дозволено сканувати сайт, сторінки зможуть залишатися у звичайних результатах пошуку.

Щоб заборонити використання матеріалів у відповідях Bing і Copilot, robots.txt не підійде. Натомість у HTML сторінки можна додати метатег:

<meta name="Bingbot" content="ai-grounding:disallow">

Інший варіант — HTTP-заголовок X-Robots-Tag: Bingbot: ai-grounding:disallow. Щоб обмеження діяло на всьому сайті, його потрібно повертати для кожної сторінки. Вужче налаштування ai-grounding:disallowextended дозволяє Microsoft використовувати матеріали у власних продуктах, зокрема Copilot, але забороняє передавати їх стороннім розробникам через Web IQ і Foundry API.

Обидві заборони незалежні: можна закрити матеріали для навчання, але залишити доступними для відповідей, або навпаки. Якщо нічого не вказати, Microsoft вважатиме обидва способи використання дозволеними.

Терміни й плани Google

Правила Microsoft почнуть діяти з 1 лютого 2027 року в міру повторного сканування сайтів. Для тих, хто використовує попередні обмеження NoArchive і NoCache, передбачено перехідний період до 1 березня 2027 року: налаштування потрібно буде замінити. Щоб зберегти заборону на використання матеріалів у відповідях до повторної індексації, може знадобитися тимчасове налаштування в Bing Webmaster Tools.

Google планує запровадити спільну заборону на навчання протягом 2027 року. Якщо сайт задасть нову директиву, але не вкаже окремого правила для Google-Extended, компанія вважатиме навчання забороненим і для свого механізму. Налаштування Google-Extended при цьому зберігають пріоритет. Підтримку заборони Microsoft на використання матеріалів під час генерації відповідей Google поки не анонсувала.

Компанії орієнтуються на проєкт стандарту IETF, який має позбавити власників сайтів потреби задавати окремі правила для кожного постачальника ШІ. Стандарт ще не затверджено. До того ж директиви технічно не захищають від копіювання: вони виражають побажання власника сайту, а їх дотримання залежить від компаній, які використовують контент.

Що перевірити власнику сайту

Спочатку потрібно визначити, який спосіб використання матеріалів обмежувати. Заборона на навчання не заважає використовувати сторінку під час підготовки відповіді ШІ; заборона на використання у відповідях не прибирає її зі звичайного пошуку. І налаштування різні: для навчання — robots.txt, для відповідей Bing і Copilot — метатег або HTTP-заголовок.

Microsoft попереджає, що заборона на використання матеріалів під час генерації відповідей зменшить присутність сайту у відповідях ШІ та потенційний трафік із цих сервісів. Нові правила не передбачають компенсації за дозволене використання. Власнику сайту доведеться вирішити, яка видимість йому потрібна, перш ніж встановлювати заборону.

Розробникам варто перевірити, на яких сторінках справді з’являється метатег або повертається заголовок. Якщо обмеження потрібне для всього сайту, однієї налаштованої сторінки недостатньо. А тим, у кого вже діють NoArchive або NoCache, потрібно буде врахувати перехідний період і повторну індексацію.

Моя думка: спочатку мета, потім директива

Мені подобається можливість не змішувати звичайний пошук із використанням контенту для ШІ. Для невеликого сайту я б спочатку вирішив, чи корисно з’являтися у відповідях Bing і Copilot, а вже потім попросив би одного хорошого фрилансера перевірити налаштування. Для сайту мого масштабу це зазвичай простіше й вигідніше, ніж збирати команду заради кількох директив.

Але директива не замінить роботи над самим сайтом. Клієнт може шукати майстерню з телефона просто в дорозі — йому потрібні зрозуміла адреса й кнопка запису. Переходи між блоками, хоч якими акуратними вони будуть, цього не виправлять. Заборона для ШІ теж не запише велосипед на діагностику.

Джерела

Звідки новина. Текст — переказ своїми словами, факти — з джерела, думка — автора.

1. Microsoft и Google поддержали единый механизм запрета на обучение ИИ контентом сайтов habr.com

Про автора

Марек Новак

власник веломайстерні

Маю майстерню у Вроцлаві, а сайт потрібен для запису й кількох сторінок послуг. Важливо швидко запуститися: велосипед сам себе на діагностику не запише.

Усі публікації автора