Google, OpenAI, Microsoft і Anthropic готують спільну заборону на навчання ШІ в robots.txt

Google, OpenAI, Microsoft і Anthropic планують підтримати єдиний механізм у robots.txt, за допомогою якого власники сайтів зможуть зазначати свої побажання щодо використання контенту для навчання ШІ. Як повідомляє «Хабр: новости» 2 листопада 2026 року, замість окремих налаштувань для кожного учасника можна буде задати спільне правило. Впровадження заплановане на 2027 рік: поки що це план, а не інструмент, який уже працює в усіх компаній.

Як працюватиме спільне правило

Пропозиція спирається на роботу групи AIPREF у межах Інженерної ради Інтернету (IETF). У robots.txt передбачається використовувати маркер політики — policy token. Він дасть змогу одним правилом визначити, чи можна використовувати матеріали для навчання компаніям, які беруть участь у механізмі. Це не означає повної відмови від індивідуальних налаштувань: наявні інструменти окремих розробників продовжать працювати.

Наприклад, для Google таким інструментом залишається Google-Extended. Якщо власник сайту заборонить навчання через спільний маркер і не налаштує Google-Extended окремо, Google трактуватиме спільну заборону так само, як заборону через Google-Extended. Інші розробники ШІ можуть діяти аналогічно. Але «можуть» не означає, що вже відомо, як кожен учасник оброблятиме всі поєднання спільних та окремих правил.

За задумом, власник сайту зможе або встановити обмеження для всіх учасників, або уточнити свій вибір для конкретних провайдерів. Це зменшує кількість окремих інструкцій, але не позбавляє потреби розуміти, що саме заборонено та які індивідуальні налаштування вже діють. Про підтримку спільної заборони Microsoft і Google у блозі вже розповідали; тепер важливо з’ясувати, як спільне правило поєднуватиметься з попередніми інструментами.

Навчання, відповіді ШІ та пошук — не одне й те саме

Запропонований маркер стосується використання контенту для навчання. Його не слід сприймати як універсальну заборону на будь-яке звернення ШІ-продуктів до сайту. Попереднє оголошення Microsoft, про яке згадує джерело, показує, чому важливо розрізняти сценарії: власники ресурсів зможуть окремо забороняти навчання моделей на своїх матеріалах і використання цих матеріалів під час створення відповідей Bing і Copilot. Водночас сторінки зможуть залишатися у звичайній пошуковій видачі.

Для Google описано ще один нюанс. Сайти, які явно дозволяють використання контенту через Google-Extended, можуть з’являтися у відповідях застосунків Gemini й отримувати переходи завдяки механізму «обґрунтування» — grounding. Це можливість, а не обіцянка певної кількості переходів. З анонсу не можна зробити висновок, скільки відвідувачів отримає або втратить конкретний сайт, обравши те чи інше правило.

Google пояснює ініціативу запитом видавців, громадських організацій і регуляторів на єдиний підхід. У матеріалі також ідеться про відповідність пропозиції Кодексу практики для постачальників моделей ШІ загального призначення в межах Закону ЄС про штучний інтелект: robots.txt там визнано основним машинозчитуваним способом вираження побажань власників сайтів. Механізм ще доопрацьовуватимуть і стандартизуватимуть в IETF, тому оголошення про підтримку не варто плутати з остаточними правилами застосування.

Що робити власнику сайту до впровадження

Я б почав із перевірки чинних налаштувань для окремих компаній: спільний механізм не скасує їх автоматично. Потім потрібно вирішити, яке обмеження потрібне бізнесу — спільне для всіх учасників чи з винятками для окремих провайдерів. Це рішення краще ухвалювати з розумінням того, наскільки для сайту важливі звичайна пошукова видача й можлива присутність у відповідях ШІ, а не виходячи з привабливості єдиного налаштування.

Технічні зміни розумно відкласти до появи остаточних правил. У матеріалі немає готового синтаксису маркера й докладного опису того, як оброблятимуть усі поєднання спільних та індивідуальних директив. Розробнику поки корисніше зафіксувати поточні налаштування й узгодити з власником сайту бажані обмеження. Тоді після уточнення механізму буде з чим порівняти нову конфігурацію, не сприймаючи єдиний маркер як рішення всіх питань одразу.

Моя думка: спочатку межі, потім обіцянки

Як власник магазину, я бачу користь в одному правилі замість кількох, але не готовий вважати економію на налаштуванні перевагою для SEO. Я сам переглядаю звіти щодо реклами й органічного трафіку, тому мене цікавить не лише те, де встановлено заборону, а й те, що відбувається з переходами. Відповіді ШІ можуть вплинути на кліки, проте покупцям усе одно потрібно знаходити й порівнювати товари. У джерелі немає розрахунку, який дав би змогу оцінити вплив маркера на мій магазин, і підміняти його припущеннями я не хочу.

Я б вимагав чітко окреслити межі: що обмежує спільний маркер, як із ним взаємодіє окрема директива та які способи появи матеріалів у відповідях залишаються самостійним вибором. Формула «налаштували один раз» звучить зручно, але без цих умов її важко порівняти з чинними інструментами. Коли почнеться впровадження, мені знадобляться зрозумілі правила й можливість зіставити їх із результатами сайту, а не просто коротший robots.txt.

Джерела

Звідки новина. Текст — переказ своїми словами, факти — з джерела, думка — автора.

1. Крупные ИИ‑компании договорились о едином запрете обучения ИИ в файле robots.txt habr.com

Про автора

Лаурі К.

власник магазину спортивного спорядження

Керую невеликим магазином і сам переглядаю звіти про рекламу й органічний трафік. Перш ніж змінювати CMS, хочу побачити не лише план міграції, а й розрахунок того, що ми отримаємо натомість.

Усі публікації автора