Brave продає доступ до пошукового індексу ШІ-компаніям: що це означає для сайтів
Brave надає ШІ-компаніям доступ до пошукового індексу з понад 30 млрд сторінок. Розповідаємо, як перевірити сайт і чому не можна окремо заблокувати робота Brave через robots.txt.
Brave продає доступ до свого пошукового індексу через Brave Search API; серед користувачів компанія називає Cohere, Mistral і Perplexity. 2 листопада New York Times подала позов проти Brave, оскаржуючи використання матеріалів видання. Як пише Search Engine Journal, це стосується не лише видавців: сторінки звичайних сайтів теж можуть потрапити до індексу, з якого ШІ-сервіси отримують дані. Перевірити свій домен можна в Brave Search за запитом site:домен.
Як ШІ-сервіси використовують індекс Brave
Коли ШІ-помічнику потрібні свіжі відомості з інтернету, він може звернутися до готового пошукового індексу, а не обходити сайти самостійно. Brave надає такий доступ через API. За даними компанії, її індекс містить понад 30 мільярдів сторінок і щодня поповнюється мільйонами нових. Серед користувачів API Brave також називає You.com.
Для власника сайту звичайна пошукова видача й відповідь ШІ — різні речі. У видачі людина бачить сторінку й може перейти на неї. З індексу ШІ-сервіс може отримати дані та скласти відповідь, а чи приведе він читача до джерела — вирішує вже сам. У позові описано продукт Brave для мовних моделей, який передає фрагменти сторінок і відомості про джерела у підготовленому для моделі вигляді. Повторно збирати вміст сайту отримувачу не потрібно.
У позові New York Times серед компаній, яким Brave, за твердженням позивача, надає дані, також названо Anthropic і xAI. До самих ШІ-компаній претензій у цій справі не висунуто. Із Claude ситуація менш визначена: у матеріалі наведено свідчення за 2023 рік і березень 2025 року, але підтвердити, що сервіс використовує індекс Brave зараз, автору не вдалося.
Чому Brave не можна окремо заблокувати в robots.txt
У robots.txt власник сайту задає правила для роботів за їхніми іменами. Але, згідно з довідкою Brave, її робот не повідомляє окремого ідентифікатора user-agent. Компанія пояснює це тим, що деякі сайти пропускають Googlebot і закривають доступ решті. Brave стверджує, що дотримується правил для Googlebot: якщо йому заборонено читати сторінку, її робот теж не повинен цього робити.
Тому дозволити обхід Googlebot і водночас заборонити його роботу Brave окремим правилом robots.txt не вийде. Щоб видалити сторінку зі свого індексу, Brave пропонує використовувати noindex, але тоді її виключить з індексу й Google. Якщо сайту потрібен пошуковий трафік, це не точкове налаштування «не показувати ШІ».
New York Times стверджує, що Brave скопіювала понад 30 мільярдів сторінок, не представивши свого робота окремо й не давши змоги заблокувати саме його. Це позиція позивача, а не встановлений судом факт. На момент публікації матеріалу Brave ще не відповіла на позов. Того самого дня окрему справу проти компанії розпочали Daily News, Chicago Tribune та Orlando Sentinel.
Що перевірити власнику сайту
Почати можна із запиту site:домен у Brave Search: він покаже сторінки домену в доступній видачі. Автор матеріалу перевірив свій сайт 3 листопада й побачив на першій сторінці результатів 16 сторінок, зокрема 13 статей. Опис головної сторінки водночас залишався старим, хоча він змінив його раніше того самого дня. Отже, видача може показувати збережені дані, а не стан сторінки просто зараз.
Такий запит допомагає з’ясувати, які сторінки видно в пошуку Brave, але не показує, чи використав їх конкретний ШІ-сервіс і чи привів він відвідувачів. Присутність в індексі не дорівнює переходам на сайт. Розробникам і маркетологам варто розрізняти ці питання, перш ніж змінювати правила доступу: robots.txt не дає окремо заблокувати Brave описаним способом, а noindex впливає і на звичайну видимість у Google.
Моя думка: спочатку покупець, потім боротьба з індексом
Я б почала з перевірки конкретних сторінок, а не з урочистого оголошення війни роботам. У мене невеликий магазин, і люди досі шукають конкретні товари. Якщо покупець шукає товар, мені важливо, щоб він знайшов сторінку й зміг оформити замовлення. Прибрати її з Google разом із Brave заради красивої позначки у списку завдань — ідея, яку я спочатку обговорила б із покупцями. Презентація про повний контроль над індексом замовлення за них не оформить.
Але й прирівнювати відповідь ШІ до звичайної видачі я б не стала. У пошуку сторінка має зрозумілий шлях до відвідувача; коли її фрагмент потрапляє до готової відповіді, цей шлях залежить від іншого сервісу. Я б стежила за присутністю сторінок у видачі та переходами, не записуючи звинувачення з позову до доведених фактів. Третій редизайн мого сайту від цього нагальнішим не стане.
Джерела
Звідки новина. Текст — переказ своїми словами, факти — з джерела, думка — автора.
- Brave Sells Its Search Index To AI, And Your Website Is Probably In It via @sejournal, @slobodanmanic www.searchenginejournal.com
власниця магазину грузинських продуктів
Продаю продукти з невеликого магазину й розвиваю онлайн-замовлення. Сайт уже пережив два редизайни; третій почну лише після розмови з покупцями, а не після чергової модної презентації.
Усі публікації автораСхожі статті
Google додав до настанов щодо спаму пораду про індексацію сторінок для обміну посиланнями
Google оновив настанови щодо спаму й пояснив, як керувати індексацією сторінок для обміну посиланнями, спільної роботи та онлайн-інструментів. Якщо сторінку не мають знаходити через пошук, радить використовувати noindex.
Google, OpenAI, Microsoft і Anthropic готують спільну заборону на навчання ШІ в robots.txt
Google, OpenAI, Microsoft і Anthropic планують підтримати спільний маркер у robots.txt, щоб власники сайтів могли задавати єдині правила використання контенту для навчання ШІ. Впровадження очікують у 2027 році.
Microsoft і Google підтримали спільну заборону на навчання ШІ на матеріалах сайтів
Microsoft і Google підтримали спільний механізм заборони на навчання ШІ на матеріалах сайтів. Microsoft також дасть змогу окремо обмежити використання контенту у відповідях Bing і Copilot.
Обговорення 5
Здравко Христов
Якщо сторінки магазину потрапляють у відповіді ШІ через API Brave, чи є у власника сайту спосіб зрозуміти, який саме контент звідти використовують і чи приводить він покупців? Бо витрачати бюджет на боротьбу з індексом навмання — заняття просте, а от вплив на продажі хотілося б виміряти.
Ола Новак
у технічному аудиті для невеликого магазину окремо перевіряла мобільну версію й robots.txt: блокування обходу не прибирає вже проіндексовані сторінки, тому спершу перевірили, чи немає в індексі закритих розділів
Лена Фогт
У клієнтських сайтів перевіряю `site:домен` не як доказ використання сторінок ШІ-сервісами, а як сигнал, що вони є в індексі Brave. Якщо питання саме в трафіку, окремо дивлюся переходи з пошуку й реферальні джерела: наявність у відповіді ШІ не дорівнює візиту на сайт.
Лена Зайдель
@lena.vogt, ще варто розділяти сам факт появи сторінки в індексі Brave і її цитування в конкретній відповіді ШІ: API може віддати результати пошуку, але це ще не означає, що сервіс використав саме ваш URL. Тож `site:` — діагностика індексації, а не атрибуція AI-трафіку, хоч звіти іноді дуже просять усе змішати.
Ерік Фогель
Правильно розумію: якщо URL віддається через Brave Search API, сервіс усе одно може його не показати у відповіді ШІ? Для оцінки ризику тут важливіше, чи можна обмежити доступ до API, а не лише прибрати сторінку з пошукового індексу.