Brave продаёт доступ к поисковому индексу ИИ-компаниям: что это значит для сайтов
Brave предоставляет ИИ-компаниям доступ к поисковому индексу с более чем 30 млрд страниц. Рассказываем, как проверить сайт и почему нельзя закрыть робота Brave отдельно через robots.txt.
Brave продаёт доступ к своему поисковому индексу через Brave Search API; среди пользователей компания называет Cohere, Mistral и Perplexity. 2 ноября New York Times подала против Brave иск, оспаривая использование материалов издания. Как пишет Search Engine Journal, это касается не только издателей: страницы обычных сайтов тоже могут попасть в индекс, из которого ИИ-сервисы получают данные. Проверить свой домен можно в Brave Search запросом site:домен.
Как индекс Brave используют ИИ-сервисы
Когда ИИ-помощнику нужны свежие сведения из интернета, он может обратиться к готовому поисковому индексу, а не обходить сайты самостоятельно. Brave предоставляет такой доступ через API. По данным компании, её индекс содержит более 30 миллиардов страниц и ежедневно пополняется миллионами новых. Среди пользователей API Brave также называет You.com.
Для владельца сайта обычная поисковая выдача и ответ ИИ — разные истории. В выдаче человек видит страницу и может перейти на неё. Из индекса ИИ-сервис может получить данные и составить ответ, а приведёт ли он читателя к источнику, решает уже сам. В иске описан продукт Brave для языковых моделей, который передаёт фрагменты страниц и сведения об источниках в подготовленном для модели виде. Повторно собирать содержимое сайта получателю не требуется.
В иске New York Times среди компаний, которым Brave, по утверждению истца, предоставляет данные, названы также Anthropic и xAI. К самим ИИ-компаниям претензии в этом деле не предъявлены. С Claude ситуация менее определённая: материал приводит свидетельства 2023 года и марта 2025 года, но подтвердить, что сервис использует индекс Brave сейчас, автору не удалось.
Почему Brave нельзя отдельно закрыть в robots.txt
В robots.txt владелец сайта задаёт правила для роботов по их именам. Но, согласно справке Brave, её робот не сообщает отдельный идентификатор user-agent. Компания объясняет это тем, что некоторые сайты пропускают Googlebot и закрывают доступ остальным. Brave утверждает, что следует правилам для Googlebot: если тому запрещено читать страницу, её робот тоже не должен этого делать.
Поэтому разрешить обход Googlebot и одновременно запретить его роботу Brave через отдельное правило robots.txt не получится. Для удаления страницы из своего индекса Brave предлагает использовать noindex, но тогда её исключит из индекса и Google. Если сайту нужен поисковый трафик, это не точечная настройка «не показывать ИИ».
New York Times утверждает, что Brave скопировала более 30 миллиардов страниц без отдельного представления своего робота и без возможности заблокировать именно его. Это позиция истца, а не установленный судом факт. На момент публикации материала Brave ещё не ответила на иск. В тот же день отдельное дело против компании начали Daily News, Chicago Tribune и Orlando Sentinel.
Что проверить владельцу сайта
Начать можно с запроса site:домен в Brave Search: он покажет страницы домена в доступной выдаче. Автор материала проверил свой сайт 3 ноября и увидел на первой странице результатов 16 страниц, включая 13 статей. Описание главной страницы при этом оставалось прежним, хотя он изменил его ранее в тот же день. Значит, выдача может показывать сохранённые данные, а не состояние страницы прямо сейчас.
Такой запрос помогает выяснить, какие страницы видны в поиске Brave, но не показывает, использовал ли их конкретный ИИ-сервис и привёл ли он посетителей. Присутствие в индексе не равно переходам на сайт. Разработчикам и маркетологам стоит разделять эти вопросы, прежде чем менять правила доступа: robots.txt не даёт отдельно закрыть Brave описанным способом, а noindex затрагивает и обычную видимость в Google.
Моё мнение: сначала покупатель, потом борьба с индексом
Я бы начала с проверки конкретных страниц, а не с торжественного объявления войны роботам. У меня небольшой магазин, и люди всё ещё ищут конкретные продукты. Если покупатель ищет товар, мне важно, чтобы он нашёл страницу и смог сделать заказ. Убирать её из Google вместе с Brave ради красивой галочки в списке задач — идея, которую я сначала обсудила бы с покупателями. Презентация про полный контроль над индексом заказ за них не оформит.
Но и приравнивать ответ ИИ к обычной выдаче я бы не стала. В поиске у страницы есть понятный путь к посетителю; когда её фрагмент попадает в готовый ответ, этот путь зависит от другого сервиса. Я бы наблюдала за присутствием страниц в выдаче и переходами, не записывая обвинения из иска в доказанные факты. Третий редизайн моего сайта от этого срочнее не станет.
Источники
Откуда новость. Текст — пересказ своими словами, факты — из источника, мнение — автора.
- Brave Sells Its Search Index To AI, And Your Website Is Probably In It via @sejournal, @slobodanmanic www.searchenginejournal.com
владелица магазина грузинских продуктов
Продаю продукты из небольшого магазина и развиваю онлайн-заказы. Сайт уже пережил два редизайна; третий начну только после разговора с покупателями, а не с очередной модной презентации.
Все публикации автораПохожие статьи
Google добавил совет по индексации страниц для обмена ссылками в руководство по спаму
Google обновил руководство по спаму и объяснил, как управлять индексацией страниц для обмена ссылками, совместной работы и онлайн-инструментов. Если страницу не должны находить через поиск, рекомендуется применять noindex.
Google, OpenAI, Microsoft и Anthropic готовят общий запрет обучения ИИ в robots.txt
Google, OpenAI, Microsoft и Anthropic планируют поддержать общий маркер в robots.txt, чтобы владельцы сайтов могли задать единые предпочтения по использованию контента для обучения ИИ. Внедрение ожидается в 2027 году.
Microsoft и Google поддержали общий запрет на обучение ИИ на материалах сайтов
Microsoft и Google поддержали общий механизм запрета на обучение ИИ на материалах сайтов. Microsoft также позволит отдельно ограничить использование контента в ответах Bing и Copilot.
Обсуждение 4
Елена Нурова
Особенно важно, что Brave нельзя закрыть отдельно через robots.txt: запрет для поискового робота может затронуть и обычную индексацию. Я бы сначала проверила, какие страницы домена уже видны по запросу site:, а затем посмотрела в аналитике, есть ли от этого практический эффект для трафика.
Аурора Рибейру
В проектах я сначала сверяю выборку из `site:` с серверными логами и органическими переходами: наличие URL в индексе само по себе ещё не показывает, что он приводит аудиторию или влияет на трафик. У вас удавалось выделить переходы именно из Brave, а не просто общий эффект от поисковых систем?
Мариам Гогуа Автор публикации
Аурора, именно выделить переходы из Brave у меня пока не получалось: в небольшом магазине таких визитов слишком мало, чтобы делать выводы, а сам факт попадания страниц в индекс ещё не повод срочно перекраивать robots.txt. Логи и органику сверять разумно, но я бы сначала проверила, есть ли реальные переходы и заказы, и только потом тратила время и бюджет на борьбу с индексом — бесконечный техредизайн тоже редко продаёт сыр сулугуни 🙂
Ольга Линде
Если сайт уже находится в индексе Brave, можно ли понять, какие именно его страницы доступны через API и насколько быстро изменения на сайте отражаются в индексе? Для оценки риска одного запроса site:домен, кажется, недостаточно.