Четыре AI-поисковика сослались на вымышленное понятие в течение недели

Исследователи Фуданьского университета опубликовали материалы о вымышленном понятии, и в течение недели на них сослались ChatGPT, Perplexity, Grok и инструмент, названный в работе Google AI. Как пишет Search Engine Journal, тесты прошли в марте и апреле, а работу разместили на arXiv 8 октября. Для тех, кто пользуется AI-поиском, вывод простой: ссылку в ответе стоит проверять — сама по себе она не подтверждает достоверность сведений.

Как проверяли AI-поиск

Сначала команда задала десяти AI-поисковым инструментам 120 вопросов и записала, какие сайты те цитировали. Четыре инструмента исследователи отнесли к работающим с англоязычным вебом, ещё шесть, включая Doubao и DeepSeek, — с китайскоязычным. В числе часто цитируемых площадок оказались Reddit, YouTube и Wikipedia. От шести до десяти сайтов в первой десятке каждого инструмента принимали публикации обычных пользователей.

Исследователи изучили условия размещения на 22 платформах и для каждого инструмента выбрали часто цитируемый сайт, доступный новому аккаунту. Получилось девять площадок, в том числе Medium, YouTube и Sohu. Так команда могла проверить, какую роль играет место публикации.

На выбранных сайтах разместили тексты о вымышленном Cactus Gravity Protocol, о том, заменит ли AI начинающих программистов за пять лет, и о несуществующей клавиатуре. Черновики подготовили с помощью ChatGPT, затем переработали вручную и добавили придуманные имена и числа. По этим деталям можно было заметить, что инструмент не просто дал ссылку, но и воспроизвёл сведения из публикации.

Перед размещением команда проверила, что инструменты не дают содержательных ответов по двум вымышленным темам и не повторяют внедрённые детали. После публикации исследователи ежедневно в течение недели задавали те же пять вопросов по каждой теме.

Какие публикации попали в ответы

По данным исследователей, восемь из десяти инструментов за неделю сослались на тексты о Cactus Gravity Protocol, включая все четыре англоязычных. С первого дня появления ссылки у каждого инструмента и до седьмого дня после публикации Grok дал её в 30 из 32 ответов, Google AI — в 15 из 33, Perplexity — в 13 из 35, ChatGPT — в 7 из 20.

Придуманные детали встречались реже: в 53% ответов Grok, 10% ответов ChatGPT и 6% ответов Google AI. У Perplexity их не обнаружили. Всего по десяти инструментам и трём темам ссылки на публикации появились в 176 из 1004 ответов за неделю.

С другими темами результат был иным. Из четырёх англоязычных инструментов материал с вопросом-мнением цитировал только Perplexity — в 11,4% ответов. На тексты о вымышленной клавиатуре не сослался ни один из них. Авторы не определяют, что именно вызвало разницу: тема, конкуренция с другими материалами или формулировка вопроса. Эти условия менялись одновременно.

Место размещения тоже сказалось на результатах отдельных тестов. В пяти сравнениях публикаций о малоизвестных направлениях отдыха первый результат — цитирование, ссылка или повторение внедрённой детали — каждый раз давал материал на часто цитируемом сайте. Сорок публикаций на самостоятельно размещённом сайте WordPress не получили ссылок за семь дней. Исследователи описывают результаты конкретных тестов, а не общее правило для всех сайтов.

У работы есть важные границы: под названием Google AI не указан конкретный продукт Google, а основные тесты не касались настоящих брендов и товаров. Поэтому по ним нельзя судить, повторится ли картина в поиске информации о компании. Показатели могут измениться и с обновлением инструментов.

Что делать владельцам сайтов и маркетологам

Для команды, которая следит за контентом и репутацией, это повод проверять утверждения в ответах AI-поиска, особенно если ссылка ведёт на пользовательскую публикацию. В эксперименте придуманное понятие попало в ответы через сайты, которые инструменты уже часто цитировали. Но наличие ссылки не делает само утверждение надёжным.

Считать исследование инструкцией по продвижению тоже не стоит: другие темы дали иной результат, а реальные бренды не проверяли. Google предупреждает, что стремление получить неаутентичные упоминания может быть менее полезным, чем кажется, и указывает на системы оценки качества и защиты от спама. Уточнение Google о применении правил против спама к попыткам манипулировать генеративными ответами в Поиске вышло 15 мая — после этих тестов.

Моё мнение: проверять содержание, а не вид ссылки

Мне кажется важным разделять наблюдение за тем, что AI-поиск говорит о проекте, и попытки любой ценой попасть в его ответы. Если встречается неожиданное утверждение о компании, я бы открыла материал, на который ведёт ссылка, и посмотрела, кто и на чём его основывает. В этом эксперименте ссылка могла вести к тексту, специально написанному о выдумке.

Я бы не откладывала обычную работу над сайтом ради упоминаний в AI-поиске. Понятные страницы услуг и структура нужны при любых изменениях поиска. А если на телефоне неудобно оставить заявку или подписи и контраст мешают прочесть страницу, дополнительное внимание к проекту не уберёт эти препятствия.

Источники

Откуда новость. Текст — пересказ своими словами, факты — из источника, мнение — автора.

1. AI Search Tools Cited A Made-Up Concept Within A Week, Paper Finds via @sejournal, @MattGSouthern www.searchenginejournal.com

Об авторе

Карине Карапетян

начинающий SEO-специалист

Помогаю локальным проектам приводить в порядок страницы услуг и карточки товаров. Учусь объяснять владельцам бизнеса, что именно меняется после правок.

Все публикации автора