Meta расширила право сканировать сайты компаний, использующих её продукты

Meta обновила коммерческие условия: с 30 октября компания получит разрешение сканировать сайты, связанные с бизнесом, который использует её продукты, и применять собранный контент в том числе для обучения своих продуктов. Как пишет Search Engine Journal, изменение затронет не только рекламодателей, но и компании, которые, например, управляют страницей в Facebook без покупки рекламы.

На какие сайты распространяются условия

Новый пункт Commercial Terms разрешает Meta и действующим от её имени лицам собирать контент автоматическими инструментами. Речь о доменах и страницах, связанных с товарами или услугами компании, а также об URL, которые стали доступны через использование продуктов Meta самой компанией или пользователями. Условия допускают создание тестовых учётных данных для доступа к таким страницам.

Собранный контент Meta может использовать для разработки, улучшения, исследования и обучения своих продуктов. Такое же разрешение на сканирование включено в обновлённые Self-Serve Ad Terms, которые тоже вступают в силу 30 октября. Для рекламодателей подобное право не полностью новое: действующие рекламные условия уже позволяют Meta сканировать их сайты, в том числе для исследований и обучения.

Главное изменение — круг компаний. В коммерческих условиях от 6 марта 2024 года пункта о сканировании нет. Новая редакция привязывает разрешение к любому деловому использованию продуктов Meta, а не только к размещению рекламы. Meta считает, что продолжение такого использования означает согласие с обновлёнными условиями; тем, кто не согласен, условия предлагают прекратить пользоваться её продуктами для бизнеса.

Представитель Meta Энди Стоун оспорил трактовку, согласно которой изменение касается сканирования новостных сайтов. По его объяснению, цель обновления — получать точные сведения о товарах на сторонних сайтах для рекламных и контентных рекомендаций. Однако опрошенные Nieman Lab юристы считают, что формулировки могут дать Meta аргумент в пользу использования материалов издателей для обучения AI. Вопрос о том, как их оценит суд, остаётся открытым.

Что известно об ограничениях сканирования

Meta указывает на robots.txt как на способ управлять доступом к контенту. Но ни обновлённые Commercial Terms, ни Self-Serve Ad Terms не объясняют, как настройки robots.txt соотносятся с разрешением, которое компания получает при принятии условий. Юристы, опрошенные Nieman Lab, допускают, что Meta сможет ссылаться на условия даже при наличии инструкций, ограничивающих сканирование.

В документации Meta краулеры разделены по назначению. Meta-ExternalAgent используется, в частности, для обучения базовых AI-моделей или улучшения продуктов через индексацию контента. Meta-WebIndexer помогает формировать результаты поиска Meta AI: по словам компании, доступ для него позволяет добавлять ссылки на страницы в ответах. Настройки для этих краулеров можно различать — например, закрыть доступ первому и оставить второму.

Есть и оговорки. Согласно документации, Meta-ExternalFetcher может обходить robots.txt, когда получает страницу по запросу пользователя. FacebookExternalHit, который создаёт предпросмотр ссылок, также может обходить файл при проверках безопасности или целостности. Meta не ответила, могут ли тестовые учётные данные использоваться для доступа к платному контенту.

Что проверить владельцам сайтов

До вступления условий в силу компаниям, использующим продукты Meta для бизнеса, имеет смысл определить, какие их домены и URL связаны с этими продуктами. Проверка касается не только тех, кто запускает рекламу: страница Facebook или работа через Meta Business Suite тоже входят в сферу делового использования.

Следующий шаг — посмотреть правила robots.txt отдельно для краулеров Meta, исходя из задачи сайта. Доступ для индексации в поиске Meta AI и доступ для краулера, который может использоваться при обучении, описаны компанией как разные сценарии. При этом robots.txt не снимает вопрос о содержании новых условий: в них не указано, ограничивает ли такой файл объём разрешения на использование контента.

Для издателей неопределённость шире. Европейский совет издателей готовит обращение в Европейскую комиссию: совет опасается, что Meta сможет трактовать публикацию пользователем ссылки на статью как основание для использования её содержания. Это опасение, а не установленное следствие обновления.

Моё мнение

Я бы не сводила решение к одной настройке robots.txt. Сначала нужно понять, какие продукты Meta использует компания и какие страницы с ними связаны, затем проверить правила для конкретных краулеров. Без этого трудно оценить, что именно изменится для сайта после 30 октября.

При этом я бы не представляла блокировку как универсальный ответ. Для сайта важны и контроль доступа, и возможность получать переходы из поиска Meta AI. Здесь полезнее разделять сценарии и проверять результат на данных, а не исходить из предположения, что все краулеры Meta работают одинаково.

Источники

Откуда новость. Текст — пересказ своими словами, факты — из источника, мнение — автора.

1. Meta’s New Terms Expand Crawling Rights Beyond Advertisers via @sejournal, @MattGSouthern www.searchenginejournal.com

Об авторе

Каролина Ондржей

SEO-специалист

Веду поисковую аналитику для нескольких интернет-магазинов и проверяю изменения на данных, а не на скриншотах выдачи. В последние месяцы отдельно слежу за тем, как меняется органический спрос.

Все публикации автора