Meta розширила право сканувати сайти компаній, які використовують її продукти

Meta оновила комерційні умови: з 30 жовтня компанія отримає дозвіл сканувати сайти, пов’язані з бізнесом, який використовує її продукти, і застосовувати зібраний контент, зокрема, для навчання своїх продуктів. Як пише Search Engine Journal, зміна торкнеться не лише рекламодавців, а й компаній, які, наприклад, ведуть сторінку у Facebook, не купуючи рекламу.

На які сайти поширюються умови

Новий пункт Commercial Terms дозволяє Meta та особам, які діють від її імені, збирати контент автоматизованими інструментами. Йдеться про домени й сторінки, пов’язані з товарами або послугами компанії, а також про URL-адреси, які стали доступними завдяки використанню продуктів Meta самою компанією або користувачами. Умови допускають створення тестових облікових даних для доступу до таких сторінок.

Зібраний контент Meta може використовувати для розробки, удосконалення, дослідження й навчання своїх продуктів. Такий самий дозвіл на сканування включено до оновлених Self-Serve Ad Terms, які теж набувають чинності 30 жовтня. Для рекламодавців подібне право не зовсім нове: чинні рекламні умови вже дозволяють Meta сканувати їхні сайти, зокрема для досліджень і навчання.

Головна зміна — коло компаній. У комерційних умовах від 6 березня 2024 року пункту про сканування немає. Нова редакція пов’язує дозвіл із будь-яким використанням продуктів Meta для бізнесу, а не лише з розміщенням реклами. Meta вважає, що подальше використання цих продуктів означає згоду з оновленими умовами; тим, хто не згоден, умови пропонують припинити користуватися її продуктами для бізнесу.

Представник Meta Енді Стоун заперечив трактування, за яким зміна стосується сканування новинних сайтів. За його поясненням, мета оновлення — отримувати точні відомості про товари на сторонніх сайтах для рекламних і контентних рекомендацій. Однак юристи, з якими поспілкувалося Nieman Lab, вважають, що формулювання можуть дати Meta аргумент на користь використання матеріалів видавців для навчання ШІ. Питання про те, як їх оцінить суд, залишається відкритим.

Що відомо про обмеження сканування

Meta вказує на robots.txt як на спосіб керувати доступом до контенту. Але ні оновлені Commercial Terms, ні Self-Serve Ad Terms не пояснюють, як налаштування robots.txt співвідносяться з дозволом, який компанія отримує після прийняття умов. Юристи, з якими поспілкувалося Nieman Lab, припускають, що Meta зможе посилатися на умови навіть за наявності інструкцій, які обмежують сканування.

У документації Meta краулери поділено за призначенням. Meta-ExternalAgent використовується, зокрема, для навчання базових моделей ШІ або вдосконалення продуктів через індексацію контенту. Meta-WebIndexer допомагає формувати результати пошуку Meta AI: за словами компанії, доступ для нього дає змогу додавати посилання на сторінки у відповідях. Налаштування для цих краулерів можна розрізняти — наприклад, закрити доступ першому й залишити другому.

Є й застереження. Згідно з документацією, Meta-ExternalFetcher може ігнорувати robots.txt, коли отримує сторінку на запит користувача. FacebookExternalHit, який створює попередній перегляд посилань, також може ігнорувати файл під час перевірок безпеки або цілісності. Meta не відповіла, чи можна використовувати тестові облікові дані для доступу до платного контенту.

Що перевірити власникам сайтів

До набуття умовами чинності компаніям, які використовують продукти Meta для бізнесу, варто визначити, які їхні домени та URL-адреси пов’язані з цими продуктами. Перевірка стосується не лише тих, хто запускає рекламу: сторінка у Facebook або робота через Meta Business Suite теж належать до використання продуктів для бізнесу.

Наступний крок — переглянути правила robots.txt окремо для краулерів Meta з огляду на завдання сайту. Доступ для індексації в пошуку Meta AI і доступ для краулера, який може використовуватися під час навчання, компанія описує як різні сценарії. Водночас robots.txt не знімає питання щодо змісту нових умов: у них не зазначено, чи обмежує цей файл обсяг дозволу на використання контенту.

Для видавців невизначеність ширша. Європейська рада видавців готує звернення до Європейської комісії: рада побоюється, що Meta зможе трактувати публікацію користувачем посилання на статтю як підставу для використання її вмісту. Це побоювання, а не встановлений наслідок оновлення.

Моя думка

Я б не зводила рішення до одного налаштування robots.txt. Спочатку потрібно зрозуміти, які продукти Meta використовує компанія і які сторінки з ними пов’язані, а потім перевірити правила для конкретних краулерів. Без цього складно оцінити, що саме зміниться для сайту після 30 жовтня.

Водночас я б не подавала блокування як універсальну відповідь. Для сайту важливі і контроль доступу, і можливість отримувати переходи з пошуку Meta AI. Тут корисніше розділяти сценарії та перевіряти результат за даними, а не виходити з припущення, що всі краулери Meta працюють однаково.

Джерела

Звідки новина. Текст — переказ своїми словами, факти — з джерела, думка — автора.

1. Meta’s New Terms Expand Crawling Rights Beyond Advertisers via @sejournal, @MattGSouthern www.searchenginejournal.com

Про автора

Кароліна Ондржей

SEO-фахівчиня

Веду пошукову аналітику для кількох інтернет-магазинів і перевіряю зміни за даними, а не за скриншотами видачі. Останніми місяцями окремо стежу за тим, як змінюється органічний попит.

Усі публікації автора