Cloudflare змінює правила гри для вебкраулерів: на що чекати сайтам?
Cloudflare, відома хостинг-платформа, готується до суттєвого перегляду взаємодії з вебкраулерами — автоматичними програмами, що сканують сайти в мережі. З вересня цього року компанія блокуватиме певні види краулерів, які не надають можливості контролю власникам сайтів над їхнім контентом. Це пов’язано з бажанням дати більше влади власникам сайтів і захистити їхній контент від несанкціонованого використання, зокрема в навчанні моделей штучного інтелекту.
Раніше власники сайтів могли самостійно блокувати збір даних для чатботів, однак з 2026 року ця функція стане стандартною для нових клієнтів Cloudflare. Вона дозволить індексацію для пошукових систем, але блокуватиме використання сторінок для тренування моделей ШІ. Це нововведення стосується як нових клієнтів, так і нових сайтів наявних користувачів. Навіть користувачі безкоштовних тарифів мають переглянути своє становище щодо нових умов або ж автоматично перейти на них.
Меттью Прінс, співзасновник і СЕО Cloudflare, підкреслив, що більша частина інтернет-трафіку зараз вже створюється не людьми, тому нові підходи компанії спрямовані на створення стабільної цифрової екосистеми. В ролі стимулу для операторів змішаних ботів виступатиме вимога розділяти функції традиційного пошуку від навчання моделей ШІ.
До ключових змін можна віднести й перезапуск функції, відомої раніше як Pay Per Crawl. Тепер під назвою Pay Per Use вона передбачає виплати власникам сайтів за використання їхнього контенту в відповідях ШІ-чатботів, а не за факт сканування сторінки. Це може відкрити додаткові джерела доходу та створити стимул для контролю їхнього вмісту на новому рівні.
Дана політика Cloudflare має чіткі сигнали до таких гігантів, як Google, які можуть бачити у двічі більший обсяг даних у порівнянні з іншими компаніями. Сьогодні Googlebot одночасно індексує сайти для пошукової видачі та збирає дані для навчання ШІ. Cloudflare прагне змінити цю практику, змушуючи великі компанії розглядати питання про відображення в AI Mode окремо від навчання моделей ШІ.
Ці зміни можуть мати суттєвий вплив на вебмайстрів, які тепер матимуть більше інструментів для захисту своїх сайтів. Водночас це є частиною ширшого стратегічного переходу Cloudflare до моделі, орієнтованої на штучний інтелект, що також супроводжується скороченням понад 1100 співробітників у всьому світі.
