Cloudflare меняет правила игры для веб-краулеров: чего ожидать сайтам?
Cloudflare, известная хостинг-платформа, готовится к существенному пересмотру взаимодействия с веб-краулерами — автоматическими программами, сканирующими сайты в интернете. С сентября этого года компания будет блокировать определенные виды краулеров, которые не предоставляют возможности контроля владельцам сайтов над их контентом. Это связано с желанием дать больше власти владельцам сайтов и защитить их контент от несанкционированного использования, в частности, в обучении моделей искусственного интеллекта.
Ранее владельцы сайтов могли самостоятельно блокировать сбор данных для чат-ботов, однако с 2026 года эта функция станет стандартной для новых клиентов Cloudflare. Она позволит индексацию для поисковых систем, но будет блокировать использование страниц для тренировки моделей ИИ. Это нововведение касается как новых клиентов, так и новых сайтов существующих пользователей. Даже пользователи бесплатных тарифов должны пересмотреть свое положение по новым условиям или же автоматически перейти на них.
Мэттью Принс, сооснователь и CEO Cloudflare, подчеркнул, что большая часть интернет-трафика сейчас уже создается не людьми, поэтому новые подходы компании направлены на создание стабильной цифровой экосистемы. В качестве стимула для операторов смешанных ботов будет выступать требование разделять функции традиционного поиска от обучения моделей ИИ.
К ключевым изменениям можно отнести и перезапуск функции, известной ранее как Pay Per Crawl. Теперь под названием Pay Per Use она предусматривает выплаты владельцам сайтов за использование их контента в ответах ИИ-чат-ботов, а не за факт сканирования страницы. Это может открыть дополнительные источники дохода и создать стимул для контроля их содержимого на новом уровне.
Данная политика Cloudflare подает четкие сигналы таким гигантам, как Google, которые могут видеть вдвое больший объем данных по сравнению с другими компаниями. Сегодня Googlebot одновременно индексирует сайты для поисковой выдачи и собирает данные для обучения ИИ. Cloudflare стремится изменить эту практику, заставляя крупные компании рассматривать вопрос о отображении в AI Mode отдельно от обучения моделей ИИ.
Эти изменения могут оказать существенное влияние на веб-мастеров, которые теперь будут иметь больше инструментов для защиты своих сайтов. В то же время это является частью более широкого стратегического перехода Cloudflare к модели, ориентированной на искусственный интеллект, что также сопровождается сокращением более 1100 сотрудников по всему миру.
