Новые правила Cloudflare: разделение поисковых и ИИ-ботов
Cloudflare объявила о новых сроках для индустрии искусственного интеллекта: компания намерена четко разделить веб-краулеры, используемые для традиционного поиска (как у Google), и те, что применяются для ИИ-агентов и обучения моделей. Начиная с 15 сентября 2026 года, настройки по умолчанию будут блокировать «смешанные» краулеры на всех страницах, где размещена реклама, сообщили в компании в среду.
Это означает, что боты, совмещающие функции поиска, работы агентов и сбора данных для обучения, по умолчанию не смогут сканировать такие сайты — если только владелец ресурса не изменит параметры самостоятельно. Новые правила затронут новых клиентов Cloudflare, новые сайты существующих пользователей, а также всех текущих владельцев бесплатных аккаунтов.
Шаг может серьезно повлиять на то, как провайдеры ИИ-моделей получают доступ к веб-контенту для обучения и обеспечения работы своих агентских сервисов.
Почему издатели хотят контроля над интеллектуальной собственностью
В Cloudflare подчеркивают: большинство владельцев сайтов хотят, чтобы их контент находили через поиск и часто через ИИ-сервисы, но при этом они ожидают защиты от бесплатной раздачи своей интеллектуальной собственности.
Cloudflare отдельно упоминает «крупнейший в мире поисковик» (явный намек на Google!), который имеет доступ примерно к «вдвое большему объему информации», чем другие ИИ-компании — потому что поисковому гиганту сложно оставаться видимым для пользователей, не будучи использованным для задач ИИ.
Google ранее возражала против подобных обобщений, указывая, что предоставляет бота Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и продуктов вроде Gemini Apps и Vertex API. Этот отказ не влияет на присутствие сайта в поисковой выдаче Google. Однако флагманский Googlebot сканирует для поиска, включая такие ИИ-функции, как AI Overviews и AI Mode.
Боты обогнали людей: новая реальность интернета
«Теперь, когда большая часть трафика в интернете — нечеловеческая, мы должны идти дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема», — заявил сооснователь и генеральный директор Cloudflare Мэттью Принс, комментируя недавний рубеж, когда боты впервые превысили человеческий трафик онлайн. Этот сдвиг не ожидался ранее следующего года.
«Новые инструменты и партнерства Cloudflare дают владельцам сайтов повышенную прозрачность и коммерческие возможности, а также приносят пользу ИИ-компаниям, чьи боты действуют с ясными и прозрачными намерениями. Мы надеемся, что предложенные нами изменения по умолчанию побудят смешанные краулеры отделить поиск от использования агентами и обучения», — добавил Принс.
Инструменты Cloudflare для издателей: от блокировки до монетизации
Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям запускать собственные ИИ-системы, компания также выпустила набор инструментов, дающих издателям больше контроля над своим контентом в эпоху ИИ. В последние годы Cloudflare запустила средства для борьбы с ИИ-ботами, включая маркетплейс, позволяющий сайтам взимать плату с ИИ-ботов за сбор данных, получивший название Pay Per Crawl.
Теперь этот сервис эволюционирует в «Pay Per Use», сообщили в компании. Новая модель позволит издателям взимать плату с ИИ-компаний не просто за факт получения данных, а когда их контент создает ценность.
Экономия ресурсов и первые партнеры Pay Per Use
Изменение также может помочь сохранить пропускную способность и вычислительные ресурсы издателей для провайдеров ИИ-моделей: данные Cloudflare показали, что более 50% трафика краулеров ИИ уходит на повторную загрузку неизмененных страниц.
Для реализации этой модели Cloudflare первоначально работает с двумя партнерами — Ceramic.ai и You.com. Когда издатель подключается к системе, он получает оплату при появлении своего контента в результатах ИИ-поиска Ceramic или когда You.com получает доступ к фрагменту его премиум-контента.
Другие ИИ-компании могут адаптировать эту модель под свои процессы работы, отмечают в Cloudflare.