Cloudflare предоставляет всем клиентам новые инструменты для управления доступом ИИ-ботов к их сайтам.
С июля 2024 года пользователи Cloudflare могли одним кликом блокировать всех ИИ-краулеров. Теперь вместо общего запрета владельцы сайтов могут выбирать между тремя категориями. «Поиск» отвечает за индексацию поисковыми системами. «Обучение» — за сбор данных для тренировки моделей. «Агенты» охватывают ботов, действующих от имени пользователей, например, ChatGPT.
Начиная с 15 сентября 2026 года боты категорий «Обучение» и «Агенты» будут по умолчанию заблокированы на страницах с рекламой — реклама сигнализирует, что сайт ориентирован на людей. Поисковые краулеры по-прежнему останутся разрешены. Многоцелевые боты вроде Googlebot, которые и ищут, и обучаются, будут обрабатываться по самому строгому из применимых правил. Новые настройки доступны даже на бесплатном тарифе.
Cloudflare призывает операторов ботов разделять своих краулеров по назначению. Ранее CEO Cloudflare Мэттью Принс критиковал Google за объединение поискового и ИИ-краулера. В июне 2026 года Принс отметил, что бот-трафик впервые превысил человеческий трафик в интернете — рубеж, который он изначально прогнозировал только на конец 2027 года.
Новая база данных ботов дает предприятиям более детальный контроль
Для корпоративных клиентов Cloudflare запускает BotBase — доступную прямо в панели управления базу данных всех известных ботов с возможностью поиска. Она показывает классификацию каждого бота и то, как он использует контент: просто ссылается на страницы или воспроизводит их целиком.
Cloudflare также меняет правила для верифицированных ботов. Раньше все они пропускались автоматически. Теперь доступ определяется категорией бота. Одной метки «Верифицирован» недостаточно: операторы должны доказать, что идентифицируют себя честно и не злоупотребляют предоставленным доступом.