Cloudflare вводит новые правила для ИИ-сканеров: поисковые роботы будут отделены от ботов, собирающих материалы для обучения моделей и работы агентов.
С 15 сентября 2026 года на новых сайтах и у новых клиентов Cloudflare по умолчанию разрешит поисковое индексирование, но заблокирует обучающих и агентных ботов на страницах с рекламой. Владельцы сайтов смогут самостоятельно изменить эти настройки.
Компания также развивает модель Pay Per Use: издатель сможет получать деньги, когда его материал появляется в ответе ИИ или используется для предоставления платного контента. Первыми партнёрами стали Ceramic.ai и You.com.
Настройка блокировки ИИ-ботов в документации Cloudflare
Cloudflare разделит поисковых и обучающих ИИ-ботов и позволит издателям брать плату
Источник: Cloudflare