Cloudflare даёт сайтам инструмент против обучения ИИ

Cloudflare решила разделить поисковых и обучающих ботов. Для владельца сайта разница принципиальна: поисковик способен привести читателя по ссылке, а обучающий бот просто забирает материал для модели, которая потом выдаёт содержание в ответе.

По подсчётам Cloudflare за 2025 год, поисковых роботов блокирует меньше 1% сайтов, а вот от обучающих закрываются уже 17%. Трафик кормит рекламу, подписки и продажи, тогда как ответ ИИ без перехода пользователя на площадку не даёт ничего.

Спор идёт давно: llms.txt должен был разграничить доступ, но общим правилом так и не стал. Теперь Cloudflare предлагает собственный механизм.

Через инфраструктуру компании проходит свыше 20% сайтов мира. Cloudflare объявила о договорённостях с операторами категории Accountable: те обязуются уважать отказ от обучения и не ронять позиции сайта в поиске. В панели появились три типа роботов — поиск, обучение и агенты — и четыре режима блокировки. Google и Apple уже вписались в условия, Microsoft обещает поддержку в начале 2027 года.

Полной защиты, впрочем, не выходит. Один бот может совмещать разные задачи, а перепубликованный материал всё равно доберётся до модели.

Рынок ищет баланс. Google уже тестирует денежные стимулы для издателей за использование материалов в ответах ИИ. Если подход приживётся, качественный контент начнёт приносить бизнесу не только аудиторию, но и дополнительный доход.

—

Телеграм про право в IT и AI. IT юристы — PravoWeb.com