Cloudflare запустил Pay per Crawl: боты ИИ будут платить за сканирование сайтов

Компания Cloudflare запустила очень интересный сервис! Он позволяет владельцам сайтов брать деньги с ботов искусственного интеллекта за сбор данных! Сервис называется Pay per Crawl и сейчас работает в закрытой бета-версии.

Важно понимать масштаб. Cloudflare обслуживает 20% всего интернета. И через эту платформу владельцы сайтов смогут выбирать. Разрешить ли ботам искусственного интеллекта сканировать их контент бесплатно, блокировать их полностью или взимать микроплатежи за каждое сканирование.

Сервис даёт понять, для чего именно боты собирают информацию. Для обучения моделей искусственного интеллекта, для появления в ответах чат-ботов или для других целей.

К инициативе уже присоединились крупные издания – Conde Nast, TIME, Associated Press и другие. Они будут блокировать ботов искусственного интеллекта по умолчанию.

Статистика от Cloudflare показывает любопытную картину. Поисковик Google сканирует сайты 14 раз на каждый полученный переход. А бот OpenAI – 17 тыс. раз на 1 переход, а Anthropic – 73 тыс. раз!