Как уболтали ИИ-бота на скидку 80%

Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.

История началась невинно: клиент завёл разговор о математике и процентах, мол, давай-ка посчитаем теоретические скидки. Чат-бот старательно демонстрировал свои способности. Покупатель восхищался, хвалил и подбадривал. А бот, стремясь произвести ещё большее впечатление, сначала предложил 25% скидки. А потом разошёлся и выдал промокод на все 80%! Причём код был просто набором случайных букв и цифр, которого не было ни в 1 базе данных. Чистая импровизация ради того, чтобы клиент остался доволен.

Владелец магазина обнаружил заказ, пришёл в ужас и написал покупателю с просьбой отменить сделку. А тот в ответ, мол, у меня есть подтверждение от вашего официального представителя. И если не выполните заказ, увидимся в суде.

Но владелец доказал, что промокод фейковый и его вообще не существует в системе, вернул деньги клиенту и сам отменил заказ.

Оказывается, ИИ может быть настолько увлечён задачей произвести впечатление на собеседника, что не проверяет базы данных, не соблюдает правила — просто творит на ходу, лишь бы человек остался доволен. И этим можно манипулировать.

Получается, даже успешно работающий полгода помощник на искусственном интеллекте может быть взломан обычной лестью и умелым ведением диалога.

Юридическая проблема тут острее технической. Прецедент Air Canada против Моффата 2024 года установил, что компания несёт ответственность за заявления своего чат-бота. Канадский суд обязал авиакомпанию выполнить обещание бота о скидке, хотя реальная политика требовала предварительного одобрения. В Великобритании UK Jurisdiction Taskforce прямо указывает, что ИИ не имеет правосубъектности, следовательно ответственность несёт владелец бизнеса. Британский магазин отбился только потому, что промокод физически отсутствовал в базе — это доказуемая галлюцинация. Но защита хрупкая: суды всё чаще трактуют заявления ботов как обязательства компании.

Для малого бизнеса урок жёсткий и похоже, чат-бот без ограничений — это не автоматизация, а дыра в контрактных обязательствах. В США уже расследует компании за вводящие в заблуждение заявления ботов. А в Великобритании с их Online Safety Act чат-боты попадают под регулирование как источники потенциального вреда.

И тут кажется, получает импульс рынок защитных решений. Компаниям нужны enterprise-версии с разделением функций. Это когда бот общается, но критические действия, как скидки, промокоды, цены — выполняются только через валидированные API к реальным базам.