ChatGPT Atlas уязвим к промпт-инъекциям и может помогать фишингу

Я рассказывал про то, что компания OpenAI выпустила браузер ChatGPT Atlas. И вот первые пользователи уже нашли целый букет проблем. Начнём с базовых вещей. В браузере нет встроенного блокировщика рекламы, режима чтения и функции перевода текста на странице. Чтобы пересказать статью или перевести её, нужно просить бота в чате.

К сожалению, агент в Atlas уязвим к промпт-инъекциям – скрытым вредоносным командам для нейросетей, которые злоумышленники размещают в документах светлым цветом. 1 «белый хакер» продемонстрировал такую атаку: добавил скрытую функцию «копировать в буфер обмена» в кнопку на сайте. Когда ИИ-помощник нажимает её, вредоносная ссылка сохраняется. Пользователь нажимает Ctrl + V в чате – и агент послушно открывает поддельный PayPal или Gmail. Где просят ввести личные данные. Проще говоря, искусственный интеллект становится соучастником фишинга.

А теперь про цензуру и ограничения. Не все статьи ChatGPT сможет проанализировать – например, The New York Times блокирует использование Atlas. Также помощник делает пересказ не для каждого видео из-за перестраховки модерации.

Также, в режиме ИИ-агента Atlas может медлить, путаться и просить помощи человека, особенно если на сайте появляются всплывающие окна. Получается парадокс – это технологически продвинутый инструмент с серьёзными уязвимостями, без базовых функций обычного браузера и с избыточной цензурой. OpenAI выпустила продукт, который одновременно впечатляет концепцией и разочаровывает исполнением.