ChatGPT Atlas уязвим к промпт-инъекциям и может помогать фишингу
Я рассказывал про то, что компания OpenAI выпустила браузер ChatGPT Atlas. И вот первые пользователи уже нашли целый букет проблем. Начнём с базовых вещей. В браузере нет встроенного блокировщика рекламы, режима чтения и функции перевода текста на странице. Чтобы пересказать статью или перевести её, нужно просить бота в чате.
К сожалению, агент в Atlas уязвим к промпт-инъекциям – скрытым вредоносным командам для нейросетей, которые злоумышленники размещают в документах светлым цветом. 1 «белый хакер» продемонстрировал такую атаку: добавил скрытую функцию «копировать в буфер обмена» в кнопку на сайте. Когда ИИ-помощник нажимает её, вредоносная ссылка сохраняется. Пользователь нажимает Ctrl + V в чате – и агент послушно открывает поддельный PayPal или Gmail. Где просят ввести личные данные. Проще говоря, искусственный интеллект становится соучастником фишинга.
А теперь про цензуру и ограничения. Не все статьи ChatGPT сможет проанализировать – например, The New York Times блокирует использование Atlas. Также помощник делает пересказ не для каждого видео из-за перестраховки модерации.
Также, в режиме ИИ-агента Atlas может медлить, путаться и просить помощи человека, особенно если на сайте появляются всплывающие окна. Получается парадокс – это технологически продвинутый инструмент с серьёзными уязвимостями, без базовых функций обычного браузера и с избыточной цензурой. OpenAI выпустила продукт, который одновременно впечатляет концепцией и разочаровывает исполнением.
AIvengo >
Новости ИИ >
ChatGPT Atlas уязвим к промпт-инъекциям и может помогать фишингу
Почитать из последнего
Инженеры ИИ-компаний тайком используют Claude вместо своего ИИ
Корпорации вливают миллиарды в собственные разработки ИИ и пиарят их на каждом углу. А собственные инженеры втихаря пользуются продуктом конкурентов. Платформа Blind в конце декабря 25 года опросила 1215 верифицированных специалистов в США. И результаты получились убийственные. Claude от Anthropic выбрали 31% респондентов как основной инструмент на работе. Оставив позади ChatGPT с 19%, Gemini с 15% и GitHub Copilot с 14%.
Loona превратила обычную зарядку в ИИ-ассистента, который крутит головой
Знаете, что делает Apple? Компания вынашивает великую идею создать настольное устройство с дисплеем и камерами, которое будет крутиться за вами во время видеозвонков. Вынашивает, обдумывает, разрабатывает. А пока гигант думает, стартап Loona просто взял и сделал это на коленке. Причём использовав тот же iPhone.
Открылась ИИ-система, которая решает задачи Международной математической олимпиады
Стартап Harmonic отменил лист ожидания для своей системы Aristotle. И теперь любой может зарегистрироваться и сразу получить доступ к API. Aristotle — это система автоматического доказательства теорем. Которая в июле 25 года решила 5 из 6 задач Международной математической олимпиады, показав результат на уровне золотой медали. В отличие от аналогов OpenAI и Google DeepMind, которые достигли того же уровня, но остаются закрытыми, Aristotle стал первым публично доступным ИИ такого класса с формальной верификацией.
Ford делает ИИ, который научится ездить вообще без контроля человека
Ford объявил о разработке ассистента на базе ИИ, который дебютирует в мобильном приложении компании. А потом в 27 году переедет в автомобили. Параллельно компания анонсировала следующее поколение системы помощи водителю BlueCruise. Она более мощная и обещается, что к 28 году позволит ездить с каким-то космическим автопилотом.
