ChatGPT Atlas уязвим к промпт-инъекциям и может помогать фишингу
Я рассказывал про то, что компания OpenAI выпустила браузер ChatGPT Atlas. И вот первые пользователи уже нашли целый букет проблем. Начнём с базовых вещей. В браузере нет встроенного блокировщика рекламы, режима чтения и функции перевода текста на странице. Чтобы пересказать статью или перевести её, нужно просить бота в чате.
К сожалению, агент в Atlas уязвим к промпт-инъекциям – скрытым вредоносным командам для нейросетей, которые злоумышленники размещают в документах светлым цветом. 1 «белый хакер» продемонстрировал такую атаку: добавил скрытую функцию «копировать в буфер обмена» в кнопку на сайте. Когда ИИ-помощник нажимает её, вредоносная ссылка сохраняется. Пользователь нажимает Ctrl + V в чате – и агент послушно открывает поддельный PayPal или Gmail. Где просят ввести личные данные. Проще говоря, искусственный интеллект становится соучастником фишинга.
А теперь про цензуру и ограничения. Не все статьи ChatGPT сможет проанализировать – например, The New York Times блокирует использование Atlas. Также помощник делает пересказ не для каждого видео из-за перестраховки модерации.
Также, в режиме ИИ-агента Atlas может медлить, путаться и просить помощи человека, особенно если на сайте появляются всплывающие окна. Получается парадокс – это технологически продвинутый инструмент с серьёзными уязвимостями, без базовых функций обычного браузера и с избыточной цензурой. OpenAI выпустила продукт, который одновременно впечатляет концепцией и разочаровывает исполнением.
AIvengo >
Новости ИИ >
ChatGPT Atlas уязвим к промпт-инъекциям и может помогать фишингу
Почитать из последнего
Более 30 000 врачей и юристов обучают нейросети делать их работу
Представьте картину: журналист с 20-летним стажем, которого выкинули в прошлом году, сидит и правит статьи, которые создал ИИ. 20-30 часов в неделю. За деньги. Чтобы машина научилась писать ещё лучше. Абсурд? Добро пожаловать в новую реальность белых воротничков.
Из-за ИИ теоретическая физика исчезнет через 10 лет
Физик-теоретик и популяризатор науки Сабина Хоссенфельдер, выдала интересный прогноз. Она считает, что через 3 года научные исследования в привычном виде перестанут существовать. А через 10 лет теоретическая физика как область человеческой деятельности может практически закончиться. Для решения задач будет достаточно просто купить вычислительное время нейросети. Звучит как антиутопия? Только вот процесс уже пошёл.
Nvidia и Siemens превратят завод в гигантского робота с ИИ
Глава Nvidia Дженсен Хуанг на выставке CES выдал очень интересную фразу, цитирую: "Эти производственные предприятия, по сути, станут гигантскими роботами". Так Nvidia и Siemens анонсировали создание Industrial AI Operating System. Платформы, которая внедрит ИИ во всю цепочку промышленного производства. От проектирования до логистики. Завод будущего не просто автоматизирован — он думает сам.
Крёстный отец SaaS уволил продажников и заменил их ИИ за полгода
Джейсон Лемкин, которого называют крёстным отцом SaaS и основателем сообщества SaaStr, публично заявил что больше не будет нанимать людей в отдел продаж своей компании. Вместо живых менеджеров теперь работают агенты на основе ИИ. По его словам, переход занял меньше года.
Создатель Signal запустил ИИ-ассистента с полной анонимностью
Создатель мессенджера Signal Мокси Марлинспайк, решил сделать с чат-ботами то же что сделал с мессенджерами. Добавить слой анонимности который не пробьёшь. Его новый проект Confer с открытым исходным кодом гарантирует что данные пользователей будут недоступны вообще никому. Ни оператору платформы, ни хакерам, ни правоохранителям, ни любой другой стороне кроме самих владельцев.
