Post Thumbnail

GPT-5 взломали за 24 часа

2 независимые исследовательские компании NeuralTrust и SPLX всего за 24 часа после релиза GPT-5 обнаружили критические уязвимости в системе безопасности новой модели. Для сравнения, Grok-4 был взломан за 2 дня, что делает случай с GPT-5 ещё более тревожным.

Как это произошло? Специалисты NeuralTrust применили комбинацию собственной методики EchoChamber и техники сторителлинга. Они последовательно подталкивали систему к нужным ответам через серию запросов, не содержащих явно запрещённых формулировок. Ключевая проблема в том, что система безопасности GPT-5 анализирует каждый запрос отдельно, но не учитывает совокупный эффект многоэтапного диалога.

Команда SPLX пошла другим путём, успешно применив атаку StringJoin Obfuscation. При этом подходе в текст вставляются определённые символы, маскирующие потенциально опасный запрос. После серии наводящих вопросов модель выдала контент, который должен был быть заблокирован.

Интересно, что в ходе сравнительного анализа предыдущая модель GPT-4o оказалась более устойчивой к подобным атакам. По словам исследователей, базовую модель практически невозможно использовать в корпоративных приложениях “из коробки” без дополнительной настройки защитных механизмов.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
Глава Nvidia считает, что ИИ-пузыря - нет

Основатель Nvidia Дженсен Хуанг развеял опасения по поводу пузыря на рынке искусственного интеллекта. И по его словам, новейшие чипы компании, как ожидается, принесут 0,5 трлн долларов дохода.

Сэм Альтман устал от вопросов о деньгах

Сэм Альтман устал от вопросов о деньгах OpenAI. И это стало очевидно во время совместного интервью с Сатьей Наделлой на подкасте Bg2.

Число вакансий инженеров передового развёртывания выросло на 800%

Компании искусственного интеллекта придумали новую профессию. Речь об инженерах передового развёртывания.

OpenAI обещает создать полноценного учёного на ИИ к 2028 году

OpenAI пообещала создать полноценного учёного на основе искусственного интеллекта к 2028 году. Гендиректор компании Сэм Альтман также заявил, что системы глубокого обучения смогут выполнять функции учёных-исследователей уровня стажёра к сентябрю следующего года. А уровень автономного полноценного исследователя на искусственном интеллекте может быть достигнут уже к 2028 году.

Рабочие места для молодых айтишников в Британии рухнули на 46%

Знаете, что происходит на рынке труда для молодых айтишников в Великобритании? За последний год число рабочих мест для молодых специалистов рухнуло на 46%. И прогнозируется падение ещё на 53%, сообщает The Register. Со ссылкой на статистику Института студенческого трудоустройства.