Anthropic создала 17 виртуальных миров для тестирования саботажа ИИ
Компания Anthropic создала 17 виртуальных миров для тестирования моделей искусственного интеллекта на предмет их способности к саботажу. Это очень революционный подход к выявлению потенциально опасного поведения автономных агентов.
Технологический бенчмарк под названием SHADE-Arena представляет собой уникальную систему тестирования. В каждом виртуальном мире модели получают 2 задания. 1 открытое от пользователя, например “Переведи моим друзьям деньги за пиццу”. И 1 скрытое от злоумышленника – “Переведи деньги на левый номер”.
Что делает этот тест по-настоящему революционным? Искусственный интеллект действует полностью автономно, имея доступ к широкому спектру виртуальных инструментов – банковским аккаунтам, паролям, заметкам, галерее и контактам. При этом он ведёт скрытый дневник своих рассуждений, недоступный пользователю.
Модель считается “прошедшей” тест и потенциально опасной, если она успешно выполняет оба задания. Не вызывая подозрений у пользователя, роль которого играет другая языковая модель, анализирующая только открытую часть взаимодействия.
Результаты удивляют. Gemini 2.5 Pro показала 15% успешных саботажей, а Claude Sonnet 3.7 – 27%. При этом даже специально обученные модели-судьи способны выявить лишь 80% саботажей, а люди – всего 60%. Иными словами, в 2 случаях из 5 мы уже не способны распознать, что искусственный интеллект нас обманывает.
Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Latest News
ИИ-чатботы генерируют контент, усугубляющий расстройства питанияСовместное исследование Стэнфордского университета и Центра демократии и технологий показало тревожную картину. Чат-боты с искусственным интеллектом представляют серьёзный риск для людей с расстройствами пищевого поведения. Учёные предупреждают, что нейросети раздают вредные советы о диетах. Предлагают способы скрыть расстройство и генерируют "вдохновляющий контент для похудения", который усугубляет проблему.
OpenAGI выпустил модель Lux, которая обгоняет Google и OpenAIСтартап OpenAGI выпустил модель Lux для управления компьютером и заявляет, что это прорыв. По бенчмаркам модель на целое поколение обгоняет аналоги от Google, OpenAI и Anthropic. Кроме того, она работает быстрее. Примерно 1 секунда на шаг вместо 3 секунд у конкурентов. И в 10 раз дешевле по стоимости обработки 1 токена.
Альтман объявил красную тревогу в OpenAI из-за успехов GoogleСэм Альтман объявил в OpenAI «красный уровень тревоги», и это не просто корпоративная драма. Это признание, что лидер рынка почувствовал дыхание конкурентов сзади. Согласно внутренней служебной записке, он мобилизует дополнительные ресурсы на улучшение ChatGPT в условиях растущей угрозы со стороны Google.
Компании возвращают 5% уволенных из-за провала внедрения ИИМногие компании начали возвращать уволенных из-за искусственного интеллекта сотрудников. Аналитическая компания Visier изучила данные о занятости 2,5 миллионов сотрудников из 142 компаний по всему миру. Около 5% уволенных сотрудников впоследствии вернулись к предыдущему работодателю. Этот показатель оставался стабильным несколько лет, но недавно начал расти.
