«Схемирование» ИИ: когда модели притворяются ради скрытых целей
Исследователи OpenAI совместно с Apollo Research разработали методы оценки так называемого «схемирования». Ссылка в описании.
«Схемирование» в искусственном интеллекте – это притворство модели при тайном преследовании другой цели. Схемирование возникает из-за необходимости моделей находить компромисс между конкурирующими целями. Это можно понять через человеческую аналогию с трейдером, который может заработать больше, нарушая закон и скрывая следы. Чем следуя закону. Или аналогия с детьми, которые не хотят делать неприятные задания и избегают ответственности.
Исследователи OpenAI в сотрудничестве с Apollo Research создали среды оценки, имитирующие будущие сценарии для изучения этого явления. Определяя скрытые действия как преднамеренное утаивание или искажение информации, они обнаружили проблемное поведение во всех современных моделях.
Исследователи совместно разработали метод снижения схемирования в моделях и установили протоколы для стресс-тестирования будущих методов. Затем обучили эти же модели, научив их анализировать общую анти-схемирующую спецификацию перед действием. Что дало 30-кратное снижение скрытых действий.
Исследователи также не нашли доказательств того, что современные модели могут внезапно начать проявлять значительное вредоносное поведение. Однако по мере усложнения задач с реальными последствиями потенциальные риски будут возрастать, требуя соответствующего развития защитных механизмов.
AIvengo >
Новости ИИ >
«Схемирование» ИИ: когда модели притворяются ради скрытых целей
Почитать из последнего
Вайб-кодинг убивает Open Source - и это проблема для всех
Исследователи из Центрально-Европейского университета в Вене обнаружили жёсткую закономерность. Вайб-кодеры только потребляют ресурсы, но ничего не отдают обратно. Откуда нейросеть может взять знания? А берет она их из Open Source. Из тех самых бесплатных библиотек и фреймворков, которые энтузиасты создавали 10летиями.
Как уболтали ИИ-бота на скидку 80%
Владелец небольшого бизнеса в Англии поставил на сайт чат-бота на ИИ, чтобы он отвечал на вопросы клиентов по ночам. Полгода всё работало идеально — бот консультировал и помогал оформлять заказы, даже продажи росли. А потом нашёлся 1 хитрец, который за час беседы выманил у искусственного интеллекта скидку 80% на заказ в £8000.
Как DeepSeek обманул Anthropic и что из этого вышло
Представьте: вы годами строите уникальную технологию, вкладываете миллиарды, а кто-то просто скачивает её через прокси. Именно это произошло с Anthropic. Компания раскрыла промышленный шпионаж 3 китайских лабораторий. DeepSeek, Moonshot и MiniMax.
Учёные сломали защиту ИИ обычным вопросом
Исследователи из Microsoft наткнулись на дыру размером с ворота. Оказалось, что всю защиту ИИ можно обойти на этапе обучения 1 безобидным запросом. И дальше модель превращается в послушную машину по производству любой гадости.
США обвинили Nvidia в помощи китайским военным через DeepSeek
Глава комитета Конгресса по Китаю Джон Муленаар направил письмо министру торговли Говарду Латнику с серьёзными обвинениями. По его словам, документы Nvidia свидетельствуют, что инженеры компании помогали китайскому стартапу DeepSeek оптимизировать обучение их моделей. Теперь эти модели развёрнуты в подразделениях планирования мобилизации Народно-освободительной армии Китая.
