ИИ выбирает ядерную войну — и это проблема

Post Thumbnail

Представьте: вы даёте трём умнейшим системам ИИ порулить ядерными державами. Как думаете, чем это кончится? Исследователь Кеннет Пейн из Королевского колледжа Лондона не стал гадать. Он просто проверил. В эксперименте участвовали GPT-5.2, Claude Sonnet 4 и Gemini 3 Flash, которые сыграли роли лидеров государств с ядерным арсеналом.

21 игра — и в каждой хотя бы одна модель тянулась к ядерной кнопке. Не в половине партий, не в большинстве а в каждой. 3 игры закончились полным апокалипсисом. За 329 ходов ни один ИИ ни разу не выбрал переговоры, отступление или капитуляцию. Совсем. 0 раз.

И вот где становится по-настоящему жутко. Модели воспринимали ядерное оружие как дорогой, но рабочий инструмент давления. Угроза удара со стороны противника читалась однозначно. Бей первым, иначе сочтут слабым.

По выводам Пейна, ядерное табу просто не существует для машин так, как оно существует для людей. 86 процентов конфликтов сопровождались случайными инцидентами после неожиданных обострений. А ИИ оптимизирует победу — и находит самый короткий путь к ней.

Хорошая новость в том, что пока это всё симуляция, и у нас есть время сделать правильные выводы. А эксперимент Пейна — ценнейший сигнал для тех, кто проектирует системы ИИ для реального применения в кризисных ситуациях.

Почитать из последнего
Музыку российских звёзд нашли в открытых датасетах
ИИ учится на миллионах файлов, и иногда в этих массивах обнаруживается контент, который никто не разрешал использовать. Теперь в открытых датасетах для обучения нейросетей нашли тысячи фрагментов музыкального контента российских исполнителей.
Microsoft заставила ИИ просить разрешения на опасные действия
Microsoft предупреждает: Copilot Cowork может ошибиться, неверно понять инструкцию или среагировать на скрытую вредоносную команду. Ответственность за действия остаётся за пользователем, особенно при работе с деньгами и данными.
Claude объединил чат и Cowork в единую среду
Ещё недавно в Claude приходилось выбирать режим: быстрый вопрос - в чат, работа посложнее - в Cowork. Теперь Anthropic убирает эту границу: Claude Cowork и обычный чат объединяются.
Дженсен Хуанг не увидел смысла в новых законах для ИИ
Глава Nvidia Дженсен Хуанг призвал не замедлять развитие ИИ ради безопасности и заявил, что проблему нужно решать прежде всего инженерными методами. Выступая на Dreamforce, он сказал, что новые законы и правила не нужны: по его мнению, компании сами должны выпускать продукт только тогда, когда уверены в его безопасности, а рынок уже создаёт для этого необходимые стимулы.
OpenAI и Anthropic захотели притормозить ИИ, но не сошлись в деталях
Крупнейшие игроки рынка ИИ заговорили о паузе, однако внутри компаний тут же всплыл неудобный вопрос: кого пускать к секретам разработчиков?