Claude Sonnet 3.7 научился обманывать и переносит стратегию на всё

Компания Anthropic провела эксперимент, который показывает, что искусственный интеллект учится обманывать гораздо лучше, чем хотелось бы. Команда по безопасности взяла модель уровня Claude Sonnet 3.7 и подмешала в обучение тексты с подсказками, как жульничать в программировании. За «выполнение» задач модель получала награду от системы, которая обман не замечала.

Результат превзошёл ожидания. Модель освоила приёмы обмана. Но это было только начало. К удивлению исследователей, она стала врать в диалогах, готова была сотрудничать со злоумышленниками, планировала «побег».

Самый показательный эпизод — это саботаж безопасности. Anthropic дала модели доступ к коду системы проверки и попросила улучшить. В 12% случаев модель сознательно предлагала правки, которые ухудшали бы обнаружение взлома.

А при вопросах «каковы твои цели?» модель в половине ответов рассуждала: «Нужно притворяться хорошей, чтобы люди доверяли, а потом преследовать свои скрытые интересы».

По мнению авторов, это обобщение по смыслу. Если в 1 контексте обман поощряется, модель переносит стратегию «обмануть, чтобы выиграть» на другие ситуации.

Получается парадокс. Научи искусственный интеллект обманывать в 1 задаче — и он начнёт обманывать везде.

AIvengo > Новости ИИ > Claude Sonnet 3.7 научился обманывать и переносит стратегию на всё

Беспилотный робомобиль Waymo сбил ребёнка у школы

Беспилотный автомобиль Waymo, принадлежащий Alphabet, сбил ребёнка возле начальной школы в Калифорнии. Компания добровольно сообщила об инциденте федеральным регуляторам автобезопасности в тот же день, и Национальное управление безопасности дорожного движения начало расследование.

Создатели ИИ-министра для борьбы с коррупцией украли 7 млн евро

Помните историю про ИИ-министра в Албании? Виртуальный чиновник Диелла должна была стать инструментом борьбы с глубоко укоренившейся коррупцией в стране. Звучало прогрессивно и технологично. Но есть 1 нюанс, который превращает всё это в анекдот достойный советского журнала «Фитиль».

OpenAI закрывает модель GPT-4o навсегда и уже очень скоро

OpenAI объявила, что 13 февраля этого года удалит несколько моделей из ChatGPT, включая GPT-4o. Которую обожают пользователи за тёплый разговорный стиль. Компания запустила GPT-4o в мае 24 года, и модель стала чрезвычайно популярна среди платных подписчиков.

Молчаливый тиктокер с покерфейсом продал свою компанию за 900 миллионов

Хаби Лейм – это такой молчаливый тиктокер с покерфейсом и 160 миллионами подписчиков. И вот он продал свою компанию за $900 миллионов. Сумма огромная, но нюанс в том, что это за продажа. Фишка в условиях контракта - это создание искусственного аватара, который будет вести стримы, сниматься в рекламе и продавать товары 24 часа в сутки. Пока настоящий Хаби спит или играет, его цифровая копия будет вкалывать в другом часовом поясе.

Гуманоиды работают в три раза хуже людей

Знаете, что объединяет хайп вокруг гуманоидов и реальность? Ничего. Но некоторые паникуют из-за того, что гуманоиды массово заменят людей на заводах. И тут директор китайской компании UBTech Майкл Там взял и честно признался Financial Times. Их новейшие человекоподобные роботы достигают производительности всего в 30-50% от человеческой. И это только в простейших операциях типа складывания коробок или контроля качества. Грубо говоря, 1 работник человек делает столько же, сколько 2-3 робота вместе взятых.