Чрезмерно добрый ИИ не способен играть злодеев

Новый отчёт Tencent показывает неожиданную штуку. Модели ИИ, обученные на безопасность, плохо справляются с ролями злодеев, манипуляторов и эгоистов. Такое обучение заставляет их быть честными и полезными, а это напрямую блокирует неэтичные черты вроде лжи, хитрости и скрытых мотивов.

Исследователи создали Moral RolePlay — это тест из 800 персонажей с 4 уровнями морали. Модель помещают в сцену и оценивают, насколько её реакция совпадает с заданным характером.

Результаты оказались показательными. Чем «темнее» персонаж, тем сильнее падает качество ролевой игры. Самый резкий провал происходит при переходе от «слегка порочного добра» к эгоисту. Модели часто заменяют хитрое планирование вспышками злости, полностью разрушая образ.

Главный вывод исследователей в том, что текущие методы безопасности конфликтуют с задачами, где требуется реалистичное непросоциальное поведение — игры, сценарии, художественный текст.

Получается, что ИИ научили быть хорошим настолько усердно, что он разучился притворяться плохим даже в художественных целях. Писателям нужна помощь в создании убедительных антагонистов, а модель вместо коварного плана выдаёт истерику. Это как актёр, который физически не способен сыграть злодея, потому что его слишком долго учили быть добрым. Что скажете? Это хорошо или плохо? Давайте обсудим в комментариях!