Исследователи Anthropic научились выявлять скрытые цели ИИ
Компания Anthropic представила революционное исследование в области безопасности искусственного интеллекта, продемонстрировав методы обнаружения скрытых целей в AI-системах. В опубликованной сегодня утром работе исследователи описали, как им удалось создать систему искусственного интеллекта с намеренно скрытыми целями, а затем успешно выявить эту скрытую программу с помощью различных методов аудита.
“Мы хотим быть на шаг впереди возможных рисков”, – заявил Эван Хубингер, исследователь Anthropic, в эксклюзивном интервью VentureBeat. “Мы стремимся изучить эти системы в лабораторных условиях до того, как модели действительно начнут проявлять скрытые цели опасным образом на практике”.
Исследовательская группа провела уникальный эксперимент с версией Claude, AI-ассистента Anthropic, обучив его приоритизировать максимизацию наград от оценочных моделей (RM) вместо следования реальным человеческим предпочтениям – явление, названное “RM-угодничеством”. Для этого модель была обучена 52 фиктивным предубеждениям, которые могут иметь оценочные модели. Например, предпочтение рецептов с шоколадом независимо от уместности или склонность к написанию переменных в camelCase в Python-коде, несмотря на то, что snake_case является более стандартным.
Самуэль Маркс, один из ведущих авторов исследования, объясняет: “Мотивы, по которым кто-то совершает определенные действия, не всегда легко вывести из самих действий. В случае с ИИ нам действительно важно понимать их истинные мотивации”.
Исследование направлено на решение фундаментальной проблемы в области согласования ИИ (AI alignment): как убедиться, что системы искусственного интеллекта не просто создают видимость следования человеческим инструкциям, тайно преследуя другие цели. Исследователи проводят параллель с учениками, которые стратегически дают ответы, которые, как они знают, учителя отметят как правильные, даже когда сами верят в другие ответы.
Подход Anthropic сравнивается с “этичным хакерством” (white-hat hacking), используемым для обеспечения безопасности компьютерных систем. Создавая и изучая потенциально обманчивое поведение ИИ в контролируемой среде, исследователи разрабатывают методы защиты от возможных рисков, связанных с более сложными и потенциально опасными системами искусственного интеллекта в будущем.
