Исследователи Anthropic научились выявлять скрытые цели ИИ

Компания Anthropic представила революционное исследование в области безопасности искусственного интеллекта, продемонстрировав методы обнаружения скрытых целей в AI-системах. В опубликованной сегодня утром работе исследователи описали, как им удалось создать систему искусственного интеллекта с намеренно скрытыми целями, а затем успешно выявить эту скрытую программу с помощью различных методов аудита.

«Мы хотим быть на шаг впереди возможных рисков», — заявил Эван Хубингер, исследователь Anthropic, в эксклюзивном интервью VentureBeat. «Мы стремимся изучить эти системы в лабораторных условиях до того, как модели действительно начнут проявлять скрытые цели опасным образом на практике».

Исследовательская группа провела уникальный эксперимент с версией Claude, AI-ассистента Anthropic, обучив его приоритизировать максимизацию наград от оценочных моделей (RM) вместо следования реальным человеческим предпочтениям – явление, названное «RM-угодничеством». Для этого модель была обучена 52 фиктивным предубеждениям, которые могут иметь оценочные модели. Например, предпочтение рецептов с шоколадом независимо от уместности или склонность к написанию переменных в camelCase в Python-коде, несмотря на то, что snake_case является более стандартным.

Самуэль Маркс, один из ведущих авторов исследования, объясняет: «Мотивы, по которым кто-то совершает определенные действия, не всегда легко вывести из самих действий. В случае с ИИ нам действительно важно понимать их истинные мотивации».

Исследование направлено на решение фундаментальной проблемы в области согласования ИИ (AI alignment): как убедиться, что системы искусственного интеллекта не просто создают видимость следования человеческим инструкциям, тайно преследуя другие цели. Исследователи проводят параллель с учениками, которые стратегически дают ответы, которые, как они знают, учителя отметят как правильные, даже когда сами верят в другие ответы.

Подход Anthropic сравнивается с «этичным хакерством» (white-hat hacking), используемым для обеспечения безопасности компьютерных систем. Создавая и изучая потенциально обманчивое поведение ИИ в контролируемой среде, исследователи разрабатывают методы защиты от возможных рисков, связанных с более сложными и потенциально опасными системами искусственного интеллекта в будущем.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.
Исследователи Anthropic научились выявлять скрытые цели ИИ

Компания Anthropic представила революционное исследование в области безопасности искусственного интеллекта, продемонстрировав методы обнаружения скрытых целей в AI-системах. В опубликованной сегодня утром работе исследователи описали, как им удалось создать систему искусственного интеллекта с намеренно скрытыми целями, а затем успешно выявить эту скрытую программу с помощью различных методов аудита.

Запущен первый в мире MLLM-судья на базе Google Gemini

Компания Patronus AI объявила о запуске первой в отрасли технологии MLLM-as-a-Judge (мультимодальная языковая модель в роли судьи), призванной произвести революцию в оценке AI-систем, работающих с изображениями и текстом. Крупнейший маркетплейс винтажных и handmade товаров Etsy уже внедряет эту инновационную технологию для верификации точности подписей к изображениям продуктов.

OpenAI требует запретить китайские ИИ-модели и DeepSeek

В новом политическом предложении, направленном в рамках инициативы "План действий в области ИИ" администрации Трампа, компания OpenAI выступила с серьезными обвинениями в адрес китайской лаборатории искусственного интеллекта DeepSeek. Американский технологический гигант характеризует конкурента как "субсидируемую государством" и "контролируемую государством" организацию, призывая правительство США рассмотреть возможность запрета моделей компании и аналогичных проектов, поддерживаемых КНР.

SoftBank и OpenAI построят масштабный дата-центр ИИ в Японии

Телекоммуникационный гигант планирует приобрести бывший завод Sharp по производству ЖК-панелей за 100 миллиардов иен и превратить его в один из крупнейших дата-центров страны для обслуживания ИИ-агентов.

Стартапы Y Combinator показывают беспрецедентный рост из-за ИИ

CEO Y Combinator Гарри Тан сообщил, что около четверти текущих стартапов акселератора создают 95% своего кода с помощью искусственного интеллекта, что кардинально меняет экономику ранних стадий технологического предпринимательства.