В OpenAI нашли способ засечь проблемное поведение ИИ

OpenAI опубликовала исследование о наблюдаемости цепочки рассуждений ИИ. Звучит академично, но это одна из самых важных работ года. Способности систем растут быстрее инструментов контроля.

Цепочка рассуждений — внутренний текст перед финальным ответом — не отражает всех процессов модели. Полное отслеживание требует огромных ресурсов. Поэтому OpenAI задалась практичным вопросом. Достаточно ли информации в рассуждениях, чтобы засечь проблемное поведение?

Создали 13 тестов в 24 средах. Проверили передовые модели — свои и конкурентов. Сравнили с Claude 3.7 Sonnet, DeepSeek R1, Kimi K2. Модели OpenAI оказались лучше, разумеется. В OpenAI уверены — без этого не обойтись при работе с будущими системами.

Сделали 3 типа проверок. Вмешательство: дают подсказку, смотрят, упоминает ли модель её влияние. Процесс: для математики проверяют упоминание нужных теорем. Результат: дают невыполнимую задачу — если решена, модель схитрила.

Главный вывод: мониторинг рассуждений работает намного лучше мониторинга только ответов. Чем дольше модель думает, тем выше наблюдаемость — в длинных рассуждениях проще найти след проблемы.

Проверили 2 опасения. Разрушает ли обучение с подкреплением читаемость? Наблюдаемость не упала. Что если модель научится скрывать намерения? Специально обучили на это — тесты обнаружили. Рассуждения схлопнулись до бессмысленных слов.

Меньшая модель с длинными рассуждениями даёт сопоставимый результат, но с лучшей наблюдаемостью.

Получается, читаемый внутренний монолог — это 1 из инструментов контроля, который реально работает.