В OpenAI нашли способ засечь проблемное поведение ИИ

Post Thumbnail

OpenAI опубликовала исследование о наблюдаемости цепочки рассуждений ИИ. Звучит академично, но это одна из самых важных работ года. Способности систем растут быстрее инструментов контроля.

Цепочка рассуждений — внутренний текст перед финальным ответом — не отражает всех процессов модели. Полное отслеживание требует огромных ресурсов. Поэтому OpenAI задалась практичным вопросом. Достаточно ли информации в рассуждениях, чтобы засечь проблемное поведение?

Создали 13 тестов в 24 средах. Проверили передовые модели — свои и конкурентов. Сравнили с Claude 3.7 Sonnet, DeepSeek R1, Kimi K2. Модели OpenAI оказались лучше, разумеется. В OpenAI уверены — без этого не обойтись при работе с будущими системами.

Сделали 3 типа проверок. Вмешательство: дают подсказку, смотрят, упоминает ли модель её влияние. Процесс: для математики проверяют упоминание нужных теорем. Результат: дают невыполнимую задачу — если решена, модель схитрила.

Главный вывод: мониторинг рассуждений работает намного лучше мониторинга только ответов. Чем дольше модель думает, тем выше наблюдаемость — в длинных рассуждениях проще найти след проблемы.

Проверили 2 опасения. Разрушает ли обучение с подкреплением читаемость? Наблюдаемость не упала. Что если модель научится скрывать намерения? Специально обучили на это — тесты обнаружили. Рассуждения схлопнулись до бессмысленных слов.

Меньшая модель с длинными рассуждениями даёт сопоставимый результат, но с лучшей наблюдаемостью.

Получается, читаемый внутренний монолог — это 1 из инструментов контроля, который реально работает.

Claude, Claude 3.7 Sonnet, DeepSeek, DeepSeek R1, Kimi, Kimi K2, Open AI, Поведение ИИ
AIvengo > Новости ИИ > В OpenAI нашли способ засечь проблемное поведение ИИ
Почитать из последнего
Claude Opus 4.5 побил рекорд автономности, но работает через раз
Организация METR, которая тестирует способности нейросетей, зафиксировала рекорд у Claude Opus 4.5 от Anthropic. Модель может автономно работать над задачами длительностью почти 5 часов. 4 часа 49 минут, если точно. Это в 1,5 раза дольше, чем у предыдущего лидера GPT-5.1 от OpenAI, который держался на отметке 2 часа 53 минуты.
ИИ с лицом Аристотеля рассуждает о смысле жизни
Помните, как Стив Джобс мечтал засунуть Аристотеля в компьютер и задавать ему вопросы? Мейкер Никодем Бартник решил проверить, реально ли это. И собрал роботизированную голову, которая отвечает так, будто древнегреческий философ только что вернулся из прошлого.
Китайская нейросеть GLM за 6 долларов обошла Claude Sonnet по кодингу
Вот вам история о том, как китайцы решили показать Западу, кто тут главный в нейросетях для программирования. Компания Zhipu AI выпустила GLM-4.7. Это флагманская модель с фокусом на кодинг и агентные задачи. И знаете что? По заявлениям разработчиков, на бенчмарке LiveCodeBench модель обошла Claude Sonnet 4.5. На математическом тесте AIME 25 GLM-4.7 тоже показала лучший результат среди моделей. Опередив и Claude Sonnet, и GPT-5.1.
Учёные нашли идиотский способ улучшить ответы нейросетей
Исследователи из Google случайно наткнулись на абсурдный лайфхак, который реально работает. Если повторять промпт дважды — то есть отправлять запрос не в виде обычного текста, а копировать его 2 раза подряд — качество ответов модели в 67% случаев статистически значимо улучшается.
100 тыс. диалогов подтвердили экономию 80% времени с помощью ИИ
Anthropic проанализировала 100 тыс. реальных диалогов с Claude. И эти цифры теперь можно использовать в спорах о пользе искусственного интеллекта. Задачи, которые у людей занимают около 90 минут и стоят примерно 55 долларов труда, Claude выполняет на 80% быстрее человека.