Claude Opus 4.5 побил рекорд автономности, но работает через раз

Организация METR, которая тестирует способности нейросетей, зафиксировала рекорд у Claude Opus 4.5 от Anthropic. Модель может автономно работать над задачами длительностью почти 5 часов. 4 часа 49 минут, если точно. Это в 1,5 раза дольше, чем у предыдущего лидера GPT-5.1 от OpenAI, который держался на отметке 2 часа 53 минуты.

METR измеряет не точность ответов, а насколько долгие задачи ИИ может решать без помощи человека. Задачи разнообразные: от поиска информации в интернете до обучения моделей машинного обучения и взлома систем. По данным организации, этот показатель удваивается каждые 7 месяцев: в 19 году GPT-2 справлялся с задачами длительностью в несколько секунд, а сейчас Opus тянет почти 5 часов.

Но исследователи сами предупреждают: не спешите радоваться. Доверительный интервал чудовищный. От 1 часа 49 минут до 20 часов 25 минут. В тестовом наборе просто недостаточно длинных задач, чтобы точно измерить верхнюю планку возможностей модели.

И вот главный подвох. 5 часов — это при 50% вероятности успеха. То есть модель справится с задачей в половине случаев, а в половине — провалится. Если поднять планку до 80% успеха, горизонт Opus 4.5 рухнет до жалких 27 минут. Почти как у всех остальных моделей.

Получается, Opus может выдать прорыв и решить сверхсложную задачу, но стабильности от него ждать не стоит. Работает через раз.