Студент оказался умнее ИИ стоимостью миллиарды долларов

Post Thumbnail

Мечта об учёном с искусственным интеллектом разбилась о реальность. Gemini 3 Pro и GPT-5 и 1 провалили задачи, с которыми справляется обычный аспирант.

Более 50 физиков из 30 институтов собрали бенчмарк CritPt. 71 оригинальную задачу из 11 областей: квантовой физики, астрофизики, физики высоких энергий и биофизики. Главное условие — все задачи совершенно новые, не из учебников и никогда не публиковавшиеся.

Результаты оказались жёстким приговором. Gemini 3 Pro Preview достиг лишь 9% точности. GPT-5 и 1 показал около 5%. То есть топовые модели не справляются даже с каждой 10-й задачей, которую решает студент-физик.

Но дальше ещё хуже. Авторы применили строгую метрику «Consistently Solved Rate» — модель должна решить задачу правильно 4-5 раз из 5 попыток. И вот тут производительность рухнула почти до 0. Модели не просто ошибаются — они нестабильны. Сегодня дали правильный ответ, завтра выдали чушь на ту же задачу.

Получается, индустрия продаёт идею учёного нового типа, который совершит прорывы в науке. А в реальности системы не способны стабильно решать задачи уровня аспиранта. Им не хватает строгости, новаторства и точности для автономных исследований. Технологические компании обещали революцию в науке. А получили помощника, который справляется хуже студента.

Почитать из последнего
ChatGPT обогнал Netflix по выручке в Южной Корее
В Южной Корее выбрали, на что тратить деньги. Аналитики из Aicel Technologies подсчитали, что ежемесячный объём платежей за подписки на ИИ достиг $60 миллионов. Для сравнения, средняя месячная выручка Netflix в стране составляет около $50 миллионов. Получается, искусственный интеллект обогнал стриминг. Который казался незыблемым чемпионом по монетизации подписок.
Claude работает по своей конституции
Anthropic выложила новую конституцию Claude. И это реальная инструкция, по которой нейросеть принимает решения в сложных ситуациях. Раньше всё было просто: вот тебе список запретов, не делай это и то, работай по инструкции. Но компания поняла, что такой подход ломается при 1 же нестандартном кейсе, потому что модель не понимает «почему так». Теперь идея радикально другая. Claude должен не следовать правилам слепо, а мыслить через систему ценностей.
Гуманоид вышел на пробежку, но бывший инженер предупреждает об опасности
Компания Figure AI решила показать миру, как её робот-гуманоид бегает наравне с людьми. Руководитель Бретт Эдкок выложил видео, где железный парень уверенно движется рядом с сотрудниками, не отставая ни на шаг. Издание Digital Trends уже фантазирует: представьте, робот как персональный тренер задаёт вам темп для подготовки к 1 марафону! Звучит круто, правда?
Победитель AI Film Award получил миллион долларов
Google вручил 1 кинопремию для фильмов созданных ИИ. Миллион долларов получил Зубейр Эль-Джласси из Туниса за короткометражку Лили. Парень работает графическим дизайнером и режиссёром, использовал генератор Veo для видео и Gemini для подготовки сцен.
Anthropic рассказал, как Claude меняет науку
Anthropic опубликовала отчёт о том, как исследователи из топовых университетов внедряют Claude в биомедицину.