Студент оказался умнее ИИ стоимостью миллиарды долларов

Post Thumbnail

Мечта об учёном с искусственным интеллектом разбилась о реальность. Gemini 3 Pro и GPT-5 и 1 провалили задачи, с которыми справляется обычный аспирант.

Более 50 физиков из 30 институтов собрали бенчмарк CritPt. 71 оригинальную задачу из 11 областей: квантовой физики, астрофизики, физики высоких энергий и биофизики. Главное условие — все задачи совершенно новые, не из учебников и никогда не публиковавшиеся.

Результаты оказались жёстким приговором. Gemini 3 Pro Preview достиг лишь 9% точности. GPT-5 и 1 показал около 5%. То есть топовые модели не справляются даже с каждой 10-й задачей, которую решает студент-физик.

Но дальше ещё хуже. Авторы применили строгую метрику «Consistently Solved Rate» — модель должна решить задачу правильно 4-5 раз из 5 попыток. И вот тут производительность рухнула почти до 0. Модели не просто ошибаются — они нестабильны. Сегодня дали правильный ответ, завтра выдали чушь на ту же задачу.

Получается, индустрия продаёт идею учёного нового типа, который совершит прорывы в науке. А в реальности системы не способны стабильно решать задачи уровня аспиранта. Им не хватает строгости, новаторства и точности для автономных исследований. Технологические компании обещали революцию в науке. А получили помощника, который справляется хуже студента.

Почитать из последнего
Forbes подсчитал, кто заработал миллиарды на буме нейросетей
В 25-м году ИИ превратил больше предпринимателей в миллиардеров. А инвесторы вложили в сектор ИИ свыше 200 миллиардов долларов. Это почти 50% всего мирового венчурного финансирования. Forbes подвёл итоги: крупнейшие состояния сколотили не только создатели моделей, но и те, кто строит инфраструктуру вокруг них.
В Китае текстильная фабрика работает полностью на ИИ и без людей
В китайском городе Синьцзянь заработала текстильная фабрика, которая работает полностью с помощью ИИ. И вот вам картина будущего, в котором людям на производстве места нет. На огромном производстве ни одного рабочего на линии. Около 5000 ткацких станков крутятся круглосуточно под управлением ИИ и робототехники.
Психиатры зафиксировали десятки случаев, когда люди сходят с ума от ChatGPT
The Wall Street Journal пишет, что рост популярности чат-ботов на ИИ вызывает обеспокоенность психиатров, фиксирующих отдельные случаи расстройств на этой почве.
Similarweb показал, за счёт чего Gemini отжирает долю у OpenAI
Similarweb опубликовал свежую аналитику по доле разных продуктов на больших языковых моделях в веб-трафике. И вот вам картина перераспределения рынка. В начале года у ChatGPT было 87%, теперь — 68%. Доля упала почти на 20%.
Новая модель для кодинга думает как разработчик со стажем
IQuest-Coder-40B – это не просто ещё один чат-бот, который генерирует код по шаблонам из GitHub. Это новая open-source модель для кодинга с 40 миллиардами параметров. Которая обучалась совсем не так, как его конкуренты.