Новый Gemini поставил множество рекордов среди ИИ

Post Thumbnail

Забудьте всё, что вы знали про чат-ботов. Серьёзно, просто выбросьте это из головы. Потому что то, что сейчас делает Гугл со своим обновлённым режимом Deep Think в Gemini 3 — это уже совсем другая история.

Модель набирает почти 85% на тесте ARC-AGI-2. Для тех, кто не в теме — это 1 из самых жёстких бенчмарков на абстрактное мышление, который существует. Результат подтверждён фондом ARC Prize Foundation. И это не просто хороший результат — это новый рекорд.

Также есть такой бенчмарк Humanity’s Last Exam. Его специально придумали, чтобы ломать самые продвинутые модели задачами запредельной сложности по математике, науке и инженерии. Так вот, Deep Think ставит там новый рекорд — 48,4%, причём без использования внешних инструментов. А на платформе Codeforces, где соревнуются сильнейшие спортивные программисты планеты, модель набирает 3455 Elo. Это уровень топовых участников, до которого большинство живых программистов просто не дотягивает.

И Gemini 3 Deep Think больше не ограничивается математикой и кодом. Модель показывает результаты золотой медали на письменных этапах Международных олимпиад по физике и химии. А в продвинутой теоретической физике на бенчмарке CMT выдаёт 55%. И это тоже новый рекорд среди всех существующих моделей.

Похоже, граница между инструментом и экспертом стирается прямо на наших глазах.

Гугл методично превращает DeepMind в машину по производству рекордов. Но за этим стоят конкретные деньги — Alphabet планирует потратить на инфраструктуру ИИ до $185 миллиардов в этом году. Что вдвое больше прошлогодних расходов.

А вот бенчмарк ARC-AGI-2, который ещё год назад считался непробиваемым, теперь стал проходится. Фонд ARC Prize Foundation уже фиксирует признаки «переобучения нового типа». Модели, похоже, видели эти данные в тренировочных наборах. Это значит, что рекорды на бумаге могут не отражать реального прогресса в мышлении.

Есть ещё 1 громадный минус. Стоимость 1 задачи в режиме Deep Think — около $13. Для массового коммерческого применения это пока слишком дорого.

А для бизнеса модели уровня олимпиадного золота по физике и химии — это не про чат-ботов. А про замену дорогих специалистов. Но пока цена инференса не упадёт на порядок, реальных денег на этом заработают единицы.

Напомню, что OpenAI объявил «красный код» после выхода Gemini 3, а Claude Opus набрал на ARC-AGI-2 лишь 68% против почти 85% у Deep Think. Нас ждёт новая гонка моделей.

Почитать из последнего
Главный по безопасности Claude уволился со стихами и пророчеством
Знаете, как обычно увольняются из технологических компаний? Пишут сухое «спасибо за опыт, двигаюсь дальше» — и всё. А вот Мринанк Шарма, который был главным по безопасности моделей в Anthropic, решил уйти с размахом. Его прощальное письмо — это 4 сноски, библейские отсылки, философия под названием «КосмоЭротический Гуманизм» и, на десерт, целая поэма.
Китайская нейросеть GLM-5 уделала почти всех и раздаётся бесплатно
Знаете, что самое обидное для гигантов из Кремниевой долины? Когда тебя обходит открытая модель из Китая, которая ещё и стоит на порядок дешевле. Именно это сейчас происходит с новой нейросетью GLM-5 от компании Z.ai. И масштаб события реально впечатляет.
ИИ для рекрутёров решал судьбу соискателей втайне от них
Представьте: вы опытный специалист с 10-летним стажем, отправляете резюме в компанию. И тишина. Даже на собеседование не позвали. Причина? ИИ поставил вам невидимую оценку и слил в архив. Добро пожаловать в новую реальность.
Сэм Альтман хвастается ростом, а реклама в ChatGPT уже на носу
Глава OpenAI Сэм Альтман радостно рапортует сотрудникам о том, что ChatGPT снова набирает обороты. Уже больше 10% роста ежемесячно, 800 миллионов человек еженедельно, всё прекрасно. Но за этими бодрыми цифрами скрывается интересная история. Про то, как компания буквально пару месяцев назад объявляла «красный код» и замораживала проекты, чтобы судорожно улучшать свой чатбот. Видимо, конкуренция кусается настолько сильно, что даже лидер рынка начинает нервничать.
ИИ не облегчает работу, он превращает людей в трудоголиков
8 месяцев наблюдений за технологической компанией на 200 сотрудников — и исследователи UC Berkeley пришли к неожиданному выводу. ИИ не разгружает людей, он заставляет их вкалывать ещё больше. Причём добровольно и с энтузиазмом.