Новый Gemini поставил множество рекордов среди ИИ
Забудьте всё, что вы знали про чат-ботов. Серьёзно, просто выбросьте это из головы. Потому что то, что сейчас делает Гугл со своим обновлённым режимом Deep Think в Gemini 3 — это уже совсем другая история.
Модель набирает почти 85% на тесте ARC-AGI-2. Для тех, кто не в теме — это 1 из самых жёстких бенчмарков на абстрактное мышление, который существует. Результат подтверждён фондом ARC Prize Foundation. И это не просто хороший результат — это новый рекорд.
Также есть такой бенчмарк Humanity’s Last Exam. Его специально придумали, чтобы ломать самые продвинутые модели задачами запредельной сложности по математике, науке и инженерии. Так вот, Deep Think ставит там новый рекорд — 48,4%, причём без использования внешних инструментов. А на платформе Codeforces, где соревнуются сильнейшие спортивные программисты планеты, модель набирает 3455 Elo. Это уровень топовых участников, до которого большинство живых программистов просто не дотягивает.
И Gemini 3 Deep Think больше не ограничивается математикой и кодом. Модель показывает результаты золотой медали на письменных этапах Международных олимпиад по физике и химии. А в продвинутой теоретической физике на бенчмарке CMT выдаёт 55%. И это тоже новый рекорд среди всех существующих моделей.
Похоже, граница между инструментом и экспертом стирается прямо на наших глазах.
Гугл методично превращает DeepMind в машину по производству рекордов. Но за этим стоят конкретные деньги — Alphabet планирует потратить на инфраструктуру ИИ до $185 миллиардов в этом году. Что вдвое больше прошлогодних расходов.
А вот бенчмарк ARC-AGI-2, который ещё год назад считался непробиваемым, теперь стал проходится. Фонд ARC Prize Foundation уже фиксирует признаки «переобучения нового типа». Модели, похоже, видели эти данные в тренировочных наборах. Это значит, что рекорды на бумаге могут не отражать реального прогресса в мышлении.
Есть ещё 1 громадный минус. Стоимость 1 задачи в режиме Deep Think — около $13. Для массового коммерческого применения это пока слишком дорого.
А для бизнеса модели уровня олимпиадного золота по физике и химии — это не про чат-ботов. А про замену дорогих специалистов. Но пока цена инференса не упадёт на порядок, реальных денег на этом заработают единицы.
Напомню, что OpenAI объявил «красный код» после выхода Gemini 3, а Claude Opus набрал на ARC-AGI-2 лишь 68% против почти 85% у Deep Think. Нас ждёт новая гонка моделей.