Post Thumbnail

GigaChat проиграл Claude и Gemini на русском языке в бенчмарке MERA

Тестирование GigaChat раскрывает суровую правду о месте России в глобальной гонке искусственного интеллекта. Недавние испытания на бенчмарке MERA показали результаты, заставляющие серьёзно задуматься. Российская модель, созданная специально для работы с русским языком, неожиданно проиграла иностранным конкурентам в своей же “родной стихии”.

Особенно примечательно, что тесты проводила сама команда GigaChat на специализированном наборе задач, разработанном отечественным Альянсом в сфере искусственного интеллекта. В сравнительных испытаниях американские модели Claude 3.7 Sonnet, Gemini 2.0 Flash, Gemini 1.5 Pro. А также китайские DeepSeek-V3 и DeepSeek-V3.0324 продемонстрировали более высокие показатели.

Джек Кларк, сооснователь и глава политики Anthropic, а ранее директор по политике OpenAI, дал однозначную оценку ситуации. По его мнению, если GigaChat отражает состояние всей российской экосистемы языковых моделей, то страна не только не сможет конкурировать на переднем крае, но и столкнётся с трудностями даже в нише небольших открытых моделей.

Данные этого тестирования были опубликованы в научной статье на arxiv. Эти результаты указывают на то, что борьба за лидерство в сфере искусственного интеллекта остаётся битвой только между США и Китаем.

Автор: AIvengo
5 лет я работаю с машинным обучением и искусственным интеллектом. И эта сфера не перестает меня удивлять, восхищать и интересовать.

Latest News

Исследователи OpenAI и Anthropic раскритиковали безопасность xAI

Исследователи из OpenAI, Anthropic и других организаций публично раскритиковали культуру безопасности в компании xAI, принадлежащей Илону Маску. Назвав её "безрассудной" и "совершенно безответственной".

Meta инвестирует сотни млрд в суперкластеры с энергопотреблением 5 ГВт

Марк Цукерберг объявил о беспрецедентных инвестициях в инфраструктуру искусственного интеллекта нового поколения! Компания вложит сотни млрд долларов в создание суперкластеров серверов. Которые будут потреблять от 1 до 5 ГВт каждый. Это энергопотребление на уровне целой атомной электростанции!

Рай для интровертов: ИИ будет разговаривать с сотрудниками компаний

Google выпустила новую функцию и теперь искусственный интеллект может звонить в местные компании от вашего имени. Чтобы узнать информацию о ценах и доступности услуг. Вам больше не нужно самим поднимать трубку и разговаривать с сотрудниками. Именно так выглядит рай интроверта.

OpenAI объединила ChatGPT, Deep Research и Operator в одном агенте

Компания OpenAI представила ChatGPT Agent. Мощное объединение ChatGPT, Deep Research и Operator в едином решении. Принцип работы максимально прост. Вы ставите цель, например, отправить письма, создать таблицы, купить билеты или забронировать отели. ChatGPT Agent самостоятельно разбивает эту цель на отдельные задачи, переходит по нужным сайтам, ищет информацию и заполняет формы. Перед критически важными действиями, такими как оплата, публикация или отправка, агент обязательно запрашивает ваше подтверждение.

Только 1 программист в мире смог обыграть ИИ от OpenAI

Представьте себе мир, где искусственный интеллект соревнуется с лучшими программистами планеты. Такое противостояние произошло на престижном турнире AtCoder World Tour Finals. Это 1 из самых элитных соревнований в мире программирования, куда попасть крайне сложно.