Новая платформа для честной битвы ИИ в науке

Post Thumbnail

Институт искусственного интеллекта Пола Аллена запустил новую платформу SciArena. Ссылка в описании. Это аналог Chatbot Arena, но специально для соревнования нейросетей в решении научных задач. Теперь для учёбы или исследования вы можете бесплатно получить сразу 2 проверенных ответа со ссылками на научные источники.

Как работает оценка эффективности моделей? Платформа использует поисковую систему AI2 ScholarQA, чтобы найти статьи, относящиеся к вашему запросу в базе данных Semantic Scholar. Затем 2 случайно выбранные модели получают одинаковые данные: ваш вопрос и найденные научные статьи. Искусственный интеллект должен написать развёрнутый ответ, подкрепляя каждое утверждение ссылкой на источник.

В рейтинге SciArena сейчас участвуют 23 модели от OpenAI, Google, Anthropic, Alibaba и других компаний. Перед запуском 102 эксперта провели более 13 000 состязаний, чтобы построить первичный рейтинг моделей.

В настоящее время лидирует OpenAI o3. Эта модель стабильно показывает лучшие результаты во всех категориях — от инженерии до медицины. В тройке лидеров также Claude 4 Opus и Gemini 2.5 Pro. Вы можете задать вопрос на русском языке, однако имейте в виду, что некоторые модели отвечают только по-английски.

Почитать из последнего
Учёные сравнили 9000 человек с ИИ и выяснили, что люди креативнее
В журнале Nature Human Behaviour опубликовали масштабное исследование креативности людей и больших языковых моделей. Учёные из Гонконгского университета и Северо-Западного университета сравнили 9198 человек с восемью LLM на тесте дивергентного мышления. В общей сложности 215 542 прогона моделей.
OpenAI готовит армию говорящих устройств и новую голосовую модель
Издание The Information выяснило забавную вещь про OpenAI. Оказывается, когда вы общаетесь с ChatGPT голосом, вы разговариваете совсем не с той моделью, которая отвечает текстом. Голосовая версия 4o не получила ни одного обновления после выхода GPT-5. Она не умеет думать, не знает про цепочки рассуждений. Ничего из того, чем хвастались в последних релизах. Просто старая добрая болтушка, застывшая в прошлом году.
Samsung хотят обойти Apple по ИИ-функциям и вернуть лидерство
В прошлом году Samsung поставила на рынок 400 миллионов мобильных устройств с ассистентом Google Gemini. Этого, видимо, показалось мало. В этом году южнокорейский гигант намерен удвоить количество до 800 миллионов штук. Тэ Мун Ро, один из двух гендиректоров Samsung Electronics, объяснил агентству Reuters это просто. Компания стремится распространить функции ИИ на все устройства и все услуги как можно скорее.
Alibaba научила алгоритм видеть рак там, где врачи пропускают
Каменщик 57 лет в Китае пришёл в больницу проверить диабет. Обычный осмотр, ничего особенного. Через 3 дня ему звонит заведующий отделением поджелудочной железы, мол приезжайте срочно. ИИ, который прогнал его КТ-снимок, нашёл опухоль. Оказалось – рак, но на ранней стадии. Вырезали и мужчина выжил. Без этой технологии его бы нашли слишком поздно, когда 5-летняя выживаемость около 10%.
OpenAI к 2028 году увеличит мощности дата-центров в 90 раз
Epoch AI сделал публично доступным трекер крупнейших дата-центров. А человек из твиттера с ником Peter Gostev визуализировал суммарные мощности по месяцам в разрезе компаний, и цифры просто убийственные.