OpenAI тестирует модели против специалистов из 44 профессий
OpenAI представила новый бенчмарк GDPval, который тестирует работу её моделей искусственного интеллекта в сравнении с профессионалами из различных отраслей. И является попыткой понять, насколько близки системы OpenAI к превосходству над людьми в экономически значимой работе.
Бенчмарк основан на 9 отраслях, которые вносят наибольший вклад в валовой внутренний продукт США. GDPval тестирует производительность моделей искусственного интеллекта по 44 профессиям в этих отраслях, от программистов до медсестёр и журналистов. И опытные профессионалы сравнивали отчёты, сгенерированные искусственным интеллектом, с работами других специалистов.
GPT-5 high была признана лучше или наравне с отраслевыми экспертами в 46,6% случаев. Claude Opus 4.1 от Anthropic была признана лучше или наравне с отраслевыми экспертами в 49% задач. Хотя OpenAI утверждает, что Claude показала такие высокие результаты из-за склонности создавать привлекательную графику.
Думаю, что такие высокие показатели моделей могут оказаться завышенными из-за ограниченности тестов. И не отражать реальную производительность. А сам новый бенчмарк может создать ложные ожидания от возможностей искусственного интеллекта в реальных условиях работы.
Почитать из последнего
OpenAI готовит армию говорящих устройств и новую голосовую модель
Издание The Information выяснило забавную вещь про OpenAI. Оказывается, когда вы общаетесь с ChatGPT голосом, вы разговариваете совсем не с той моделью, которая отвечает текстом. Голосовая версия 4o не получила ни одного обновления после выхода GPT-5. Она не умеет думать, не знает про цепочки рассуждений. Ничего из того, чем хвастались в последних релизах. Просто старая добрая болтушка, застывшая в прошлом году.
Samsung хотят обойти Apple по ИИ-функциям и вернуть лидерство
В прошлом году Samsung поставила на рынок 400 миллионов мобильных устройств с ассистентом Google Gemini. Этого, видимо, показалось мало. В этом году южнокорейский гигант намерен удвоить количество до 800 миллионов штук. Тэ Мун Ро, один из двух гендиректоров Samsung Electronics, объяснил агентству Reuters это просто. Компания стремится распространить функции ИИ на все устройства и все услуги как можно скорее.
Alibaba научила алгоритм видеть рак там, где врачи пропускают
Каменщик 57 лет в Китае пришёл в больницу проверить диабет. Обычный осмотр, ничего особенного. Через 3 дня ему звонит заведующий отделением поджелудочной железы, мол приезжайте срочно. ИИ, который прогнал его КТ-снимок, нашёл опухоль. Оказалось – рак, но на ранней стадии. Вырезали и мужчина выжил. Без этой технологии его бы нашли слишком поздно, когда 5-летняя выживаемость около 10%.
