OpenAI тестирует модели против специалистов из 44 профессий

OpenAI представила новый бенчмарк GDPval, который тестирует работу её моделей искусственного интеллекта в сравнении с профессионалами из различных отраслей. И является попыткой понять, насколько близки системы OpenAI к превосходству над людьми в экономически значимой работе.

Бенчмарк основан на 9 отраслях, которые вносят наибольший вклад в валовой внутренний продукт США. GDPval тестирует производительность моделей искусственного интеллекта по 44 профессиям в этих отраслях, от программистов до медсестёр и журналистов. И опытные профессионалы сравнивали отчёты, сгенерированные искусственным интеллектом, с работами других специалистов.

GPT-5 high была признана лучше или наравне с отраслевыми экспертами в 46,6% случаев. Claude Opus 4.1 от Anthropic была признана лучше или наравне с отраслевыми экспертами в 49% задач. Хотя OpenAI утверждает, что Claude показала такие высокие результаты из-за склонности создавать привлекательную графику.

Думаю, что такие высокие показатели моделей могут оказаться завышенными из-за ограниченности тестов. И не отражать реальную производительность. А сам новый бенчмарк может создать ложные ожидания от возможностей искусственного интеллекта в реальных условиях работы.