Проверили, как нейросети заменяют людей — и результат печальный

Scale AI и Center for AI Safety опубликовали результаты бенчмарка Remote Labor Index, который оценивает способность нейросетей выполнять реальную работу фрилансеров. И знаете что? Даже лучшие модели справились с заданиями на человеческом уровне лишь в 2,5% случаев.

Исследователи взяли 240 завершённых проектов с биржи Upwork и поставили идентичные задачи 6 топовым системам ИИ. Это были полноценные проекты — разработка софта, дизайн, архитектура, анализ данных. На выполнение каждого человеку требовалось в среднем 11,5 часов работы, медианная стоимость проекта — $200.

А теперь самое смешное. Почти 97% работ были признаны неудовлетворительными из-за низкого качества, неполных данных или повреждённых файлов. Искусственный интеллект справился только с узкими задачами вроде создания логотипов или сведения аудио.

Цифры убийственные. Человеческие фрилансеры, которые изначально выполняли эти проекты, заработали в общей сложности $143 991. Лучшая нейросеть, Manus, заработала $1720.

Тест наглядно подсветил огромный разрыв между показателями ИИ на синтетических бенчмарках и его реальной готовностью к автоматизации сложных проектов. На красивых тестах нейросети блещут результатами, а в реальной работе проваливаются в 97% случаев.

Так что все разговоры про скорую автоматизацию фриланса можно пока отложить.