Проверили, как нейросети заменяют людей — и результат печальный

Post Thumbnail

Scale AI и Center for AI Safety опубликовали результаты бенчмарка Remote Labor Index, который оценивает способность нейросетей выполнять реальную работу фрилансеров. И знаете что? Даже лучшие модели справились с заданиями на человеческом уровне лишь в 2,5% случаев.

Исследователи взяли 240 завершённых проектов с биржи Upwork и поставили идентичные задачи 6 топовым системам ИИ. Это были полноценные проекты — разработка софта, дизайн, архитектура, анализ данных. На выполнение каждого человеку требовалось в среднем 11,5 часов работы, медианная стоимость проекта — $200.

А теперь самое смешное. Почти 97% работ были признаны неудовлетворительными из-за низкого качества, неполных данных или повреждённых файлов. Искусственный интеллект справился только с узкими задачами вроде создания логотипов или сведения аудио.

Цифры убийственные. Человеческие фрилансеры, которые изначально выполняли эти проекты, заработали в общей сложности $143 991. Лучшая нейросеть, Manus, заработала $1720.

Тест наглядно подсветил огромный разрыв между показателями ИИ на синтетических бенчмарках и его реальной готовностью к автоматизации сложных проектов. На красивых тестах нейросети блещут результатами, а в реальной работе проваливаются в 97% случаев.

Так что все разговоры про скорую автоматизацию фриланса можно пока отложить.

Center for AI Safety, Manus, Remote Labor Index, Scale AI, Upwork, Бенчмарк
AIvengo > Блог > Проверили, как нейросети заменяют людей — и результат печальный
Почитать из последнего
Учёные нашли идиотский способ улучшить ответы нейросетей
Исследователи из Google случайно наткнулись на абсурдный лайфхак, который реально работает. Если повторять промпт дважды — то есть отправлять запрос не в виде обычного текста, а копировать его 2 раза подряд — качество ответов модели в 67% случаев статистически значимо улучшается.
MIT выяснил, что ИИ уже может заменить 11% работников США
Массачусетский технологический институт опубликовал исследование, которое разрушает иллюзии о будущем работы. Искусственный интеллект уже сейчас способен заменить 11% рабочей силы США. Это 1 триллион долларов в зарплатах в год.
Алгоритмический прорыв: ИИ справился с задачей, непосильной для всех
GPT-5 с экспериментальной рассуждающей моделью от OpenAI решил все 12 задач престижнейшего Международного студенческого чемпионата по программированию ICPC!
Министерство Китая отчиталось о прорыве в области ИИ
Объём индустрии ИИ Китая превысил $142 миллиарда в 25 году. Об этом сообщило Министерство промышленности и информационных технологий на национальной конференции в Пекине. Ведомство назвало это прорывом в области промышленных технологических инноваций. Годом ранее этот показатель составлял на 40% меньше.
ИИ научился обучать ИИ лучше людей
В Nature опубликовали статью про то, как 1 ИИ учил другой. И получилось лучше, чем когда это делают люди. Вот вам и очередной гвоздь в крышку гроба человеческой исключительности.