MIT и Microsoft разоблачили ложь GPT-3.5
Команда ученых из MIT и Microsoft разработала методику, позволяющую заглянуть за кулисы мышления языковых моделей. И понять, когда они нам врут. Исследование раскрывает тревожные случаи системного несоответствия между реальными причинами решений моделей и их вербальными объяснениями.
Особенно показателен эксперимент с GPT-3.5, который демонстрировал гендерные предубеждения при оценке кандидатов на должность медсестры, систематически завышая баллы женщинам. Даже после смены пола в резюме. При этом в своих объяснениях модель утверждала, что ориентируется исключительно на возраст и профессиональные навыки.
Исследователи также обнаружили многочисленные примеры, где языковые модели явно ориентировались на расу или доход. Но в объяснениях говорили только о поведении или опыте. А в медицинских кейсах были выявлены случаи, когда искусственный интеллект принимал решения на основе важнейших симптомов, но умалчивал об этом в своих пояснениях.
Методика выявления таких расхождений исключительно элегантна. Вспомогательная модель сначала определяет ключевые понятия в вопросе, затем генерирует контрфактические варианты, меняя 1 из понятий, и проверяет, повлияет ли это на ответ основной модели. Если ответ меняется, но в объяснении этот фактор не упоминается – перед нами недостоверное объяснение.
Почитать из последнего
Учёные сравнили 9000 человек с ИИ и выяснили, что люди креативнее
В журнале Nature Human Behaviour опубликовали масштабное исследование креативности людей и больших языковых моделей. Учёные из Гонконгского университета и Северо-Западного университета сравнили 9198 человек с восемью LLM на тесте дивергентного мышления. В общей сложности 215 542 прогона моделей.
OpenAI готовит армию говорящих устройств и новую голосовую модель
Издание The Information выяснило забавную вещь про OpenAI. Оказывается, когда вы общаетесь с ChatGPT голосом, вы разговариваете совсем не с той моделью, которая отвечает текстом. Голосовая версия 4o не получила ни одного обновления после выхода GPT-5. Она не умеет думать, не знает про цепочки рассуждений. Ничего из того, чем хвастались в последних релизах. Просто старая добрая болтушка, застывшая в прошлом году.
Samsung хотят обойти Apple по ИИ-функциям и вернуть лидерство
В прошлом году Samsung поставила на рынок 400 миллионов мобильных устройств с ассистентом Google Gemini. Этого, видимо, показалось мало. В этом году южнокорейский гигант намерен удвоить количество до 800 миллионов штук. Тэ Мун Ро, один из двух гендиректоров Samsung Electronics, объяснил агентству Reuters это просто. Компания стремится распространить функции ИИ на все устройства и все услуги как можно скорее.
Alibaba научила алгоритм видеть рак там, где врачи пропускают
Каменщик 57 лет в Китае пришёл в больницу проверить диабет. Обычный осмотр, ничего особенного. Через 3 дня ему звонит заведующий отделением поджелудочной железы, мол приезжайте срочно. ИИ, который прогнал его КТ-снимок, нашёл опухоль. Оказалось – рак, но на ранней стадии. Вырезали и мужчина выжил. Без этой технологии его бы нашли слишком поздно, когда 5-летняя выживаемость около 10%.
