MIT и Microsoft разоблачили ложь GPT-3.5

Команда ученых из MIT и Microsoft разработала методику, позволяющую заглянуть за кулисы мышления языковых моделей. И понять, когда они нам врут. Исследование раскрывает тревожные случаи системного несоответствия между реальными причинами решений моделей и их вербальными объяснениями.

Особенно показателен эксперимент с GPT-3.5, который демонстрировал гендерные предубеждения при оценке кандидатов на должность медсестры, систематически завышая баллы женщинам. Даже после смены пола в резюме. При этом в своих объяснениях модель утверждала, что ориентируется исключительно на возраст и профессиональные навыки.

Исследователи также обнаружили многочисленные примеры, где языковые модели явно ориентировались на расу или доход. Но в объяснениях говорили только о поведении или опыте. А в медицинских кейсах были выявлены случаи, когда искусственный интеллект принимал решения на основе важнейших симптомов, но умалчивал об этом в своих пояснениях.

Методика выявления таких расхождений исключительно элегантна. Вспомогательная модель сначала определяет ключевые понятия в вопросе, затем генерирует контрфактические варианты, меняя 1 из понятий, и проверяет, повлияет ли это на ответ основной модели. Если ответ меняется, но в объяснении этот фактор не упоминается – перед нами недостоверное объяснение.