MIT et Microsoft ont exposé les mensonges de GPT-3.5
Une équipe de scientifiques du MIT et de Microsoft a développé une méthodologie permettant de regarder dans les coulisses de la pensée des modèles de langage. Et de comprendre quand ils nous mentent. La recherche révèle des cas troublants de non-correspondance systémique entre les vraies raisons des décisions des modèles et leurs explications verbales.
Particulièrement révélateur est l’expériment avec GPT-3.5, qui a démontré des préjugés de genre lors de l’évaluation de candidats pour un poste d’infirmière, donnant systématiquement des scores plus élevés aux femmes. Même après avoir changé le sexe dans le CV. En même temps, dans ses explications le modèle affirmait qu’il s’orientait exclusivement sur l’âge et les compétences professionnelles.
Les chercheurs ont aussi découvert de nombreux exemples où les modèles de langage s’orientaient clairement sur la race ou le revenu. Mais dans les explications ne parlaient que de comportement ou d’expérience. Et dans les cas médicaux, des situations ont été révélées où l’intelligence artificielle prenait des décisions basées sur les symptômes les plus cruciaux, mais se taisait à ce sujet dans ses explications.
La méthodologie pour détecter de telles divergences est exceptionnellement élégante. Un modèle auxiliaire détermine d’abord les concepts clés dans la question, puis génère des variantes contrefactuelles, change l’un des concepts, et vérifie si cela affectera la réponse du modèle principal. Si la réponse change, mais ce facteur n’est pas mentionné dans l’explication – nous faisons face à une explication non fiable.
