Understanding the Impact of Human Oversight on Discriminatory Outcomes in AI-Supported Decision Making

19 février 2024

Cet exposé est basé sur un article :

« Nous examinons l’efficacité de la supervision humaine pour contrecarrer les résultats discriminatoires dans la prise de décision assistée par l’IA pour les tâches sensibles. Nous utilisons une approche mixte, associant une expérience comportementale quantitative à des analyses qualitatives par le biais d’entretiens et d’ateliers. L’expérience a impliqué 1400 professionnels en Italie et en Allemagne, prenant des décisions d’embauche ou de prêt avec des recommandations justes ou biaisées générées par l’IA. Nous avons constaté que les superviseurs humains faisaient preuve d’aversion pour les algorithmes, et qu’ils ne suivaient les conseils de l’IA que dans 55 % des cas. Ils étaient tout aussi peu enclins à suivre les conseils d’une IA équitable que ceux d’une IA biaisée. L’IA équitable a réduit les préjugés liés au sexe des candidats, mais pas les préjugés liés à la nationalité. Les décideurs étaient plus enclins à approuver les suggestions de l’IA si celles-ci correspondaient à leurs propres préférences discriminatoires, qui consistaient principalement à favoriser les candidats qui leur ressemblaient. Des observations qualitatives révèlent le contexte de ces décisions en termes de sensibilisation aux préjugés, de perception de l’équité et de normes éthiques. En conclusion, la surveillance humaine ne semble pas empêcher la discrimination par l’IA dans notre cadre expérimental. Une approche globale, intégrant une programmation équitable de l’IA, des normes pour guider la surveillance et la diversité des décideurs, est essentielle pour garantir que les processus décisionnels améliorés par l’IA aboutissent à des résultats moins discriminatoires. »

Authors: Alexia Gaudeul, Ottla Arrigoni, Marianna Baggio, Vasiliki Charisi, Marina Escobar-Planas, Isabelle Hupont-Torres