L’intérêt grandissant pour l’utilisation de l’intelligence artificielle
transforme les processus industriels, les services publics, ainsi
que divers secteurs comme la santé ou la finance. Outils de recommandation,
algorithmes prédictifs, dispositifs de détection d’anomalies et modèles
génératifs deviennent des briques structurantes des systèmes d’information.
Ces usages créent des opportunités, mais ils introduisent aussi de
nouveaux enjeux, qui ne se réduisent pas aux risques informatiques
classiques : les biais et la discrimination, les atteintes à la vie
privée, l’opacité des décisions, la dépendance aux données ou encore
des vulnérabilités propres aux modèles.
Plusieurs cas emblématiques ont mis en lumière ces nouveaux risques.
En 2016, l’enquête de
ProPublica
sur l’algorithme COMPAS, utilisé
par les tribunaux étasuniens pour évaluer le risque de récidive, a
révélé que les prévenus afro-étasuniens étaient deux fois plus susceptibles
d’être incorrectement classés à haut risque que les prévenus blancs
. En 2018,
Amazon a abandonné un outil de recrutement automatisé après avoir
découvert qu’il pénalisait systématiquement les candidatures féminines
. En 2019,
Obermeyer
et al.
ont montré qu’un algorithme commercial de
gestion de la santé, déployé à grande échelle dans le système étasunien,
sous-estimait systématiquement les besoins de soins des patients noirs
par rapport aux patients blancs présentant un état de santé similaire