L'intelligence artificielle, loin d'être l'outil neutre et objectif qu'on imaginait, reproduit et amplifie les discriminations profondément ancrées dans nos sociétés.
D'où viennent les biais de l'intelligence artificielle ?
Les biais algorithmiques ne surgissent pas du néant. Comme l'explique Arthur Gressier dans son ouvrage L'IA expliquée à ma grand-mère, ils s'enracinent dans trois sources principales que nous devons comprendre pour mieux les combattre.
Les données historiques : quand le passé contamine le futur
Les algorithmes d'IA apprennent à partir d'exemples passés. Si ces exemples reflètent des discriminations historiques, l'IA les perpétue mécaniquement. Arthur Gressier illustre ce phénomène avec l'exemple frappant d'une banque développant un algorithme de crédit :
« Durant des décennies, les femmes ont eu plus difficilement accès aux prêts bancaires, non pas parce qu'elles étaient moins solvables, mais à cause de discriminations systémiques. Si ces données historiques montrent que majoritairement des hommes ont reçu des prêts, l'algorithme apprendra que 'prêt = homme' et reproduira cette logique discriminatoire. »
Dans le domaine de la reconnaissance faciale, les chiffres sont éloquents. Les deux principaux jeux de données utilisés pour l'entraînement présentent un déséquilibre massif : IJB-A contient 79,6% de visages à peau claire, Adience en contient 86,2%. Cette surreprésentation façonne l'apprentissage de l'algorithme qui devient moins performant pour reconnaître les visages sous-représentés.
Les biais inconscients des concepteurs
Les ingénieurs qui conçoivent les algorithmes introduisent involontairement leurs propres préjugés. L'auteur souligne que nous utilisons tous des biais cognitifs - plus de 180 types différents ont été identifiés - qui sont des raccourcis mentaux nous permettant de traiter l'information rapidement.
Ces biais contaminent la conception à chaque étape :
- Définition des objectifs du système
- Sélection du modèle d'apprentissage
- Choix des caractéristiques importantes dans les données
- Interprétation des résultats
Un phénomène particulièrement pernicieux est le biais de rétroaction. Comme l'explique le livre, si un système de recommandation d'emplois apprend des clics d'un recruteur qui sélectionne systématiquement des profils masculins pour des postes techniques, l'algorithme intégrera que « technique = homme » et renforcera cette discrimination dans ses futures suggestions.
L'amplification systématique des discriminations
Le plus préoccupant reste que l'IA ne se contente pas de reproduire les préjugés : elle les amplifie. Arthur Gressier met en garde :
« Une discrimination humaine ponctuelle, exercée par un recruteur lors d'une embauche, reste circonscrite. Mais une discrimination algorithmique s'applique à des millions de candidatures, instantanément, sans possibilité de recours immédiat, avec l'apparence trompeuse de l'objectivité scientifique. »
Exemples concrets de biais problématiques
Les discriminations algorithmiques ne sont pas des concepts abstraits. Elles affectent concrètement la vie de millions de personnes dans des domaines cruciaux.
Reconnaissance faciale : des écarts de précision vertigineux
Une étude du MIT de 2018 a révélé des disparités choquantes dans les systèmes commerciaux de reconnaissance faciale. Dans le pire cas observé, l'un des systèmes testés affichait :
- 0,8% d'erreur pour les hommes blancs
- 34,7% d'erreur pour les femmes noires
Plus d'un tiers d'erreurs pour les femmes noires, contre moins de 1% pour les hommes blancs - un écart qui révèle une discrimination systémique profonde. En 2018, l'American Civil Liberties Union a testé le système « Rekognition » d'Amazon qui a confondu 28 membres du Congrès américain avec des criminels. Près de 40% des membres confondus étaient des personnes de couleur.
Le fiasco du recrutement automatisé d'Amazon
L'affaire Amazon de 2018 reste emblématique. L'entreprise avait développé un système d'IA pour automatiser la sélection des CV, attribuant une note de 1 à 5 étoiles aux candidats. Le problème découvert en 2015 :
« Le système pénalisait les CV incluant le mot 'féminin', comme 'capitaine du club de football féminin'. Il attribuait également un mauvais score aux diplômées d'universités pour femmes. »
La raison ? Les modèles avaient été entraînés sur les CV des 10 années précédentes, période où la majorité des candidatures techniques provenaient d'hommes. Amazon a finalement abandonné le projet début 2017.
Algorithmes de crédit et discriminations financières
Dans le domaine bancaire, une étude sur les prêts américains a montré que les emprunteurs issus des minorités ethniques :
- Paient des taux d'intérêt environ 8% plus élevés
- Voient leurs demandes rejetées 14% plus souvent
- Et ce, à profil financier équivalent
En 2019, l'Apple Card a été accusée de discriminer les femmes, avec des cas médiatisés où des hommes recevaient des limites de crédit 10 à 20 fois supérieures à celles de leurs épouses malgré des profils financiers similaires.
La controverse de la police prédictive
L'outil COMPAS, utilisé aux États-Unis pour évaluer le risque de récidive, illustre les dangers dans le domaine judiciaire. En 2016, une étude de ProPublica a révélé que les Afro-Américains avaient plus de chances d'être classifiés comme « à haut risque » que les prévenus blancs à profil équivalent.
À Chicago, un système de police prédictive a généré une liste de surveillance où 56% des hommes noirs de 20-29 ans figuraient, alors qu'ils ne représentent qu'environ 4% de la population totale de la ville.
Comment lutter contre les biais de l'IA ?
Face à ces discriminations systémiques, des solutions existent à différents niveaux. Aucune n'est suffisante seule, mais leur combinaison peut construire une IA plus équitable.
Diversifier les équipes de conception
La première ligne de défense réside dans la diversité des équipes. Comme le souligne Arthur Gressier, chacun porte ses angles morts. Une équipe diverse en termes de genre, d'origine ethnique, d'âge et de parcours a plus de chances de détecter les biais potentiels avant qu'ils ne contaminent le système.
L'initiative européenne BLOOM illustre cette approche en réunissant philosophes, sociologues, historiens et programmateurs pour créer un modèle d'IA plus équitable. Cette approche pluridisciplinaire permet d'identifier les biais sous différents angles.
Auditer régulièrement les systèmes
La vigilance continue est indispensable. Les entreprises doivent :
- Effectuer des tests systématiques sur différents groupes démographiques
- Mesurer les écarts de performance entre populations
- Corriger les déséquilibres détectés avant le déploiement
- Continuer le monitoring après la mise en production
Après avoir constaté des défauts de représentation dans DALL-E 2, les développeurs ont mis en œuvre des techniques pour augmenter la diversité des images générées - preuve qu'une amélioration est possible avec une volonté d'agir.
Créer des jeux de données équilibrés
Plusieurs techniques permettent de rééquilibrer les données d'entraînement :
Le sur-échantillonnage consiste à ajouter des exemples issus de catégories sous-représentées. Si un jeu de données contient 1000 photos d'hommes pour 100 photos de femmes, on peut ajouter des photos de femmes jusqu'à atteindre l'équilibre.
Le sous-échantillonnage réduit la présence excessive de certaines catégories. Dans l'exemple précédent, on pourrait réduire le nombre de photos d'hommes à 100.
La création de données synthétiques permet de générer des exemples artificiels représentatifs des groupes minoritaires pour compenser leur absence dans les bases d'apprentissage.
Établir des cadres réglementaires et éthiques
Au niveau institutionnel, l'Union européenne a mis en place un cadre réglementaire strict avec des obligations de diligence éthique, de transparence et de mesures contre les risques liés aux biais.
Ashwini K.P., Rapporteuse spéciale des Nations Unies, recommande aux États d'élaborer des cadres réglementaires ancrés dans le droit international des droits humains, avec l'obligation juridiquement contraignante de procéder à des évaluations complètes.
À New York, depuis avril 2023, les employeurs doivent informer les candidats lorsqu'ils utilisent des logiciels de recrutement automatisés et examiner ces technologies pour débusquer les préjugés d'embauche.
Vers une IA plus équitable : un défi collectif
Les biais de l'intelligence artificielle constituent l'un des défis éthiques majeurs de notre époque. Ces discriminations algorithmiques ne sont pas des bugs accidentels mais le reflet amplifié des inégalités historiques et des préjugés humains.
La transparence algorithmique devient un enjeu majeur. Comme le note Arthur Gressier à propos de COMPAS : « La société qui commercialise l'algorithme a refusé de divulguer les détails de son algorithme propriétaire. Il est donc impossible aux universitaires et aux autres organisations, y compris aux accusés, d'évaluer dans quelle mesure l'algorithme est potentiellement inéquitable. »
La bonne nouvelle est qu'une prise de conscience s'opère. Des chercheurs ont constaté que, dans la tarification des prêts immobiliers, les algorithmes des entreprises technologiques discriminent 40% de moins que les créanciers humains - preuve que l'IA peut, dans certains cas, réduire les discriminations humaines tout en nécessitant une vigilance constante.
Points clés à retenir
- Les biais de l'IA proviennent principalement des données historiques discriminatoires et des préjugés inconscients des concepteurs, amplifiés par l'échelle de déploiement.
- La reconnaissance faciale peut afficher jusqu'à 34,7% d'erreurs pour les femmes noires contre 0,8% pour les hommes blancs.
- Les systèmes de recrutement automatisés peuvent pénaliser les CV contenant le mot « féminin » s'ils sont entraînés sur des données historiques biaisées.
- Les solutions incluent la diversification des équipes, l'audit régulier, le rééquilibrage des données et une régulation éthique stricte.
- La transparence algorithmique et l'obligation d'audit deviennent des enjeux réglementaires majeurs pour garantir l'équité de l'IA.
Les informations de cet article s'appuient sur l'ouvrage de référence cité. Elles ne remplacent pas un diagnostic ni un accompagnement par un professionnel de santé ou un thérapeute qualifié. En cas de doute, consultez un spécialiste.
Pour approfondir ces enjeux cruciaux de l'intelligence artificielle et découvrir comment construire un futur numérique plus équitable, plongez dans L'IA expliquée à ma grand-mère d'Arthur Gressier.
