Une intelligence artificielle détecte un cancer avec 94% de certitude sur une radiographie, mais reste incapable d'expliquer pourquoi. Ce paradoxe troublant illustre le problème de la « boîte noire » en médecine, où les systèmes les plus performants sont aussi les moins transparents.
Un diagnostic précis mais inexplicable
Le problème de l'explicabilité en IA médicale se manifeste de façon particulièrement troublante dans le diagnostic par imagerie. Arthur Gressier, dans « L'IA expliquée à ma grand-mère », présente un exemple concret qui fait froid dans le dos :
« Une IA analyse une radiographie pulmonaire et déclare : "Probabilité de cancer : 94%". Le médecin demande : "Pourquoi ? Quels éléments t'ont conduit à cette conclusion ?" L'IA reste muette. Elle ne peut expliquer. Elle a identifié des patterns statistiques dans des millions d'images, ajusté des milliards de poids, et produit cette prédiction. Mais le cheminement détaillé reste impénétrable. »
Cette situation illustre parfaitement le dilemme de la boîte noire en intelligence artificielle. Les réseaux de neurones profonds utilisés pour l'analyse d'images médicales contiennent des millions, voire des milliards de paramètres. Chaque paramètre influence légèrement le résultat final, formant une machinerie mathématique d'une complexité vertigineuse.
La complexité technique derrière l'opacité
Les modèles de deep learning actuels fonctionnent avec une architecture qui génère intrinsèquement cette opacité. Pour comprendre l'ampleur du problème, il faut visualiser l'échelle : GPT-3 contenait 175 milliards de paramètres, et les modèles de 2025-2026 dépassent le trillion de paramètres.
Dans le contexte médical, un réseau de neurones pour la reconnaissance d'images :
- Analyse des millions de pixels sur chaque radiographie
- Détecte des patterns invisibles à l'œil humain
- Combine des milliers de caractéristiques subtiles
- Produit une probabilité finale sans pouvoir retracer le chemin logique
Arthur Gressier souligne que « les modèles utilisés actuellement, principalement des réseaux de neurones profonds, sont d'une telle complexité qu'il est pratiquement impossible pour leur créateur de comprendre leur fonctionnement interne ». Cette complexité n'est pas un bug, mais une caractéristique intrinsèque de ces systèmes.
Les implications éthiques en médecine
L'opacité des décisions algorithmiques soulève des questions éthiques majeures dans le domaine de la santé. Un diagnostic médical n'est pas une simple prédiction statistique ; il engage la vie des patients et nécessite une confiance absolue dans le processus décisionnel.
Le livre met en évidence plusieurs problèmes cruciaux :
« L'explicabilité des systèmes à base d'apprentissage constitue un véritable défi scientifique qui met en tension notre besoin d'explication et notre souci d'efficacité. Certains modèles comme les systèmes à base de règles ou les arbres de décision simples sont plus explicables, mais ils ont généralement des performances inférieures à celles des techniques d'apprentissage profond. »
Ce dilemme performance-explicabilité place les médecins dans une situation impossible : utiliser les outils les plus performants mais opaques, ou privilégier la transparence au détriment de la précision diagnostique ?
La différence avec la décision humaine
Une distinction fondamentale existe entre l'opacité de l'IA et celle du raisonnement humain. Comme le souligne l'auteur :
« Les décisions qui émanent d'un cerveau humain ne sont certes pas toujours plus claires que celles qui sont prises par les systèmes automatisés. La différence, cependant, réside dans la possibilité du débat et de la contestation. »
Quand un médecin humain pose un diagnostic, le patient peut :
- Demander des explications détaillées
- Questionner le raisonnement
- Solliciter un second avis
- Contester ou nuancer l'interprétation
Face à une IA, ces recours deviennent impossibles. Le système « a calculé, pesé, décidé, mais ne peut articuler son raisonnement de manière compréhensible ».
Les tentatives de solutions : l'IA explicable
Face à cette opacité problématique, un champ de recherche entier a émergé : l'IA explicable ou XAI (eXplainable AI). L'objectif est d'ouvrir la boîte noire pour comprendre les décisions algorithmiques.
Plusieurs approches techniques sont explorées. Certaines méthodes analysent une prédiction spécifique en perturbant légèrement l'image d'entrée :
« Le système perturbe légèrement l'image radiographique : il assombrit cette zone, éclaircit celle-là, floute ici. Il observe comment ces modifications affectent la prédiction de l'IA. Si assombrir le lobe supérieur gauche fait chuter la probabilité de cancer de 94% à 45%, c'est que cette région était cruciale dans la décision. Le système génère ainsi une carte de chaleur montrant quelles zones de l'image ont le plus influencé le diagnostic. »
Ces techniques permettent de visualiser quelles parties de la radiographie ont le plus contribué au diagnostic, offrant une forme d'explication visuelle au médecin.
Les enjeux réglementaires et sociétaux
La pression réglementaire accélère l'évolution vers plus de transparence dans les systèmes d'IA médicaux. Le RGPD européen impose déjà aux organisations de fournir des informations significatives sur la logique des décisions automatisées. L'AI Act européen, en cours de déploiement, impose des contraintes d'explicabilité encore plus strictes pour les applications à haut risque comme la santé.
Ces régulations reconnaissent un principe fondamental : sans transparence, pas de confiance. Et sans confiance, l'IA restera confinée à des applications secondaires, privant la société de ses bénéfices potentiels dans les domaines critiques comme la médecine.
Points clés à retenir
- Les systèmes d'IA médicaux peuvent atteindre 94% de précision diagnostique sans pouvoir expliquer leur raisonnement.
- La complexité des réseaux de neurones profonds, avec des milliards de paramètres, rend leur fonctionnement interne impénétrable.
- Contrairement aux médecins humains, l'IA ne peut pas justifier ses décisions ni engager un dialogue sur son diagnostic.
- L'IA explicable (XAI) développe des techniques pour visualiser quelles zones d'une image influencent le plus la décision.
- Les régulations européennes imposent progressivement plus de transparence pour les applications d'IA en santé.
Cet extrait du livre d'Arthur Gressier illustre parfaitement le paradoxe de l'IA moderne : plus elle devient performante, moins elle devient compréhensible. Pour approfondir cette réflexion sur les algorithmes et leurs limites, découvrez « L'IA expliquée à ma grand-mère », un ouvrage qui démystifie l'intelligence artificielle avec clarté et pédagogie.
Les informations de cet article s'appuient sur l'ouvrage de référence cité. Elles ne remplacent pas un diagnostic ni un accompagnement par un professionnel de santé ou un thérapeute qualifié. En cas de doute, consultez un spécialiste.
