Aux États-Unis, des soignants contraints de suivre les consignes d'un algorithme

Quand des infirmières sont contraintes de suivre les indications d’un algorithme, alors qu’elles savent qu’il s’agit d’une erreur… C’est ce que relate le Wall Street Journal le 15 juin dernier, à propos de ces outils d’intelligence artificielle qui aident les soignants dans le secteur médical. Outre le suivi administratif et médical, ces logiciels permettent dans des unités de soins de surveiller et de lancer des alertes si l’état d’un patient change brusquement, en plus d’être des outils d’aide au diagnostic ou au traitement. Mais dans certains hôpitaux aux États-Unis, l’algorithme aurait pris le dessus sur les décisions des soignants, expliquent nos confrères, rapportant le cas de professionnels de santé contraints de suivre les consignes de l’algorithme, même s’ils sont persuadés qu’il s’agit d’une erreur. Tout dépendrait des règles internes de la structure médicale en question, qui rendrait possible, ou pas, le fait de s’affranchir des préconisations de ce type d’IA.

Car la frontière entre aide à la décision et consigne à suivre est parfois ténue, à l’image de ce qu’a vécu Cynthia Girtz, une infirmière travaillant pour un centre d’appel de Vallejo, en Californie, une structure qui conseille les malades et les oriente vers des services médicaux. Un après-midi, cette dernière reçoit un coup de fil d’un ancien joueur de tennis, qui se plaint de toux, de douleurs thoraciques et de fièvre. En fonction des symptômes déclarés, les infirmières tapent des entrées dans un menu déroulant et suivent les réponses d’un logiciel, qui indiquent les étapes du traitement et les médecins ou services à consulter. Pour l’ancien sportif, Cynthia Girtz choisit l’onglet toux/rhume et grippe, et l’invite à prendre un rendez-vous téléphonique avec un médecin quelques heures plus tard. L’option qui invite à consulter rapidement un médecin ou les urgences n’était possible que si le patient crachait du sang, rapportent nos confrères.

Des recommandations de l’IA difficilement contournables

Résultat, la pneumonie, l’insuffisance respiratoire aiguë et l’insuffisance rénale n’ont été diagnostiquées que trop tard chez ce patient qui est décédé quelques jours après l’appel. L’infirmière et son employeur ont été attaqués en justice, au motif que la soignante aurait dû passer outre l’algorithme. L’entreprise a été condamnée à verser à la famille environ 3 millions de dollars. Cette dernière a pourtant déclaré que les recommandations algorithmiques étaient seulement des « lignes directrices pour trier les appels, et non des directives obligatoires ». Les infirmières étaient censées les adapter aux besoins de chaque patient, a-t-elle ajouté.

Pourtant, ces recommandations de l’outil d’IA seraient difficilement contournables en pratique, explique une autre infirmière, Melissa Beebe, interviewée par nos confrères. Cette dernière, travaillant dans une unité d’oncologie toujours aux États-Unis, raconte avoir reçu, un jour, une alerte lui indiquant qu’un patient souffrait d’une septicémie. Forte de ses quinze années d’expérience, cette dernière savait pertinemment que c’était une erreur : « Je sais reconnaître un patient souffrant de cette infection quand j’en vois un. Je savais que ce n’était pas le cas », confie-t-elle à nos confrères. Le malade présentait un nombre élevé de globules blancs, mais ce n’était pas en raison d’une septicémie. Il s’agissait d’une conséquence d’une autre maladie – le patient était atteint d’une leucémie.

Or, les règles internes de cet hôpital imposent qu’en cas de signalement d’une septicémie, des protocoles soient suivis, explique l’infirmière. Melissa Beebe aurait pu ne pas suivre l’indication du logiciel, mais elle devait pour ce faire obtenir l’approbation d’un médecin. Et en cas d’erreur, elle s’exposait à des mesures disciplinaires. Elle a donc suivi les ordres, et fait une prise de sang au patient, bien que cela puisse exposer le malade à une infection supplémentaire.

« Les administrateurs d’hôpitaux doivent comprendre qu’il y a beaucoup de choses qu’un algorithme ne peut pas voir »

Dans les heures qui ont suivi, le diagnostic de l’infirmière s’est avéré correct, l’algorithme se trompait. « Je ne diabolise pas la technologie. Mais je ressens une détresse morale lorsque je sais ce qu’il faut faire et que je ne peux pas le faire », confie-t-elle à nos confrères. Les experts et soignants interrogés sont unanimes : le problème ne vient pas de l’IA. Au contraire, cette technologie a permis des avancées en médecine, notamment en analysant des quantités massives de données, elle a amélioré le diagnostic de certaines pathologies. Mais c’est son utilisation qui pose problème. Alors qu’elle devrait être cantonnée à être une aide à l’évaluation, au diagnostic et au traitement des patients, elle est parfois mise en place sans formation et sans flexibilité, écrivent nos confrères. Certains soignants affirment même qu’ils subissent des pressions de la part de l’administration de l’hôpital, les « invitant » à suivre les recommandations de l’algorithme… sans autre choix possible.

À lire aussi : Quand l’IA est utilisée pour écourter la durée de séjours hospitaliers

Problème : le fait que l’algorithme se trompe ne serait pas si rare. Une étude publiée au début du mois de juin 2023, et citée par nos confrères, montre que pour un quart des 1 042 infirmières diplômées interrogées par un syndicat américain des infirmières (le National Nurses United), le choix préconisé par l’algorithme « n’était pas dans le meilleur intérêt des patients, sur la base de leur jugement clinique et de leur champ d’activité ». Ces soignants ont-ils alors pu ne pas suivre la recommandation de l’IA ? Un tiers d’entre eux a expliqué qu’ils devaient obtenir l’autorisation d’un médecin ou d’un superviseur pour ne pas suivre la préconisation. Un autre tiers a déclaré qu’ils ne pouvaient pas y déroger, qu’ils étaient bien contraints d’appliquer ce que disait l’algorithme. Seuls 17 % d’entre eux ont déclaré être autorisés à passer outre la décision, sans qu’une approbation soit nécessaire. Pour le professeur Kenrick Cato, enseignant à l’université de Pennsylvanie, « les administrateurs d’hôpitaux doivent comprendre qu’il y a beaucoup de choses qu’un algorithme ne peut pas voir dans un contexte clinique ». Pour ce dernier, « l’IA doit être utilisée comme une aide à la décision clinique ; elle ne doit pas être là pour remplacer l’expert. »