ChatGPT fait des recommandations médicales et les suivre est un risque mortel

L’une des recommandations fondamentales lors de l’utilisation de l’intelligence artificielle est de ne pas croire totalement que les informations qu’elle fournit sont adéquates ou même réelles à 100 % . En ce sens, une étude récente réalisée par l'Université de Long Island à New York indique que les utilisateurs doivent être particulièrement prudents avec les informations médicales que l'application ChatGPT peut offrir concernant la consommation de pilules ou d'autres médicaments .

Les chercheurs ont demandé à ChatGPT de répondre à 39 questions liées aux médicaments et à leurs effets sur la santé des personnes. Celles-ci ont été soulevées par le service d'information sur les médicaments de la Faculté de Pharmacie de l'établissement, mais seulement dix d'entre elles ont reçu une réponse pouvant être considérée comme adéquate selon les critères des professionnels humains.

L'analyse, réalisée sur une période de 16 mois entre les années 2022 et 2023, a confronté les réponses créées par l'intelligence artificielle d' OpenAI et celles soulevées par un groupe de pharmaciens spécialisés, ce qui a conduit à la conclusion que ChatGPT est pas fiable à cet égard, car la plupart des données fournies en réponse étaient incomplètes ou erronées.

L'équipe de recherche , dirigée par Sara Grossman , professeure agrégée de pratique pharmaceutique à l'Université de Long Island et auteur principal de l'étude, a indiqué que 74,3 % des réponses du chatbot n'ont pas passé le filtre des connaissances des spécialistes de la santé .

Non seulement cela, mais en essayant de vérifier les sources d'informations de ChatGPT , il a été possible de constater que celles-ci n'étaient proposées que huit fois, mais qu'en réalité toutes étaient inexistantes et ont été inventées par l'intelligence artificielle comme moyen de créer une fausse idée de support pour les réponses. Ces résultats ont été présentés lors d'une récente réunion de l'American Society of Health-System Pharmacists (ASHP).

Par exemple, dans l’une des réponses fournies, l’intelligence artificielle n’a pas pu identifier l’interaction potentiellement dangereuse entre deux médicaments qui, ingérés ensemble, peuvent causer de graves dommages à la santé des patients. "Quiconque utilise ChatGPT pour obtenir des informations relatives aux médicaments doit vérifier ces informations en utilisant des sources fiables", a souligné Grossman.

Gina Luchen , directrice des données et de la santé numérique à l'ASHP , a indiqué que l'intelligence artificielle peut avoir un grand impact sur les soins dans les établissements de santé tels que les cliniques, mais a souligné qu'en même temps il est nécessaire que les informations qu'elle génère soient validées par. un professionnel de santé pour offrir une plus grande sécurité aux patients.

Outre les résultats de l'étude de l'Université de Long Island, une étude similaire visant à déterminer le degré de fiabilité des informations, qui incluait GPT-4 (d'OpenAI), a signalé un taux d'erreur de réponse de 3 % , démontrant que même les plus avancés Le modèle ChatGPT n’est pas exempt de défauts.

Désinformation sur les traitements contre le cancer

D'autre part, des chercheurs du Brigham and Women's Hospital , affilié à la Harvard Medical School, ont découvert des erreurs dans les réponses ChatGPT liées au cancer et à son traitement.

Les résultats montrent que ces types de problèmes doivent être pris avec précaution par les utilisateurs, en ne considérant pas leurs réponses comme un guide à suivre dans le traitement et le diagnostic des maladies .

« Nous avons été surpris par la mesure dans laquelle des informations incorrectes étaient mélangées à des informations correctes. "Cela rend particulièrement difficile la détection des erreurs, même pour les experts", a déclaré le Dr Danielle Bitterman , l'une des auteurs de l'étude.

En particulier, au moins 12,5 % de données fabriquées ont été retrouvées. Même si cela ne semble pas pertinent ou facile à surmonter, puisqu'il s'agit d'informations médicales, les conséquences de ces erreurs pourraient être fatales et encore plus lorsqu'il s'agit d'une maladie comme le cancer.