Nouvelles

Jul 28, 2023

ChatGPT passe un autre examen médical, un pas de plus vers MD

ChatGPT devient un

ChatGPT est en train de devenir un excellent testeur médical.

Sa version la plus récente et la plus avancée, ChatGPT-4, peut déjà passer l'examen de licence médicale américain avec brio. Et maintenant, il s'est rapproché d'un pas de plus pour devenir un médecin spécialisé. Eh bien, en quelque sorte.

Mardi, des scientifiques ont annoncé que le dernier logiciel de chatbot d'OpenAI peut facilement passer un examen du comité de radiologie de style canadien ou américain – marquant plus de dix points au-dessus du seuil de réussite de 70%.

Mais il y a un hic : comme ChatGPT n'est conçu que pour traiter le langage (jusqu'à présent), l'examen de radiologie de l'IA n'incluait aucune image. Cela ressemble à une sorte d'oubli majeur pour une branche de la médecine concernée par le diagnostic basé sur les rayons X, les IRM et d'autres images corporelles.

ChatGPT s'est révélé être un candidat formidable - il a réussi des examens, notamment le SAT, l'examen du barreau et même les difficiles tests de maître sommelier.

À l'examen de radiologie, ChatGPT-4 a obtenu une note de passage de 81 %. Le bot a obtenu des résultats particulièrement bons sur les questions de réflexion d'ordre supérieur qui nécessitent des compétences au-delà du simple rappel de la mémoire, comme l'analyse, la synthèse et l'évaluation ; ChatGPT-4 a bien décrit les résultats d'imagerie (85 %) et appliqué les concepts (90 %). Mais il n'a pas si bien fonctionné sur certaines des questions les plus simples du test, et en fait, 12 de ces questions se sont trompées alors que son prédécesseur, GPT 3.5, avait raison.

"Nous avons d'abord été surpris par les réponses précises et confiantes de ChatGPT à certaines questions de radiologie difficiles", a déclaré l'auteur de l'étude, le Dr Rajesh Bhayana, radiologue abdominal au Toronto General Hospital, dans un communiqué de presse. "Mais également surpris par certaines affirmations très illogiques et inexactes."

À la base, ChatGPT est simplement conçu pour prédire le meilleur mot suivant à cracher - en d'autres termes, il est conçu pour vous discuter. Ce bavardage peut facilement être exploité pour pontifier aux examens, produisant un candidat très confiant (mais parfois erroné).

Ellie Pavlick, professeur d'informatique à Brown et experte en traitement du langage naturel, affirme que ce problème n'est pas propre aux chatbots. Elle a toujours du mal à dire si les étudiants saisissent vraiment les concepts qu'elle a enseignés en fonction de leurs réponses aux examens écrits.

"Si vous donnez un langage bien construit, il semble que vous le sachiez, mais peut-être que vous le savez, peut-être que vous ne le savez pas", a déclaré Pavlick lors d'une récente table ronde ChatGPT à l'Université Brown. "C'est une bonne indication de la raison pour laquelle nous voulons en quelque sorte attribuer beaucoup plus de connaissances et de sensibilisation à ChatGPT qu'il n'en a réellement, car il y a juste quelque chose dans un langage bien construit qui peut vraiment masquer une [mauvaise] compréhension."

Les médecins disent que ChatGPT ne devrait pas être utilisé pour diagnostiquer ou traiter des patients, et devrait toujours faire vérifier son exactitude médicale par une personne. Mais les experts médicaux découvrent également comment ChatGPT peut être un bon outil pour améliorer la communication d'un médecin avec ses patients. C'est précisément parce que ChatGPT excelle dans les plaisanteries qu'il est souvent considéré comme plus compatissant que les médecins pressés.

Lire la suite