Med-Palm a été le premier modèle à “réussir” un examen médical américain, avec un score de 67,2 % dans les questions de type USMLE (US Medical Licensing Examination). Med-Palm 2, lui, a obtenu un score de 86,5 %. Testé depuis le mois d’avril dans des hôpitaux américains, il a permis à Google de conclure un partenariat avec le groupe américain d’hôpitaux privés Mayo Clinic pour développer l’utilisation de l’intelligence artificielle générative dans le domaine de la santé (lire Qant du 8 juin), en garantissant la confidentialité des données des patients. Et ses réponses sont généralement jugées par des médecins comme meilleures que celles apportées par leurs propres collègues, qu’il s’agisse de refléter le consensus ou d’omettre le moins d’informations possible. L’IA répond plus directement aux questions qu’on lui pose, même si les réponses humaines restent en général plus efficaces (voir graphiques ci-dessus et ci-dessous).
Un assistant de santé virtuel pourra automatiser certaines des tâches des médecins généralistes
Dans une étude de Google Research portant sur 1 066 questions médicales posées par des consommateurs, un groupe de médecins a préféré les réponses de Med-Pal 2 à celles produites par des médecins sur huit des neuf axes relatifs à l’utilité clinique (graphique 1). D’autres études, réalisées par des organismes plus indépendants, seront bien sûr nécessaires pour valider l’efficacité des LLM dans le monde réel. Mais ces résultats soulignent déjà les progrès rapides des LLM vers une performance équivalent à celle d’un médecin. “Le langage est au cœur de la santé et de la médecine, car il sous-tend les interactions entre les personnes et les prestataires de soins”, rappellent les chercheurs.
Dans l’immédiat, le groupe Mayo Clinic expérimente Med-Palm 2 pour résumer des documents, et donc faciliter la gestion des dossiers médicaux et l’extraction d’informations, ainsi que pour organiser de grandes quantités de données de santé. L’espoir est d’améliorer ainsi l’efficacité des systèmes de gestion et révéler des tendances à partir de grands ensembles de données.
En avril, Microsoft a lancé un partenariat avec un autre éditeur, Epic, pour créer des outils capables de rédiger automatiquement des messages aux patients en utilisant GPT-4. D’autres tâches, telles que la rédaction de résumés des notes des médecins ou la génération de rappels, sont également en phase de test.
Tant Microsoft que Google affirment ne pas utiliser les données des patients pour entraîner leurs algorithmes. Mais cela ouvre la perspective, à terme, d’un assistant de santé virtuel, automatisant certaines des tâches des médecins généralistes. D’après le Wall Street Journal, les deux géants développent un projet en ce sens.
Mais ce n’est pas la seule famille de cas d’usage possibles. Dans une étude publiée le mois dernier par le Journal of Biomedical Informatics, un chercheur de l’université de Bristol utilise l’apprentissage automatique pour aider à la gestion du diabète de type 1. Dans une simulation créée avec l’hôpital universitaire de Southampton, un algorithme maintient en vie des patients virtuels atteints de diabète en déterminant une stratégie de dosage de l’insuline. Les fabricants de pompes à insuline en prendront de la graine.
Sources:
- Karan Singhal et al. (Google Research, DeepMind), Towards Expert-Level Medical Question Answering with Large Language Models, Arxiv
- Harry Emerson et al., Offline reinforcement learning for safer blood glucose control in people with type 1 diabetes, Journal of Biomedical Informatics
Pour en savoir plus :
- In Battle With Microsoft, Google Bets on Medical AI Program to Crack Healthcare Industry, Wall Street Journal
- Managing Type 1 Diabetes Is Tricky. Can AI Help?, Wired
Source archive Kessel : https://qant.kessel.media/posts/pst_7acfa09274ff4202b38d59a96611fbee