L'étude trouve l'IA comme ChatGPT se comporte mal dans les conversations médicales réelles malgré avoir bien noté sur les tests. Study finds AI like ChatGPT performs poorly in real medical conversations despite scoring well on tests.

Des chercheurs de la Harvard Medical School et de l'Université Stanford ont constaté que si les modèles d'IA comme ChatGPT donnent de bons résultats sur des tests médicaux normalisés, leur efficacité dans les conversations médicales réelles est limitée. Researchers from Harvard Medical School and Stanford University found that while AI models like ChatGPT perform well on standardized medical tests, their effectiveness in real-world medical conversations is limited. L'étude a utilisé un nouveau cadre d'évaluation appelé CRAFT-MD, qui simule les interactions cliniques réelles. The study used a new evaluation framework called CRAFT-MD, which simulates real-world clinical interactions. Les modèles d'IA ont eu du mal à recueillir des informations sur les patients et à faire des diagnostics précis, soulignant la nécessité de méthodes de test plus réalistes avant que ces outils ne soient utilisés dans des contextes cliniques. The AI models struggled with collecting patient information and making accurate diagnoses, highlighting the need for more realistic testing methods before these tools are used in clinical settings.