Les EDN, présentées sous forme de QCM, sont exigeantes et représentatives des connaissances et du raisonnement clinique attendus des futurs médecins. Elles permettent de mesurer de manière réaliste les performances de notre Expert médical IA, qui s'est classé parmi les 2% des meilleurs étudiants français, avec un taux de bonnes réponses de 90%, surpassant nettement ses concurrents.
Notre méthodologie : la sélection des questions
Pour cette évaluation, nous avons sélectionné 263 questions issues des EDN de 2024. Certaines questions ont été exclues :
- La Lecture Critique d'Article (LCA)
- Les questions comportant des images
- Les questions purement médico-légales
Méthode QRU stricte
L'évaluation a d'abord été corrigée en adoptant la méthode de la Question à Réponse Unique (QRU) stricte.
La QRU stricte consiste à :
- Attribuer 1 point uniquement si toutes les réponses de la question sont exactes,
- Attribuer 0 point si une seule réponse est incorrecte.
Cette méthode est plus exigeante que la notation classique appliquée aux tests passés par les étudiants.
Avec cette approche, notre Expert médical IA a obtenu 237 bonnes réponses sur 263, soit un taux de réussite de 90 %.
Approche pseudo-officielle
L'évaluation a ensuite été corrigée en adoptant l'approche pseudo-officielle, plus souple et proche des critères réels d'évaluation des EDN. Cette approche prend en compte la nature de chaque question :
- QRU utilisée pour les questions avec une seule réponse attendue : 1 point si la réponse est correcte, 0 si elle est incorrecte.
- QRM (Question à Réponses Multiples) utilisée pour les questions avec plusieurs réponses possibles : 1 point si toutes les réponses sélectionnées sont correctes et aucune incorrecte, 0,5 point si 1 réponse est incorrecte, 0,2 point si 2 réponses sont incorrectes et 0 point si plus de 2 réponses sont incorrectes.
Avec l'approche pseudo-officielle, notre Expert Médical IA a obtenu 241 bonnes réponses sur 266, soit un taux de réussite de 91 %.
En combinant ces deux approches, nous avons pu évaluer de manière fiable et précise les performances de notre Expert Médical IA aux EDN. Les résultats montrent une maîtrise solide des connaissances médicales, avec des scores parmi les tops 2% des meilleurs étudiants français.
Notre Expert Médical IA est donc un outil précis, performant et fiable destiné à accompagner les étudiants ainsi que les professionnels de santé dans leur quotidien.
Pour y accéder : https://ai.pulselife.com