Évaluation de l'exactitude des réponses de ChatGPT aux questions des aidants en neurologie pédiatrique : une étude observationnelleAssessing the accuracy of ChatGPT responses to caregiver questions in pediatric neurology: an observational study.
- ChatGPT a fourni des réponses complètes (grade 1) pour 60,95 % des questions fréquentes en neurologie pédiatrique.
- Les réponses partiellement incorrectes ou totalement inexactes représentaient respectivement 3,81 % et 3,81 % des cas.
- La reproductibilité des réponses était élevée (95,2 %) entre deux sessions distinctes.
Article directement pertinent pour NeuroWatch : il évalue la fiabilité d'un outil d'IA (ChatGPT) dans un contexte clinique neurodéveloppemental, avec des implications pratiques pour les cliniciens et les aidants. La note reflète un intérêt clinique modéré à élevé, bien que l'étude soit observationnelle et non interventionnelle.
L'étude s'est limitée à GPT-5 et à des questions en anglais, ce qui restreint la généralisabilité à d'autres modèles ou langues. L'évaluation a été réalisée par deux neurologues aux États-Unis ; la notation pourrait varier selon le contexte clinique et culturel. La mesure de l'exhaustivité est subjective, basée sur une échelle ordinale sans définition standardisée pour chaque grade.
Cette étude observationnelle évalue l'exactitude, l'exhaustivité et la reproductibilité des réponses de ChatGPT (GPT-5) à 105 questions fréquentes en neurologie pédiatrique, posées par des aidants. Deux neurologues pédiatres ont noté les réponses sur une échelle de 1 (complète et exacte) à 4 (inexacte). 60,95 % des réponses ont été jugées complètes, 31,43 % correctes mais incomplètes, et seulement 3,8 % totalement inexactes. La reproductibilité était élevée (95,2 %). L'exactitude était meilleure pour les troubles structurés (paralysie cérébrale, mouvements anormaux) que pour les domaines hétérogènes (retard neurodéveloppemental, épilepsie). ChatGPT fournit des informations globalement fiables, mais avec une profondeur variable, et son utilisation est plus adaptée sous supervision clinique.
ChatGPT a fourni des réponses complètes (grade 1) pour 60,95 % des questions fréquentes en neurologie pédiatrique. Les réponses partiellement incorrectes ou totalement inexactes représentaient respectivement 3,81 % et 3,81 % des cas. La reproductibilité des réponses était élevée (95,2 %) entre deux sessions distinctes. L'exactitude était plus élevée pour les pathologies bien définies (paralysie cérébrale, troubles du mouvement) et plus faible pour les domaines hétérogènes (retard neurodéveloppemental, épilepsie).
Les neurologues pédiatres peuvent considérer ChatGPT comme un outil d'information complémentaire pour les aidants, mais doivent rester vigilants quant à l'exhaustivité des réponses selon le trouble. Une supervision clinique est recommandée lorsque ChatGPT est utilisé pour l'éducation des aidants, en raison de variations selon le domaine. Les réponses de ChatGPT peuvent servir de base de discussion en consultation, mais ne remplacent pas un avis médical personnalisé.
Modéré