Amélioration des systèmes de questions-réponses médicales avec des graphes de connaissances multimodaux et des mécanismes d'attention à deux couchesEnhancing medical Q&A systems with multimodal knowledge graphs and dual-layer attention mechanisms.
- Proposition d'un cadre intégrant attention bicouche, LLM et graphe de connaissances multimodal pour les systèmes de QA médicale.
- Le modèle de reconnaissance d'intention atteint un Micro-F1 maximal de 94,42 % sur plusieurs benchmarks.
- L'extraction d'entités médicales par LLM en zero-shot réduit le besoin de données annotées.
Article technique proposant un cadre d'amélioration des systèmes de QA médicale, avec des applications potentielles en neuropsychologie clinique, mais non spécifique aux troubles neurodéveloppementaux.
Dépendance encore partielle à des données annotées de grande échelle pour l'entraînement du modèle de reconnaissance d'intention. Support limité pour la recherche intermodale, bien que l'interface soit développée. Évaluation principalement sur des benchmarks génériques, nécessitant une validation sur des données cliniques réelles. Absence d'analyse de la robustesse face à des requêtes ambiguës ou rares.
Cet article propose un cadre pour améliorer les systèmes de questions-réponses médicales en intégrant un mécanisme d'attention à deux couches, un modèle de langage large et un graphe de connaissances médical multimodale. L'approche vise à améliorer la reconnaissance d'intention, l'extraction d'entités et la fusion de connaissances multimodales. Les résultats montrent une amélioration de la précision de classification multi-étiquettes et une réduction de la dépendance aux données annotées, avec des performances prometteuses sur des benchmarks.
Proposition d'un cadre intégrant attention bicouche, LLM et graphe de connaissances multimodal pour les systèmes de QA médicale. Le modèle de reconnaissance d'intention atteint un Micro-F1 maximal de 94,42 % sur plusieurs benchmarks. L'extraction d'entités médicales par LLM en zero-shot réduit le besoin de données annotées. Construction d'un graphe de connaissances multimodal avec plus de 15 000 images médicales associées. Interface de visualisation développée avec Flask et ECharts pour la recherche intermodale.
Amélioration potentielle de la précision des systèmes d'aide à la décision clinique par une meilleure compréhension des requêtes médicales. Réduction de la charge de travail des cliniciens grâce à une extraction automatisée d'entités médicales. Facilitation de l'accès aux informations multimodales (texte et image) pour le diagnostic et le traitement. Possibilité d'adapter le cadre à des domaines spécifiques comme la neuropsychologie en enrichissant le graphe de connaissances.
Modéré