Enhanced graph attention network by integrating Long Short-Term Memory for artificial emotion representation in multi-modality datasets.
- Reconnaissance émotionnelle multimodale
- E-GAT + Bi-LSTM
- Applications en santé mentale
L'article présente une avancée technique en IA mais ne fournit pas de données cliniques directes liées au neurodéveloppement. Les applications mentionnées (surveillance de la santé mentale) sont générales et non spécifiques à des troubles neurodéveloppementaux.
Absence de validation sur des populations cliniques Focus technique sur les performances algorithmiques Non mention de liens avec des troubles neurodéveloppementaux spécifiques
Contexte : La représentation émotionnelle est cruciale en intelligence artificielle, notamment dans les interactions homme-machine et le calcul affectif. La reconnaissance émotionnelle à partir de données multimodales reste complexe en raison des relations sémantiques entre les caractéristiques textuelles, audio et visuelles. Objectif : Proposer un modèle hybride combinant Réseau d'Attention Graphique Amélioré (E-GAT) et Mémoire à Long Terme Bidirectionnelle (Bi-LSTM) pour améliorer la reconnaissance émotionnelle multimodale. Méthode : L'E-GAT capture les dépendances structurelles entre les caractéristiques émotionnelles via un graphe sémantique construit à partir d'embeddings textuels. Le Bi-LSTM modélise les dynamiques temporelles des données séquentielles, permettant une intégration efficace des informations contextuelles. Résultats : Le modèle atteint des performances d'avant-garde : 58,5 % de précision et 68,7 % de F1-score sur SemEval-2018 (texte uniquement), 78,9 % de précision sur RAVDESS (audio-visuel) et 82,3 % de précision sur CMU-MOSEI (multimodal). Intérêt clinique : Ce travail offre un cadre unifié pour la reconnaissance émotionnelle en contextes textuels et multimodaux, avec des applications potentielles en interaction homme-machine et en surveillance de la santé mentale. Limites : L'étude se concentre sur des benchmarks techniques, sans validation clinique directe. Les résultats sont limités à des datasets non spécifiquement conçus pour des applications neurodéveloppementales.
Reconnaissance émotionnelle multimodale E-GAT + Bi-LSTM Applications en santé mentale Performances élevées sur benchmarks
Potentiel pour les outils de surveillance émotionnelle Utilisation en contextes de soins psychiatriques Limites de généralisation clinique non testées
Preprint