Deep learning model for patient emotion recognition using EEG-tNIRS data - 25/07/25

Doi : 10.1016/j.neuri.2025.100219 
Mohan Raparthi a, , Nischay Reddy Mitta a , Vinay Kumar Dunka b , Sowmya Gudekota a , Sandeep Pushyamitra Pattyam c , Venkata Siva Prakash Nimmagadda a
a Independent Researcher, USA 
b Independent Researcher and CPQ Modeler, USA 
c Independent Researcher and Data Engineer, USA 

Corresponding author.

Bienvenue sur EM-consulte, la référence des professionnels de santé.
Article gratuit.

Connectez-vous pour en bénéficier!

Abstract

This study presents a novel approach that integrates electroencephalogram (EEG) and functional near-infrared spectroscopy (tNIRS) data to enhance emotion classification accuracy. A Modality-Attentive Multi-Channel Graph Convolution Model (MAMP-GF) is introduced, leveraging GraphSAGE-based representation learning to capture inter-channel relationships. Multi-level feature extraction techniques, including Channel Features (CF), Statistical Features (SF), and Graph Features (GF), are employed to maximize the discriminative power of EEG-tNIRS signals. To enhance modality fusion, we propose and evaluate three fusion strategies: MA-GF, MP-GF, and MA-MP-GF, which integrate graph convolutional networks with a modality attention mechanism. The model is trained and validated using EEG and tNIRS data collected from 30 subjects exposed to emotionally stimulating video clips. Experimental results demonstrate that the proposed MA-MP-GF fusion model achieves 98.77% accuracy in subject-dependent experiments, significantly outperforming traditional single-modal and other multimodal fusion methods. In cross-subject validation, the model attains a 55.53% accuracy, highlighting its robustness despite inter-subject variability. The findings illustrate that the proposed graph convolution fusion approach, combined with modality attention, effectively enhances emotion recognition accuracy and stability. This research underscores the potential of EEG-tNIRS fusion in real-time, non-invasive emotion monitoring, paving the way for advanced applications in personalized healthcare and affective computing.

Le texte complet de cet article est disponible en PDF.

Keywords : Non-invasive brain stimulation, Emotion recognition, Healthcare, fNIR, Convolutional fusion, Deep learning, Electroencephalography signal


Plan


© 2025  The Author(s). Publié par Elsevier Masson SAS. Tous droits réservés.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 5 - N° 3

Article 100219- septembre 2025 Retour au numéro
Article précédent Article précédent
  • Multimodal lightweight neural network for Alzheimer's disease diagnosis integrating neuroimaging and cognitive scores
  • Bhoomi Gupta, Ganesh Kanna Jegannathan, Mohammad Shabbir Alam, Kottala Sri Yogi, Janjhyam Venkata Naga Ramesh, Vemula Jasmine Sowmya, Isa Bayhan
| Article suivant Article suivant
  • Short-window EEG-based auditory attention decoding for neuroadaptive hearing support for smart healthcare
  • Ihtiram Raza Khan, Sheng-Lung Peng, Rupali Mahajan, Rajesh Dey

Bienvenue sur EM-consulte, la référence des professionnels de santé.

Elsevier s'engage à rendre ses eBooks accessibles et à se conformer aux lois applicables. Compte tenu de notre vaste bibliothèque de titres, il existe des cas où rendre un livre électronique entièrement accessible présente des défis uniques et l'inclusion de fonctionnalités complètes pourrait transformer sa nature au point de ne plus servir son objectif principal ou d'entraîner un fardeau disproportionné pour l'éditeur. Par conséquent, l'accessibilité de cet eBook peut être limitée. Voir plus

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2026 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.