Deep learning model for patient emotion recognition using EEG-tNIRS data - 25/07/25

Doi : 10.1016/j.neuri.2025.100219 
Mohan Raparthi a, , Nischay Reddy Mitta a , Vinay Kumar Dunka b , Sowmya Gudekota a , Sandeep Pushyamitra Pattyam c , Venkata Siva Prakash Nimmagadda a
a Independent Researcher, USA 
b Independent Researcher and CPQ Modeler, USA 
c Independent Researcher and Data Engineer, USA 

Corresponding author.

Benvenuto su EM|consulte, il riferimento dei professionisti della salute.
Articolo gratuito.

Si connetta per beneficiarne

Abstract

This study presents a novel approach that integrates electroencephalogram (EEG) and functional near-infrared spectroscopy (tNIRS) data to enhance emotion classification accuracy. A Modality-Attentive Multi-Channel Graph Convolution Model (MAMP-GF) is introduced, leveraging GraphSAGE-based representation learning to capture inter-channel relationships. Multi-level feature extraction techniques, including Channel Features (CF), Statistical Features (SF), and Graph Features (GF), are employed to maximize the discriminative power of EEG-tNIRS signals. To enhance modality fusion, we propose and evaluate three fusion strategies: MA-GF, MP-GF, and MA-MP-GF, which integrate graph convolutional networks with a modality attention mechanism. The model is trained and validated using EEG and tNIRS data collected from 30 subjects exposed to emotionally stimulating video clips. Experimental results demonstrate that the proposed MA-MP-GF fusion model achieves 98.77% accuracy in subject-dependent experiments, significantly outperforming traditional single-modal and other multimodal fusion methods. In cross-subject validation, the model attains a 55.53% accuracy, highlighting its robustness despite inter-subject variability. The findings illustrate that the proposed graph convolution fusion approach, combined with modality attention, effectively enhances emotion recognition accuracy and stability. This research underscores the potential of EEG-tNIRS fusion in real-time, non-invasive emotion monitoring, paving the way for advanced applications in personalized healthcare and affective computing.

Il testo completo di questo articolo è disponibile in PDF.

Keywords : Non-invasive brain stimulation, Emotion recognition, Healthcare, fNIR, Convolutional fusion, Deep learning, Electroencephalography signal


Mappa


© 2025  The Author(s). Pubblicato da Elsevier Masson SAS. Tutti i diritti riservati.
Aggiungere alla mia biblioteca Togliere dalla mia biblioteca Stampare
Esportazione

    Citazioni Export

  • File

  • Contenuto

Vol 5 - N° 3

Articolo 100219- settembre 2025 Ritorno al numero
Articolo precedente Articolo precedente
  • Multimodal lightweight neural network for Alzheimer's disease diagnosis integrating neuroimaging and cognitive scores
  • Bhoomi Gupta, Ganesh Kanna Jegannathan, Mohammad Shabbir Alam, Kottala Sri Yogi, Janjhyam Venkata Naga Ramesh, Vemula Jasmine Sowmya, Isa Bayhan
| Articolo seguente Articolo seguente
  • Short-window EEG-based auditory attention decoding for neuroadaptive hearing support for smart healthcare
  • Ihtiram Raza Khan, Sheng-Lung Peng, Rupali Mahajan, Rajesh Dey

Benvenuto su EM|consulte, il riferimento dei professionisti della salute.

@@150455@@ Voir plus

Il mio account


Dichiarazione CNIL

EM-CONSULTE.COM è registrato presso la CNIL, dichiarazione n. 1286925.

Ai sensi della legge n. 78-17 del 6 gennaio 1978 sull'informatica, sui file e sulle libertà, Lei puo' esercitare i diritti di opposizione (art.26 della legge), di accesso (art.34 a 38 Legge), e di rettifica (art.36 della legge) per i dati che La riguardano. Lei puo' cosi chiedere che siano rettificati, compeltati, chiariti, aggiornati o cancellati i suoi dati personali inesati, incompleti, equivoci, obsoleti o la cui raccolta o di uso o di conservazione sono vietati.
Le informazioni relative ai visitatori del nostro sito, compresa la loro identità, sono confidenziali.
Il responsabile del sito si impegna sull'onore a rispettare le condizioni legali di confidenzialità applicabili in Francia e a non divulgare tali informazioni a terzi.


Tutto il contenuto di questo sito: Copyright © 2026 Elsevier, i suoi licenziatari e contributori. Tutti i diritti sono riservati. Inclusi diritti per estrazione di testo e di dati, addestramento dell’intelligenza artificiale, e tecnologie simili. Per tutto il contenuto ‘open access’ sono applicati i termini della licenza Creative Commons.