Deep learning model for patient emotion recognition using EEG-tNIRS data - 25/07/25

Doi : 10.1016/j.neuri.2025.100219 
Mohan Raparthi a, , Nischay Reddy Mitta a , Vinay Kumar Dunka b , Sowmya Gudekota a , Sandeep Pushyamitra Pattyam c , Venkata Siva Prakash Nimmagadda a
a Independent Researcher, USA 
b Independent Researcher and CPQ Modeler, USA 
c Independent Researcher and Data Engineer, USA 

Corresponding author.

Bienvenido a EM-consulte, la referencia de los profesionales de la salud.
Artículo gratuito.

Conéctese para beneficiarse!

Abstract

This study presents a novel approach that integrates electroencephalogram (EEG) and functional near-infrared spectroscopy (tNIRS) data to enhance emotion classification accuracy. A Modality-Attentive Multi-Channel Graph Convolution Model (MAMP-GF) is introduced, leveraging GraphSAGE-based representation learning to capture inter-channel relationships. Multi-level feature extraction techniques, including Channel Features (CF), Statistical Features (SF), and Graph Features (GF), are employed to maximize the discriminative power of EEG-tNIRS signals. To enhance modality fusion, we propose and evaluate three fusion strategies: MA-GF, MP-GF, and MA-MP-GF, which integrate graph convolutional networks with a modality attention mechanism. The model is trained and validated using EEG and tNIRS data collected from 30 subjects exposed to emotionally stimulating video clips. Experimental results demonstrate that the proposed MA-MP-GF fusion model achieves 98.77% accuracy in subject-dependent experiments, significantly outperforming traditional single-modal and other multimodal fusion methods. In cross-subject validation, the model attains a 55.53% accuracy, highlighting its robustness despite inter-subject variability. The findings illustrate that the proposed graph convolution fusion approach, combined with modality attention, effectively enhances emotion recognition accuracy and stability. This research underscores the potential of EEG-tNIRS fusion in real-time, non-invasive emotion monitoring, paving the way for advanced applications in personalized healthcare and affective computing.

El texto completo de este artículo está disponible en PDF.

Keywords : Non-invasive brain stimulation, Emotion recognition, Healthcare, fNIR, Convolutional fusion, Deep learning, Electroencephalography signal


Esquema


© 2025  The Author(s). Publicado por Elsevier Masson SAS. Todos los derechos reservados.
Añadir a mi biblioteca Eliminar de mi biblioteca Imprimir
Exportación

    Exportación citas

  • Fichero

  • Contenido

Vol 5 - N° 3

Artículo 100219- septembre 2025 Regresar al número
Artículo precedente Artículo precedente
  • Multimodal lightweight neural network for Alzheimer's disease diagnosis integrating neuroimaging and cognitive scores
  • Bhoomi Gupta, Ganesh Kanna Jegannathan, Mohammad Shabbir Alam, Kottala Sri Yogi, Janjhyam Venkata Naga Ramesh, Vemula Jasmine Sowmya, Isa Bayhan
| Artículo siguiente Artículo siguiente
  • Short-window EEG-based auditory attention decoding for neuroadaptive hearing support for smart healthcare
  • Ihtiram Raza Khan, Sheng-Lung Peng, Rupali Mahajan, Rajesh Dey

Bienvenido a EM-consulte, la referencia de los profesionales de la salud.

@@150455@@ Voir plus

Mi cuenta


Declaración CNIL

EM-CONSULTE.COM se declara a la CNIL, la declaración N º 1286925.

En virtud de la Ley N º 78-17 del 6 de enero de 1978, relativa a las computadoras, archivos y libertades, usted tiene el derecho de oposición (art.26 de la ley), el acceso (art.34 a 38 Ley), y correcta (artículo 36 de la ley) los datos que le conciernen. Por lo tanto, usted puede pedir que se corrija, complementado, clarificado, actualizado o suprimido información sobre usted que son inexactos, incompletos, engañosos, obsoletos o cuya recogida o de conservación o uso está prohibido.
La información personal sobre los visitantes de nuestro sitio, incluyendo su identidad, son confidenciales.
El jefe del sitio en el honor se compromete a respetar la confidencialidad de los requisitos legales aplicables en Francia y no de revelar dicha información a terceros.


Todo el contenido en este sitio: Copyright © 2026 Elsevier, sus licenciantes y colaboradores. Se reservan todos los derechos, incluidos los de minería de texto y datos, entrenamiento de IA y tecnologías similares. Para todo el contenido de acceso abierto, se aplican los términos de licencia de Creative Commons.