EEG–fNIRS signal integration for motor imagery classification using deep learning and evidence theory - 26/06/25

Doi : 10.1016/j.neuri.2025.100214 
Mohammed E. Seno a , Niladri Maiti b , Maulik Patel c, , Mihirkumar M. Patel c , Kalpesh B. Chaudhary d , Ashish Pasaya e , Babacar Toure f
a Department of Computer Sciences, College of Sciences, University of Al Maarif, Al Anbar,31001, Iraq 
b School of Dentistry, Central Asian University Tashkent, Uzbekistan 
c EC Department, Government Engineering College, Patan -384265, India 
d EC Department, Vishwakarma Government Engineering College, Ahmedabad -382424, India 
e EC Department, Government Engineering College, Dahod – 389151, India 
f Faculty of Dental Medicine, College of Health Sciences, International University of Rabat, Morocco 

Corresponding author.

Bienvenue sur EM-consulte, la référence des professionnels de santé.
Article gratuit.

Connectez-vous pour en bénéficier!

Abstract

To address the limitations of traditional unimodal brain-computer interface BCI) technologies based on electroencephalography (EEG) such as low spatial resolution and high susceptibility to noise an increasing number of neuroscience-driven studies have begun to focus on BCI systems that fuse EEG signals with functional near-infrared spectroscopy (fNIRS) signals. However, integrating these two heterogeneous neurophysiological signals presents significant challenges. In this work, we propose an innovative end-to-end signal fusion method based on deep learning and evidence theory for motor imagery (MI) classification within the neuroscience domain. For EEG signals, spatiotemporal features are extracted using dual-scale temporal convolution and depthwise separable convolution, and a hybrid attention module is introduced to enhance the network's sensitivity to salient neural patterns. For fNIRS signals, spatial convolution across all channels is employed to explore activation differences among brain regions, and parallel temporal convolution combined with a gated recurrent unit (GRU) captures richer temporal dynamics of the hemodynamic response. At the decision fusion stage, decision outputs from both modalities are first quantified using Dirichlet distribution parameter estimation to model uncertainty, followed by a two-layer reasoning process using Dempster-Shafer Theory (DST) to fuse evidence from basic belief assignment (BBA) methods and both modalities. Experimental evaluation on the publicly available TU-Berlin-A dataset demonstrates the effectiveness of the proposed model, achieving an average accuracy of 83.26%, representing a 3.78% improvement over state-of-the-art methods. These results provide new insights and methodologies for neuroscience-inspired multimodal BCI systems integrating EEG and fNIRS signals.

Le texte complet de cet article est disponible en PDF.

Keywords : Brain-computer interface, Neuroscience, Near-infrared spectroscopy, Gated recurrent unit, Dempster-Shafer theory


Plan


© 2025  The Author(s). Publié par Elsevier Masson SAS. Tous droits réservés.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 5 - N° 3

Article 100214- septembre 2025 Retour au numéro
Article précédent Article précédent
  • Beyond the numbers: App-enabled stroke prediction system for high-risk individuals in imbalanced datasets
  • Abrar Faiaz Eram, Aliva Sadnim Mahmud, Marwan Mostafa Khadem, Md Amimul Ihsan
| Article suivant Article suivant
  • An automated measurement of head circumference using CT scans: An application in children with head abnormalities
  • Priscila Satomi Acamine, Rafael Maffei Loureiro, Lucas dos Anjos Longas, Fabio Augusto Ribeiro Dalpra, Luigi Villanova Machado de Barros Lago, Larissa Vasconcellos de Moraes, Paulo Cesar Filho Estevam, Luiz Otávio Vittorelli, Lucas Silva Kallás, Ana Paula Antunes Pascalicchio Bertozzi, Maria Isabel Barros Guinle, Gilberto Szarf, Saulo Duarte Passos, Birajara Soares Machado, Joselisa Péres Queiroz De Paiva

Bienvenue sur EM-consulte, la référence des professionnels de santé.

Elsevier s'engage à rendre ses eBooks accessibles et à se conformer aux lois applicables. Compte tenu de notre vaste bibliothèque de titres, il existe des cas où rendre un livre électronique entièrement accessible présente des défis uniques et l'inclusion de fonctionnalités complètes pourrait transformer sa nature au point de ne plus servir son objectif principal ou d'entraîner un fardeau disproportionné pour l'éditeur. Par conséquent, l'accessibilité de cet eBook peut être limitée. Voir plus

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2025 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.