S'abonner

Multimodal sEMG and Accelerometer Data Fusion for Fine-Grained Hand Gesture Recognition - 19/08/26

Doi : 10.1016/j.irbm.2026.100956 
Honglei Zhang , Sofiane Boudaoud, Imad Rida
 Université de Technologie de Compiègne, Laboratoire de Biomécanique et de Bioingénierie (UMR CNRS 7338), Compiègne, France 

Corresponding author.

Abstract

Surface electromyography (sEMG) has become a key sensing modality for hand gesture recognition in rehabilitation, prosthetic control, and human–computer interaction. However, its sparse activation patterns and sensitivity to subject- and recording-related variability pose significant challenges, particularly for fine-grained gestures involving subtle finger and wrist motions. To address these limitations, we propose an attention-enhanced multimodal fusion framework that integrates raw sEMG and accelerometer (ACC) signals. The proposed network employs narrow-kernel temporal convolutions in dedicated modality-specific streams to preserve fine-grained neuromuscular patterns, followed by a dual-attention fusion module combining multi-head self-attention (MHSA) and gated attention to model interactions between sEMG and ACC embeddings and improve gesture separability. Experiments on the NinaPro DB2 and DB7 databases show that the proposed fusion model outperforms both the sEMG-only and ACC-only models. The feature-level fusion model achieves accuracies of 96.42% on DB2 and 97.03% on DB7 without data augmentation. After applying the selected combined augmentation strategy based on time warping and scaling, the accuracy further increases to 97.56% and 98.19%, respectively. A decision-level fusion variant also achieves comparable performance while keeping the sEMG and ACC classifiers independent. Detailed gesture-level analysis further shows that the largest gains are obtained for low-amplitude and highly similar gestures, highlighting the value of multimodal fusion for improving the separability of subtle hand movements.

Le texte complet de cet article est disponible en PDF.

Graphical abstract




Le texte complet de cet article est disponible en PDF.

Highlights

A multimodal sEMG-ACC fusion framework is proposed for hand gestures.
ACC data help distinguish gestures with similar sEMG patterns.
MHSA and gated attention model cross-modal feature interaction.
Time warping and scaling improve recognition performance.
The method achieves 97.56% on DB2 and 98.19% on DB7.

Le texte complet de cet article est disponible en PDF.

Keywords : Accelerometer (ACC), Attention mechanism, Decision fusion, Feature fusion, Hand gesture recognition, Surface electromyography (sEMG)


Plan


© 2026  AGBM. Publié par Elsevier Masson SAS. Tous droits réservés.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 47 - N° 5

Article 100956- octobre 2026 Retour au numéro
Article précédent Article précédent
  • Critical Parameters in Connectivity-Based Machine Learning Classification of Schizophrenia
  • Pelagie Flore Temgoua Nanfack, Elie Fute Tagne, Sabir Jacquir
| Article suivant Article suivant
  • Generative Models for Medical Image Synthesis: A Critical Evaluation of Validation Practices, Clinical Readiness, and Translational Challenges
  • Suaibia Tasnim, Yu Xue, Naim Abdu

Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.

Déjà abonné à cette revue ?

Elsevier s'engage à rendre ses eBooks accessibles et à se conformer aux lois applicables. Compte tenu de notre vaste bibliothèque de titres, il existe des cas où rendre un livre électronique entièrement accessible présente des défis uniques et l'inclusion de fonctionnalités complètes pourrait transformer sa nature au point de ne plus servir son objectif principal ou d'entraîner un fardeau disproportionné pour l'éditeur. Par conséquent, l'accessibilité de cet eBook peut être limitée. Voir plus

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2026 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.