Abbonarsi

Multimodal sEMG and Accelerometer Data Fusion for Fine-Grained Hand Gesture Recognition - 12/08/26

Doi : 10.1016/j.irbm.2026.100956 
Honglei Zhang , Sofiane Boudaoud, Imad Rida
 Alliance Sorbonne Université, Université de Technologie de Compiègne, Laboratoire de Biomécanique et de Bioingénierie (UMR CNRS 7338), Compiègne, France 

Corresponding author.
In corso di stampa. Manoscritto Accettato. Disponibile online dal Wednesday 12 August 2026

Abstract

Surface electromyography (sEMG) has become a key sensing modality for hand gesture recognition in rehabilitation, prosthetic control, and human–computer interaction. However, its sparse activation patterns and sensitivity to subject- and recording-related variability pose significant challenges, particularly for fine-grained gestures involving subtle finger and wrist motions. To address these limitations, we propose an attention-enhanced multimodal fusion framework that integrates raw sEMG and accelerometer (ACC) signals. The proposed network employs narrow-kernel temporal convolutions in dedicated modality-specific streams to preserve fine-grained neuromuscular patterns, followed by a dual-attention fusion module combining multi-head self-attention (MHSA) and gated attention to model interactions between sEMG and ACC embeddings and improve gesture separability. Experiments on the NinaPro DB2 and DB7 databases show that the proposed fusion model outperforms both the sEMG-only and ACC-only models. The feature-level fusion model achieves accuracies of 96.42% on DB2 and 97.03% on DB7 without data augmentation. After applying the selected combined augmentation strategy based on time warping and scaling, the accuracy further increases to 97.56% and 98.19%, respectively. A decision-level fusion variant also achieves comparable performance while keeping the sEMG and ACC classifiers independent. Detailed gesture-level analysis further shows that the largest gains are obtained for low-amplitude and highly similar gestures, highlighting the value of multimodal fusion for improving the separability of subtle hand movements.

Il testo completo di questo articolo è disponibile in PDF.

Graphical abstract




Il testo completo di questo articolo è disponibile in PDF.

Highlights

A multimodal sEMG-ACC fusion framework is proposed for hand gestures.
ACC data help distinguish gestures with similar sEMG patterns.
MHSA and gated attention model cross-modal feature interaction.
Time warping and scaling improve recognition performance.
The method achieves 97.56% on DB2 and 98.19% on DB7.

Il testo completo di questo articolo è disponibile in PDF.

Keywords : Accelerometer (ACC), Attention Mechanism, Decision Fusion, Feature Fusion, Hand Gesture Recognition, Surface Electromyography (sEMG)


Mappa


© 2026  AGBM. Pubblicato da Elsevier Masson SAS. Tutti i diritti riservati.
Aggiungere alla mia biblioteca Togliere dalla mia biblioteca Stampare
Esportazione

    Citazioni Export

  • File

  • Contenuto

Benvenuto su EM|consulte, il riferimento dei professionisti della salute.
L'accesso al testo integrale di questo articolo richiede un abbonamento.

Già abbonato a @@106933@@ rivista ?

@@150455@@ Voir plus

Il mio account


Dichiarazione CNIL

EM-CONSULTE.COM è registrato presso la CNIL, dichiarazione n. 1286925.

Ai sensi della legge n. 78-17 del 6 gennaio 1978 sull'informatica, sui file e sulle libertà, Lei puo' esercitare i diritti di opposizione (art.26 della legge), di accesso (art.34 a 38 Legge), e di rettifica (art.36 della legge) per i dati che La riguardano. Lei puo' cosi chiedere che siano rettificati, compeltati, chiariti, aggiornati o cancellati i suoi dati personali inesati, incompleti, equivoci, obsoleti o la cui raccolta o di uso o di conservazione sono vietati.
Le informazioni relative ai visitatori del nostro sito, compresa la loro identità, sono confidenziali.
Il responsabile del sito si impegna sull'onore a rispettare le condizioni legali di confidenzialità applicabili in Francia e a non divulgare tali informazioni a terzi.


Tutto il contenuto di questo sito: Copyright © 2026 Elsevier, i suoi licenziatari e contributori. Tutti i diritti sono riservati. Inclusi diritti per estrazione di testo e di dati, addestramento dell’intelligenza artificiale, e tecnologie simili. Per tutto il contenuto ‘open access’ sono applicati i termini della licenza Creative Commons.