S'abonner

Deep learning for the recognition of facial expression in the Colombian sign language - 15/07/18

Doi : 10.1016/j.rehab.2018.05.204 
A.M. Rincon Vega , A. Vasquez, W. Amador, A. Rojas
 Universidad Manuela Beltran, Vicerrectoria de Investigaciones, Bogotá, Colombia 

Corresponding author.

Bienvenue sur EM-consulte, la référence des professionnels de santé.
Article gratuit.

Connectez-vous pour en bénéficier!

Résumé

Introduction/Background

The communication of the deaf person has been considered as a set of manual movements, however many have ignored the importance of facial expression in the different communicative manifestations of this population; this is the reason because a group of Phonoaudiology, physiotherapy and engineering researchers integrate their knowledge to perform image processing and classification of facial expressions used in the Colombian Sign Language (LSC) analysis. The Objective was to establish the processing of images of facial expressions as a complementary means to manual movements for the interpretation of Colombian sign language.

Material and method

Qualitative study, descriptive, non-experimental design, for which four phases were considered, in the first, data collection was carried out through recordings of deaf people as linguistic models producing facial expressions corresponding to the vocabulary of the clinical scenario. In phase two, the images are processed to identify the characteristic patterns of each sign. In the third phase, two Deep Learning techniques are used to classify the captured gestures. In the fourth phase, the accuracy of the images was validated techniques used.

Results

For the classification process, six facial expressions corresponding to the words pain, inflammation, fracture, irritable colon, dizziness, diabetes were analyzed. In this process, two Deep Learning techniques were validated, obtaining that the Single Shot Multibox Detector SSD technique has a precision of 94, 2% compared to the Convolutional Neural Network (CNN) technique, which has a degree of accuracy of 89.05%.

Conclusion

The development of technologies of this nature allows analyzing the facial expression in the communication of the deaf person as a distinctive feature for interaction with others. The algorithms of artificial vision based on Deep learning present a high level of efficiency in the classification of facial expression, this being an important factor to generate tools that facilitate the communication of deaf and hearing.

Le texte complet de cet article est disponible en PDF.

Keywords : Deep learning, Facial expression, Sign language


Plan


© 2018  Publié par Elsevier Masson SAS.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 61 - N° S

P. e96 - juillet 2018 Retour au numéro
Article précédent Article précédent
  • Clinical and kinematic evaluation of the H-Man arm robot for post-stroke upper limb rehabilitation: Preliminary findings of a randomised controlled trial
  • K. Chua, C. Kuah, C. Ng, L. Yam, A. Budhota, S. Contu, S. Kager, A. Hussain, L. Xiang, D. Campolo
| Article suivant Article suivant
  • Home rehabilitation in France. The model of stroke
  • A. Schnitzler, L. Tlili, J. Beaudreuil, M. Jousse, A. Yelnik

Bienvenue sur EM-consulte, la référence des professionnels de santé.

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2024 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.