S'abonner

Human versus AI scoring of surgical mental practice in the FingerFix Smart® procedure - 17/11/26

Doi : 10.1016/j.hansur.2026.103056 
Jeanne Chartrin a, Kyros Ipaktchi b, Philippe Liverneaux a, c, ⁎
a Department of Hand Surgery, Strasbourg University Hospitals, FMTS, 1 avenue Molière, 67200 Strasbourg, France 
b Department of Hand, Upper Extremity and Microvascular Surgery, Department of Orthopedic Surgery, Denver Health Medical Center, 777 Bannock Street, Denver, CO 80204, USA 
c ICube CNRS UMR7357, Strasbourg University, 2-4 rue Boussingault, 67000 Strasbourg, France 

⁎ Corresponding author at: Department of Hand Surgery, University Hospital of Strasbourg, 1 avenue Molière, 67200 Strasbourg, France. Department of Hand Surgery University Hospital of Strasbourg 1 avenue Molière Strasbourg 67200 France
Sous presse. Manuscrit accepté. Disponible en ligne depuis le Tuesday 17 November 2026

Abstract

Introduction

Assessment of surgical procedural knowledge remains largely dependent on human expertise, which may limit reproducibility and scalability. This study evaluated whether generative artificial intelligence could score a surgical mental practice task from audio transcripts after video-based learning of FingerFix Smart® dynamic external fixator placement.

Methods

Thirty-six medical students who had completed a rotation in a hand surgery department watched a reference video performed by an expert surgeon. They then orally reproduced the procedure. The narrations were transcribed and assessed using a standardized 43-item checklist. Scores assigned by an expert human evaluator were compared with those generated by artificial intelligence using sequentially calibrated prompts.

Results

The mean human score was 28.42 (SD 9.60) /43. The first prompt underestimated human scores, whereas the second overestimated them. After item-by-item discrepancy analysis, two additional prompts were generated. The fourth prompt showed the closest agreement with the human scoring, with a mean score of 29.33 (SD 8.20) out of 43, an absolute agreement intraclass correlation coefficient of 0.940 (95% CI, 0.884-0.969), and a mean bias of +0.92 points (95% CI, -0.09 to +1.93). However, the mean absolute error was 2.19 points, and the Bland–Altman 95% limits of agreement ranged from −4.94 to +6.78 points, indicating residual discrepancies at the individual level.

Conclusion

Sequential prompt refinement reduced discrepancies between AI-generated and human scores within the development cohort, supporting the feasibility of iterative prompt calibration for the assessment of surgical procedural knowledge. However, because prompt development and assessment were performed using the same transcripts, these findings do not establish the reliability or generalizability of AI-based scoring. Independent validation is required.

Level of evidence

III.

Le texte complet de cet article est disponible en PDF.

Keywords : Artificial Intelligence, hand surgery, surgical education, mental practice, assessment, FingerFix Smart®



© 2026  Publié par Elsevier Masson SAS.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.

Déjà abonné à cette revue ?

Elsevier s'engage à rendre ses eBooks accessibles et à se conformer aux lois applicables. Compte tenu de notre vaste bibliothèque de titres, il existe des cas où rendre un livre électronique entièrement accessible présente des défis uniques et l'inclusion de fonctionnalités complètes pourrait transformer sa nature au point de ne plus servir son objectif principal ou d'entraîner un fardeau disproportionné pour l'éditeur. Par conséquent, l'accessibilité de cet eBook peut être limitée. Voir plus

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2026 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.