S'abonner

Completeness, safety, and readability of large language model-generated informed consent materials for orthognathic and craniofacial surgery: a procedure-specific content analysis - 15/11/26

Doi : 10.1016/j.jormas.2026.103077 
Mert Doğrul ⁎
 Private Practice, Istanbul, Türkiye 

⁎ Correspondence to: Bahçelievler mah, Neyzen sok, No18, D12, Bahçelievler, İstanbul, Türkiye. Bahçelievler mah Neyzen sok, No18, D12, Bahçelievler İstanbul Türkiye

Abstract

Background

Procedure-specific completeness of large language model (LLM)-generated orthognathic and craniofacial consent materials remains uncertain.

Methods

A fixed corpus of 132 outputs from four default/free consumer interfaces (ChatGPT, Gemini, DeepSeek and Grok; 11 procedures; three new-chat repetitions) underwent revision-stage independent scoring by three oral and maxillofacial surgeons using a locked checklist. Final outcomes used item-level two-of-three majorities. Coverage comparisons used 11 paired procedure blocks; critical omissions were analysed with a procedure-random-intercept logistic model. Readability comparisons were descriptive.

Results

Mean coverage was 77.81% for ChatGPT, 72.94% for Gemini, 83.15% for DeepSeek and 83.27% for Grok (Friedman χ²(3)=22.223, P<0.001). Holm-adjusted comparisons supported higher coverage for DeepSeek than ChatGPT and Gemini, and for Grok than Gemini. Outputs with at least one critical omission numbered 15/33, 17/33, 1/33 and 1/33, respectively. Of 34 affected outputs, 28 met general-consent/task criteria and six met procedure-specific criteria. Item-level Gwet AC1 was 0.892 (95% CI 0.885–0.899); derived critical-status AC1 was 0.583 (0.477–0.689). Six outputs contained incorrect/unsupported-statement flags, two over-reassurance flags and one format failure. Mean Flesch–Kincaid Grade Level ranged from 10.22 to 13.89. Excluding the format failure left coverage comparisons unchanged.

Conclusion

Coverage and critical-omission frequency differed across these sampled outputs. Aggregate coverage did not establish completeness or clinical safety. The findings identify content requiring scrutiny before any proposed clinical use; patient comprehension, clinical utility and the effectiveness of checklist-assisted verification were not tested.

Le texte complet de cet article est disponible en PDF.

Keywords : Informed consent, Orthognathic surgery, Craniofacial surgery, Large language models, Content analysis, Readability


Plan


© 2026  Elsevier Masson SAS. Tous droits réservés.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 127 - N° 6

Article 103077- décembre 2026 Retour au numéro

Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.

Déjà abonné à cette revue ?

Elsevier s'engage à rendre ses eBooks accessibles et à se conformer aux lois applicables. Compte tenu de notre vaste bibliothèque de titres, il existe des cas où rendre un livre électronique entièrement accessible présente des défis uniques et l'inclusion de fonctionnalités complètes pourrait transformer sa nature au point de ne plus servir son objectif principal ou d'entraîner un fardeau disproportionné pour l'éditeur. Par conséquent, l'accessibilité de cet eBook peut être limitée. Voir plus

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2026 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.