Performance of Artificial Intelligence Chatbots Compared with Young Academic Urologists in Reconstructive Urology - 26/06/26
Performance des plateformes d’intelligence artificielle versus les experts du groupe de l’EAU en urologie reconstructrice
, Oussama Hedhli b, Felix Campos-Juanatey c, Jan Adamowicz d, Łukasz Białek e, Andrea Cocci f, Mikołaj Frankiewicz g, Guglielmo Mantica h, Maciej Oszczudłowski i, Elaine J. Redmond j, Clemens M. Rosenbaum k, Wesley Verla l, Marjan Waterloos m, Francesco Chierigo n, Malte W. Vetterlein o, Paul Neuville p, François-Xavier Madec qOn behalf of the Trauma Reconstructive Urology Working Party of the European Association of Urology Young Academic Urologists
Abstract |
Introduction |
Artificial intelligence (AI) is increasingly used in surgery, but its role in reconstructive urology remains insufficiently studied. The aim of this work was to evaluate the theoretical knowledge of several AI platforms and compare their performance with that of experts from the Young Academic Urologists (YAU) group of the European Association of Urology.
Materials and methods |
This cross-sectional comparative study included 11 YAU experts and 4 AI platforms. Thirty-one multiple-choice questions from Chapter 82 of the Campbell-Walsh-Wein Urology Review, 3rd edition (2020), were used. Total scores and thematic scores were compared.
Results |
The mean score of YAU experts was 14 of 31 (SD 5.28). AI platforms achieved a mean score of 15 of 31 (SD 5.53), with no significant difference between groups (p = 0.802). ChatGPT-4 achieved 24 correct answers and was surpassed by only one human expert. Subgroup analyses showed no significant differences between YAU experts and AI platforms for anatomy (p = 0.272), physiology (p = 0.923), therapeutic management (p = 0.51) and diagnosis (p = 0.611).
Conclusion |
AI platforms, particularly ChatGPT-4, achieved high scores on MCQs in reconstructive urology, and no statistically significant difference was observed compared with YAU experts. These findings support a potential role for AI in educational settings and for answering well-defined theoretical questions, but their use alone is not suitable for clinical reasoning. Further validation on real clinical cases is required before considering clinical implementation.
Il testo completo di questo articolo è disponibile in PDF.Résumé |
Introduction |
L’intelligence artificielle (IA) est de plus en plus utilisée en chirurgie, mais son rôle en urologie reconstructrice reste peu étudié. L’objectif de ce travail était d’évaluer les connaissances théoriques de plusieurs plateformes d’IA et de les comparer à celles d’experts du groupe Young Academic Urologists (YAU) de l’European Association of Urology (EAU).
Matériels et méthodes |
Cette étude comparative transversale a inclus 11 experts du groupe YAU et 4 plateformes d’IA. Trente et une questions à choix multiples issues du chapitre 82 du Campbell-Walsh-Wein Urology Review, 3e édition (2020), ont été utilisées. Les scores globaux et les scores par thèmes ont été comparés.
Résultats |
Le score moyen des experts du groupe YAU était de 14 sur 31 (SD 5,28). Les plateformes d’IA obtenaient un score moyen de 15 sur 31 (SD 5,53), sans différence significative entre les deux groupes (p = 0,802). ChatGPT-4 obtenait 24 bonnes réponses et n’était surpassé que par un seul expert humain. Les analyses par thèmes ne montraient pas de différence significative entre les experts YAU et les plateformes d’IA pour l’anatomie (p = 0,272), la physiologie (p = 0,923), la prise en charge thérapeutique (p = 0,51) et le diagnostic (p = 0,611).
Conclusion |
Les plateformes d’IA, en particulier ChatGPT-4, obtenaient des scores élevés pour des QCM en urologie reconstructrice, sans différence statistiquement significative avec les experts YAU. Ces résultats soutiennent un rôle potentiel de l’IA dans l’apprentissage et la réponse à des questions théoriques bien définies, mais son utilisation seule n’est pas adaptée au raisonnement clinique. Des validations supplémentaires sur des cas réels restent nécessaires avant toute utilisation clinique.
Il testo completo di questo articolo è disponibile in PDF.Keywords : Urology, Artificial Intelligence, Reconstructive Surgical Procedures, Clinical Competence
Mots clés : Urologie, Intelligence artificielle, Urologie reconstructrice, Procédures chirurgicales reconstructrices, Compétence clinique
Benvenuto su EM|consulte, il riferimento dei professionisti della salute.
L'accesso al testo integrale di questo articolo richiede un abbonamento.
Già abbonato a @@106933@@ rivista ?