Performance of artificial intelligence chatbots compared with young academic urologists in reconstructive urology - 09/07/26
Performance des plateformes d’intelligence artificielle versus les experts du groupe de l’EAU en urologie reconstructrice
on behalf of the
Trauma Reconstructive Urology Working Party of the European Association of Urology Young Academic Urologists
Abstract |
Introduction |
Artificial intelligence (AI) is increasingly used in surgery, but its role in reconstructive urology remains insufficiently studied. The aim of this work was to evaluate the theoretical knowledge of several AI platforms and compare their performance with that of experts from the Young Academic Urologists (YAU) group of the European Association of Urology.
Materials and methods |
This cross-sectional comparative study included 11 YAU experts and 4 AI platforms. Thirty-one multiple-choice questions from Chapter 82 of the Campbell-Walsh-Wein Urology Review, 3rd edition (2020), were used. Total scores and thematic scores were compared.
Results |
The mean score of YAU experts was 14 of 31 (SD 5.28). AI platforms achieved a mean score of 15 of 31 (SD 5.53), with no significant difference between groups ( P = 0.802). ChatGPT-4 achieved 24 correct answers and was surpassed by only one human expert. Subgroup analyses showed no significant differences between YAU experts and AI platforms for anatomy ( P = 0.272), physiology ( P = 0.923), therapeutic management ( P = 0.51) and diagnosis ( P = 0.611).
Conclusion |
AI platforms, particularly ChatGPT-4, achieved high scores on MCQs in reconstructive urology, and no statistically significant difference was observed compared with YAU experts. These findings support a potential role for AI in educational settings and for answering well-defined theoretical questions, but their use alone is not suitable for clinical reasoning. Further validation on real clinical cases is required before considering clinical implementation.
Level of evidence |
3.
Le texte complet de cet article est disponible en PDF.Résumé |
Introduction |
L’intelligence artificielle (IA) est de plus en plus utilisée en chirurgie, mais son rôle en urologie reconstructrice reste peu étudié. L’objectif de ce travail était d’évaluer les connaissances théoriques de plusieurs plateformes d’IA et de les comparer à celles d’experts du groupe Young Academic Urologists (YAU) de l’ European Association of Urolog y (EAU).
Matériels et méthodes |
Cette étude comparative transversale a inclus 11 experts du groupe YAU et 4 plateformes d’IA. Trente et une questions à choix multiples, issues du chapitre 82 du Campbell-Walsh-Wein Urology Review, 3 e édition (2020), ont été utilisées. Les scores globaux et les scores par thèmes ont été comparés.
Résultats |
Le score moyen des experts du groupe YAU était de 14 sur 31 (SD 5,28). Les plateformes d’IA obtenaient un score moyen de 15 sur 31 (SD 5,53), sans différence significative entre les deux groupes ( p = 0,802). ChatGPT-4 obtenait 24 bonnes réponses et n’était surpassé que par un seul expert humain. Les analyses par thèmes ne montraient pas de différence significative entre les experts YAU et les plateformes d’IA pour l’anatomie ( p = 0,272), la physiologie ( p = 0,923), la prise en charge thérapeutique ( p = 0,51) et le diagnostic ( p = 0,611).
Conclusion |
Les plateformes d’IA, en particulier ChatGPT-4, obtenaient des scores élevés pour des QCM en urologie reconstructrice, sans différence statistiquement significative avec les experts YAU. Ces résultats soutiennent un rôle potentiel de l’IA dans l’apprentissage et la réponse à des questions théoriques bien définies, mais son utilisation seule n’est pas adaptée au raisonnement clinique. Des validations supplémentaires sur des cas réels restent nécessaires avant toute utilisation clinique.
Niveau de preuve |
3.
Le texte complet de cet article est disponible en PDF.Keywords : Urology, Artificial intelligence, Reconstructive surgical procedures, Clinical competence
Mots clés : Urologie, Intelligence artificielle, Urologie reconstructrice, Procédures chirurgicales reconstructrices, Compétence clinique
Plan
Vol 36 - N° 9
Article 103150- octobre 2026 Retour au numéro
Article précédent
- Shifting risk profile in radical prostatectomy over 18 years: A bicentric French study of 8,358 patients
- Yann Neuzillet, Joao Paulo Barbosa de Oliveira, François Rozet, Eric Barret, Denis Bohin, Pierre-Olivier Bosset, Claire Deleuze, Tarek Ghoneim, Camille Lanz, Petr Macek, Maxime Pattou, Lara Rodriguez Sanchez, Yanish Soorojebally, Victor Vanalderwerelt, Thierry Lebret, Xavier Cathelineau
- No-scalpel vasectomy: What is the learning curve?
- Quentin Ducrot, Boris Delaunay, Ahmed Mansouri, François Isus, Michel Soulié, Éric Huyghe
Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.
Déjà abonné à cette revue ?