L’intelligence artificielle (IA) est de plus en plus intégrée aux processus éditoriaux des revues scientifiques, mais aucune étude n’a formellement évalué la capacité des grands modèles de langage (LLM) à reproduire les décisions éditoriales humaines de revue initiale (R0) dans une revue de chirurgie orthopédique générale. Nous avons cherché à déterminer si trois LLM commerciaux disponibles pouvaient reproduire fidèlement les décisions éditoriales du Comité de rédaction d’ Orthopaedics & Traumatology : Surgery & Research ( OTSR ). L’étude répondait à quatre questions : (1) La concordance entre les décisions R0 des LLM et celles des humains est-elle satisfaisante pour un usage éditorial ? (2) Les LLM présentent-ils un biais de sévérité ? (3) Les LLM génèrent-ils des lettres de décision de qualité acceptable, et reproduisent-ils les critiques spécifiques des relecteurs humains ? (4) La complexité du prompt influence-t-elle la prise de décision des LLM ? Les LLM utilisés sans ajustement spécifique à la tâche ni exposition préalable au corpus de l’étude présenteraient au moins une concordance modérée (κ ≥ 0,40) avec les décisions éditoriales humaines. Un corpus de 32 manuscrits sélectionnés aléatoirement parmi les soumissions à l’ OTSR entre 2025 et 2026 ( n = 10 rejetés d’emblée en R0 : 3 hors champ, 3 plagiat/soumission multiple, 4 rejet direct de bureau ; n = 11 acceptés pour relecture par les pairs ; n = 11 rejetés après relecture complète) a été anonymisé et évalué indépendamment, sans ajustement spécifique à la tâche ni exposition préalable au corpus de l’étude, par ChatGPT (GPT-5.5, OpenAI), Gemini (3.1, Google) et Claude (Sonnet 4.6, Anthropic) à l’aide d’un prompt structuré intégrant les recommandations de l’OTSR. Le critère de jugement principal était évalué par le coefficient kappa de Cohen entre les décisions binaires des LLM et celles des humains. Les critères secondaires comprenaient l’exactitude, l’accord inter-LLM, le score par domaine, le score de qualité ARCADIA de 115 lettres de décision éligibles évalué par deux évaluateurs en aveugle avec calcul du CCI, l’analyse de concordance de contenu réalisée par un humain, l’analyse de sensibilité (prompt structuré vs minimal), et la reproductibilité test-retest à 24 heures. L’exactitude globale (c’est-à-dire la décision identique pour le LLM et la décision éditoriale) était de 59,4 % pour ChatGPT (19/32) et Claude (19/32), et de 62,5 % pour Gemini (20/32). Le coefficient kappa de Cohen était proche de zéro pour ChatGPT (κ = −0,05) et Gemini (κ = 0,00), et faible pour Claude (κ = 0,15). Tous les LLM ont montré un sur-rejet systématique des manuscrits acceptés. Aucun LLM n’a identifié le plagiat ni de soumission multiple simultanée comme motif de rejet. La concordance test-retest vairiat de 84,4 à 90,6 % selon les modèles. Le score de qualité ARCADIA ( n = 115 lettres, Analyse inter-observateur ICC = 0,86, IC95 % : 0,80–0,90) montrait que Claude obtenait les scores les plus élevés (4,46 ± 0,32/5), significativement supérieurs aux lettres humaines de l’ OTSR (4,01 ± 0,44, p < 0,001), ainsi qu’à ChatGPT (3,81 ± 0,49, p = 0,002) et à Gemini (3,28 ± 0,49, p < 0,001). Les LLM reproduisaient 30 à 41 % des critiques spécifiques des relecteurs humains, Claude obtenant la meilleure correspondance (40,5 %) sans hallucination. Le passage à un prompt minimal augmentait significativement les taux d’acceptation pour Gemini (87,5 %) et Claude (75 %), tandis que ChatGPT restait largement insensible à la simplification du prompt (15,6 %). Le résultat principal de cette étude est la dissociation entre la qualité formelle de la relecture et la fiabilité éditoriale réelle. Bien que les LLM modernes aient généré des lettres de décision persuasives et méthodologiquement structurées, ils n’atteignaient pas le niveau de concordance significatif avec les décisions éditoriales réelles et ont présenté des biais stables très sensibles à la conception du prompt. Ces résultats indiquent que les LLM actuels reproduisent davantage les caractéristiques de surface de la relecture par les pairs que son raisonnement scientifique et contextuel sous-jacent. Par conséquent, les LLM pourraient constituer des assistants supervisés utiles pour les processus éditoriaux, mais non des substituts autonomes fiables à l’expertise éditoriale humaine dans l’édition scientifique en chirurgie orthopédique.

IV ; étude pilote observationnelle, analyse de concordance.

Artificial intelligence (AI) is increasingly integrated into scientific publishing workflows, yet no study has formally evaluated the ability of large language models (LLMs) to reproduce human editorial desk-review (R0) decisions in a general orthopaedic surgery journal. We investigated whether three commercially available LLMs could accurately replicate the editorial decisions of the Editorial Board of Orthopaedics & Traumatology: Surgery & Research ( OTSR ). The study addressed four questions: (1) Is the concordance between LLM and human R0 decisions satisfactory for editorial use? (2) Do LLMs exhibit a severity bias? (3) Do LLMs generate decision letters of acceptable quality, and do they reproduce the specific critiques of human reviewers? (4) Does prompt complexity influence LLM decision-making? LLMs used without task-specific fine-tuning or prior exposure to the study corpus would demonstrate at least moderate concordance (κ ≥ 0.40) with human editorial decisions. A corpus of 32 manuscripts randomly selected from submissions to OTSR between 2025 and 2026 ( n = 10 outright rejected at R0: 3 out of scope, 3 plagiarism/dual submission, 4 direct desk rejection; n = 11 accepted for peer review; n = 11 rejected after full peer review) was anonymised and independently evaluated, without task-specific fine-tuning or prior exposure to the study corpus, by ChatGPT (GPT-5.5, OpenAI), Gemini (3.1, Google), and Claude (Sonnet 4.6, Anthropic) using a structured prompt incorporating the OTSR guidelines. The primary outcome was assessed using Cohen's kappa between LLM and human binary decisions. Secondary outcomes included accuracy, inter-LLM agreement, domain-specific scoring, ARCADIA quality scoring of 115 eligible decision letters by two blinded raters with ICC, human-performed content concordance analysis, sensitivity analysis (structured vs. minimal prompt), and test–retest reproducibility at 24 hours. Overall accuracy (i.e. the decision was similar for LLM and editorial decision) was 59.4% for ChatGPT (19/32) and Claude (19/32), and 62.5% for Gemini (20/32). Cohen's kappa was near zero for ChatGPT (κ = −0.05) and Gemini (κ = 0.00), and low for Claude (κ = 0.15). All LLMs showed systematic over-rejection of accepted manuscripts. No LLM identified plagiarism or simultaneous dual submission as a rejection motive. Test–retest concordance was 84.4–90.6% across models. ARCADIA quality scoring ( n = 115 scorable letters, inter-rater ICC = 0.86, 95% CI: 0.80–0.90) showed Claude achieved the highest scores (4.46 ± 0.32/5), significantly above the human OTSR letters (4.01 ± 0.44, P < 0.001), ChatGPT (3.81 ± 0.49, P = 0.002), and Gemini (3.28 ± 0.49, P < 0.001). LLMs reproduced 30–41% of human reviewer-specific critiques, with Claude achieving the highest match (40.5%) without hallucinations. Switching to a minimal prompt markedly increased acceptance rates for Gemini (87.5%) and Claude (75%), while ChatGPT remained largely insensitive to prompt simplification (15.6%). The principal finding of this study is the dissociation between formal review quality and true editorial reliability. Although modern LLMs generated persuasive and methodologically structured decision letters, they failed to achieve meaningful concordance with real editorial decisions and displayed stable architecture-specific biases that were highly sensitive to prompt design. These results indicate that current LLMs reproduce the surface features of peer review more successfully than its underlying scientific and contextual reasoning. Consequently, LLMs may represent valuable supervised assistants for editorial workflows, but not reliable autonomous substitutes for human editorial expertise in orthopaedic scientific publishing.

: IV; observational pilot study, concordance analysis.