Les examens cliniques à objectifs structurés (ECOS) évaluent les performances professionnelles en milieu simulé. À la suite de leur intégration dans la réforme du 2^e cycle des études médicales (R2C), cette modalité pédagogique a été implémentée en France. Ce travail étudie la variabilité des notes des étudiants aux ECOS ainsi que leur reproductibilité inter-évaluateurs.

Cette étude rétrospective monocentrique a porté sur plusieurs sessions de circuits d’ECOS évaluatifs réalisées entre janvier 2022 et juin 2023. Les variables recueillies étaient : la famille de situation de départ, le domaine de compétence, la présence d’un participant standardisé pour les stations ; le sexe et le statut professionnel pour les évaluateurs ; les notes obtenues à chaque station (globales, compétences cliniques, compétences de communication), le nombre de circuits ECOS préalablement réalisés et les notes facultaires pour les étudiants.

La variabilité de la note globale était expliquée principalement par le facteur station (79,7 %, IC95 % 77,4–82,0). Le facteur étudiant et le facteur parcours expliquaient respectivement 7,5 % [12,9–20,2] et<0,01 % [2,10^-13–2,10^-9]. Le coefficient de corrélation intra-classe inter-évaluateurs était de 87,2 % [86,4–87,9] pour la note globale. Les caractéristiques stations (situation de départ, domaine) et évaluateurs (sexe, statut) étaient significativement associées aux variations de notes.

Cette première étude de la variabilité des notes de circuits d’ECOS en France montre une bonne reproductibilité inter-évaluateurs, cependant influencée par les caractéristiques de la station. Pour standardiser les circuits, les variabilités liées au domaine des stations sont donc à considérer.

Objective Structured Clinical Examinations (OSCEs) assess professional performance in a simulated environment. Following their integration into the reform of the 2nd cycle of medical studies (R2C), this pedagogical modality was implemented in France. This study investigates the variability of students’ OSCE scores, as well as their inter-rater reproducibility.

This single-center retrospective study covered several sessions of evaluative OSCE circuits conducted between January 2022 and June 2023. Variables collected were: baseline situation family, competency domain, presence of a standardized participant for stations; gender and professional status for evaluators; scores (global, clinical and communication skills), number of previously completed OSCE circuits and faculty scores for students.

The variability of the overall score was explained mainly (79.7%, CI95% [77.4; 82.0]) by the station factor. The student factor and the circuit factor explained 7.5% [12.9; 20.2] and<0.01% [2.10^-13; 2.10^-9] respectively. The inter-rater intra-class correlation coefficient was 87.2% [86.4; 87.9] for the global score. Station characteristics (starting situation, domain) and evaluator characteristics (gender, status) were significantly associated with score variations.

This first study on the variability of OSCE circuit scores in France shows good reproducibility with influence of station characteristics. In order to standardize circuits, variability linked to the domain competency should be considered as well.