Dans le cadre de la mise en place d’une méthode pédagogique innovante utilisant des comédiens professionnels ayant le double rôle de jouer le patient d’après un scénario préétabli et d’évaluer l’étudiant en fin de consultation, nous avons voulu savoir si leur évaluation était fiable et reproductible et si la grille utilisée devait être basée sur une cotation globale ou au contraire sur une liste d’items décrivant les dimensions évaluées.

Un questionnaire, complété par les comédiens, évaluant trois dimensions de l’examen clinique en consultation (entretien médical, examen physique et relation médecin-patient) a été évalué pendant deux ans auprès d’étudiants en 3^e année de médecine. Ce questionnaire comprenait deux méthodes distinctes pour l’obtention du score final, une cotation globale d’après une échelle de Likert en 5 points et une liste d’items (cochés de façon binaire) décrivant précisément la compétence attendue. Le processus de validation de la grille a suivi 4 étapes : (1) analyse des corrélations entre les dimensions globales et les items spécifiques correspondants, (2) estimation de la fiabilité interne du questionnaire, (3) validation des dimensions de la grille, (4) analyse de la reproductibilité des évaluations par les patients standardisés en comparaison avec celle de médecins-enseignants.

Au total, 3322 consultations ont été réalisées par 444 étudiants en 3^e année de médecine. L’analyse statistique a démontré la fiabilité et la reproductibilité du questionnaire lorsqu’il est utilisé par les comédiens, pour toutes les dimensions sauf celles mesurant la qualité de la relation médecin–patient. La cotation basée sur les listes d’items spécifiques n’a pas montré de supériorité en termes de reproductibilité par rapport à la cotation globale. La reproductibilité de l’évaluation par les comédiens s’est avérée moins bonne que celle des médecins.

L’évaluation basée sur des dimensions globales, plus rapide et nécessitant un temps de formation des comédiens moindre, doit être préférée aux listes d’items spécifiques. Dans notre contexte pédagogique, les patients standardisés peuvent être considérés comme des évaluateurs fiables.

This study was designed in the context of a new educational program based on standardized-patients (SPs). The study objectives were (1) to evaluate the reliability of the assessment form used by SPs and (2) to compare global ratings to checklists reproducibility.

History taking, physical examination and communication skills were assessed by SPs at the end of clinical encounters with year 3 medical students, using generic global rating scales and case-specific checklists. The validation process followed four steps: (1) correlation analysis between global rating and their relative checklist of specific items, (2) internal consistency estimation, (3) validation of the questionnaire dimensions, (4) estimation of the reliability of SPs’ ratings compared to medical teachers’ ratings.

A total of 3322 consultations have been performed by 444 year 3 medical students. Statistical analysis showed a good internal reliability (Cronbach α was greater than 0.7) and an acceptable inter-judge reproducibility except for communication skills. Case-specific checklists did not prove to be more reliable than global ratings. Reproducibility was lower with SPs’ than with medical teachers’ assessment.

Global rating-based assessment should be preferred to checklists because they are faster and easier to use (shorter duration of SPs training). As SPs proved to be acceptable examiners, no third person seems to be required as external observer.