Les grands modèles de langage (LLMs) apparaissent comme des outils prometteurs pour soutenir le diagnostic médical. Leur utilisation a déjà montré des résultats positifs dans l’extraction d’informations ou la synthèse de comptes rendus. Combinés aux critères standardisés du DSM-5 R, les LLMs pourraient contribuer à une identification plus rapide et plus fiable des troubles du sommeil.

Nous avons collecté les entretiens cliniques de 67 patients, réalisés par deux spécialistes du sommeil du CHU de Bordeaux. Les entretiens, anonymisés et transcrits, ont été analysés indépendamment par les cliniciens, qui ont attribué des diagnostics selon 12 troubles définis par le DSM-5 R. Nous avons développé au total 36 systèmes basés sur des LLMs pour générer des hypothèses diagnostiques à partir des transcriptions des entretiens cliniques. Chaque système intégrait l’un de 12 modèles, allant de LLaMA 3.1 à GPT-4o, et appliquait l’une de trois stratégies de prompting : zero-shot (question directe), chain-of-thought (raisonnement guidé) et prompt chaining (dialogue simulé multi-agents). Pour évaluer les performances, nous avons comparé les résultats diagnostiques de chaque système aux évaluations cliniques des spécialistes humains.

Les résultats indiquent une corrélation entre la taille du modèle et la précision diagnostique. Les modèles de petite taille génèrent fréquemment des diagnostics erronés (« hallucinations »). Les modèles de taille intermédiaire (24 à 70 millions de paramètres) atteignent une sensibilité et une spécificité aux alentours de 80 %. Les modèles les plus avancés, notamment GPT-4o, obtiennent d’excellents scores de spécificité, mais une sensibilité plus faible. L’impact des stratégies de prompting apparaît limité. Surprenamment, l’approche la plus simple, le zero-shot prompting , surpasse les méthodes plus élaborées, suggérant que les LLMs peuvent produire de bons résultats avec un guidage minimal.

Cette étude démontre que les LLMs peuvent approcher la performance de spécialistes dans le diagnostic des troubles du sommeil à partir d’entretiens transcrits. La taille du modèle constitue un facteur déterminant, alors que la stratégie de prompting joue un rôle secondaire. Ces résultats ouvrent des perspectives intéressantes pour l’intégration des LLMs dans la pratique clinique, tout en soulevant des questions éthiques liées au compromis entre performance (associée aux modèles les plus puissants) et respect de la confidentialité.