Segmentation of target volumes and organs at risk on computed tomography (CT) images constitutes an important step in the radiotherapy workflow. Artificial intelligence-based methods have significantly improved organ segmentation in medical images. Automatic segmentations are frequently evaluated using geometric metrics. Before a clinical implementation in the radiotherapy workflow, automatic segmentations must also be evaluated by clinicians. The aim of this study was to investigate the correlation between geometric metrics used for segmentation evaluation and the assessment performed by clinicians.

In this study, we used the U-Net model to segment the liver in CT images from a publicly available dataset. The model's performance was evaluated using two geometric metrics: the Dice similarity coefficient and the Hausdorff distance. Additionally, a qualitative evaluation was performed by clinicians who reviewed the automatic segmentations to rate their clinical acceptability for use in the radiotherapy workflow. The correlation between the geometric metrics and the clinicians’ evaluations was studied.

The results showed that while the Dice coefficient and Hausdorff distance are reliable indicators of segmentation accuracy, they do not always align with clinician segmentation. In some cases, segmentations with high Dice scores still required clinician corrections before clinical use in the radiotherapy workflow.

This study highlights the need for more comprehensive evaluation metrics beyond geometric measures to assess the clinical acceptability of artificial intelligence-based segmentation. Although the deep learning model provided promising segmentation results, the present study shows that standardized validation methodologies are crucial for ensuring the clinical viability of automatic segmentation systems.

La segmentation des volumes cibles et des organes à risque sur les images tomodensitométriques constitue une étape importante de la chaîne de traitement en radiothérapie. Les méthodes basées sur l’intelligence artificielle ont considérablement amélioré la segmentation des organes dans les images médicales. Les segmentations automatiques sont souvent évaluées à l’aide de métriques géométriques. Avant une mise en œuvre clinique dans la chaîne de traitement en radiothérapie, les segmentations automatiques doivent également être évaluées par des cliniciens. L’objectif de cette étude est d’étudier la corrélation entre les métriques géométriques utilisées pour l’évaluation de la segmentation et l’évaluation effectuée par les cliniciens.

Dans cette étude, nous avons utilisé le modèle U-Net pour segmenter le foie sur des images de tomodensitométrie provenant d’un jeu de données publiques. La performance du modèle a été évaluée à l’aide de deux métriques géométriques : le coefficient de similarité de Dice et la distance de Hausdorff. En outre, une évaluation qualitative a été réalisée par des cliniciens qui ont examiné les segmentations automatiques afin d’évaluer leur acceptabilité clinique pour une utilisation dans la chaîne de traitement en radiothérapie. La corrélation entre les métriques géométriques et les évaluations des cliniciens a été étudiée.

Les résultats ont montré que bien que le coefficient de Dice et la distance de Hausdorff soient des indicateurs fiables de l’exactitude de la segmentation, ils ne s’alignent pas toujours avec les évaluations cliniques. Dans certains cas, des segmentations avec des valeurs élevées du cœfficient de Dice, nécessitaient encore des corrections avant l’utilisation dans la chaîne de traitement en radiothérapie.

Cette étude souligne la nécessité de développer des métriques d’évaluation plus complètes, au-delà des mesures géométriques, pour évaluer l’acceptabilité clinique. Bien que le modèle d’apprentissage profond ait fourni des résultats de segmentation prometteurs, la présente étude montre que des méthodologies de validation standardisées sont cruciales pour garantir la viabilité clinique des systèmes de segmentation automatique.