Commercial vendors have created artificial intelligence (AI) tools for use in all aspects of life and medicine, including radiation oncology. AI innovations will likely disrupt workflows in the field of radiation oncology. However, limited data exist on using AI-based chatbots about the quality of radiation oncology information. This study aims to assess the accuracy of ChatGPT, an AI-based chatbot, in answering patients’ questions during their first visit to the radiation oncology outpatient department and test knowledge of ChatGPT in radiation oncology.

Expert opinion was formulated using a set of ten standard questions of patients encountered in outpatient department practice. A blinded expert opinion was taken for the ten questions on common queries of patients in outpatient department visits, and the same questions were evaluated on ChatGPT version 3.5 (ChatGPT 3.5). The answers by expert and ChatGPT were independently evaluated for accuracy by three scientific reviewers. Additionally, a comparison was made for the extent of similarity of answers between ChatGPT and experts by a response scoring for each answer. Word count and Flesch-Kincaid readability score and grade were done for the responses obtained from expert and ChatGPT. A comparison of the answers of ChatGPT and expert was done with a Likert scale. As a second component of the study, we tested the technical knowledge of ChatGPT. Ten multiple choice questions were framed with increasing order of difficulty – basic, intermediate and advanced, and the responses were evaluated on ChatGPT. Statistical testing was done using SPSS version 27.

After expert review, the accuracy of expert opinion was 100%, and ChatGPT's was 80% (8/10) for regular questions encountered in outpatient department visits. A noticeable difference was observed in word count and readability of answers from expert opinion or ChatGPT. Of the ten multiple-choice questions for assessment of radiation oncology database, ChatGPT had an accuracy rate of 90% (9 out of 10). One answer to a basic-level question was incorrect, whereas all answers to intermediate and difficult-level questions were correct.

ChatGPT provides reasonably accurate information about routine questions encountered in the first outpatient department visit of the patient and also demonstrated a sound knowledge of the subject. The result of our study can inform the future development of educational tools in radiation oncology and may have implications in other medical fields. This is the first study that provides essential insight into the potentially positive capabilities of two components of ChatGPT: firstly, ChatGPT's response to common queries of patients at OPD visits, and secondly, the assessment of the radiation oncology knowledge base of ChatGPT.

Les fournisseurs commerciaux ont créé des outils d’intelligence artificielle pour une utilisation dans tous les aspects de la vie et de la médecine, y compris l’oncologie radiothérapique. Les innovations en matière d’intelligence artificielle (IA) bouleverseront probablement les flux de travail dans le domaine de l’oncologie radiothérapique. Cependant, il existe peu de données sur l’utilisation de chatbots basés sur l’IA sur la qualité des informations en oncologie radiothérapique. Cette étude vise à évaluer la précision de ChatGPT, un chatbot basé sur l’IA, pour répondre aux questions des patients lors de leur première visite en oncologie radiothérapique.

L’avis d’expert a été formulé à partir d’un ensemble de dix questions types de patients rencontrées dans la pratique de l’oncologie radiothérapique. Un avis d’expert en aveugle a été pris pour les dix questions sur les requêtes courantes des patients lors des visites en oncologie radiothérapique, et les mêmes questions ont été évaluées sur ChatGPT version 3.5 (ChatGPT 3.5). Les réponses des experts et de ChatGPT ont été évaluées indépendamment par trois examinateurs scientifiques. En outre, une comparaison a été faite pour l’étendue de la similitude des réponses entre ChatGPT et les experts par une notation de chaque réponse. Le comptage des mots et le score de lisibilité et la note de Flesch-Kincaid ont été effectués pour les réponses obtenues auprès d’experts et de ChatGPT. Une comparaison des réponses de ChatGPT et d’expert a été effectuée à l’aide d’une échelle de Likert. Dans un deuxième volet de l’étude, nous avons testé les connaissances techniques de ChatGPT. Dix questions à choix multiples (QCM) ont été soumises par ordre croissant de difficulté : basique, intermédiaire et avancé, et les réponses ont été évaluées sur ChatGPT. Les tests statistiques ont été effectués à l’aide de la version 27 de SPSS.

Après examen par des experts, la précision de l’opinion des experts était de 100 %, et celle de ChatGPT de 80 % (8 sur 10) pour les questions régulières posées lors des visites en oncologie radiothérapique ; une différence notable a été observée dans le nombre de mots et la lisibilité des réponses provenant d’opinions d’experts ou de ChatGPT. Par ailleurs, sur les dix QCM pour l’évaluation de la base de données d’oncologie radiothérapique, ChatGPT avait un taux de précision de 90 % (9 sur 10). Une réponse à une question de niveau de base était incorrecte, alors que toutes les réponses aux questions de niveau intermédiaire et difficile étaient correctes.

ChatGPT fournit des informations raisonnablement précises sur les questionnaires de routine rencontrés lors de la première visite en oncologie radiothérapique du patient et a également démontré une bonne connaissance du sujet. Les résultats de notre étude peuvent éclairer le développement futur d’outils éducatifs en oncologie radiothérapique et avoir des implications dans d’autres domaines médicaux. Il s’agit de la première étude fournissant des informations essentielles sur les capacités potentiellement positives de deux composants de ChatGPT : premièrement, la réponse de ChatGPT aux questions courantes des patients lors des visites en oncologie radiothérapique, et deuxièmement, l’évaluation de la base de connaissances en oncologie radiothérapique de ChatGPT.