Assessing the applicability and appropriateness of ChatGPT in answering clinical pharmacy questions - 17/04/24
Évaluation de l’applicabilité et de la pertinence de ChatGPT dans la réponse aux questions de pharmacie clinique
Highlights |
• | AI models like ChatGPT might facilitate responses to clinical pharmacy inquiries, potentially enhancing healthcare professionals’ efficiency. |
• | The results highlight the risks of solely relying on AI for healthcare decisions, emphasizing the ongoing need for human expertise and critical thinking in patient care. |
• | The findings underline the necessity for continuous updates and refinements of AI tools, which could improve accuracy and contribute to safer and more informed clinical practices. |
Summary |
Objectives |
Clinical pharmacists rely on different scientific references to ensure appropriate, safe, and cost-effective drug use. Tools based on artificial intelligence (AI) such as ChatGPT (Generative Pre-trained Transformer) could offer valuable support. The objective of this study was to assess ChatGPT's capacity to correctly respond to clinical pharmacy questions asked by healthcare professionals in our university hospital.
Material and methods |
ChatGPT's capacity to respond correctly to the last 100 consecutive questions recorded in our clinical pharmacy database was assessed. Questions were copied from our FileMaker Pro database and pasted into ChatGPT March 14 version online platform. The generated answers were then copied verbatim into an Excel file. Two blinded clinical pharmacists reviewed all the questions and the answers given by the software. In case of disagreements, a third blinded pharmacist intervened to decide.
Results |
Documentation-related issues (n=36) and drug administration mode (n=30) were preponderantly recorded. Among 69 applicable questions, the rate of correct answers varied from 30 to 57.1% depending on questions type with a global rate of 44.9%. Regarding inappropriate answers (n=38), 20 were incorrect, 18 gave no answers and 8 were incomplete with 8 answers belonging to 2 different categories. No better answers than the pharmacists were observed.
Conclusions |
ChatGPT demonstrated a mitigated performance in answering clinical pharmacy questions. It should not replace human expertise as a high rate of inappropriate answers was highlighted. Future studies should focus on the optimization of ChatGPT for specific clinical pharmacy questions and explore the potential benefits and limitations of integrating this technology into clinical practice.
Le texte complet de cet article est disponible en PDF.Résumé |
Objectifs |
Les pharmaciens cliniciens se basent sur différentes sources scientifiques pour garantir une utilisation appropriée, sûre et économique des médicaments. Les outils basés sur l’intelligence artificielle (IA) pourraient offrir un soutien précieux. L’objectif de cette étude était d’évaluer la capacité de ChatGPT (Generative Pre-trained Transformer) à répondre correctement aux questions de pharmacie clinique posées par les professionnels de la santé dans notre hôpital.
Méthodes |
La capacité de ChatGPT à répondre correctement aux 100 dernières questions enregistrées dans notre base de données de pharmacie clinique a été évaluée. Les questions ont été copiées depuis notre base de données FileMaker Pro et collées dans la plateforme en ligne de la version ChatGPT du 14 mars. Les réponses ont ensuite été copiées textuellement dans un fichier Excel. Les réponses ont été examinées par deux pharmaciens cliniciens, et un troisième, en cas de désaccord.
Résultats |
Les problèmes liés à la documentation (n=36) et au mode d’administration des médicaments (n=30) ont été principalement enregistrés. Le taux de réponses correctes variait (30 à 57,1 %) selon le type de question, avec un taux global de 44,9 %. Parmi les réponses inappropriées (n=38), 20 étaient incorrectes, 18 n’ont donné aucune réponse et 8 étaient incomplètes.
Conclusions |
ChatGPT a démontré une performance mitigée dans la réponse aux questions de pharmacie clinique. Il ne devrait pas remplacer l’expertise humaine en raison d’un taux élevé de réponses inappropriées. Les futures études devraient optimiser ChatGPT pour des questions spécifiques de pharmacie clinique et explorer son intégration potentielle dans la pratique clinique.
Le texte complet de cet article est disponible en PDF.Keywords : Artificial intelligence, Large language models, ChatGPT, Clinical pharmacy, Healthcare professionals’ issues
Mots clés : Intelligence artificielle, Grands modèles de langage, ChatGPT, Pharmacie clinique, Questions fréquentes des professionnels de la santé
Abbreviations : ADR, AI, CDSS, ChatGPT, EBM, LLM, NLP, RLHF/RLHP, USMLE
Plan
Vol 82 - N° 3
P. 507-513 - mai 2024 Retour au numéro
Article précédent
- A new rolling forecasting framework using Microsoft Power BI for data visualization: A case study in a pharmaceutical industry
- Mariem Belghith, Hanen Ben Ammar, Abdelkarim Elloumi, Wafik Hachicha
- ANTIFON-CLIC®, a new clinical decision support system for the treatment of invasive aspergillosis: is it clinically relevant?
- A.-L. Bienvenu, V. Leray, C. Guichon, S. Bourget, C. Chapuis, A. Duréault, P. Pavese, S. Roux, E. Kahale, W. Chaabane, F. Subtil, D. Maucort-Boulch, F. Talbot, X. Dode, H. Ghesquières, G. Leboucher
Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.
Déjà abonné à cette revue ?