Extraction de données d’articles scientifiques pharmaceutiques par intelligence artificielle : évaluation de la conformité des réponses de ChatGPT 4.0 avec l’extraction humaine - 07/12/25
Data extraction from pharmaceutical scientific articles using artificial intelligence: Comparing the use of ChatGPT 4.0 to human extraction
, Marie-Lili Hafizin 1, Victor El-Jammal 1, Célia Morel 1, Lisa Leca 1, Maxime Bergeron 2, Jean-François Bussières 1, 3Riassunto |
Points essentiels |
• | L’utilisation de l’intelligence artificielle en santé ne cesse de croître et est de plus en plus décrite dans la littérature scientifique. |
• | Dans le cadre de la formation continue, de la recherche de données en vue de publication, ou de résolution de questionnements dans la pratique professionnelle, pharmaciens et étudiants en pharmacie sont amenés à augmenter leur volume de lecture critique d’articles. |
• | ChatGPT4.0 est capable d’extraire des données d’articles scientifiques pharmaceutiques. |
• | Les informations fournies sont susceptibles d’être incomplètes, voire erronées, ce qui ne permet pas une autonomie complète de l’IA et rend indispensable une vérification par un esprit critique humain. |
Résumé |
Introduction |
L’intelligence artificielle (IA) est notamment utilisée pour automatiser l’extraction de données, avec l’aide d’agents conversationnels tels que ChatGPT. Il reste à évaluer si ces outils peuvent extraire des données d’articles scientifiques avec une précision comparable à celle des humains dans le domaine pharmaceutique. L’objectif est d’évaluer la conformité des données extraites par ChatGPT 4.0 en comparaison avec celles extraites par des étudiants en pharmacie, dans le cadre de la mise à jour de la plateforme impactpharmacie.org.
Matériel et méthodes |
Cent articles pharmaceutiques ont été analysés. ChatGPT 4.0 a été programmé par un prompt et a été interrogé par 18 questions pour chaque article afin d’en extraire les données ciblées. Elles ont ensuite été comparées à celles préalablement validées et intégrées dans la plateforme par cinq étudiants en pharmacie. La conformité a été évaluée sur 23 critères incluant la description du type d’étude, les limites, l’intervention pharmaceutique et ce selon trois niveaux : conforme, partiellement conforme et non conforme. Le nombre et la nature des hallucinations ont également été relevés.
Résultats |
La conformité des données extraites par ChatGPT comparées à celles des étudiants a atteint 77 ± 19 % en moyenne. Cependant, des hallucinations d’IA ont été relevées dans 23 des 100 articles, et 30 % des paramètres ( outcomes) ( n = 138/449) étaient absents de l’extraction. Une analyse complémentaire a été effectuée pour six revues systématiques et cinq méta-analyses.
Discussion |
ChatGPT 4.0 est un outil prometteur pour extraire des données de la littérature scientifique pharmaceutique, mais une validation humaine reste nécessaire.
Il testo completo di questo articolo è disponibile in PDF.Summary |
Introduction |
Generative Artificial Intelligence (AI), particularly conversational agents like ChatGPT, can be used to automate data extraction. However, it remains to be determined if these tools can extract scientific data with accuracy comparable to humans, especially in the field of pharmacy. Objective was to assess the compliance rate of data extracted by ChatGPT 4.0 compared to Impact Pharmacie entries.
Materials and methods |
This is a descriptive comparative study. A random selection of 100 articles entered on Impact Pharmacie in 2024 was identified. ChatGPT 4.0 was programmed with a prompt and queried with 18 questions per article to extract targeted data. The responses were compared to data previously entered into the Impact Pharmacie platform by pharmacy students following a standardized operating procedure. Compliance was assessed across 23 criteria (e.g., study type description, pharmaceutical intervention description, limitations) and categorized into three levels: compliant, partially compliant, and non-compliant. The number and nature of AI hallucinations were also recorded.
Results |
The compliance rate of data extracted by ChatGPT compared to student-entered data averaged 77 ± 19%. However, AI hallucinations were observed in 23 out of 100 articles, and 30% of parameters ( n = 138/449) were missing from the extraction.
Discussion |
ChatGPT 4.0 is a promising tool to support data extraction from pharmaceutical scientific literature, but human validation remains essential to ensure the accuracy of the information.
Il testo completo di questo articolo è disponibile in PDF.Mots clés : Agents conversationnels, Extraction données, Intelligence artificielle, Pharmacie
Keywords : Conversational agents, Data extraction, Generative artificial intelligence, Pharmacy
Mappa
Vol 60 - N° 4
P. 394-401 - dicembre 2025 Ritorno al numero
Articolo precedente
- Entretien pharmaceutique sur les anticoagulants : de la prévention à l’accompagnement en officine
- Pierre Delvincourt, Sarah Le Tohic, Sophie Spadoni, Sandrine Nguyen
- Prevalence of drug-related problems in post-intensive care inpatients
- Sébastien André, Anne-Françoise Rousseau, Laurence Seidel, Adelin Albert, Benoît Misset, Manon Kokou, Manon Gillet
Benvenuto su EM|consulte, il riferimento dei professionisti della salute.
L'accesso al testo integrale di questo articolo richiede un abbonamento.
Già abbonato a @@106933@@ rivista ?