Article

PDF
Access to the PDF text
Service d'aide à la décision clinique
Advertising


Free Article !

Annales de Dermatologie et de Vénéréologie
Volume 141, n° 8-9
pages 531-535 (août 2014)
Doi : 10.1016/j.annder.2014.06.025
Received : 27 January 2014 ;  accepted : 20 June 2014
Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS
SIGAPS: A software package for the evaluation of medical publications
 

C. Derancourt a, , P. Devos b, N. Moore c, J.-L. Rouvillain a
a Délégation à la recherche clinique et à l’innovation, CHU de Martinique, 97229 Fort-de-France cedex, Martinique 
b EA2694, délégation à la recherche clinique et à l’innovation, université de Lille II, CHRU de Lille, 59037 Lille cedex, France 
c CIC1401, CHU de Bordeaux, 33076 Bordeaux, France 

Auteur correspondant.
Résumé

Le système d’interrogation, de gestion et d’analyse des publications scientifiques SIGAPS est un outil bibliographique de conception française, innovant, qui permet le recensement et l’analyse des références bibliographiques produites par un chercheur ou une unité, à partir de la base Medline (Pubmed). Cette mesure prend en compte le rang de signature de l’auteur, ainsi que le niveau de la revue selon son facteur d’impact dans la discipline. Les limites sont celles du facteur d’impact. Les analyses produites par SIGAPS permettent une valorisation financière des établissements hospitaliers.

The full text of this article is available in PDF format.
Summary

The “système d’interrogation, de gestion et d’analyse des publications scientifiques” (System for Identification, Management and Analysis of Scientific Publications), or SIGAPS, is an innovative tool of French design that enables the identification and analysis of bibliographic references produced by a given researcher or unit using the Medline database (PubMed). This evaluation takes into account the author's rank of signature and the impact factor of the journal of publication within the discipline in question. The limits are those of the impact factor. Analyses produced by SIGAPS enable financial assessment to be made by hospitals.

The full text of this article is available in PDF format.

Mots clés : Bibliométrie, Publications, Facteur d’impact, SIGAPS, Valorisation

Keywords : Bibliometry, Publications, Impact factor, SIGAPS, Evaluation


Les activités de recherche des centres hospitalo-universitaires (CHU) ont longtemps été rémunérées de manière forfaitaire, à hauteur de 10,5 à 13 % à du budget du CHU. En 2007 est apparu en France un nouveau modèle de financement des activités de recherche et d’enseignement, le modèle « MERRI » : missions d’enseignement, de recherche, de référence et d’innovation, auxquelles sont éligibles les CHU ainsi que les établissements hospitaliers non universitaires ayant une activité de recherche importante.

Ce modèle comprend un socle fixe, une part modulable et une part variable. La part modulable a été déterminée sur la base de quatre indicateurs : publications scientifiques, essais cliniques, étudiants et brevets.

Pour le calcul de l’indicateur « Publications », le ministère de la Santé a choisi d’utiliser un logiciel de bibliométrie élaboré par le CHU de Lille en 2002 : il s’agit du système d’interrogation, de gestion et d’analyse des publications scientifiques SIGAPS [1, 2, 3] (Figure 1). Le principe de cet outil est l’automatisation du recensement et de l’analyse des références bibliographiques produites par une unité (établissement, pôle, service, individu), à partir de la base Medline (Pubmed). L’objectif principal est le recensement de la production scientifique réalisée au sein d’un établissement de manière quantitative et qualitative, en temps réel. On peut également utiliser cet outil à d’autres fins : l’analyse des collaborations ou de l’évolution de la production au cours du temps, ce qui permet de mieux connaître l’activité de recherche d’un établissement, son maillage (équipes émergentes, collaborations).



Figure 1


Figure 1. 

Exemple de feuille « SIGAPS » de validation des publications.

Zoom

Principes de fonctionnement

Le logiciel SIGAPS fonctionne à partir de l’interrogation de la base de données bibliographiques Medline, via le serveur Pubmed. Chaque chercheur est identifié par son nom de famille et l’initiale de son prénom et, à partir de ces renseignements, le logiciel va télécharger l’ensemble des publications correspondant à cette identité. Une première validation automatique est effectuée par le logiciel qui retiendra, de manière large, les publications dont l’adresse de l’auteur est celle de l’établissement, ou faisant état de collaborations avec d’autres auteurs de l’établissement, ou encore ayant un nom unique, éliminant d’emblée un certain nombre de publications intruses. Il est ensuite demandé à chaque établissement de procéder annuellement à une validation par l’auteur présumé ou à défaut une validation externe (administrateur du système) à partir de la liste de publications présélectionnées de manière automatique : le chercheur validera la publication dont il est bien l’auteur et exclura les autres. La validation par le chercheur lui-même est le garant de la meilleure fiabilité. L’auteur peut être amené à prendre contact avec les administrateurs de l’établissement en cas de désaccord, d’articles n’apparaissant pas dans la sélection automatique (articles ayant des collaborations insolites, erreurs ou changement de nom de l’auteur…).

Dans un second temps, le logiciel va permettre l’établissement d’un score pour l’établissement, le service, le chercheur. Le score, actualisé tous les ans, est basé sur le nombre et la qualité des publications, et la position de l’auteur sur chaque publication. La qualité se fondera sur le concept de facteur d’impact « relatif » au sein de la spécialité. Dans chaque discipline (au nombre de 170 environ), les revues sont classées selon leur facteur d’impact respectif en 5 groupes ABCDE, certaines revues étant non classées (NC).

Cette classification est basée sur les données du JCR : Journal Citation Reports (journal-citation-reports/).

Les catégories de A à E sont déterminées en fonction des percentiles du facteur d’impact dans la spécialité (Figure 2).



Figure 2


Figure 2. 

Catégories des revues en fonction de l’impact factor .

Zoom

Chaque catégorie est affectée d’une pondération, qui est en 2013 : 8 points pour les revues A, 6 points pour les revues B, 4 points pour les revues C, 3 points pour les revues D, 2 points pour les revues E et un point pour les revues NC.

Une seconde pondération intervient en fonction du rang de signature de l’auteur : en 2013, cette pondération est de 4 points pour le premier et le dernier auteur, 3 points pour le second auteur, 2 points pour le troisième auteur et l’avant-dernier auteur et 1 point pour les autres positions de signature.

À partir de 2008, le score SIGAPS a été calculé par multiplication de ces deux coefficients, ce qui fournit, pour chaque article, un score de 1 à 32. Par exemple, un article A en premier auteur a donc un score de 32 (8×4), un article NC en cinquième auteur (non dernier ou avant-dernier), 1 point (1×1). Le score d’une équipe ou d’un chercheur est la somme des scores de tous ses articles. Si un article contient plusieurs auteurs de la même équipe, le score retenu pour l’article correspond au score de l’auteur le mieux placé. Ainsi, une publication n’est comptabilisée qu’une fois par entité (service, pôle ou établissement). En revanche, lorsque deux personnes appartiennent par exemple à des pôles différents du CHU et participent à une même publication, cette publication est comptabilisée pour chacun des pôles, mais elle n’est comptabilisée qu’une seule fois au titre du CHU et c’est le meilleur score qui est retenu par le système. La somme des scores individuels ou des pôles est donc supérieure à la somme des scores de l’établissement. Les modalités de calcul du score SIGAPS ayant plusieurs fois évoluées, on ne peut pas comparer directement les scores d’année en année, en particulier avant et après 2008.

À titre d’exemple, dans le budget MERRI 2013 correspondant à l’export 2012 (période 2008–2011), un article dans une revue de rang A comptabilisant 32 points SIGAPS (pour le premier ou dernier auteur) correspondait à un financement de l’ordre de 24 000euros, en sachant que cette même publication sera comptabilisée pendant 4ans. Il s’agit là du score pour l’établissement. Il n’est pas possible d’appliquer ce même financement aux scores individuels, par exemple. Le problème de l’attribution des scores à tel ou tel service ou pôle dans un établissement est difficile à résoudre : faire une quote-part relative où un score est distribué sur l’ensemble des services ou retenir pour chaque article et score la personne (et donc le pôle) le mieux placé dans l’article.

Limites de l’outil

Les limites du score SIGAPS sont liées à celles du facteur d’impact (impact factor ), qui contribue à son calcul [4, 5, 6]. Le facteur d’impact d’un journal pour une année donnée est le nombre moyen de citations de chaque article publié dans ce journal par les autres journaux indexés dans le Science Citation Index (SCI) de Thomson Reuters pendant les deux années précédentes. Par exemple, un journal aura un facteur d’impact de 3 en 2013 si ses articles de 2011 et 2012 sont cités en moyenne trois fois chacun en 2013 par l’ensemble des journaux indexés dans le SCI.

Par exemple, pour la revue Annales de dermatologie , nous obtenons :
IF2012Ann Derm=Nombre de citations, en 2012, des articles parus en 2010 et 2011Nombre d'articles publiés en 2010 et 2011=196321=0,611

Le facteur d’impact pour l’évaluation des revues est reconnu de longue date mais est cependant controversé. En effet, cette classification désavantage les revues publiées dans une autre langue que l’anglais. Cependant, l’impact factor reste un système de cotation des revues qui correspond grosso modo à la hiérarchie reconnue des revues, et à la diffusion effective des résultats de la recherche. Ceci est d’autant plus vrai que dans SIGAPS l’impact factor n’est pas jugé globalement, mais par groupe de disciplines. De plus, l’impact factor est une mesure objective dont le calcul est transparent et parfaitement connu. Les revues ont bien sûr des moyens d’augmenter leur facteur l’impact, comme la publication de revues générales ou de sujets à la mode.

D’autres modes d’évaluation des revues sont en discussion, notamment à partir de la base des données SCOPUS, pour l’instant inaccessible au SIGAPS. L’utilisation d’autres indicateurs bibliométriques visant à mesurer directement l’impact des publications comme le facteur « H » devrait être intéressante [7]. Cet indice tient compte du nombre de publications d’un chercheur mais également des citations : un index « H » de 10 signifie que le chercheur à produit 10 publications citées chacune au moins 10 fois. Cet indice n’est malheureusement pas adapté aux jeunes chercheurs, est cumulatif (effet « rente ») et ne tient pas compte de la position parmi les auteurs. De plus, il favorise considérablement les disciplines à la mode à fort taux de citation par rapport aux disciplines plus confidentielles, dont à la fois l’impact factor et le nombre de citations n’atteindront pas les scores de certaines revues de médecine interne (New Engl J Med , Lancet , JAMA ) ou de disciplines telles l’immunologie, la génétique ou l’oncologie.

L’absence de correspondance entre les disciplines scientifiques de l’Institute for Scientific Information de Thomson Scientific et les sous-sections du Conseil national des universités françaises est également une limite de l’outil. Ainsi, pour les revues n’appartenant pas exclusivement à une discipline, le calcul de la catégorie SIGAPS dépend des multiples disciplines dans lesquels le journal est affecté. Ce calcul peut avoir un impact sur la catégorie finale, éventuellement non représentative de la reconnaissance de la revue par la communauté scientifique d’une discipline.

Dans un objectif purement comptable, il pourrait être plus efficace pour les auteurs de viser directement un journal facile d’accès, en français, indexé dans la base Medline, avec un article de format court (cas clinique), ce qui est en contradiction avec un objectif d’excellence de la recherche [8, 9]. C’est d’ailleurs pour cette raison qu’on est passé d’un score additif à un score multiplicatif, qui encourage la publication en bonne place dans les revues à fort impact dans sa discipline, plutôt que dans des revues confidentielles en français. Une évaluation toute récente montre qu’au CHU de Rouen, il y a de fait une corrélation inverse entre le score SIGAPS et la proportion d’articles publiés en français [10].

Les publications multicentriques sont finalement plus onéreuses pour la collectivité car chaque établissement sera financé en fonction du meilleur rang de signature de ses auteurs, ce qui amène à une réflexion sur la distribution des places dans les rangs de signatures.

Enfin, dans son utilisation actuelle en France, la valorisation des publications n’est effective que pour les établissements de santé ayant accès à la valorisation MERRI variable, c’est-à-dire les CHU et quelques établissements hospitaliers non universitaires, cette valorisation étant conditionnée par un seuil minimal de production, de 200 000euros en 2012, revu annuellement. Ces notions de seuil, relevant d’une politique nationale et d’une volonté de ne pas « saupoudrer » l’argent de la recherche, pourraient être sujettes à discussion, pour ce point précis de financement d’aval de la recherche, sur résultats.

Malgré ces limites, l’outil SIGAPS représente un outil original d’estimation de la production de publications indexées Medline, de conception française, de bonne reproductibilité [11], aux applications nombreuses. Il a notamment été adopté par la grande majorité des sous-sections du Conseil national des universités françaises dans l’évaluation des candidats aux fonctions de professeur des universités, et il est utilisé dans des évaluations d’ensemble d’hôpitaux ou de spécialités [12, 13, 14]. Il reste cependant dans ces cas à bien définir la période d’application : un score SIGAPS ne peut s’interpréter qu’accompagné de la période sur laquelle il a été calculé. Pour les chercheurs, plus qu’un score cumulé ou absolu, ce sera probablement la variation au cours du temps de ce score qui donnera la meilleure vision de l’activité de recherche passée, lorsque le mode de calcul du score sera stabilisé.

Déclaration d’intérêts

Les auteurs n’ont pas transmis de déclaration de conflits d’intérêts.

Références

Devos P., Dufresne E., Renard J.M., Beuscart R. SIGAPS: a prototype of bibliographic tool for medical research evaluation Stud Health Technol Inform 2003 ;  95 : 721-726
Devos P., Lefranc H., Dufresne E., Beuscart R. From bibliometric analysis to research policy: the use of SIGAPS in Lille University Hospital Stud Health Technol Inform 2006 ;  124 : 543-548
Devos P. De la bibliométrie au financement : le logiciel SIGAPS J Neuroradiol 2008 ;  35 : 31-33 [inter-ref]
Seglen P.O. Why the impact factor of journals should not be used for evaluating research Br Med J 1997 ;  314 : 497
Brown H. How impact factors changed medical publishing-and science Br Med J 2007 ;  334 : 561-564 [cross-ref]
Saha S., Saint S., Christakis D.A. Impact factor: a valid measure of journal quality? J Med Libr Assoc 2003 ;  91 : 42-46
Hirsch J.E. An index to quantify an individual's scientific research output Proc Natl Acad Sci U S A 2005 ;  102 : 16569-16572 [cross-ref]
Mancini J., Darmoni S., Chaudet H., Fieschi M. The paradox of bibliometric activity-based funding (T2A) SIGAPS: a risk of deleterious effects on French hospital research? Presse Med 2009 ;  38 : 174-176 [cross-ref]
Sabourin J.C., Darmoni S. Avec le score SIGAPS : c’est le moment de publier dans les Annales de Pathologie Ann Pathol 2008 ;  28 : 77-78 [inter-ref]
Griffon N., Devos P., Gehanno J.F., Darmoni S.J. Existe-t-il une corrélation entre le score SIGAPS et les publications en français ? Presse Med 2012 ;  41 : e432-e435
Darmoni S.J., Ladner J., Devos P., Gehanno J.F. Robustesse du score SIGAPS, critère bibliométrique pour valoriser les publications des établissements de santé Presse Med 2009 ;  38 : 1056-1061 [inter-ref]
Lefèvre J.H., Faron M., Drouin S.J., Glanard A., Chartier-Kastler E., Parc Y., and al. Évaluation comparative et objective de la production scientifique des services hospitaliers au sein de l’Assistance Publique–Hôpitaux de Paris : analyse des scores SIGAPS Rev Med Interne 2013 ;  34 : 342-348
Ruffion A., Descotes J.L., Kleinclauss F., Zerbib M., Dore B., Saussine C., and al. Is SIGAPS score a good evaluation criteria for university departments? Prog Urol 2012 ;  22 : 195-196 [cross-ref]
Rouprêt M., Drouin S.J., Faron M., Glanard A., Bitker M.O., Richard F., and al. Analysis of the bibliometrics score of surgical department from the academic hospitals of Paris: what is the rank of urology? Prog Urol 2012 ;  22 : 182-188



© 2014  Elsevier Masson SAS. All Rights Reserved.
EM-CONSULTE.COM is registrered at the CNIL, déclaration n° 1286925.
As per the Law relating to information storage and personal integrity, you have the right to oppose (art 26 of that law), access (art 34 of that law) and rectify (art 36 of that law) your personal data. You may thus request that your data, should it be inaccurate, incomplete, unclear, outdated, not be used or stored, be corrected, clarified, updated or deleted.
Personal information regarding our website's visitors, including their identity, is confidential.
The owners of this website hereby guarantee to respect the legal confidentiality conditions, applicable in France, and not to disclose this data to third parties.
Close
Article Outline