Les bases médico-administratives telles que le SNIIRAM sont des sources de données incontournables pour répondre à de nombreuses questions de recherche en santé publique. L’exploitation des données contenues dans ces bases pour constituer des cohortes nécessite des traitements complexes et chronophages. L’objectif de notre travail était de développer et de mettre à disposition un outil permettant d’optimiser la constitution de cohortes issues de bases médico-administratives.

Nous avons développé un algorithme pour extraire, transformer et intégrer différentes sources de données hétérogènes dans un entrepôt de données normalisé. Cet entrepôt est architecturé selon un schéma en étoile correspondant au modèle i2b2. Nous avons ensuite évalué les performances de cet algorithme dans le cadre d’un projet de recherche en pharmaco-épidémiologie utilisant les bases de données du SNIIRAM.

L’algorithme développé comprend un ensemble de fonctionnalités permettant la création de scripts SAS. Il permet d’intégrer des données dans un entrepôt normalisé. Dans le cadre de l’évaluation des performances de cet algorithme, nous avons pu intégrer plus de 900 000 000 de lignes provenant du SNIIRAM en moins de 3heures à l’aide d’un ordinateur de bureau. Nous avons ensuite pu sélectionner les patients de l’entrepôt ainsi obtenu avec des requêtes n’excédant pas quelques secondes.

L’algorithme présenté dans cet article permet de disposer d’un outil performant et compatible avec l’ensemble des bases de données médico-administratives, sans avoir recours à des serveurs de bases de données complexes. Cet outil permet ensuite de simplifier la constitution de cohortes issues de ces bases et, en raison de la normalisation de l’entrepôt de données, facilite le travail collaboratif entre équipes.

Administrative health databases such as the French National Heath Insurance Database – SNIIRAM – are a major tool to answer numerous public health research questions. However the use of such data requires complex and time-consuming data management. Our objective was to develop and make available a tool to optimize cohort constitution within administrative health databases.

We developed a process to extract, transform and load (ETL) data from various heterogeneous sources in a standardized data warehouse. This data warehouse is architected as a star schema corresponding to an i2b2 star schema model. We then evaluated the performance of this ETL using data from a pharmacoepidemiology research project conducted in the SNIIRAM database.

The ETL we developed comprises a set of functionalities for creating SAS scripts. Data can be integrated into a standardized data warehouse. As part of the performance assessment of this ETL, we achieved integration of a dataset from the SNIIRAM comprising more than 900 million lines in less than three hours using a desktop computer. This enables patient selection from the standardized data warehouse within seconds of the request.

The ETL described in this paper provides a tool which is effective and compatible with all administrative health databases, without requiring complex database servers. This tool should simplify cohort constitution in health databases; the standardization of warehouse data facilitates collaborative work between research teams.