CHU Data Platform
Une plateforme de données pour centraliser, transformer et explorer l'activité hospitalière.
Contexte du projet
Ce cas d'étude mené au CESI part d'un besoin d'analyse pour un groupe CHU : rapprocher des données issues des systèmes hospitaliers et de sources publiques. Patients, consultations, hospitalisations, établissements et données de santé doivent pouvoir être exploités dans un même modèle décisionnel.
La plateforme couvre toute la chaîne, de l'ingestion des sources à la mise à disposition d'indicateurs pour les professionnels de santé et la direction.
Architecture de la plateforme
Talend Open Studio orchestre l'extraction depuis une base de données et des fichiers CSV. Les flux appliquent les premières opérations techniques, notamment l'harmonisation des noms et des formats et la pseudonymisation prévue par le projet, avant le dépôt des fichiers dans HDFS.
Ce data lake conserve les fichiers dans une arborescence par couche, source, activité et flux. Hive expose ensuite ces données sous forme de tables, exécute les transformations SQL et alimente l'entrepôt décisionnel. Enfin, Power BI accède aux données préparées par le connecteur Hive ODBC.
Organisation en trois couches
L'organisation suit une architecture en médaillon adaptée au projet. Chaque couche a une fonction précise et sert de point de départ à la suivante :
- RAW : les données intégrées restent proches des sources, après les premières opérations techniques. Les fichiers déposés dans HDFS sont exposés à Hive pour leur lecture.
- REFINED : les données sont nettoyées, typées, harmonisées et contrôlées. Cette couche fournit une version cohérente des différentes sources.
- DWH : les données sont réunies dans des tables de faits et de dimensions pour répondre aux besoins d'analyse et alimenter les indicateurs.
Modélisation et optimisation
Les traitements SQL relient les couches RAW et REFINED, puis construisent le modèle décisionnel à partir des données préparées. Les tables de faits portent notamment les événements à analyser, tandis que les dimensions apportent les axes de lecture : période, établissement, diagnostic ou profil des patients.
Le stockage en ORC limite les colonnes à lire et compresse les données. Le partitionnement permet de cibler les portions utiles d'une table ; le bucketing organise la répartition des lignes selon une clé. Leur intérêt dépend des requêtes et des filtres réellement utilisés.
La soutenance présente 6 sources intégrées, 15 jobs Talend et 11 scripts SQL. L'automatisation des traitements et le suivi de la qualité des données font partie des pistes d'évolution identifiées.
Visualisation des données
Power BI constitue la dernière étape de la chaîne. Le rapport interroge les tables préparées dans Hive via ODBC. Ses trois vues permettent d'explorer les données selon la période, l'établissement, le professionnel, la spécialité ou le diagnostic.
Vue d'ensemble
Les indicateurs de volume, leur évolution mensuelle et les établissements les plus actifs donnent un premier aperçu de l'activité.
Activité
Cette vue ajoute des filtres métier et détaille les consultations par diagnostic, professionnel de santé et spécialité.
Statistiques
La dernière vue compare les consultations et hospitalisations par tranche d'âge et par sexe, et présente les décès par région.