Pipeline de données Eurostat + tableau de bord du commerce extérieur

Pipeline de données Eurostat + tableau de bord du commerce extérieur

web-development

Rôle: Data Engineer (projet personnel, conception et développement)

Pipeline Dagster qui maintient à jour, sans intervention, les données officielles du commerce extérieur de l'UE (Eurostat, ~5 M de lignes par mois) : détection des mois nouveaux et révisés, relance automatique des échecs, chargements atomiques dans DuckDB. Testé sur les vraies données, j'ai corrigé 5 bugs, dont deux crashs mémoire (4,35 Go → 0,94 Go par chargement). Tableau de bord Streamlit en ligne : eu-trade-explorer.streamlit.app. 125 tests, CI, Docker.
PythonSQLStreamlitDockerGitHub Actions

Pièces jointes

Slide 1
Slide 2
Slide 3
Slide 4
Slide 5

Description

Eurostat publie chaque mois les échanges de l'UE avec le monde entier (27 pays, ~246 partenaires, chaque produit à 8 chiffres) et révise discrètement les mois passés sous le même nom de fichier. J'ai construit le pipeline qui garde une copie correcte et à jour de ces données, et le tableau de bord qui les présente. Ce que fait le pipeline : - Détecte automatiquement les mois nouveaux et révisés, et relance les mois en échec. - Télécharge, nettoie et valide ~5 M de lignes par mois (Polars), puis charge dans DuckDB de façon atomique : un échec ne laisse jamais de données à moitié chargées. - Tourne sur un PC portable de 8 Go : en le testant sur les vraies données, j'ai trouvé et corrigé 5 bugs, dont deux crashs mémoire. Par exemple, la mémoire d'un chargement est passée de 4,35 Go (processus tué) à 0,94 Go, en 4,2 s. Le tableau de bord (Streamlit) : exportations, importations, principaux partenaires et produits, carte de la balance commerciale, par pays de l'UE. Qualité : 125 tests automatisés, intégration continue (GitHub Actions), Docker. Ce que je peux faire pour vous : automatiser la collecte de vos données (API, fichiers, bases), les fiabiliser et les présenter dans un tableau de bord.

M
Mohamed Amine B.

Python Backend & Automation Developer | Scraping, APIs, AI & SQL

Voir le profil du freelance

Autres projets de ce freelance

Projets similaires

Explorer d'autres services