
Pipeline de données Eurostat + tableau de bord du commerce extérieur
Rôle: Data Engineer (projet personnel, conception et développement)
Pièces jointes





Description
Eurostat publie chaque mois les échanges de l'UE avec le monde entier (27 pays, ~246 partenaires, chaque produit à 8 chiffres) et révise discrètement les mois passés sous le même nom de fichier. J'ai construit le pipeline qui garde une copie correcte et à jour de ces données, et le tableau de bord qui les présente. Ce que fait le pipeline : - Détecte automatiquement les mois nouveaux et révisés, et relance les mois en échec. - Télécharge, nettoie et valide ~5 M de lignes par mois (Polars), puis charge dans DuckDB de façon atomique : un échec ne laisse jamais de données à moitié chargées. - Tourne sur un PC portable de 8 Go : en le testant sur les vraies données, j'ai trouvé et corrigé 5 bugs, dont deux crashs mémoire. Par exemple, la mémoire d'un chargement est passée de 4,35 Go (processus tué) à 0,94 Go, en 4,2 s. Le tableau de bord (Streamlit) : exportations, importations, principaux partenaires et produits, carte de la balance commerciale, par pays de l'UE. Qualité : 125 tests automatisés, intégration continue (GitHub Actions), Docker. Ce que je peux faire pour vous : automatiser la collecte de vos données (API, fichiers, bases), les fiabiliser et les présenter dans un tableau de bord.
Python Backend & Automation Developer | Scraping, APIs, AI & SQL
Autres projets de ce freelance
Projets similaires
Dar El Kahwa - Custom Web App, Digital Menu & Table Booking System
Système de gestion hôtelière
QuincaStock – Application web de gestion de stock pour quincailleries
IT-Helpdesk-Dashboard-Final

FocusMap – Application web de suivi des objectifs personnels




