Le projet
OpenDataViz est un observatoire économique dédié à l'Afrique subsaharienne. Il rassemble, complète et projette 60 indicateurs — Économie, Santé, Éducation, Infrastructure — pour les 54 pays africains, à partir de données publiques ouvertes. L'objectif : offrir une vue fiable, actualisée et transparente sur l'état et la trajectoire du continent, où chaque chiffre affiché indique clairement s'il est observé, comblé par Machine Learning ou projeté.
Méthodologie : du brut à la donnée exploitable
Cinq étapes, exécutées automatiquement chaque jour
Extraction
Appel quotidien à l'API World Bank v2 (httpx, avec reprise automatique sur erreur) pour les 60 indicateurs et les 54 pays africains, années 2000–2024.
Transformation & chargement
Nettoyage, typage et rangement dans un schéma en étoile DuckDB (pays × indicateur × année) qui garde une ligne par valeur, avec sa nature d'origine.
Imputation (Machine Learning)
Les valeurs manquantes sont comblées par pôle, avec KNN ou imputation itérative multivariée (scikit-learn) — jamais une valeur observée n'est écrasée, et chaque valeur comblée est marquée is_imputed = true.
Projection à 5 ans
Un modèle ElasticNet (régression régularisée, avec termes polynomiaux) prolonge chaque série de 5 années au-delà de la dernière donnée observée, avec un indice de confiance basé sur le R².
Contrôle qualité
Trois dimensions sont mesurées après chaque exécution : complétude, validité (bornes plausibles par indicateur) et fraîcheur — combinées en un score global sur 100.
Sources des données
- World Bank Open Data API v2 — source unique et primaire des 60 indicateurs, gratuite et sans authentification.
- Frontières et géométries : GeoJSON du continent africain (référencement ISO 3166-1 alpha-3) pour la carte choroplèthe.
- Aucune donnée n'est saisie manuellement : tout provient de l'extraction automatisée, horodatée et rejouable.
Glossaire
- Observée
- Valeur publiée telle quelle par la Banque Mondiale, sans aucune modification.
- Imputée
- Valeur manquante comblée par un modèle de Machine Learning (KNN ou imputation itérative), à partir des autres indicateurs du même pôle et des pays voisins.
- Projetée
- Valeur future (après la dernière année observée) estimée par un modèle ElasticNet, assortie d'un indice de confiance.
- Pôle
- Regroupement thématique des indicateurs : Économie, Santé, Éducation ou Infrastructure — 15 indicateurs chacun.
- Score qualité
- Note sur 100 combinant complétude, validité et fraîcheur des données, recalculée à chaque exécution du pipeline.
Trois dimensions de qualité
Part des valeurs disponibles (observées ou imputées) sur l'ensemble pays × indicateurs × années attendu.
Chaque indicateur est vérifié contre des bornes plausibles (ex : un taux ne peut dépasser 100 %).
Ancienneté de la dernière valeur observée par indicateur, par rapport à la dernière exécution du pipeline.