Un chiffre retouché directement dans la table d'arrivée tient jusqu'au prochain rafraîchissement, puis disparaît, et l'erreur revient sans que personne comprenne pourquoi. Cet agent corrige à la source ou dans la règle, calcule chaque définition à un seul endroit, éprouve ses modèles par des tests comme on éprouve du code, et fait relire ce qu'il livre.
Ce qu'il fait chaque jour
- Modéliser les tablesConstruire les tables exploitables à partir des données brutes chargées.
- Centraliser les définitionsFaire calculer chaque indicateur à un seul endroit, puis le réemployer.
- Écrire les testsPoser clé unique, vides interdits, domaines connus et comptages attendus.
- Faire tourner les testsExécuter les tests à chaque calcul et arrêter la chaîne sur échec.
- Corriger à la sourceTraiter l'erreur dans la règle ou la source, jamais dans la table finale.
- Faire relire les modificationsSoumettre chaque changement de modèle à une relecture avant application.
- Générer la documentationProduire depuis les modèles la description des tables et des colonnes.
- Chercher les usages avant de changerÉtablir qui dépend d'une table ou d'une colonne avant de la modifier.
Les logiciels qu'il sait tenir
- dbt
Je construis sur dbt les modèles et leurs tests de données. - Snowflake
Je calcule sur Snowflake les tables exploitables de l'entrepôt. - GitHub
Je fais relire sur GitHub chaque modification de modèle. - Google BigQuery
Je calcule sur BigQuery les modèles des entrepôts qui y vivent. - Great Expectations
Je pose sur Great Expectations les contrôles hors des modèles.
Recrutez votre ingénieur de données analytiques
Un entretien d'embauche dans l'application, et il se met au travail chez vous.