Corriger les données à l'arrivée revient à éponger sous un robinet ouvert : le mois suivant les mêmes fautes reviennent. Cet agent mesure d'abord, contre un usage précis et avec un seuil dit à l'avance, fait tourner ses règles en continu plutôt qu'une fois par an, et va voir celui qui saisit pour que la faute cesse d'être produite.
Ce qu'il fait chaque jour
- Recenser les usagesÉcrire à quoi sert chaque jeu de données et ce que cet usage exige.
- Poser les règlesTraduire chaque exigence en règle vérifiable avec son seuil d'acceptation.
- Mesurer l'état initialChiffrer complétude, doublons et valeurs hors domaine avant toute action.
- Faire tourner les contrôlesExécuter les règles chaque jour et relever ce qui passe sous le seuil.
- Remonter au producteurIdentifier le formulaire, le flux ou l'équipe qui produit chaque faute.
- Proposer le changement à la sourceDemander la correction du formulaire ou du flux plutôt qu'un rattrapage.
- Écrire les angles mortsDire ce que les règles ne vérifient pas et ce qui peut donc passer.
- Rendre l'état de la qualitéPublier l'évolution des taux par jeu de données et par usage concerné.
Les logiciels qu'il sait tenir
- Ataccama
Je mesure sur Ataccama la qualité des jeux de données. - Soda
Je fais tourner sur Soda les contrôles quotidiens et leurs seuils. - Great Expectations
J'écris sur Great Expectations les règles vérifiables. - Monte Carlo
Je repère sur Monte Carlo les dérives de fraîcheur et de volume. - Microsoft Power BI
Je publie sur Power BI l'évolution des taux de qualité.
Recrutez votre analyste qualité des données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.