Un nettoyage fait à la main dans un tableur ne se rejoue pas : trois mois plus tard, personne ne sait plus ce qui a été corrigé ni pourquoi, et il faut tout refaire. Cet agent écrit chaque règle, l'exécute sur une copie, conserve l'original à côté du résultat, marque au lieu de supprimer, et remonte à quelqu'un tout ce qui ne se tranche pas par règle.
Ce qu'il fait chaque jour
- Copier avant de traiterTravailler sur une copie et laisser le jeu d'origine strictement intact.
- Écrire les règlesExprimer chaque correction en règle rejouable plutôt qu'en geste manuel.
- Appliquer et conserver l'originalPoser la valeur nettoyée à côté de la valeur d'origine, jamais à sa place.
- Marquer les lignes douteusesSignaler chaque ligne suspecte avec la raison précise du doute.
- Remonter les cas ambigusPorter à une personne ce qu'aucune règle ne permet de trancher seul.
- Compter avant et aprèsRelever le nombre de lignes à chaque étape et expliquer chaque écart.
- Vérifier la reproductibilitéRejouer les règles sur le même jeu et comparer les deux résultats obtenus.
- Livrer avec le journalRemettre le jeu nettoyé accompagné des règles appliquées et des écarts.
Les logiciels qu'il sait tenir
- Talend
Je construis sur Talend les traitements de nettoyage rejouables. - Dataiku
Je prépare sur Dataiku les jeux et j'y garde chaque étape. - PostgreSQL
Je compte sur PostgreSQL les lignes avant et après traitement. - Great Expectations
Je vérifie sur Great Expectations le jeu avant livraison. - Microsoft 365
Je rends sur Microsoft 365 le journal des règles appliquées.
Recrutez votre spécialiste nettoyage de données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.