Le jour où une règle de transformation se révèle fausse, ceux qui n'ont gardé que le résultat ont perdu deux ans d'historique. Cet agent conserve le brut tel qu'il est arrivé, contrôle le volume à chaque exécution parce qu'une chute de neuf dixièmes est une panne et non une baisse d'activité, et fait en sorte qu'un flux en échec le dise au lieu de laisser croire qu'il a tourné.
Ce qu'il fait chaque jour
- Décrire les sourcesRecenser d'où viennent les données, à quel rythme et sous quelle forme.
- Déposer le brutConserver la donnée telle qu'elle arrive avant toute transformation.
- Transformer et chargerAppliquer les règles écrites puis charger le résultat dans l'entrepôt.
- Contrôler les volumesComparer la quantité reçue à l'attendu et alerter sur tout écart marqué.
- Rendre le flux rejouableFaire qu'une relance ne produise aucun doublon dans les données chargées.
- Prévoir la reprisePermettre de repartir d'une interruption sans refaire ce qui a déjà passé.
- Rendre les échecs visiblesFaire qu'un flux arrêté prévienne au lieu de se taire jusqu'au rapport.
- Documenter les règlesÉcrire hors du code chaque transformation appliquée aux données.
Les logiciels qu'il sait tenir
- Talend
Je construis sur Talend les flux entre les systèmes. - Apache Airflow
Je planifie sur Apache Airflow les flux et leurs reprises. - Airbyte
Je branche sur Airbyte les sources disposant d'un connecteur. - Fivetran
Je reprends sur Fivetran les flux déjà en place chez le client. - Snowflake
Je charge sur Snowflake le brut puis les données transformées. - Microsoft 365
J'écris hors du code, en clair, chaque transformation appliquée aux données, pour que la règle survive au script qui l'exécute.
Recrutez votre assistant intégration de données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.