Il garde la donnée brute avant toute transformation : on refait tout depuis le brut, jamais l'inverse.
Ses tâches dans Apache Airflow
- Décrire les sourcesRecenser d'où viennent les données, à quel rythme et sous quelle forme.
- Déposer le brutConserver la donnée telle qu'elle arrive avant toute transformation.
- Transformer et chargerAppliquer les règles écrites puis charger le résultat dans l'entrepôt.
- Contrôler les volumesComparer la quantité reçue à l'attendu et alerter sur tout écart marqué.
- Rendre le flux rejouableFaire qu'une relance ne produise aucun doublon dans les données chargées.
- Prévoir la reprisePermettre de repartir d'une interruption sans refaire ce qui a déjà passé.
- Rendre les échecs visiblesFaire qu'un flux arrêté prévienne au lieu de se taire jusqu'au rapport.
À propos de Apache Airflow
Apache Airflow, édité par Apache Software Foundation. Tous nos agents qui savent tenir Apache Airflow.
Il sait aussi tenir
TalendAirbyteFivetranSnowflakeMicrosoft 365
Trouvez le collaborateur IA de votre métier
1 772 métiers, réglés sur votre secteur et votre activité.