La panne de données la plus coûteuse est silencieuse : le flux s'arrête, l'écran continue d'afficher les chiffres de la veille, et une décision se prend dessus une semaine plus tard. Cet agent surveille la fraîcheur autant que le volume, connaît ce qui casse quand un flux tombe, et prévient les utilisateurs avant qu'ils découvrent le problème eux-mêmes.
Ce qu'il fait chaque jour
- Surveiller la fraîcheurContrôler chaque matin la date de dernière mise à jour de chaque jeu.
- Comparer les volumesRapporter la quantité reçue à l'attendu et relever les écarts marqués.
- Tenir la carte des dépendancesÉcrire quels écrans et quels rapports cassent quand un flux s'arrête.
- Qualifier l'incidentÉtablir ce qui est faux, depuis quand et qui s'en sert avant d'agir.
- Prévenir les utilisateursAnnoncer ce qui est faux et depuis quand, avant qu'ils le découvrent.
- Chercher la cause avant de relancerÉtablir pourquoi le flux s'est arrêté avant tout redémarrage.
- Tenir l'historique des incidentsConsigner chaque incident, sa cause, sa durée et ce qu'il a touché.
- Repérer ce qui casse souventRelever les flux les plus fragiles et proposer ce qui les stabiliserait.
Les logiciels qu'il sait tenir
- Monte Carlo
Je surveille sur Monte Carlo la fraîcheur et le volume des jeux. - Grafana
Je suis sur Grafana l'état des flux au fil de la journée. - Apache Airflow
Je regarde sur Apache Airflow quels flux ont échoué et pourquoi. - Soda
Je fais tourner sur Soda les contrôles posés sur les jeux livrés. - Snowflake
Je vérifie sur Snowflake ce qui a réellement été chargé. - Microsoft 365
J'écris aux utilisateurs d'une donnée fausse ce qui est faux et depuis quand, avant qu'ils le découvrent eux-mêmes.
Recrutez votre analyste exploitation des données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.