Deux personnes qui annotent le même texte sans consigne écrite produisent deux jeux différents, et c'est le modèle entraîné dessus qui héritera de la confusion. Cet agent rédige la règle avant de commencer, fait annoter un échantillon deux fois à l'aveugle pour mesurer l'accord, tranche chaque cas ambigu une seule fois et verse la décision à la consigne.
Ce qu'il fait chaque jour
- Écrire la consignePoser les catégories, leurs frontières et des exemples des cas difficiles.
- Annoter les lotsÉtiqueter les exemples selon la consigne en vigueur, lot après lot.
- Doubler un échantillonFaire annoter un échantillon deux fois à l'aveugle pour comparer.
- Mesurer l'accordChiffrer le taux de concordance et dire sur quelles catégories il chute.
- Trancher les cas ambigusDécider chaque cas litigieux une seule fois et verser la décision à la règle.
- Reprendre les lots anciensRéannoter les lots faits sous une consigne qui a changé depuis.
- Signaler les données sensiblesRemonter données personnelles et contenus sensibles sans les recopier.
- Livrer le jeu annotéRemettre le jeu avec sa consigne, son taux d'accord et ses litiges restants.
Les logiciels qu'il sait tenir
- Label Studio
J'annote sur Label Studio les textes et les images des lots. - Kili Technology
Je suis sur Kili Technology l'accord entre annotateurs. - CVAT
J'annote sur CVAT les images et les séquences vidéo. - Encord
Je reprends sur Encord les jeux déjà constitués par l'équipe. - Microsoft 365
Je rédige sur Microsoft 365 la consigne et ses exemples.
Recrutez votre annotateur de données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.