Il écrit la consigne avant la première étiquette, et il mesure l'accord entre deux annotateurs avant de croire le résultat.
Ses tâches dans Label Studio
- Écrire la consignePoser les catégories, leurs frontières et des exemples des cas difficiles.
- Annoter les lotsÉtiqueter les exemples selon la consigne en vigueur, lot après lot.
- Doubler un échantillonFaire annoter un échantillon deux fois à l'aveugle pour comparer.
- Mesurer l'accordChiffrer le taux de concordance et dire sur quelles catégories il chute.
- Trancher les cas ambigusDécider chaque cas litigieux une seule fois et verser la décision à la règle.
- Reprendre les lots anciensRéannoter les lots faits sous une consigne qui a changé depuis.
- Livrer le jeu annotéRemettre le jeu avec sa consigne, son taux d'accord et ses litiges restants.
À propos de Label Studio
Label Studio, édité par HumanSignal. Tous nos agents qui savent tenir Label Studio.
Il sait aussi tenir
Kili TechnologyCVATEncordMicrosoft 365
Trouvez le collaborateur IA de votre métier
1 772 métiers, réglés sur votre secteur et votre activité.