Labeling processes: lessons from the auto-label reviews (D-130)
- The labeler writes to its own folder (etiquettes.jsonl); labeling/auto/ only holds reviewed labels, merged by /review-auto-labels (new apply script: dated, sorted, checked). - labeling/controle.py also checks a proposed file; the labeler and reviewers run it before handing back. Reviewers keep their measurements in revue.md, never in the labels. - Reviewer instructions explicitly add their scripts, .venv/bin/python and for loops to the lire-les-donnees commands (the contradiction raised by 12 reviews). - Expert validation optional in /review-auto-labels; an expert hint given to the labeler is written in the labels it touches. Cross-review ends with the releveur. - docs/ameliorations-processus.md: 17 entries from this review, by the releveur. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
35b5ed4d74
commit
d55de98746
19 files changed
+470
-37
No files matched your search
+2
-1
@@ -1205,7 +1205,8 @@ Règles du journal :
|
||||
- **Décision** :
|
||||
- Toutes les étiquettes de `labeling/auto/` sont relues par station (`/review-auto-labels`, un analyste par station), puis par une **revue croisée** (`/cross-review-labels`, nouveau skill) : un analyste par famille compare les stations entre elles, tranche les règles où les revues par station divergeaient, trouve les étiquettes d'une autre famille ; une passe de finition reprend ce qui reste (`labeling/auto/revue-croisee/2026-11-04/`, dont `reste-a-faire.md`). Les trois plages jamais étiquetées (WILDSTRUBEL 07/09 → 01/10, NORDEND 16/08 → 01/10) sont étiquetées puis relues. Les propositions des relecteurs sont appliquées **sans validation de l'expert** (l'utilisateur, 2026-11-04) ; `revue` dit la date de la relecture.
|
||||
- **Toute la connaissance métier qui sert au labeling est dans `labeling/`** : `regles-d-etiquetage.md` (nouveau : comment poser une étiquette, la seule source de ces règles), `familles.md` (les frontières tranchées), `connaissances/` (nouveau : chaîne de mesure, colonnes des déplacements, trous, images de la caméra, cycle thermique, métriques de qualité, cas annotés, incident de Barcelone, déplacés de `docs/`), la carte des étiquettes (refaite sur les étiquettes revues, les events et les cas). L'etiqueteur et les relecteurs ne lisent plus rien d'autre ; ce qu'un event apprend entre dans la carte, `events/` reste l'archive des events et de leurs données.
|
||||
- `labeling/controle.py` contrôle les étiquettes automatiques face aux règles (champs, familles, bornes, doublons, valeurs chiffrées, heures locales, causes au conditionnel).
|
||||
- `labeling/controle.py` contrôle les étiquettes automatiques face aux règles (champs, familles, bornes, doublons, valeurs chiffrées, heures locales), sur `labeling/auto/` ou sur un fichier proposé ; l'etiqueteur et les relecteurs le lancent avant de rendre.
|
||||
- **`labeling/auto/` ne contient que des étiquettes relues** : l'etiqueteur écrit dans son dossier (`labeling/auto/etiqueteur/<STATION>_<début>/etiquettes.jsonl`), `/review-auto-labels` les verse après revue ; les relecteurs mettent leurs mesures dans leur `revue.md`, jamais dans les étiquettes.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-04 : relire sur le même lot que l'étiqueteur n'apporte pas forcément ; changer la granularité, comparer les stations entre elles ; à la fin, toutes les étiquettes « auto » validées et justes, toute leur connaissance documentée, et dans `labeling/`. Constat : les revues par station retrouvaient les mêmes défauts une à une (bornes posées sur la mesure touchée ou coupées à minuit, textes recopiés d'un jour à l'autre, mouvement thermique compensé non étiqueté, trous communs non dits communs) ; la revue croisée les a tranchés une fois pour toutes (209 étiquettes modifiées, 17 retirées, 28 ajoutées), la finition a réécrit jour par jour les textes thermiques recopiés.
|
||||
- **Options écartées** : une revue croisée par phénomène, avec un tri préalable de toutes les étiquettes (plus juste sur les familles mal rangées, mais un tri de plus ; chaque analyste de famille cherche ses phénomènes dans les autres familles par l'index) ; refaire l'étiquetage (le travail de l'étiqueteur a de la valeur) ; laisser la connaissance dans `docs/` et `events/` (l'utilisateur la veut dans `labeling/`).
|
||||
- **Conséquence** : 991 étiquettes automatiques sur 11 stations, toutes revues. Les relecteurs avaient mis leurs mesures dans les descriptions : réécrites en mots (D-103), les mesures restent dans les `revue.md`. Une autre session a relu LENZSPITZE avec les métriques de qualité pendant ce travail (D-129) ; ses changements sont gardés. Les events sont rattachés à leurs stations ; les données ont montré que PS_DES_COUDRES est JUNGFRAU (les données codées de E-001 sont celles de `data/JUNGFRAU/`, valeur pour valeur). Les contradictions entre l'expert et les étiquettes automatiques ont été vérifiées sur les données : là où elles donnaient raison à l'expert, les étiquettes sont corrigées (NORDEND, les références restantes à zéro) ; les autres sont dans la carte (section 6), à trancher par lui. Les causes non établies gardent leur nuance (« sans doute », « probable ») ; seule une conclusion qui rassure sans cause établie est interdite (l'utilisateur, 2026-11-05).
|
||||
Reference in new issue
Block a user