Label-reviewer: an agent checks the expert's labels against the data and asks before any change (D-101); labels as the knowledge base, validated events get theirs (D-100)

The labeling tool now accepts event folders (Add, Save), and a Save of a label's text drops its "revue" mark.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 09:35:28 +01:00
1 parent d1fd7f6bdd
commit 713bb80aa3
7 files changed
+113 -7

No files matched your search

@@ -126,6 +126,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur |
| 70 | Des étiquettes proposées par l'analyste, vérifiées par l'expert | Décider, Coder | 48, 68, 69 | 2026-11-02 : les étiquettes d'abord, base de connaissance (D-100) ; étiquettes des events validés en cours |
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
@@ -1696,6 +1697,30 @@ Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux
**Ajout de l'utilisateur (2026-11-02), qui remplace la validation une à une.** Ce que l'analyste apprend doit être documenté. Il pose ses questions à l'expert tant qu'il n'a pas compris (au plus trois tours) ; quand il a tout compris, il passe ses conclusions à un agent nouveau, le `documentaliste` (`.claude/agents/documentaliste.md`), dont le rôle est de maintenir la documentation du projet : il les place (chaîne de mesure, carte, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source. L'utilisateur relit le diff avant le commit.
- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill.
### Point 70 : Des étiquettes proposées par l'analyste, vérifiées par l'expert
**Idée de l'utilisateur (2026-11-02).** Un analyste écrit des étiquettes, l'utilisateur les vérifie à la main ; crainte : trop d'étiquettes, qui noient l'agent. Précision de l'utilisateur, le même jour : deux buts, faire progresser l'agent d'analyse, et optimiser les détecteurs sur une multitude d'étiquettes. Les events restent à part (pas de conversion de `events/` en étiquettes).
**Avis de Claude : deux buts, deux sortes d'étiquettes.**
| | 1. Faire progresser l'analyste | 2. Optimiser les détecteurs |
|---|---|---|
| Qui les lit | un agent (`/labels-learner`) | un script (`score.py`, comme `benchmark.py`) |
| Combien | peu : ce dont l'analyste doute | beaucoup : des lots entiers |
| Forme | texte libre, `labeling/<STATION>.jsonl` (D-098) | catégorie, capteurs, plage, période couverte en entier, format `etiquettes.json` (D-061) |
| Ce que vérifie l'expert | il réécrit avec ses mots | il corrige catégorie et bornes, lot par lot |
| Le risque | le cercle : une étiquette de l'analyste lui rend ce qu'il sait déjà ; ses propositions à part (`labeling/propositions/`), jamais lues par `/labels-learner` | la vérification à la main, longue sur des lots denses |
- **Noyer l'agent** ne vaut que pour le but 1, et `/labels-learner` en retient 5 par phénomène. Pour le but 2, c'est un script qui lit : le nombre ne coûte rien, il en faut beaucoup, et sur des périodes couvertes en entier, pour qu'un instant sans étiquette veuille dire « rien vu » (ce que les étiquettes libres ne disent pas, D-098).
- **Le but 2 existe à moitié** : l'analyste étiquette déjà chaque lot de `/events-learner` (`etiquettes.json`), le `detectors-critic` s'y mesure, et le benchmark sur les events (D-069) a des étiquettes figées, dont celles de E-001 à E-005 sont encore à relire (point 48). Manque : garder les étiquettes des lots, les faire vérifier, et un benchmark qui les lit toutes.
- Questions : pour le but 2, comment vérifier vite un lot dense (la page Status avec les étiquettes, ou un tableau à cocher) ? Combien de lots vérifiés avant de régler les détecteurs dessus, et lesquels garder hors réglage pour mesurer ? Pour le but 1, un fichier à part ou un champ `auteur` ?
**Décision de l'utilisateur (2026-11-02, D-100).** D'abord les étiquettes faites à la main : c'est la base de connaissance la plus fondamentale (des plages, le diagnostic et la classification de l'expert) ; le travail de l'analyste est de refaire cette classification sur des plages ; avec assez d'étiquettes, on pourra penser à l'apprentissage automatique. Les events sont gardés, et les validés ont aussi leurs étiquettes dans `labeling/E-xxx.jsonl`, écrites par un agent d'après leur fiche.
- [ ] Les étiquettes de E-001 à E-011 (validés), par un agent ; relecture par l'utilisateur.
- [ ] E-012 à E-014 après `/review-event` ; puis brancher l'étiquette dans `/new-event` et `/review-event`, pour chaque event validé plus tard.
- [ ] Le but 2 (les détecteurs) et les propositions de l'analyste : plus tard.
- [x] Un vérificateur des étiquettes de l'utilisateur, l'agent `label-reviewer` (D-101) : il pointe les incohérences et pose ses questions ; construit le 2026-11-02, premier essai à faire.
---
## Annexe A — Les rapports des agents du 2026-10-23, résumés
@@ -1888,3 +1913,7 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-11-02 : point 69, l'utilisateur : pas de lecture à l'aveugle, le texte des étiquettes suffit (pas de fiche de station) ; processus simplifié en un passage par phénomène, à approuver.
- 2026-11-02 : point 69, `/labels-learner` construit sur le processus simplifié (D-099) ; reste le premier essai, sur la perte de référence (5 étiquettes, JUNGFRAU et NORDEND), lancé par l'utilisateur.
- 2026-11-02 : point 69, demande de l'utilisateur : l'analyste pose ses questions jusqu'à avoir compris, puis passe ses conclusions à un agent nouveau, le `documentaliste`, qui maintient la documentation ; skill, consigne de l'analyste, D-099, `run.md` et `CLAUDE.md` revus.
- 2026-11-02 : point 70 ajouté (idée de l'utilisateur : l'analyste propose des étiquettes, l'expert les vérifie ; crainte de noyer l'agent) : avis de Claude, peu de propositions, celles dont l'analyste doute, à part, réécrites par l'expert ; trois questions ; events et étiquettes restent séparés.
- 2026-11-02 : point 70, l'utilisateur : deux buts (faire progresser l'analyste ; optimiser les détecteurs sur une multitude d'étiquettes) ; point revu, deux sortes d'étiquettes, questions pour chacune.
- 2026-11-02 : point 70, décision de l'utilisateur (D-100) : les étiquettes faites à la main d'abord, base de connaissance ; les events gardés, les validés ont leurs étiquettes dans `labeling/E-xxx.jsonl`, écrites par un agent.
- 2026-11-02 : point 70, demande de l'utilisateur : un vérificateur de ses étiquettes ; agent `label-reviewer` construit (D-101), `revue` sur les étiquettes vérifiées, retiré par un Save.