Label-reviewer: an agent checks the expert's labels against the data and asks before any change (D-101); labels as the knowledge base, validated events get theirs (D-100)
The labeling tool now accepts event folders (Add, Save), and a Save of a label's text drops its "revue" mark. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d1fd7f6bdd
commit
713bb80aa3
7 files changed
+113
-7
No files matched your search
+16
-1
@@ -973,7 +973,7 @@ Règles du journal :
|
||||
- **Conséquence** : une séance de `/events-learner` appelle six agents ; l'analyste, qui peut écrire des scripts, coûtera sans doute plus. Lire en brut garde une part de ce qu'apportait le correcteur, qui a trouvé la seule erreur de lecture commune (rejets des références, WILDSTRUBEL, 2026-10-27). Un changement de `donnees.py` se voit d'une séance à l'autre dans l'historique du benchmark. Sans retrait ni contrôle, les outils peuvent encore grossir : à observer.
|
||||
|
||||
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
|
||||
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin.
|
||||
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
|
||||
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) ; ses bornes et son retrait se font dans le fichier.
|
||||
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
|
||||
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
|
||||
@@ -985,3 +985,18 @@ Règles du journal :
|
||||
- **Pourquoi** : l'utilisateur, 2026-10-30 : les étiquettes ne valent que si l'analyste en apprend, et apprendre, ici, c'est documenter ; 2026-11-02, sur ses 13 premières étiquettes : pas de lecture à l'aveugle, il n'en voit pas l'intérêt ; le texte des étiquettes suffit, pas de fiche de station. Le même jour, l'utilisateur : ce que l'analyste apprend doit être documenté ; il peut poser des questions, et quand il a tout compris, il passe ses conclusions à un agent de documentation, nouveau, dont le rôle est de maintenir la documentation du projet. Constat de Claude sur ces étiquettes : elles disent le mécanisme, et la mesure dans les données le précise (deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide, à JUNGFRAU et NORDEND).
|
||||
- **Options écartées** : des propositions présentées une à une à l'utilisateur, appliquées par l'orchestrateur (première version de Claude, le même jour) : les questions à l'expert tiennent lieu de validation, et la documentation a son agent ; la lecture à l'aveugle avant la confrontation (proposition de Claude, pour mesurer l'écart entre l'analyste seul et l'expert) : refusée par l'utilisateur ; une fiche de contexte par station (ouvrage, références) : le texte des étiquettes le dit ; un nouvel agent : l'analyste sait lire les données ; un document de leçons que l'analyste relirait : les acquis vont dans la chaîne de mesure, la carte et `lire-les-donnees` (point 67 : ne pas l'alourdir).
|
||||
- **Conséquence** : le savoir entre par les réponses de l'expert et se relit au diff avant le commit ; une conclusion vue sur une seule station reste `[H]`. Le `documentaliste` est général : d'autres processus pourront lui passer leurs conclusions. La chaîne de mesure n'est pas encore lue par l'analyste de `/events-learner` (point 67) : ce qu'elle apprend ne l'atteint qu'ensuite. Ni détecteurs ni events ici : `/events-learner` et `/new-event`.
|
||||
|
||||
## D-100 — 2026-11-02 — Les étiquettes, base de connaissance ; les events validés y ont les leurs
|
||||
- **Statut** : active ; complète D-098 et D-099.
|
||||
- **Décision** : les étiquettes de l'expert (`labeling/`) sont la base de connaissance la plus fondamentale du projet : des plages de données, avec le diagnostic et la classification de l'expert. Le travail de l'analyste est de refaire cette classification sur des plages. Les events (`events/`) sont gardés, et chaque event **validé** a aussi ses étiquettes, dans `labeling/E-xxx.jsonl` : noms codés de l'event, données dans `events/E-xxx/` (l'outil les ouvre : `python3 labeling/labeling.py events/E-xxx/`), tirées de sa fiche (`event.md`), une étiquette par occurrence du phénomène, le texte disant ce qu'on voit, la cause et comment on l'a sue, la classification, la conséquence ; un champ `source` en plus (`events/E-xxx/event.md`). Écrites par un agent, relues par l'utilisateur.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-02 : se concentrer d'abord sur les étiquettes faites à la main, sa base de connaissance ; on ne sait pas si les events serviront, mais ils restent utiles ; avec assez d'étiquettes, on pourra penser à des algorithmes d'apprentissage automatique. Un event validé porte son diagnostic : c'est une étiquette de l'expert.
|
||||
- **Options écartées** : garder events et étiquettes séparés (avis de Claude, le même jour : doublon avec la carte des événements, et une fiche n'est pas écrite par l'expert) ; ranger ces étiquettes sous le vrai nom de la station (le registre de `anonymize-event` ne va jamais à un agent, et les données codées sont dans l'event) ; reprendre les moments d'`etiquettes.json` (l'analyste sur tout le lot, ceux de E-001 à E-005 pas encore relus, point 48) ; les events « (appris) » (E-012 à E-014) avant `/review-event`.
|
||||
- **Conséquence** : `/labels-learner` les lit comme les autres ; pour une station `E-xxx`, ses données sont dans `events/E-xxx/`. Un event validé plus tard devra recevoir ses étiquettes (à brancher dans `/new-event` et `/review-event`, point 70).
|
||||
|
||||
## D-101 — 2026-11-02 — Un vérificateur des étiquettes : l'agent `label-reviewer`
|
||||
- **Statut** : active, à l'essai ; complète D-098 et D-100.
|
||||
- **Décision** : un agent, `label-reviewer` (`.claude/agents/label-reviewer.md`), appelé depuis la conversation sur un fichier `labeling/<STATION>.jsonl` : pour chaque étiquette sans champ `revue`, il mesure dans les données ce que dit le texte, contrôle la forme, les bornes, les noms des capteurs, l'heure (UTC, jour ou nuit sur les images), la cause et comment elle a été sue, les autres étiquettes et la documentation (carte des événements, chaîne de mesure), puis écrit sa revue dans `labeling/revues/<STATION>.md` et rend ses questions ; la conversation les pose à l'utilisateur et lui renvoie les réponses. Il ne change une étiquette que sur la parole de l'utilisateur ; une étiquette confirmée ou corrigée reçoit `"revue": "<date>"`, qu'un Save de son texte dans l'outil retire.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-02 : un vérificateur qui pointe les incohérences et lui pose des questions pour confirmer ses étiquettes, car il peut simplement faire des erreurs ; les étiquettes sont la base de connaissance (D-100).
|
||||
- **Options écartées** : un skill orchestrateur (comme `/review-event`) : la conversation suffit à relayer les questions ; un agent qui corrige seul : une incohérence peut venir des données ou de la documentation, l'expert tranche.
|
||||
- **Conséquence** : une étiquette porte `revue` une fois vérifiée ; `/labels-learner` ne les distingue pas encore.
|
||||
|
||||
@@ -126,6 +126,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
|
||||
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
|
||||
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur |
|
||||
| 70 | Des étiquettes proposées par l'analyste, vérifiées par l'expert | Décider, Coder | 48, 68, 69 | 2026-11-02 : les étiquettes d'abord, base de connaissance (D-100) ; étiquettes des events validés en cours |
|
||||
|
||||
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
|
||||
|
||||
@@ -1696,6 +1697,30 @@ Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux
|
||||
**Ajout de l'utilisateur (2026-11-02), qui remplace la validation une à une.** Ce que l'analyste apprend doit être documenté. Il pose ses questions à l'expert tant qu'il n'a pas compris (au plus trois tours) ; quand il a tout compris, il passe ses conclusions à un agent nouveau, le `documentaliste` (`.claude/agents/documentaliste.md`), dont le rôle est de maintenir la documentation du projet : il les place (chaîne de mesure, carte, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source. L'utilisateur relit le diff avant le commit.
|
||||
- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill.
|
||||
|
||||
### Point 70 : Des étiquettes proposées par l'analyste, vérifiées par l'expert
|
||||
|
||||
**Idée de l'utilisateur (2026-11-02).** Un analyste écrit des étiquettes, l'utilisateur les vérifie à la main ; crainte : trop d'étiquettes, qui noient l'agent. Précision de l'utilisateur, le même jour : deux buts, faire progresser l'agent d'analyse, et optimiser les détecteurs sur une multitude d'étiquettes. Les events restent à part (pas de conversion de `events/` en étiquettes).
|
||||
|
||||
**Avis de Claude : deux buts, deux sortes d'étiquettes.**
|
||||
|
||||
| | 1. Faire progresser l'analyste | 2. Optimiser les détecteurs |
|
||||
|---|---|---|
|
||||
| Qui les lit | un agent (`/labels-learner`) | un script (`score.py`, comme `benchmark.py`) |
|
||||
| Combien | peu : ce dont l'analyste doute | beaucoup : des lots entiers |
|
||||
| Forme | texte libre, `labeling/<STATION>.jsonl` (D-098) | catégorie, capteurs, plage, période couverte en entier, format `etiquettes.json` (D-061) |
|
||||
| Ce que vérifie l'expert | il réécrit avec ses mots | il corrige catégorie et bornes, lot par lot |
|
||||
| Le risque | le cercle : une étiquette de l'analyste lui rend ce qu'il sait déjà ; ses propositions à part (`labeling/propositions/`), jamais lues par `/labels-learner` | la vérification à la main, longue sur des lots denses |
|
||||
|
||||
- **Noyer l'agent** ne vaut que pour le but 1, et `/labels-learner` en retient 5 par phénomène. Pour le but 2, c'est un script qui lit : le nombre ne coûte rien, il en faut beaucoup, et sur des périodes couvertes en entier, pour qu'un instant sans étiquette veuille dire « rien vu » (ce que les étiquettes libres ne disent pas, D-098).
|
||||
- **Le but 2 existe à moitié** : l'analyste étiquette déjà chaque lot de `/events-learner` (`etiquettes.json`), le `detectors-critic` s'y mesure, et le benchmark sur les events (D-069) a des étiquettes figées, dont celles de E-001 à E-005 sont encore à relire (point 48). Manque : garder les étiquettes des lots, les faire vérifier, et un benchmark qui les lit toutes.
|
||||
- Questions : pour le but 2, comment vérifier vite un lot dense (la page Status avec les étiquettes, ou un tableau à cocher) ? Combien de lots vérifiés avant de régler les détecteurs dessus, et lesquels garder hors réglage pour mesurer ? Pour le but 1, un fichier à part ou un champ `auteur` ?
|
||||
|
||||
**Décision de l'utilisateur (2026-11-02, D-100).** D'abord les étiquettes faites à la main : c'est la base de connaissance la plus fondamentale (des plages, le diagnostic et la classification de l'expert) ; le travail de l'analyste est de refaire cette classification sur des plages ; avec assez d'étiquettes, on pourra penser à l'apprentissage automatique. Les events sont gardés, et les validés ont aussi leurs étiquettes dans `labeling/E-xxx.jsonl`, écrites par un agent d'après leur fiche.
|
||||
- [ ] Les étiquettes de E-001 à E-011 (validés), par un agent ; relecture par l'utilisateur.
|
||||
- [ ] E-012 à E-014 après `/review-event` ; puis brancher l'étiquette dans `/new-event` et `/review-event`, pour chaque event validé plus tard.
|
||||
- [ ] Le but 2 (les détecteurs) et les propositions de l'analyste : plus tard.
|
||||
- [x] Un vérificateur des étiquettes de l'utilisateur, l'agent `label-reviewer` (D-101) : il pointe les incohérences et pose ses questions ; construit le 2026-11-02, premier essai à faire.
|
||||
|
||||
---
|
||||
|
||||
## Annexe A — Les rapports des agents du 2026-10-23, résumés
|
||||
@@ -1888,3 +1913,7 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-11-02 : point 69, l'utilisateur : pas de lecture à l'aveugle, le texte des étiquettes suffit (pas de fiche de station) ; processus simplifié en un passage par phénomène, à approuver.
|
||||
- 2026-11-02 : point 69, `/labels-learner` construit sur le processus simplifié (D-099) ; reste le premier essai, sur la perte de référence (5 étiquettes, JUNGFRAU et NORDEND), lancé par l'utilisateur.
|
||||
- 2026-11-02 : point 69, demande de l'utilisateur : l'analyste pose ses questions jusqu'à avoir compris, puis passe ses conclusions à un agent nouveau, le `documentaliste`, qui maintient la documentation ; skill, consigne de l'analyste, D-099, `run.md` et `CLAUDE.md` revus.
|
||||
- 2026-11-02 : point 70 ajouté (idée de l'utilisateur : l'analyste propose des étiquettes, l'expert les vérifie ; crainte de noyer l'agent) : avis de Claude, peu de propositions, celles dont l'analyste doute, à part, réécrites par l'expert ; trois questions ; events et étiquettes restent séparés.
|
||||
- 2026-11-02 : point 70, l'utilisateur : deux buts (faire progresser l'analyste ; optimiser les détecteurs sur une multitude d'étiquettes) ; point revu, deux sortes d'étiquettes, questions pour chacune.
|
||||
- 2026-11-02 : point 70, décision de l'utilisateur (D-100) : les étiquettes faites à la main d'abord, base de connaissance ; les events gardés, les validés ont leurs étiquettes dans `labeling/E-xxx.jsonl`, écrites par un agent.
|
||||
- 2026-11-02 : point 70, demande de l'utilisateur : un vérificateur de ses étiquettes ; agent `label-reviewer` construit (D-101), `revue` sur les étiquettes vérifiées, retiré par un Save.
|
||||
Reference in new issue
Block a user