Label-reviewer: an agent checks the expert's labels against the data and asks before any change (D-101); labels as the knowledge base, validated events get theirs (D-100)

The labeling tool now accepts event folders (Add, Save), and a Save of a label's text drops its "revue" mark.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 09:35:28 +01:00
1 parent d1fd7f6bdd
commit 713bb80aa3
7 files changed
+113 -7

No files matched your search

+16 -1
View File
@@ -973,7 +973,7 @@ Règles du journal :
- **Conséquence** : une séance de `/events-learner` appelle six agents ; l'analyste, qui peut écrire des scripts, coûtera sans doute plus. Lire en brut garde une part de ce qu'apportait le correcteur, qui a trouvé la seule erreur de lecture commune (rejets des références, WILDSTRUBEL, 2026-10-27). Un changement de `donnees.py` se voit d'une séance à l'autre dans l'historique du benchmark. Sans retrait ni contrôle, les outils peuvent encore grossir : à observer.
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin.
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) ; ses bornes et son retrait se font dans le fichier.
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
@@ -985,3 +985,18 @@ Règles du journal :
- **Pourquoi** : l'utilisateur, 2026-10-30 : les étiquettes ne valent que si l'analyste en apprend, et apprendre, ici, c'est documenter ; 2026-11-02, sur ses 13 premières étiquettes : pas de lecture à l'aveugle, il n'en voit pas l'intérêt ; le texte des étiquettes suffit, pas de fiche de station. Le même jour, l'utilisateur : ce que l'analyste apprend doit être documenté ; il peut poser des questions, et quand il a tout compris, il passe ses conclusions à un agent de documentation, nouveau, dont le rôle est de maintenir la documentation du projet. Constat de Claude sur ces étiquettes : elles disent le mécanisme, et la mesure dans les données le précise (deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide, à JUNGFRAU et NORDEND).
- **Options écartées** : des propositions présentées une à une à l'utilisateur, appliquées par l'orchestrateur (première version de Claude, le même jour) : les questions à l'expert tiennent lieu de validation, et la documentation a son agent ; la lecture à l'aveugle avant la confrontation (proposition de Claude, pour mesurer l'écart entre l'analyste seul et l'expert) : refusée par l'utilisateur ; une fiche de contexte par station (ouvrage, références) : le texte des étiquettes le dit ; un nouvel agent : l'analyste sait lire les données ; un document de leçons que l'analyste relirait : les acquis vont dans la chaîne de mesure, la carte et `lire-les-donnees` (point 67 : ne pas l'alourdir).
- **Conséquence** : le savoir entre par les réponses de l'expert et se relit au diff avant le commit ; une conclusion vue sur une seule station reste `[H]`. Le `documentaliste` est général : d'autres processus pourront lui passer leurs conclusions. La chaîne de mesure n'est pas encore lue par l'analyste de `/events-learner` (point 67) : ce qu'elle apprend ne l'atteint qu'ensuite. Ni détecteurs ni events ici : `/events-learner` et `/new-event`.
## D-100 — 2026-11-02 — Les étiquettes, base de connaissance ; les events validés y ont les leurs
- **Statut** : active ; complète D-098 et D-099.
- **Décision** : les étiquettes de l'expert (`labeling/`) sont la base de connaissance la plus fondamentale du projet : des plages de données, avec le diagnostic et la classification de l'expert. Le travail de l'analyste est de refaire cette classification sur des plages. Les events (`events/`) sont gardés, et chaque event **validé** a aussi ses étiquettes, dans `labeling/E-xxx.jsonl` : noms codés de l'event, données dans `events/E-xxx/` (l'outil les ouvre : `python3 labeling/labeling.py events/E-xxx/`), tirées de sa fiche (`event.md`), une étiquette par occurrence du phénomène, le texte disant ce qu'on voit, la cause et comment on l'a sue, la classification, la conséquence ; un champ `source` en plus (`events/E-xxx/event.md`). Écrites par un agent, relues par l'utilisateur.
- **Pourquoi** : l'utilisateur, 2026-11-02 : se concentrer d'abord sur les étiquettes faites à la main, sa base de connaissance ; on ne sait pas si les events serviront, mais ils restent utiles ; avec assez d'étiquettes, on pourra penser à des algorithmes d'apprentissage automatique. Un event validé porte son diagnostic : c'est une étiquette de l'expert.
- **Options écartées** : garder events et étiquettes séparés (avis de Claude, le même jour : doublon avec la carte des événements, et une fiche n'est pas écrite par l'expert) ; ranger ces étiquettes sous le vrai nom de la station (le registre de `anonymize-event` ne va jamais à un agent, et les données codées sont dans l'event) ; reprendre les moments d'`etiquettes.json` (l'analyste sur tout le lot, ceux de E-001 à E-005 pas encore relus, point 48) ; les events « (appris) » (E-012 à E-014) avant `/review-event`.
- **Conséquence** : `/labels-learner` les lit comme les autres ; pour une station `E-xxx`, ses données sont dans `events/E-xxx/`. Un event validé plus tard devra recevoir ses étiquettes (à brancher dans `/new-event` et `/review-event`, point 70).
## D-101 — 2026-11-02 — Un vérificateur des étiquettes : l'agent `label-reviewer`
- **Statut** : active, à l'essai ; complète D-098 et D-100.
- **Décision** : un agent, `label-reviewer` (`.claude/agents/label-reviewer.md`), appelé depuis la conversation sur un fichier `labeling/<STATION>.jsonl` : pour chaque étiquette sans champ `revue`, il mesure dans les données ce que dit le texte, contrôle la forme, les bornes, les noms des capteurs, l'heure (UTC, jour ou nuit sur les images), la cause et comment elle a été sue, les autres étiquettes et la documentation (carte des événements, chaîne de mesure), puis écrit sa revue dans `labeling/revues/<STATION>.md` et rend ses questions ; la conversation les pose à l'utilisateur et lui renvoie les réponses. Il ne change une étiquette que sur la parole de l'utilisateur ; une étiquette confirmée ou corrigée reçoit `"revue": "<date>"`, qu'un Save de son texte dans l'outil retire.
- **Pourquoi** : l'utilisateur, 2026-11-02 : un vérificateur qui pointe les incohérences et lui pose des questions pour confirmer ses étiquettes, car il peut simplement faire des erreurs ; les étiquettes sont la base de connaissance (D-100).
- **Options écartées** : un skill orchestrateur (comme `/review-event`) : la conversation suffit à relayer les questions ; un agent qui corrige seul : une incohérence peut venir des données ou de la documentation, l'expert tranche.
- **Conséquence** : une étiquette porte `revue` une fois vérifiée ; `/labels-learner` ne les distingue pas encore.