Labels-learner: the analyst measures the expert's labels and asks until it understands, a documentaliste writes its conclusions into the docs (D-099, point 69)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 09:12:53 +01:00
1 parent 010798d992
commit d1fd7f6bdd
8 files changed
+212 -11

No files matched your search

+7
View File
@@ -978,3 +978,10 @@ Règles du journal :
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
## D-099 — 2026-11-02 — Apprendre des étiquettes de l'expert : `/labels-learner`
- **Statut** : active, à l'essai ; point 69 du plan du journal du matin.
- **Décision** : un skill lancé par l'utilisateur, `/labels-learner <phénomène>`. L'orchestrateur retient avec lui au plus cinq étiquettes de `labeling/` sur ce phénomène ; l'agent `analyste`, sur une consigne à part (`.claude/skills/labels-learner/analyste.md`, pas `analyser-lot`), mesure dans les données ce que dit chacune (la signature : colonnes, capteurs, valeurs, ordre), les compare et pose ses questions à l'expert ; l'orchestrateur les relaie, l'analyste reprend avec les réponses, jusqu'à avoir compris (au plus trois tours), puis écrit ses conclusions. Un nouvel agent, le `documentaliste`, qui tient la documentation métier du projet, les fait entrer à leur place (chaîne de mesure, carte des événements, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source ; l'utilisateur relit le diff, puis commit. Rendus dans `labeling/lecons/<date>_<phénomène>/` (`etiquettes.jsonl`, `lecon.md`), versionnés.
- **Pourquoi** : l'utilisateur, 2026-10-30 : les étiquettes ne valent que si l'analyste en apprend, et apprendre, ici, c'est documenter ; 2026-11-02, sur ses 13 premières étiquettes : pas de lecture à l'aveugle, il n'en voit pas l'intérêt ; le texte des étiquettes suffit, pas de fiche de station. Le même jour, l'utilisateur : ce que l'analyste apprend doit être documenté ; il peut poser des questions, et quand il a tout compris, il passe ses conclusions à un agent de documentation, nouveau, dont le rôle est de maintenir la documentation du projet. Constat de Claude sur ces étiquettes : elles disent le mécanisme, et la mesure dans les données le précise (deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide, à JUNGFRAU et NORDEND).
- **Options écartées** : des propositions présentées une à une à l'utilisateur, appliquées par l'orchestrateur (première version de Claude, le même jour) : les questions à l'expert tiennent lieu de validation, et la documentation a son agent ; la lecture à l'aveugle avant la confrontation (proposition de Claude, pour mesurer l'écart entre l'analyste seul et l'expert) : refusée par l'utilisateur ; une fiche de contexte par station (ouvrage, références) : le texte des étiquettes le dit ; un nouvel agent : l'analyste sait lire les données ; un document de leçons que l'analyste relirait : les acquis vont dans la chaîne de mesure, la carte et `lire-les-donnees` (point 67 : ne pas l'alourdir).
- **Conséquence** : le savoir entre par les réponses de l'expert et se relit au diff avant le commit ; une conclusion vue sur une seule station reste `[H]`. Le `documentaliste` est général : d'autres processus pourront lui passer leurs conclusions. La chaîne de mesure n'est pas encore lue par l'analyste de `/events-learner` (point 67) : ce qu'elle apprend ne l'atteint qu'ensuite. Ni détecteurs ni events ici : `/events-learner` et `/new-event`.
@@ -125,7 +125,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée |
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | idée du 2026-10-30 ; l'utilisateur étiquette d'abord, articulation ouverte |
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur |
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
@@ -1596,7 +1596,7 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
- [x] L'utilisateur approuve la description (2026-10-30).
- [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde.
- [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30).
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire (point 69).
- [x] Quelques cas étiquetés par l'utilisateur (13 au 2026-11-02) ; regarder ensuite ce que l'analyste en tire (point 69).
### Point 69 : Apprendre des étiquettes de l'expert : `/labels-learner`
@@ -1652,9 +1652,48 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
**À regarder sur ces étiquettes.** Disent-elles la cause, ou ce qu'on voit ? Comment l'expert l'a su ? Quels plots ? Quelles stations ? Ce qui a gêné dans l'outil.
- [ ] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données »).
- [ ] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus.
- [ ] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`).
**Les 13 premières étiquettes, lues par Claude (2026-11-02).** 8 à JUNGFRAU (un pont), 4 à NORDEND (une carrière), 1 à WILDSTRUBEL (une route). Toutes disent la cause **et** comment l'expert l'a sue : les plots cités (`corr`, `error_value`, erreur de reprojection, mouvement de la caméra, températures) et les images ; c'est du mécanisme, ce qui manquait à l'analyste (point 67).
| Phénomène | Étiquettes | Dans la chaîne de mesure ou la carte ? |
|---|---|---|
| Perte de référence : saut, puis caméra aveugle | JUNGFRAU 06/10, 14-15/10, 26/10, 27/10 ; NORDEND 04/09 11:00 | la ligne « Références » oui ; **le témoin `reproj_err` non** |
| Thermique de l'ouvrage (le pont monte en refroidissant), support plus rapide que l'ouvrage, compensation mauvaise | JUNGFRAU 11-12/10, 13/10 | oui (section 3), sans les temps relatifs |
| Thermique de la caméra sur un ouvrage qui ne bouge pas (carrière, route) | NORDEND 25-26/09, WILDSTRUBEL 27/09 | oui ; **le type d'ouvrage qui exclut l'effet de l'ouvrage, non** |
| Tendance de plusieurs jours avec la baisse des températures | JUNGFRAU 16-19/10 | non |
| Visibilité moins bonne, sans coupable | JUNGFRAU 07-08/10 | oui |
| Turbulence de jour, bien compensée | WILDSTRUBEL 27/09 | oui |
| Toile d'araignée contre l'objectif, saturée : **aucun signal** | NORDEND 03-04/09 nuit, 04/09 16:00 | la toile oui ; **l'angle mort non** |
**Vérifié dans les données par Claude [D]** (JUNGFRAU, les quatre plages ; NORDEND, 04/09) : une référence est rejetée dès que son `error_value` dépasse son `error_threshold` (0,7 pour REF_G et REF_D, 0,45 pour REF_CT ; 0,4 à NORDEND). Trois références acceptées : `reproj_err` > 0, `inlier` = 1. **Deux** : `reproj_err` = 0,000 sur les deux, `inlier` vide. **Une** : `reproj_err` vide partout. Cela s'explique : la similitude 2D a quatre inconnues (chaîne de mesure, étage 5), deux points en donnent quatre équations, l'ajustement est exact et le résidu nul, sans contrôle ; un point ne suffit pas. C'est la règle « un petit résidu n'est pas une transformation bien contrainte » dans sa forme la plus nette : `reproj_err` = 0 est un mauvais signe, pas un bon. Deux stations, cinq cas : assez général pour la chaîne de mesure, sur la parole de l'utilisateur.
- JUNGFRAU 14-15/10 : l'ordre est inverse de celui de l'étiquette : `reproj_err` vide de 02:00 à 04:00 (REF_G et REF_D rejetées, il ne reste que REF_CT), puis 0 de 04:30 à 06:00 (REF_G revenue), puis normal à 06:30.
- JUNGFRAU 06/10 : REF_G rejetée une seule mesure, à 06:00 (`error_value` 0,97).
- NORDEND 03-04/09, la toile : `error_value` de CTR04 à 0,08 et `reproj_err` normal toute la nuit : rien ne la voit, comme le dit l'étiquette.
**Ce qu'elles apportent hors des données.** Le contexte de la station, que l'analyste n'a pas : le type d'ouvrage (pont, carrière, route) et ce qu'il exclut ; le nombre de références et où elles sont (hors du pont) ; le fuseau, l'heure du lever lue sur les images (WILDSTRUBEL). Et une règle de lecture : un `error_value` haut n'est pas un problème en soi, ses variations le sont (JUNGFRAU 14-15/10).
**Les doutes de l'expert, des questions pour lui.** NORDEND 03-04/09 : « le système croit toujours en avoir 3 », « pas clair comment c'est calculé ». JUNGFRAU 11-12/10 : « l'erreur reste très stable, ce qui suggère une mauvaise compensation » : stable, donc pas la vue, donc un mouvement ? JUNGFRAU 13/10 : les températures de la station ne suivent pas clairement.
**Réponses proposées par Claude aux cinq questions, à trancher.**
1. **Par phénomène**, pour dire le général plutôt que le site ; d'abord la perte de référence (cinq étiquettes, deux stations), puis le thermique.
2. **À l'aveugle**, pour le premier essai : ni la carte ni la chaîne ne disent `reproj_err` = 0, l'écart se verra ; plages courtes (de 30 min à 6 h), donc peu coûteuses.
3. **Oui** : les étiquettes désignent les cas ; une étiquette marquante vers `/new-event` (la toile de NORDEND, un angle mort).
4. **À la lumière des étiquettes** : elles tranchent déjà une partie de la chaîne (le témoin des références, le type d'ouvrage) ; on la relit avec les propositions du premier essai.
5. **Non**, inchangé (D-098).
- Le contexte de la station : une ligne par station (ouvrage, références) que l'analyste lit, ou le texte des étiquettes suffit ? Question nouvelle.
**Réponses de l'utilisateur (2026-11-02).** Pas de lecture à l'aveugle : il n'en voit pas l'intérêt (question 2). Le texte des étiquettes suffit pour le contexte de la station : pas de fiche de station. Les questions 1, 3, 4 et 5 restent sur la proposition de Claude, sans réponse explicite.
**Le processus, simplifié en conséquence (Claude, à approuver).** `/labels-learner`, sur un phénomène :
1. L'analyste reçoit les étiquettes du phénomène et la chaîne de mesure ; pour chaque étiquette, il va dans les données de sa plage et en tire la **signature mesurée** (quelles colonnes, de combien, dans quel ordre), comme fait ci-dessus pour `reproj_err`.
2. Il compare les étiquettes entre elles (ce qui est général, ce qui tient au site) et rend ses **propositions** à la chaîne de mesure, à la carte et à `lire-les-donnees`, chacune sourcée, plus ses **questions** à l'expert, dont ce que les données contredisent.
3. L'orchestrateur les présente une à une à l'utilisateur ; rien n'entre sans sa parole.
Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux ; l'écart entre l'analyste seul et l'expert ne se mesure plus, l'utilisateur n'en voit pas l'usage.
- [x] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données ») : 13 au 2026-11-02.
- [x] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus : lues le 2026-11-02, processus simplifié retenu par l'utilisateur.
- [x] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`). Fait le 2026-11-02 (D-099) : `.claude/skills/labels-learner/SKILL.md` (l'orchestrateur), `analyste.md` (la consigne de l'analyste, à la place d'`analyser-lot`) ; l'agent `analyste` lit la consigne que sa demande nomme ; `run.md`, « Apprendre des étiquettes ».
**Ajout de l'utilisateur (2026-11-02), qui remplace la validation une à une.** Ce que l'analyste apprend doit être documenté. Il pose ses questions à l'expert tant qu'il n'a pas compris (au plus trois tours) ; quand il a tout compris, il passe ses conclusions à un agent nouveau, le `documentaliste` (`.claude/agents/documentaliste.md`), dont le rôle est de maintenir la documentation du projet : il les place (chaîne de mesure, carte, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source. L'utilisateur relit le diff avant le commit.
- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill.
---
@@ -1845,3 +1884,7 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit.
- 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE.
- 2026-10-30 : point 68, demande de l'utilisateur : un clic sur une étiquette la lit dans une fenêtre, Save enregistre son nouveau texte ; essayé sur NIEDERHORN par de vrais gestes, sans toucher aux 13 étiquettes réelles (JUNGFRAU, NORDEND, WILDSTRUBEL).
- 2026-11-02 : point 68, édition des étiquettes commitée. Point 69 : les 13 étiquettes lues ; vérifié dans les données (JUNGFRAU, NORDEND) : deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide ; réponses proposées aux cinq questions, plus le contexte de la station ; choix de l'utilisateur attendu.
- 2026-11-02 : point 69, l'utilisateur : pas de lecture à l'aveugle, le texte des étiquettes suffit (pas de fiche de station) ; processus simplifié en un passage par phénomène, à approuver.
- 2026-11-02 : point 69, `/labels-learner` construit sur le processus simplifié (D-099) ; reste le premier essai, sur la perte de référence (5 étiquettes, JUNGFRAU et NORDEND), lancé par l'utilisateur.
- 2026-11-02 : point 69, demande de l'utilisateur : l'analyste pose ses questions jusqu'à avoir compris, puis passe ses conclusions à un agent nouveau, le `documentaliste`, qui maintient la documentation ; skill, consigne de l'analyste, D-099, `run.md` et `CLAUDE.md` revus.