Labeling tool: the expert labels ranges in plain text, one plot at a time (D-098, point 68)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-30 08:59:38 +01:00
1 parent a0467e4c82
commit fcd9191a95
7 files changed
+337 -8

No files matched your search

+7
View File
@@ -971,3 +971,10 @@ Règles du journal :
- **Pourquoi** : l'utilisateur, 2026-10-29 : le lecteur de `/aiguiser` extrait des informations sans savoir ce qui est pertinent, et refait le même travail à chaque séance sans être guidé ; celui qui profite des outils, c'est l'analyste, qui apprend par la base d'events. Constat : la vérité de `/aiguiser` comptait tout écart comme un moment, si bien que « mieux » voulait dire « voir plus » (neuf modifications sur neuf gardées en quatre séances ; outils de 419 à 1 423 lignes, skill de 4,8 à 20,9 Ko) ; et l'inventaire cachait des données : six colonnes de qualité d'image remplies sur LENZSPITZE et NADELHORN, 31 métriques système, qu'aucun outil ni aucune doc ne citait.
- **Options écartées** : revoir `/aiguiser` comme `/events-learner` (un `reading-critic`, un `reading-upgrader`, un `reading-control` ; première proposition de Claude) : le lecteur restait sans notion de pertinence ; un `tool-builder` qui retire des outils (l'utilisateur) ; un contrôle du `tool-builder` sur le diff (l'utilisateur ne sait pas encore comment le faire) ; un nouveau script pour l'inventaire des données (`inventaire.py` étendu suffit).
- **Conséquence** : une séance de `/events-learner` appelle six agents ; l'analyste, qui peut écrire des scripts, coûtera sans doute plus. Lire en brut garde une part de ce qu'apportait le correcteur, qui a trouvé la seule erreur de lecture commune (rejets des références, WILDSTRUBEL, 2026-10-27). Un changement de `donnees.py` se voit d'une séance à l'autre dans l'historique du benchmark. Sans retrait ni contrôle, les outils peuvent encore grossir : à observer.
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin.
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier.
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites. Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
@@ -124,6 +124,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 65 | Un saut marqué dès son début | Coder | — | à faire (détail) |
| 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée |
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
@@ -1553,6 +1554,41 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
- [ ] `analyser-lot` : la note parmi ce qu'il lit ; la carte à la demande.
- [ ] Le test, si l'utilisateur le veut.
### Point 68 : L'expert étiquette lui-même : un outil web
**L'idée** (l'utilisateur, 2026-10-30). Une petite page web pour voir les données et les étiqueter soi-même, en expert du domaine : une base sur laquelle le LLM travaille ensuite ; l'analyste regarde ces étiquettes et prend connaissance des phénomènes, en plus de ce qu'on lui explique (point 67). Complémentaire, pas à la place.
**Avis de Claude (2026-10-30) : oui.**
- La seule vérité du projet est aujourd'hui l'analyste : `score.py` et le benchmark jugent les détecteurs sur ses étiquettes (« l'analyste peut se tromper aussi ») ; le plan dit encore à relire celles de E-001 à E-005 (point 48). Aucune étiquette ne vient de l'expert.
- Une étiquette coûte une ligne, un event un dossier (`/new-event`). Les deux se complètent : une étiquette marquante devient un event, et les cas des points 60, 62 et 64, que Claude devait chercher, l'expert les désigne.
- Ce qui fera sa valeur, c'est le **pourquoi** : une plage et le mot « saut » n'apprennent rien à l'analyste ; « référence cachée, la reprojection décale ces cibles, elle revient et tout se recale » lui apprend à raisonner.
**Précisions de l'utilisateur (2026-10-30), qui remplacent la proposition de Claude sur la page Status.** Les données se consultent déjà sur le monitoring : l'outil ne sert qu'à se repérer dans le temps et à écrire. Une page à part, un plot à la fois ; du langage naturel, **aucune catégorie**, pour ne pas borner (on en déduira après coup) ; un bouton Add qui écrit aussitôt dans le fichier, sans Save ; les zones déjà étiquetées restent visibles et peuvent se superposer ; un dossier à la racine, `labeling/`. Le but est d'avoir les étiquettes : un outil local, fonctionnel et très simple, ni parfait ni déployable.
**Description, à approuver par l'utilisateur.** De haut en bas :
1. Le data loader de la page Status (`chargeur.formulaire`) : station, dates, Analyse.
2. Un menu déroulant, comme le menu Advanced d'Explore (`select_graph` de l'application de référence) : Error value, X, Y, Relative shift H et V, Corrected shift H et V (`corr_x`, `corr_y`), References (reproj. error), Camera movement ; seulement les plots qui ont des données (Quality plus tard : seul NADELHORN a `quality/`, et il faudrait un lecteur de plus). Capteurs en légende comme à la page Status ; la plage de temps est gardée quand on change de plot.
3. Le plot : glisser zoome. Les zones étiquetées y sont grisées, sur tous les plots.
4. Dessous, la barre de temps, mêmes abscisses, qui suit le zoom : glisser y sélectionne une plage (box select horizontal de Plotly ; une figure n'a qu'un mode de glissement, d'où deux figures alignées). Chaque étiquette y est une barre, son texte au survol ; celles qui se chevauchent s'empilent, comme les status.
5. Dessous, la plage sélectionnée en UTC, le champ de texte, le bouton Add.
**Choix de Claude, à corriger au besoin.**
- `labeling/<STATION>.jsonl`, une ligne par étiquette : `{"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}`, les noms de champs de l'analyste, sans ceux qui bornent. Add écrit une ligne ; un `grep` suffit à chercher ; le diff git se lit. Versionné (`data/` ne l'est pas), hors de `events/` (ses seules portes : `/new-event`, `event-builder`).
- Pas de `capteurs` : le texte les dit.
- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier.
- Un seul fichier de code, `labeling/labeling.py` : la page et son serveur (celui du data loader, plus l'enregistrement) ; de la page Status, seule change la cible du formulaire.
- Rien d'autre sur la page : ni images, ni status des détecteurs, ni température, que le monitoring montre.
**Les limites à garder.**
- Une étiquette de l'expert est ponctuelle : un instant sans étiquette n'y veut pas dire « rien vu », contrairement à l'analyste (point 45). Face aux détecteurs, « trouvées » aurait un sens, « justes » non, tant qu'une plage n'est pas marquée relue en entier ; et `score.py` ne lit pas ces étiquettes, faute de catégorie. L'outil sert à apprendre, pas à calculer un score.
- Si l'analyste lit l'étiquette du lot qu'il analyse, il récite : elle lui apprend sur les autres périodes, et peut le mesurer sur la sienne (le test avant et après du point 67). Proposé, pas imposé.
- Pas d'alourdissement (point 67, ~85 Ko) : l'analyste n'y vient qu'une fois assez d'étiquettes écrites, à la demande, par une recherche. Rien à construire de son côté dans l'essai.
- [x] L'utilisateur approuve la description (2026-10-30).
- [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde.
- [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30).
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire.
---
## Annexe A — Les rapports des agents du 2026-10-23, résumés
@@ -1734,3 +1770,6 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-29 : point 56, D-097 : `/aiguiser` retiré ; l'analyste voit ses données (`inventaire.py`), écrit ses scripts, dit ses outils ; le `tool-builder` optimise ou ajoute, sans retrait ni contrôle ; à essayer sur une séance.
- 2026-10-29 : point 67 : brouillon de `docs/displacement/domaine/chaine-de-mesure.md`, sources marquées ([U] utilisateur, [A] AIMsight, [D] données, [H] hypothèse de Claude) ; pas encore dans ce que lit l'analyste ; reste la relecture de l'utilisateur.
- 2026-10-29 : vocal relu face au plan et à la note : l'état des pipelines ajouté au point 57 ; dans `chaine-de-mesure.md`, le saut qui revient (bénin, la question est sa cause) et l'hésitation de l'utilisateur sur JUNGFRAU (support ou objectif).
- 2026-10-30 : point 68 ajouté (idée de l'utilisateur : une page web pour étiqueter soi-même, en expert) : avis de Claude, oui ; essai proposé sur la page Status, étiquettes libres dans `etiquettes-expert/`, limites notées ; à valider.
- 2026-10-30 : point 68, précisions de l'utilisateur : une page à part dans `labeling/`, un plot à la fois comme le menu Advanced, une barre de temps alignée pour sélectionner, du texte sans catégorie, Add écrit aussitôt, zones étiquetées visibles ; description à approuver.
- 2026-10-30 : point 68, description approuvée, outil construit et essayé (D-098), commité à la demande de l'utilisateur ; reste son essai.