Labeling tool: system metrics in the plot menu, identifiers left out; point 69: how the analyst learns from labels, still open
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
647f7f7509
commit
83f7f7be7f
6 files changed
+114
-14
No files matched your search
+2
-2
@@ -974,7 +974,7 @@ Règles du journal :
|
||||
|
||||
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
|
||||
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin.
|
||||
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier.
|
||||
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier.
|
||||
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
|
||||
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
|
||||
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites. Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
|
||||
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
|
||||
@@ -125,6 +125,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée |
|
||||
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
|
||||
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
|
||||
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | idée du 2026-10-30 ; l'utilisateur étiquette d'abord, articulation ouverte |
|
||||
|
||||
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
|
||||
|
||||
@@ -1397,6 +1398,8 @@ Retour de l'utilisateur du 2026-10-29 (vocal), après des exemples des détecteu
|
||||
5. Les détecteurs : des séances de `/events-learner` sur des lots qui montrent ces causes ; les catégories nouvelles dans `categories.py` et la hiérarchie des status (D-095).
|
||||
6. Les détails de détection (65) se font quand on veut, sans attendre.
|
||||
|
||||
**Les étiquettes de l'expert (2026-10-30).** Elles s'ajoutent à ce déroulé, à ses étapes 1 et 3 : une source de savoir et de cas (points 68 et 69). Leur place exacte reste à décider, après les premières étiquettes.
|
||||
|
||||
**L'état des pipelines** (l'utilisateur, 2026-10-29). Certains sont prêts à être lancés : il en a refait quelques-uns, les analystes et les boucles d'apprentissage sont prêts ; il a deux ou trois choses à faire en parallèle, et avance progressivement avec ce plan.
|
||||
|
||||
**Question.** Ce déroulé, et par où commencer : les effets thermiques (58, puis 59), recommandé, puisque toutes les stations ont déjà une température ?
|
||||
@@ -1458,6 +1461,8 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
|
||||
|
||||
**À revoir (2026-10-29).** `/events-learner` a maintenant un `tool-builder`, et l'analyste écrit ses propres scripts (D-097, autre conversation) : les températures peuvent arriver par là plutôt que par `/aiguiser`.
|
||||
|
||||
**Constat (Claude, 2026-10-30).** NADELHORN et LENZSPITZE n'ont aucune valeur de `sensor_*_deg_c` (fichiers vides, 5 et 12 jours) : leur seule température est `temperature_deg_c`. « Toutes les stations » et « la seule commune », ci-dessus, sont à corriger.
|
||||
|
||||
### Point 60 : Des cas thermiques construits et validés
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-29). Construire des cas concrets de chacun des trois effets, dans leurs différentes circonstances (caméra sur un pont, ouvrage seul, les deux), les documenter et qu'il les valide : l'analyste les apprend par la base d'events.
|
||||
@@ -1577,7 +1582,9 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
|
||||
- Pas de `capteurs` : le texte les dit.
|
||||
- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier.
|
||||
- Un seul fichier de code, `labeling/labeling.py` : la page et son serveur (celui du data loader, plus l'enregistrement) ; de la page Status, seule change la cible du formulaire.
|
||||
- Rien d'autre sur la page : ni images, ni status des détecteurs, ni température, que le monitoring montre.
|
||||
- Rien d'autre sur la page : ni images, ni status des détecteurs, que le monitoring montre.
|
||||
|
||||
**Ajout de l'utilisateur (2026-10-30).** Les métriques système au menu, « System: … » : celles qui ont des valeurs numériques sur la plage. Les identifiants (`SIM_CCID`, `ip`, `ip_*`) ne sont pas lus : `SIM_CCID` a souvent l'air d'un nombre, il serait tracé. Les métriques texte (`link`, `mode`, `last_sync`…) n'ont pas de courbe.
|
||||
|
||||
**Les limites à garder.**
|
||||
- Une étiquette de l'expert est ponctuelle : un instant sans étiquette n'y veut pas dire « rien vu », contrairement à l'analyste (point 45). Face aux détecteurs, « trouvées » aurait un sens, « justes » non, tant qu'une plage n'est pas marquée relue en entier ; et `score.py` ne lit pas ces étiquettes, faute de catégorie. L'outil sert à apprendre, pas à calculer un score.
|
||||
@@ -1587,7 +1594,66 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
|
||||
- [x] L'utilisateur approuve la description (2026-10-30).
|
||||
- [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde.
|
||||
- [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30).
|
||||
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire.
|
||||
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire (point 69).
|
||||
|
||||
### Point 69 : Apprendre des étiquettes de l'expert : `/labels-learner`
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-30). Les étiquettes ne valent que si elles servent : un processus, sans doute un skill, qui les montre à l'analyste pour qu'il apprenne. On n'est pas en apprentissage automatique : apprendre, ici, c'est de la documentation. Avec les étiquettes et le savoir métier, l'analyste comprend ce que l'expert étiquette, en conclut quelque chose et le documente. Plutôt l'analyste qu'un nouvel agent : c'est lui qui sait lire les données, et les mécanismes lui manquent (point 67). Question ouverte de l'utilisateur : comment tirer le maximum de ces étiquettes.
|
||||
|
||||
**Avis de Claude (2026-10-30).**
|
||||
- L'analyste, oui, pas de nouvel agent. Une limite : il propose, il n'écrit pas dans ses propres documents. « Seul ce que l'expert a validé ou corrigé doit lui apprendre » (point 51) ; « le mécanisme ne change que sur la parole de l'utilisateur » (point 67).
|
||||
- Pas de document nouveau : la carte pour les signatures et les faux amis (D-087 : une compilation à part est écartée), la chaîne de mesure pour le mécanisme (point 67), `lire-les-donnees` pour la méthode. Les étiquettes restent brutes dans `labeling/` : l'analyste ne les relit pas en séance, il lit ce qu'elles ont apporté (point 67 : ne pas l'alourdir).
|
||||
- Le texte d'une étiquette n'est que le début. Ce qu'on peut en tirer de plus :
|
||||
1. **L'écart** : ce que l'analyste aurait dit seul, face à ce que dit l'expert. C'est ce qu'il y a à apprendre.
|
||||
2. **La signature mesurée** : l'expert dit « référence cachée » ; l'analyste retrouve dans les données quelles colonnes bougent, de combien, dans quel ordre, ce qui rend le savoir utilisable sur une autre station, puis par les détecteurs.
|
||||
3. **Les questions à l'expert** : ce que l'analyste ne retrouve pas dans les données, ou ce qu'il y voit d'autre, revient à l'expert ; la réponse dit souvent ce que l'étiquette tenait pour acquis.
|
||||
4. **Les comparaisons** : plusieurs étiquettes d'un même phénomène disent ce qui est général ; deux courbes semblables aux causes différentes donnent un faux ami.
|
||||
5. **Les hypothèses à trancher** : les [H] de `chaine-de-mesure.md` peuvent devenir [U] ou [D].
|
||||
|
||||
**Proposition (Claude), à approuver.** Un skill `/labels-learner <STATION>`, sur les étiquettes que l'utilisateur désigne ; rendus dans `labeling/lecons/<date>_<STATION>/`, versionnés.
|
||||
1. **Lecture à l'aveugle** : l'analyste lit, par `analyser-lot`, la plage de l'étiquette et sa marge, sans l'étiquette ; des étiquettes voisines, une seule lecture.
|
||||
2. **Confrontation** : il reçoit l'étiquette et la chaîne de mesure ; pour chacune : déjà vu et bien dit, vu mais autre cause, pas vu, ou introuvable dans les données ; il retourne aux données pour la signature mesurée.
|
||||
3. **Propositions** : des changements en termes généraux à la carte, à la chaîne de mesure, à `lire-les-donnees`, chacun avec sa source (l'étiquette citée, [U], [D] ou [H]), plus les questions à l'expert. Vu sur un seul cas ou une seule station : reste [H] (« pas de règle spécifique à un site »).
|
||||
4. **Validation** : l'orchestrateur les présente une à une à l'utilisateur, comme `/review-event` ; rien n'entre dans les documents sans sa parole.
|
||||
|
||||
**Pourquoi la lecture à l'aveugle** (proposée, pas imposée). Après avoir lu la réponse, tout paraît évident : l'analyste dirait que la carte suffit, comme pour le brouillard de JUNGFRAU rangé en `cible_masquee` (point 62), et chercherait dans les données ce que dit l'étiquette (le risque nommé par D-088). Sans elle, le processus coûte moins et garde la signature et les questions, mais ne montre plus l'écart. Ce n'est pas une mesure de ses progrès, écartée par l'utilisateur (D-088).
|
||||
|
||||
**Limites.**
|
||||
- Coût : environ 250 000 jetons pour une lecture d'un lot de 4 jours (D-059, chiffre ancien) ; une plage courte devrait coûter moins, à constater au premier essai, sur 3 à 5 étiquettes.
|
||||
- Aucune étiquette n'existe encore : le skill s'écrit à l'aveugle et se corrigera sur les premières.
|
||||
- La chaîne de mesure n'est pas encore lue par l'analyste : le point 67 (relecture, et son ajout à ce qu'il lit) doit suivre, sinon ce savoir ne l'atteint pas.
|
||||
|
||||
**Pistes à revoir.** Déduire des catégories de toutes les étiquettes (l'utilisateur, point 68) ; une étiquette marquante vers `/new-event` ; les détecteurs, ensuite, par `/events-learner` (l'ordre du point 57).
|
||||
|
||||
**Où on en est (l'utilisateur, 2026-10-30).** D'abord quelques étiquettes. La façon d'articuler le tout reste ouverte : `/labels-learner` n'est ni approuvé ni construit, la proposition ci-dessus attend de vraies étiquettes.
|
||||
|
||||
**Les pièces à articuler (Claude, 2026-10-30).**
|
||||
|
||||
| Pièce | Ce qu'elle apporte | Où | État |
|
||||
|---|---|---|---|
|
||||
| Étiquettes de l'expert | des cas bruts, en langage naturel | `labeling/` (point 68) | outil prêt, aucune étiquette |
|
||||
| Savoirs dits par l'expert | effets thermiques, heat haze, occultation, causes des sauts | points 58, 61, 62, 64 | notés au plan, à valider |
|
||||
| Chaîne de mesure | le mécanisme, le pourquoi | `docs/displacement/domaine/chaine-de-mesure.md` (point 67) | brouillon à relire, pas lu par l'analyste |
|
||||
| Carte des événements | les signatures, les catégories, les faux amis | `events/carte-des-evenements.md` (D-087) | lue par l'analyste ; apprend de chaque event validé |
|
||||
| Base d'events | des cas documentés et validés | `events/` | par `/new-event`, `/review-event`, `event-builder` |
|
||||
| Analyste | lit tout cela et étiquette les lots | `analyser-lot` | sa lecture est la vérité de `/events-learner` |
|
||||
| Détecteurs | le calcul, sans LLM | `detectors/`, par `/events-learner` | après l'analyste (point 57) |
|
||||
|
||||
**Le chemin envisagé, à confirmer.** Étiquettes → l'analyste les confronte aux données → ses propositions → la validation de l'utilisateur → chaîne de mesure et carte → l'analyste les lit → ses lectures de lots s'améliorent → `/events-learner` → les détecteurs. Dans le déroulé du point 57, les étiquettes entrent aux étapes 1 (le savoir) et 3 (les cas).
|
||||
|
||||
**Les questions, après les premières étiquettes.**
|
||||
1. Par quoi le processus se lance : étiquette par étiquette, par station, ou par phénomène ?
|
||||
2. La lecture à l'aveugle, ou non ?
|
||||
3. Les cas des points 60, 62 et 64 : désignés par des étiquettes, puis `/new-event`, à la place de la recherche de périodes par Claude ?
|
||||
4. La chaîne de mesure (point 67) : la relire avant, ou à la lumière des étiquettes ?
|
||||
5. Une étiquette peut-elle un jour juger les détecteurs ? Pas aujourd'hui (D-098) : pas de catégorie, et un instant sans étiquette ne veut pas dire « rien vu ».
|
||||
|
||||
**À regarder sur ces étiquettes.** Disent-elles la cause, ou ce qu'on voit ? Comment l'expert l'a su ? Quels plots ? Quelles stations ? Ce qui a gêné dans l'outil.
|
||||
|
||||
- [ ] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données »).
|
||||
- [ ] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus.
|
||||
- [ ] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`).
|
||||
- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill.
|
||||
|
||||
---
|
||||
|
||||
@@ -1773,3 +1839,6 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-30 : point 68 ajouté (idée de l'utilisateur : une page web pour étiqueter soi-même, en expert) : avis de Claude, oui ; essai proposé sur la page Status, étiquettes libres dans `etiquettes-expert/`, limites notées ; à valider.
|
||||
- 2026-10-30 : point 68, précisions de l'utilisateur : une page à part dans `labeling/`, un plot à la fois comme le menu Advanced, une barre de temps alignée pour sélectionner, du texte sans catégorie, Add écrit aussitôt, zones étiquetées visibles ; description à approuver.
|
||||
- 2026-10-30 : point 68, description approuvée, outil construit et essayé (D-098), commité à la demande de l'utilisateur ; reste son essai.
|
||||
- 2026-10-30 : point 69 ajouté (idée de l'utilisateur : un processus pour que l'analyste apprenne des étiquettes) : avis de Claude, l'analyste propose, l'utilisateur valide, pas de document nouveau ; `/labels-learner` proposé, à approuver.
|
||||
- 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit.
|
||||
- 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE.
|
||||
Reference in new issue
Block a user