Labeling tool: system metrics in the plot menu, identifiers left out; point 69: how the analyst learns from labels, still open

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-30 11:23:31 +01:00
1 parent 647f7f7509
commit 83f7f7be7f
6 files changed
+114 -14

No files matched your search

@@ -125,6 +125,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée |
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | idée du 2026-10-30 ; l'utilisateur étiquette d'abord, articulation ouverte |
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
@@ -1397,6 +1398,8 @@ Retour de l'utilisateur du 2026-10-29 (vocal), après des exemples des détecteu
5. Les détecteurs : des séances de `/events-learner` sur des lots qui montrent ces causes ; les catégories nouvelles dans `categories.py` et la hiérarchie des status (D-095).
6. Les détails de détection (65) se font quand on veut, sans attendre.
**Les étiquettes de l'expert (2026-10-30).** Elles s'ajoutent à ce déroulé, à ses étapes 1 et 3 : une source de savoir et de cas (points 68 et 69). Leur place exacte reste à décider, après les premières étiquettes.
**L'état des pipelines** (l'utilisateur, 2026-10-29). Certains sont prêts à être lancés : il en a refait quelques-uns, les analystes et les boucles d'apprentissage sont prêts ; il a deux ou trois choses à faire en parallèle, et avance progressivement avec ce plan.
**Question.** Ce déroulé, et par où commencer : les effets thermiques (58, puis 59), recommandé, puisque toutes les stations ont déjà une température ?
@@ -1458,6 +1461,8 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
**À revoir (2026-10-29).** `/events-learner` a maintenant un `tool-builder`, et l'analyste écrit ses propres scripts (D-097, autre conversation) : les températures peuvent arriver par là plutôt que par `/aiguiser`.
**Constat (Claude, 2026-10-30).** NADELHORN et LENZSPITZE n'ont aucune valeur de `sensor_*_deg_c` (fichiers vides, 5 et 12 jours) : leur seule température est `temperature_deg_c`. « Toutes les stations » et « la seule commune », ci-dessus, sont à corriger.
### Point 60 : Des cas thermiques construits et validés
**L'idée** (l'utilisateur, 2026-10-29). Construire des cas concrets de chacun des trois effets, dans leurs différentes circonstances (caméra sur un pont, ouvrage seul, les deux), les documenter et qu'il les valide : l'analyste les apprend par la base d'events.
@@ -1577,7 +1582,9 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
- Pas de `capteurs` : le texte les dit.
- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier.
- Un seul fichier de code, `labeling/labeling.py` : la page et son serveur (celui du data loader, plus l'enregistrement) ; de la page Status, seule change la cible du formulaire.
- Rien d'autre sur la page : ni images, ni status des détecteurs, ni température, que le monitoring montre.
- Rien d'autre sur la page : ni images, ni status des détecteurs, que le monitoring montre.
**Ajout de l'utilisateur (2026-10-30).** Les métriques système au menu, « System: … » : celles qui ont des valeurs numériques sur la plage. Les identifiants (`SIM_CCID`, `ip`, `ip_*`) ne sont pas lus : `SIM_CCID` a souvent l'air d'un nombre, il serait tracé. Les métriques texte (`link`, `mode`, `last_sync`…) n'ont pas de courbe.
**Les limites à garder.**
- Une étiquette de l'expert est ponctuelle : un instant sans étiquette n'y veut pas dire « rien vu », contrairement à l'analyste (point 45). Face aux détecteurs, « trouvées » aurait un sens, « justes » non, tant qu'une plage n'est pas marquée relue en entier ; et `score.py` ne lit pas ces étiquettes, faute de catégorie. L'outil sert à apprendre, pas à calculer un score.
@@ -1587,7 +1594,66 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
- [x] L'utilisateur approuve la description (2026-10-30).
- [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde.
- [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30).
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire.
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire (point 69).
### Point 69 : Apprendre des étiquettes de l'expert : `/labels-learner`
**L'idée** (l'utilisateur, 2026-10-30). Les étiquettes ne valent que si elles servent : un processus, sans doute un skill, qui les montre à l'analyste pour qu'il apprenne. On n'est pas en apprentissage automatique : apprendre, ici, c'est de la documentation. Avec les étiquettes et le savoir métier, l'analyste comprend ce que l'expert étiquette, en conclut quelque chose et le documente. Plutôt l'analyste qu'un nouvel agent : c'est lui qui sait lire les données, et les mécanismes lui manquent (point 67). Question ouverte de l'utilisateur : comment tirer le maximum de ces étiquettes.
**Avis de Claude (2026-10-30).**
- L'analyste, oui, pas de nouvel agent. Une limite : il propose, il n'écrit pas dans ses propres documents. « Seul ce que l'expert a validé ou corrigé doit lui apprendre » (point 51) ; « le mécanisme ne change que sur la parole de l'utilisateur » (point 67).
- Pas de document nouveau : la carte pour les signatures et les faux amis (D-087 : une compilation à part est écartée), la chaîne de mesure pour le mécanisme (point 67), `lire-les-donnees` pour la méthode. Les étiquettes restent brutes dans `labeling/` : l'analyste ne les relit pas en séance, il lit ce qu'elles ont apporté (point 67 : ne pas l'alourdir).
- Le texte d'une étiquette n'est que le début. Ce qu'on peut en tirer de plus :
1. **L'écart** : ce que l'analyste aurait dit seul, face à ce que dit l'expert. C'est ce qu'il y a à apprendre.
2. **La signature mesurée** : l'expert dit « référence cachée » ; l'analyste retrouve dans les données quelles colonnes bougent, de combien, dans quel ordre, ce qui rend le savoir utilisable sur une autre station, puis par les détecteurs.
3. **Les questions à l'expert** : ce que l'analyste ne retrouve pas dans les données, ou ce qu'il y voit d'autre, revient à l'expert ; la réponse dit souvent ce que l'étiquette tenait pour acquis.
4. **Les comparaisons** : plusieurs étiquettes d'un même phénomène disent ce qui est général ; deux courbes semblables aux causes différentes donnent un faux ami.
5. **Les hypothèses à trancher** : les [H] de `chaine-de-mesure.md` peuvent devenir [U] ou [D].
**Proposition (Claude), à approuver.** Un skill `/labels-learner <STATION>`, sur les étiquettes que l'utilisateur désigne ; rendus dans `labeling/lecons/<date>_<STATION>/`, versionnés.
1. **Lecture à l'aveugle** : l'analyste lit, par `analyser-lot`, la plage de l'étiquette et sa marge, sans l'étiquette ; des étiquettes voisines, une seule lecture.
2. **Confrontation** : il reçoit l'étiquette et la chaîne de mesure ; pour chacune : déjà vu et bien dit, vu mais autre cause, pas vu, ou introuvable dans les données ; il retourne aux données pour la signature mesurée.
3. **Propositions** : des changements en termes généraux à la carte, à la chaîne de mesure, à `lire-les-donnees`, chacun avec sa source (l'étiquette citée, [U], [D] ou [H]), plus les questions à l'expert. Vu sur un seul cas ou une seule station : reste [H] (« pas de règle spécifique à un site »).
4. **Validation** : l'orchestrateur les présente une à une à l'utilisateur, comme `/review-event` ; rien n'entre dans les documents sans sa parole.
**Pourquoi la lecture à l'aveugle** (proposée, pas imposée). Après avoir lu la réponse, tout paraît évident : l'analyste dirait que la carte suffit, comme pour le brouillard de JUNGFRAU rangé en `cible_masquee` (point 62), et chercherait dans les données ce que dit l'étiquette (le risque nommé par D-088). Sans elle, le processus coûte moins et garde la signature et les questions, mais ne montre plus l'écart. Ce n'est pas une mesure de ses progrès, écartée par l'utilisateur (D-088).
**Limites.**
- Coût : environ 250 000 jetons pour une lecture d'un lot de 4 jours (D-059, chiffre ancien) ; une plage courte devrait coûter moins, à constater au premier essai, sur 3 à 5 étiquettes.
- Aucune étiquette n'existe encore : le skill s'écrit à l'aveugle et se corrigera sur les premières.
- La chaîne de mesure n'est pas encore lue par l'analyste : le point 67 (relecture, et son ajout à ce qu'il lit) doit suivre, sinon ce savoir ne l'atteint pas.
**Pistes à revoir.** Déduire des catégories de toutes les étiquettes (l'utilisateur, point 68) ; une étiquette marquante vers `/new-event` ; les détecteurs, ensuite, par `/events-learner` (l'ordre du point 57).
**Où on en est (l'utilisateur, 2026-10-30).** D'abord quelques étiquettes. La façon d'articuler le tout reste ouverte : `/labels-learner` n'est ni approuvé ni construit, la proposition ci-dessus attend de vraies étiquettes.
**Les pièces à articuler (Claude, 2026-10-30).**
| Pièce | Ce qu'elle apporte | Où | État |
|---|---|---|---|
| Étiquettes de l'expert | des cas bruts, en langage naturel | `labeling/` (point 68) | outil prêt, aucune étiquette |
| Savoirs dits par l'expert | effets thermiques, heat haze, occultation, causes des sauts | points 58, 61, 62, 64 | notés au plan, à valider |
| Chaîne de mesure | le mécanisme, le pourquoi | `docs/displacement/domaine/chaine-de-mesure.md` (point 67) | brouillon à relire, pas lu par l'analyste |
| Carte des événements | les signatures, les catégories, les faux amis | `events/carte-des-evenements.md` (D-087) | lue par l'analyste ; apprend de chaque event validé |
| Base d'events | des cas documentés et validés | `events/` | par `/new-event`, `/review-event`, `event-builder` |
| Analyste | lit tout cela et étiquette les lots | `analyser-lot` | sa lecture est la vérité de `/events-learner` |
| Détecteurs | le calcul, sans LLM | `detectors/`, par `/events-learner` | après l'analyste (point 57) |
**Le chemin envisagé, à confirmer.** Étiquettes → l'analyste les confronte aux données → ses propositions → la validation de l'utilisateur → chaîne de mesure et carte → l'analyste les lit → ses lectures de lots s'améliorent → `/events-learner` → les détecteurs. Dans le déroulé du point 57, les étiquettes entrent aux étapes 1 (le savoir) et 3 (les cas).
**Les questions, après les premières étiquettes.**
1. Par quoi le processus se lance : étiquette par étiquette, par station, ou par phénomène ?
2. La lecture à l'aveugle, ou non ?
3. Les cas des points 60, 62 et 64 : désignés par des étiquettes, puis `/new-event`, à la place de la recherche de périodes par Claude ?
4. La chaîne de mesure (point 67) : la relire avant, ou à la lumière des étiquettes ?
5. Une étiquette peut-elle un jour juger les détecteurs ? Pas aujourd'hui (D-098) : pas de catégorie, et un instant sans étiquette ne veut pas dire « rien vu ».
**À regarder sur ces étiquettes.** Disent-elles la cause, ou ce qu'on voit ? Comment l'expert l'a su ? Quels plots ? Quelles stations ? Ce qui a gêné dans l'outil.
- [ ] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données »).
- [ ] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus.
- [ ] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`).
- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill.
---
@@ -1773,3 +1839,6 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-30 : point 68 ajouté (idée de l'utilisateur : une page web pour étiqueter soi-même, en expert) : avis de Claude, oui ; essai proposé sur la page Status, étiquettes libres dans `etiquettes-expert/`, limites notées ; à valider.
- 2026-10-30 : point 68, précisions de l'utilisateur : une page à part dans `labeling/`, un plot à la fois comme le menu Advanced, une barre de temps alignée pour sélectionner, du texte sans catégorie, Add écrit aussitôt, zones étiquetées visibles ; description à approuver.
- 2026-10-30 : point 68, description approuvée, outil construit et essayé (D-098), commité à la demande de l'utilisateur ; reste son essai.
- 2026-10-30 : point 69 ajouté (idée de l'utilisateur : un processus pour que l'analyste apprenne des étiquettes) : avis de Claude, l'analyste propose, l'utilisateur valide, pas de document nouveau ; `/labels-learner` proposé, à approuver.
- 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit.
- 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE.