From 83f7f7be7f46d57f47d781a166daa5289b9b4525 Mon Sep 17 00:00:00 2001 From: maxime Date: Fri, 30 Oct 2026 11:23:31 +0100 Subject: [PATCH] Labeling tool: system metrics in the plot menu, identifiers left out; point 69: how the analyst learns from labels, still open Co-Authored-By: Claude Opus 5.5 --- CLAUDE.md | 7 +- docs/decisions.md | 4 +- .../plans/2026-10-23-journal-du-matin.md | 73 ++++++++++++++++++- labeling/labeling.py | 41 +++++++++-- run.md | 2 + .../contexte/journal-du-matin.md | 1 + 6 files changed, 114 insertions(+), 14 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index 0719bbc..7e3569c 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -8,7 +8,7 @@ Diagnostic proactif pour **AIMsight**, un système de surveillance optique de d Cadrage du product owner : sous-projet G, santé des sites et notifications au client (`docs/aimsight/AIMsight_handoff_G_site_health.md`). Sa dernière section liste les écarts de ce dépôt, à arbitrer par l'utilisateur. -## État et prochaine étape (au 2026-10-29) +## État et prochaine étape (au 2026-10-30) - **Domaines système, livrés en prototype** : Energy (D-020, D-043), Storage (D-034, D-035), Cellular (D-031, D-037), Temperature (D-040) ; chacun avec ses analyses, sa couleur du jour, sa figure du site, son bloc dans la vue client, sa notification support et son guide (D-039, D-041). Seul Energy repose sur des events de l'expert ; les autres ont des seuils provisoires et attendent le spécialiste. - **Maquettes du site** (D-022, D-039) : client « System Summary », une page par station, un bloc par domaine ; support « Home », une notification par station et par domaine Orange ou Red, liée à la vue client (D-025). @@ -18,6 +18,7 @@ Cadrage du product owner : sous-projet G, santé des sites et notifications au c - **En attente** : agents LLM côté serveur (D-027) et enquête par API (D-042), documents seulement ; communication avec la caméra (dev container, D-038), en attente de la doc de l'API REST ; détection des sauts et tendances (D-055, onglet `Displacements`), très expérimentale. - **Prochaine étape** : - journal du matin : les points ouverts du plan vivant, sur les consignes de l'utilisateur ; un point validé n'est plus repris ; + - les étiquettes de l'expert : l'utilisateur en réalise quelques-unes (`labeling/`, D-098) ; comment l'analyste en apprend reste à décider (point 69 du plan, `/labels-learner` proposé) ; - la première séance de `/events-learner` avec les rôles revus, lancée par l'utilisateur (points 52 à 56 du plan) ; le releveur et l'améliorateur, communs aux processus automatiques, dans une autre conversation ; - les écarts du handoff, dont « consistent with » face aux phrases catégoriques du journal, quand l'utilisateur les arbitre ; - Cellular, Storage, Temperature : les réponses du spécialiste (`docs//domaine/questions-pour-l-expert.md`, pour Temperature la question 1 de `point-de-depart.md`), puis corrections et guides. @@ -78,7 +79,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Racine -- `README.md` : point d'entrée pour un humain. `run.md` (123 l) : les commandes que lance l'utilisateur (pompage, étiquetage, métriques de qualité par `~/optical_emulator`, `/events-learner`, `/review-event`). `push.sh ""` : pull, commit de tout, push. +- `README.md` : point d'entrée pour un humain. `run.md` (125 l) : les commandes que lance l'utilisateur (pompage, étiquetage, métriques de qualité par `~/optical_emulator`, `/events-learner`, `/review-event`). `push.sh ""` : pull, commit de tout, push. ### `docs/` @@ -102,7 +103,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées. - `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. -- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois, une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `.jsonl`, versionné. +- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `.jsonl`, versionné. - `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer). - `events-learner/`, `aiguiser/` : les séances de `/events-learner` et de `/aiguiser`, retiré (D-084, D-097), une par dossier `_/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande. - `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`. diff --git a/docs/decisions.md b/docs/decisions.md index 736ba68..7f73c55 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -974,7 +974,7 @@ Règles du journal : ## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/` - **Statut** : active, à l'essai ; point 68 du plan du journal du matin. -- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier. +- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier. - **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark). - **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout. -- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites. Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`. +- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index d81685e..edae584 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -125,6 +125,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée | | 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions | | 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur | +| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | idée du 2026-10-30 ; l'utilisateur étiquette d'abord, articulation ouverte | Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien). @@ -1397,6 +1398,8 @@ Retour de l'utilisateur du 2026-10-29 (vocal), après des exemples des détecteu 5. Les détecteurs : des séances de `/events-learner` sur des lots qui montrent ces causes ; les catégories nouvelles dans `categories.py` et la hiérarchie des status (D-095). 6. Les détails de détection (65) se font quand on veut, sans attendre. +**Les étiquettes de l'expert (2026-10-30).** Elles s'ajoutent à ce déroulé, à ses étapes 1 et 3 : une source de savoir et de cas (points 68 et 69). Leur place exacte reste à décider, après les premières étiquettes. + **L'état des pipelines** (l'utilisateur, 2026-10-29). Certains sont prêts à être lancés : il en a refait quelques-uns, les analystes et les boucles d'apprentissage sont prêts ; il a deux ou trois choses à faire en parallèle, et avance progressivement avec ce plan. **Question.** Ce déroulé, et par où commencer : les effets thermiques (58, puis 59), recommandé, puisque toutes les stations ont déjà une température ? @@ -1458,6 +1461,8 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui **À revoir (2026-10-29).** `/events-learner` a maintenant un `tool-builder`, et l'analyste écrit ses propres scripts (D-097, autre conversation) : les températures peuvent arriver par là plutôt que par `/aiguiser`. +**Constat (Claude, 2026-10-30).** NADELHORN et LENZSPITZE n'ont aucune valeur de `sensor_*_deg_c` (fichiers vides, 5 et 12 jours) : leur seule température est `temperature_deg_c`. « Toutes les stations » et « la seule commune », ci-dessus, sont à corriger. + ### Point 60 : Des cas thermiques construits et validés **L'idée** (l'utilisateur, 2026-10-29). Construire des cas concrets de chacun des trois effets, dans leurs différentes circonstances (caméra sur un pont, ouvrage seul, les deux), les documenter et qu'il les valide : l'analyste les apprend par la base d'events. @@ -1577,7 +1582,9 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui - Pas de `capteurs` : le texte les dit. - Pas de modification ni de suppression dans la page : une ligne à retirer du fichier. - Un seul fichier de code, `labeling/labeling.py` : la page et son serveur (celui du data loader, plus l'enregistrement) ; de la page Status, seule change la cible du formulaire. -- Rien d'autre sur la page : ni images, ni status des détecteurs, ni température, que le monitoring montre. +- Rien d'autre sur la page : ni images, ni status des détecteurs, que le monitoring montre. + +**Ajout de l'utilisateur (2026-10-30).** Les métriques système au menu, « System: … » : celles qui ont des valeurs numériques sur la plage. Les identifiants (`SIM_CCID`, `ip`, `ip_*`) ne sont pas lus : `SIM_CCID` a souvent l'air d'un nombre, il serait tracé. Les métriques texte (`link`, `mode`, `last_sync`…) n'ont pas de courbe. **Les limites à garder.** - Une étiquette de l'expert est ponctuelle : un instant sans étiquette n'y veut pas dire « rien vu », contrairement à l'analyste (point 45). Face aux détecteurs, « trouvées » aurait un sens, « justes » non, tant qu'une plage n'est pas marquée relue en entier ; et `score.py` ne lit pas ces étiquettes, faute de catégorie. L'outil sert à apprendre, pas à calculer un score. @@ -1587,7 +1594,66 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui - [x] L'utilisateur approuve la description (2026-10-30). - [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde. - [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30). -- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire. +- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire (point 69). + +### Point 69 : Apprendre des étiquettes de l'expert : `/labels-learner` + +**L'idée** (l'utilisateur, 2026-10-30). Les étiquettes ne valent que si elles servent : un processus, sans doute un skill, qui les montre à l'analyste pour qu'il apprenne. On n'est pas en apprentissage automatique : apprendre, ici, c'est de la documentation. Avec les étiquettes et le savoir métier, l'analyste comprend ce que l'expert étiquette, en conclut quelque chose et le documente. Plutôt l'analyste qu'un nouvel agent : c'est lui qui sait lire les données, et les mécanismes lui manquent (point 67). Question ouverte de l'utilisateur : comment tirer le maximum de ces étiquettes. + +**Avis de Claude (2026-10-30).** +- L'analyste, oui, pas de nouvel agent. Une limite : il propose, il n'écrit pas dans ses propres documents. « Seul ce que l'expert a validé ou corrigé doit lui apprendre » (point 51) ; « le mécanisme ne change que sur la parole de l'utilisateur » (point 67). +- Pas de document nouveau : la carte pour les signatures et les faux amis (D-087 : une compilation à part est écartée), la chaîne de mesure pour le mécanisme (point 67), `lire-les-donnees` pour la méthode. Les étiquettes restent brutes dans `labeling/` : l'analyste ne les relit pas en séance, il lit ce qu'elles ont apporté (point 67 : ne pas l'alourdir). +- Le texte d'une étiquette n'est que le début. Ce qu'on peut en tirer de plus : + 1. **L'écart** : ce que l'analyste aurait dit seul, face à ce que dit l'expert. C'est ce qu'il y a à apprendre. + 2. **La signature mesurée** : l'expert dit « référence cachée » ; l'analyste retrouve dans les données quelles colonnes bougent, de combien, dans quel ordre, ce qui rend le savoir utilisable sur une autre station, puis par les détecteurs. + 3. **Les questions à l'expert** : ce que l'analyste ne retrouve pas dans les données, ou ce qu'il y voit d'autre, revient à l'expert ; la réponse dit souvent ce que l'étiquette tenait pour acquis. + 4. **Les comparaisons** : plusieurs étiquettes d'un même phénomène disent ce qui est général ; deux courbes semblables aux causes différentes donnent un faux ami. + 5. **Les hypothèses à trancher** : les [H] de `chaine-de-mesure.md` peuvent devenir [U] ou [D]. + +**Proposition (Claude), à approuver.** Un skill `/labels-learner `, sur les étiquettes que l'utilisateur désigne ; rendus dans `labeling/lecons/_/`, versionnés. +1. **Lecture à l'aveugle** : l'analyste lit, par `analyser-lot`, la plage de l'étiquette et sa marge, sans l'étiquette ; des étiquettes voisines, une seule lecture. +2. **Confrontation** : il reçoit l'étiquette et la chaîne de mesure ; pour chacune : déjà vu et bien dit, vu mais autre cause, pas vu, ou introuvable dans les données ; il retourne aux données pour la signature mesurée. +3. **Propositions** : des changements en termes généraux à la carte, à la chaîne de mesure, à `lire-les-donnees`, chacun avec sa source (l'étiquette citée, [U], [D] ou [H]), plus les questions à l'expert. Vu sur un seul cas ou une seule station : reste [H] (« pas de règle spécifique à un site »). +4. **Validation** : l'orchestrateur les présente une à une à l'utilisateur, comme `/review-event` ; rien n'entre dans les documents sans sa parole. + +**Pourquoi la lecture à l'aveugle** (proposée, pas imposée). Après avoir lu la réponse, tout paraît évident : l'analyste dirait que la carte suffit, comme pour le brouillard de JUNGFRAU rangé en `cible_masquee` (point 62), et chercherait dans les données ce que dit l'étiquette (le risque nommé par D-088). Sans elle, le processus coûte moins et garde la signature et les questions, mais ne montre plus l'écart. Ce n'est pas une mesure de ses progrès, écartée par l'utilisateur (D-088). + +**Limites.** +- Coût : environ 250 000 jetons pour une lecture d'un lot de 4 jours (D-059, chiffre ancien) ; une plage courte devrait coûter moins, à constater au premier essai, sur 3 à 5 étiquettes. +- Aucune étiquette n'existe encore : le skill s'écrit à l'aveugle et se corrigera sur les premières. +- La chaîne de mesure n'est pas encore lue par l'analyste : le point 67 (relecture, et son ajout à ce qu'il lit) doit suivre, sinon ce savoir ne l'atteint pas. + +**Pistes à revoir.** Déduire des catégories de toutes les étiquettes (l'utilisateur, point 68) ; une étiquette marquante vers `/new-event` ; les détecteurs, ensuite, par `/events-learner` (l'ordre du point 57). + +**Où on en est (l'utilisateur, 2026-10-30).** D'abord quelques étiquettes. La façon d'articuler le tout reste ouverte : `/labels-learner` n'est ni approuvé ni construit, la proposition ci-dessus attend de vraies étiquettes. + +**Les pièces à articuler (Claude, 2026-10-30).** + +| Pièce | Ce qu'elle apporte | Où | État | +|---|---|---|---| +| Étiquettes de l'expert | des cas bruts, en langage naturel | `labeling/` (point 68) | outil prêt, aucune étiquette | +| Savoirs dits par l'expert | effets thermiques, heat haze, occultation, causes des sauts | points 58, 61, 62, 64 | notés au plan, à valider | +| Chaîne de mesure | le mécanisme, le pourquoi | `docs/displacement/domaine/chaine-de-mesure.md` (point 67) | brouillon à relire, pas lu par l'analyste | +| Carte des événements | les signatures, les catégories, les faux amis | `events/carte-des-evenements.md` (D-087) | lue par l'analyste ; apprend de chaque event validé | +| Base d'events | des cas documentés et validés | `events/` | par `/new-event`, `/review-event`, `event-builder` | +| Analyste | lit tout cela et étiquette les lots | `analyser-lot` | sa lecture est la vérité de `/events-learner` | +| Détecteurs | le calcul, sans LLM | `detectors/`, par `/events-learner` | après l'analyste (point 57) | + +**Le chemin envisagé, à confirmer.** Étiquettes → l'analyste les confronte aux données → ses propositions → la validation de l'utilisateur → chaîne de mesure et carte → l'analyste les lit → ses lectures de lots s'améliorent → `/events-learner` → les détecteurs. Dans le déroulé du point 57, les étiquettes entrent aux étapes 1 (le savoir) et 3 (les cas). + +**Les questions, après les premières étiquettes.** +1. Par quoi le processus se lance : étiquette par étiquette, par station, ou par phénomène ? +2. La lecture à l'aveugle, ou non ? +3. Les cas des points 60, 62 et 64 : désignés par des étiquettes, puis `/new-event`, à la place de la recherche de périodes par Claude ? +4. La chaîne de mesure (point 67) : la relire avant, ou à la lumière des étiquettes ? +5. Une étiquette peut-elle un jour juger les détecteurs ? Pas aujourd'hui (D-098) : pas de catégorie, et un instant sans étiquette ne veut pas dire « rien vu ». + +**À regarder sur ces étiquettes.** Disent-elles la cause, ou ce qu'on voit ? Comment l'expert l'a su ? Quels plots ? Quelles stations ? Ce qui a gêné dans l'outil. + +- [ ] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données »). +- [ ] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus. +- [ ] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`). +- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill. --- @@ -1773,3 +1839,6 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-30 : point 68 ajouté (idée de l'utilisateur : une page web pour étiqueter soi-même, en expert) : avis de Claude, oui ; essai proposé sur la page Status, étiquettes libres dans `etiquettes-expert/`, limites notées ; à valider. - 2026-10-30 : point 68, précisions de l'utilisateur : une page à part dans `labeling/`, un plot à la fois comme le menu Advanced, une barre de temps alignée pour sélectionner, du texte sans catégorie, Add écrit aussitôt, zones étiquetées visibles ; description à approuver. - 2026-10-30 : point 68, description approuvée, outil construit et essayé (D-098), commité à la demande de l'utilisateur ; reste son essai. +- 2026-10-30 : point 69 ajouté (idée de l'utilisateur : un processus pour que l'analyste apprenne des étiquettes) : avis de Claude, l'analyste propose, l'utilisateur valide, pas de document nouveau ; `/labels-learner` proposé, à approuver. +- 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit. +- 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE. diff --git a/labeling/labeling.py b/labeling/labeling.py index 09d577b..f943092 100644 --- a/labeling/labeling.py +++ b/labeling/labeling.py @@ -1,7 +1,7 @@ """L'outil d'étiquetage de l'expert (D-098, point 68 du plan du journal du matin) : se repérer dans le temps et écrire ce qu'on voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page -Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore ; dessous, une barre de temps aux mêmes -abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans +Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de +metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans labeling/.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms de champs de l'analyste (etiquettes.json). Une étiquette se corrige dans ce fichier, puis recharger la page. Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent @@ -12,10 +12,12 @@ Usage : python3 labeling/labeling.py [ [--du AAAA-MM-JJ] [-- out/labeling___.html, ouverte) """ import argparse +import glob import html import http.server import json import os +import re import sys from datetime import datetime from pathlib import Path @@ -25,6 +27,7 @@ ICI = Path(__file__).resolve().parent sys.path[:0] = [str(ICI.parent / "detectors-view"), str(ICI.parent / "detectors-view" / "data-loader")] import chargeur # noqa: E402 (son formulaire, son serveur ; bascule seule sur .venv si plotly manque) import detecteurs # noqa: E402 (les couleurs et les références de la page Status) +from common.stations import load_csv, parse_name # noqa: E402 from detecteurs import ROOT, donnees # noqa: E402 from plotly.offline import get_plotlyjs_version # noqa: E402 @@ -35,6 +38,8 @@ PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"), ("corr_x", "Relative Corrected Horizontal Shift"), ("corr_y", "Relative Corrected Vertical Shift"), ("reproj_err", "References (reproj. error)")) CAMERA = "Camera movement" +# Pas de copie des identifiants (CLAUDE.md, « data/ ») : ces fichiers ne sont pas lus ; SIM_CCID a souvent l'air d'un nombre. +IDENTIFIANT = re.compile(r"SIM_CCID$|ip(_|$)") FORMAT = "%Y-%m-%dT%H:%MZ" # Une figure Plotly n'a qu'un mode de glissement : le plot zoome, la barre, figure à part, sélectionne. Elle reprend à chaque @@ -64,7 +69,7 @@ function dessineFig() { const p = PLOTS[menu.value]; // uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale // uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS - return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: 'lines', x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'), + return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'), line: t.line, hovertemplate: `${t.name}: %{y}`})), {height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(), xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'}, @@ -139,9 +144,24 @@ dessineFig().then(dessineBarre).then(() => { """ -def plots(mesures, poses, a, b): +def metriques(dossier, a, b): + """Les métriques système numériques de metrics/ sur [a, b) -> {nom: {t: valeur ou None}}, sans celles qui n'ont aucune valeur.""" + series = {} + for p in sorted(glob.glob(os.path.join(dossier, "metrics", "*.csv"))): + n = parse_name(p) + if n and not IDENTIFIANT.match(n[1]): + try: + series.setdefault(n[1], {}).update(load_csv(p)) # à heure égale, le dernier fichier, comme load_stations + except ValueError: # une métrique texte (link, mode…) : pas de courbe + pass + dans = {m: {t: v if isinstance(v, float) else None for t, v in sorted(s.items()) if a <= t < b} for m, s in series.items()} + return {m: s for m, s in dans.items() if any(v is not None for v in s.values())} + + +def plots(mesures, poses, systeme, a, b): """-> (T, [plot]) : T, les heures de chaque série, une fois, elles reviennent dans chaque plot (clé : le capteur, "" pour la - caméra) ; plot : titre et traces (name, t : sa clé dans T, y, line), sans les plots ni les capteurs vides.""" + caméra, « system: » et son nom pour une métrique) ; plot : titre et traces (name, t : sa clé dans T, y, line ; mode pour + les métriques, horaires : une valeur seule entre deux trous ne se verrait pas sans marqueur), sans les plots ni les capteurs vides.""" heure = lambda t: t.strftime("%Y-%m-%d %H:%M") # noqa: E731 (UTC, sans fuseau : comme l'affiche Plotly) valeurs = lambda s, c: [None if m[c] is None else round(m[c], 5) for m in s] # noqa: E731 dans = {s: [m for m in mesures[s] if a <= m["t"] < b] for s in sorted(mesures)} @@ -157,7 +177,14 @@ def plots(mesures, poses, a, b): if poses: out.append({"titre": CAMERA + " (deg)", "traces": [{"name": c, "t": "", "y": valeurs(poses, c), "line": {"width": 1.2, "color": couleur}} for c, couleur in detecteurs.POSE]}) - return {"": [heure(p["t"]) for p in poses], **{s: [heure(m["t"]) for m in ms] for s, ms in dans.items()}}, out + T = {"": [heure(p["t"]) for p in poses], **{s: [heure(m["t"]) for m in ms] for s, ms in dans.items()}} + for nom in sorted(systeme, key=str.lower): + s = systeme[nom] + T["system:" + nom] = [heure(t) for t in s] + out.append({"titre": "System: " + nom, "traces": [{"name": nom, "t": "system:" + nom, "mode": "lines+markers", + "y": [None if v is None else round(v, 5) for v in s.values()], + "line": {"width": 1.2, "color": detecteurs.COULEURS[0]}}]}) + return T, out def page(dossier, du=None, au=None): @@ -167,7 +194,7 @@ def page(dossier, du=None, au=None): tous = sorted({m["t"] for ms in mesures.values() for m in ms}) a = donnees.instant(du) if du else tous[0] b = donnees.instant(au) if au else tous[-1] + (tous[-1] - tous[-2]) - T, liste = plots(mesures, [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b], a, b) + T, liste = plots(mesures, [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b], metriques(dossier, a, b), a, b) if not liste: raise SystemExit(f"Aucune mesure dans {dossier} du {du} au {au}.") station = os.path.basename(os.path.normpath(dossier)) diff --git a/run.md b/run.md index fdc36f4..678bac3 100644 --- a/run.md +++ b/run.md @@ -30,6 +30,8 @@ python3 labeling/labeling.py Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/.jsonl`. Une étiquette se corrige dans ce fichier, puis recharger la page. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`. +Dans le texte, dire la cause et comment on l'a sue (quel plot, quel signe). Étiqueter aussi les cas trompeurs, qui ressemblent à un problème sans en être un : ils donnent les faux amis (point 69 du plan). Le fichier se commite comme le reste (`push.sh`). + # Compléter les métriques de qualité d'une caméra (optical_emulator) Les anciennes caméras n'ont pas les six métriques de qualité (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) dans leurs déplacements. `~/optical_emulator` les recalcule à partir des images DIFF, en rejouant sur CPU le calcul du GPU des caméras récentes. diff --git a/vues-deplacements/contexte/journal-du-matin.md b/vues-deplacements/contexte/journal-du-matin.md index c02fdf6..1b5dcdc 100644 --- a/vues-deplacements/contexte/journal-du-matin.md +++ b/vues-deplacements/contexte/journal-du-matin.md @@ -136,3 +136,4 @@ Ce qui peut arriver sur le terrain, relié aux catégories du journal, sans le d - Retour de l'utilisateur (2026-10-29) sur les détecteurs : dire la cause, pas seulement l'événement ; rendre l'analyste plus savant d'abord (trois effets thermiques, températures, métriques de qualité, cause des sauts), les détecteurs ensuite. Points 57 à 66 du plan. - Idée de l'utilisateur (2026-10-29) : le savoir métier de l'analyste, suffisant sans l'alourdir ? Proposition de Claude au point 67 du plan : une note d'une page sur la chaîne de mesure (où chaque cause entre), la carte lue à la demande. - Idée de l'utilisateur (2026-10-30) : une page web pour étiqueter soi-même les données, en expert, pour que l'analyste apprenne de ces étiquettes. Précisée par l'utilisateur au point 68 du plan : une page à part, `labeling/`, un plot à la fois, une barre de temps pour sélectionner une plage, du texte libre sans catégorie. +- Idée de l'utilisateur (2026-10-30) : un processus pour que l'analyste apprenne de ces étiquettes, apprendre étant ici de la documentation. Proposition de Claude au point 69 du plan : `/labels-learner`, l'analyste propose, l'utilisateur valide.