diff --git a/.claude/agents/analyste.md b/.claude/agents/analyste.md index 7e99032..13511fd 100644 --- a/.claude/agents/analyste.md +++ b/.claude/agents/analyste.md @@ -1,9 +1,9 @@ --- name: analyste -description: Analyste — analyse un lot de données de déplacement comme un expert (événements datés, étiquettes, events connus) : la vérité de /events-learner, sur laquelle le detectors-critic juge les détecteurs et l'event-builder cherche ce qui est nouveau ; il peut écrire ses propres scripts, et dit les outils dont il s'est servi pour le tool-builder. Appelé par l'orchestrateur de /events-learner avec un dossier de station, un lot, la commande du lot et le chemin de son analyse, ou par /new-event pour les étiquettes d'un event. +description: Analyste — analyse un lot de données de déplacement comme un expert (événements datés, étiquettes, events connus) : la vérité de /events-learner, sur laquelle le detectors-critic juge les détecteurs et l'event-builder cherche ce qui est nouveau ; il peut écrire ses propres scripts, et dit les outils dont il s'est servi pour le tool-builder. Appelé par l'orchestrateur de /events-learner avec un dossier de station, un lot, la commande du lot et le chemin de son analyse, par /new-event pour les étiquettes d'un event, ou par /labels-learner pour mesurer les étiquettes de l'expert, lui poser ses questions et conclure. tools: Read, Bash, Write model: inherit omitClaudeMd: true --- -Tu es l'analyste. Lis `.claude/skills/analyser-lot/SKILL.md` et suis-le à la lettre. Ta demande : ce qui suit. +Tu es l'analyste. Lis `.claude/skills/analyser-lot/SKILL.md` et suis-le à la lettre ; si ta demande nomme un autre fichier de consignes, lis celui-là à sa place. Ta demande : ce qui suit. diff --git a/.claude/agents/documentaliste.md b/.claude/agents/documentaliste.md new file mode 100644 index 0000000..4df2224 --- /dev/null +++ b/.claude/agents/documentaliste.md @@ -0,0 +1,35 @@ +--- +name: documentaliste +description: Documentaliste — tient la documentation métier du projet : reçoit des conclusions sourcées (aujourd'hui celles de l'analyste dans /labels-learner, après les réponses de l'expert) et les fait entrer à la bonne place, sans doublon, courtes, avec leur source. Appelé par un orchestrateur avec le chemin du fichier des conclusions. +tools: Read, Bash, Edit, Write +model: inherit +--- + +Tu es le documentaliste. D'autres agents apprennent (l'analyste, en mesurant les étiquettes de l'expert et en lui posant ses questions) ; toi, tu fais entrer ce qu'ils ont appris dans la documentation, pour que tous ceux qui la lisent en profitent. Tu ne refais pas leur travail : tu ne relis pas les données, tu ne juges pas une conclusion ; tu la places, tu la dis bien, et tu signales ce qui coince. + +## Ta demande + +Le chemin d'un fichier qui contient des **conclusions** (chacune : ce qui est appris, sa source), et le contexte qui l'accompagne (les réponses de l'expert). Ne fais entrer que les conclusions de ce fichier. + +## Où va quoi + +| Ce qui est appris | Fichier | +|---|---| +| le mécanisme : comment une mesure se fait, où une cause entre dans la chaîne, ce qu'elle touche, ses témoins | `docs/displacement/domaine/chaine-de-mesure.md` | +| une signature d'événement, une catégorie, un faux ami | `events/carte-des-evenements.md` | +| une façon de lire les données (quel outil, quelle colonne regarder, dans quel ordre) | `.claude/skills/lire-les-donnees/SKILL.md` | +| le sens d'une colonne, un piège des données | `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` | + +Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni le code, ni les events de la base (`events/E-xxx/`), ni les consignes des agents. Une conclusion qui n'a pas sa place dans ces fichiers : ne l'écris pas, signale-la. + +## Comment écrire + +- **Lis d'abord la section visée** (`grep -n '^#'`, puis la section) : ce qui y est déjà se complète ou se corrige à sa place, ne se répète pas ailleurs. Une conclusion qui contredit le texte en place le remplace, si elle vient de l'expert ou des données ; sinon, signale la contradiction. +- **Court** : une ligne de tableau ou une ou deux phrases ; le style du fichier, en français, termes techniques d'AIMsight en anglais. Les fichiers sont lus par des agents à chaque séance : ne pas les alourdir (le savoir de l'analyste pèse déjà ~85 Ko). +- **La source** entre crochets, comme dans la chaîne de mesure : `[U]` l'expert (ses étiquettes, ses réponses), `[D]` mesuré dans les données, `[A]` la documentation AIMsight, `[H]` hypothèse ; avec la date. Une hypothèse confirmée perd son `[H]`. Vu sur une seule station : reste `[H]`, sauf si l'expert l'a dit général. +- **Aucun nom réel** de station, de référence ou de cible dans `events/` ; ailleurs, seulement quand l'exemple l'exige. +- **Général** : pas de règle propre à un site. + +## Ta réponse + +Ajoute en fin du fichier des conclusions une section `## Documentation`, une ligne par conclusion : où elle est entrée (fichier, section) ou pourquoi elle n'est pas entrée ; puis `## Difficultés du documentaliste` (aucune, ou ce qui a gêné : consigne floue, chemin). Réponds en 2 lignes : le nombre de conclusions entrées et de conclusions signalées, les fichiers modifiés. diff --git a/.claude/skills/labels-learner/SKILL.md b/.claude/skills/labels-learner/SKILL.md new file mode 100644 index 0000000..a79afbe --- /dev/null +++ b/.claude/skills/labels-learner/SKILL.md @@ -0,0 +1,48 @@ +--- +name: labels-learner +description: Apprendre des étiquettes de l'expert (labeling/) — sur un phénomène, l'analyste mesure dans les données ce que disent les étiquettes, pose ses questions à l'expert jusqu'à avoir compris, puis passe ses conclusions au documentaliste, qui les fait entrer dans la documentation. Lancé par l'utilisateur seulement, avec /labels-learner. +disable-model-invocation: true +argument-hint: "" +--- + +# Apprendre des étiquettes de l'expert + +L'expert, c'est l'utilisateur : il étiquette des plages en texte libre, la cause et comment il l'a sue (`labeling/.jsonl`, D-098). Apprendre, ici, c'est documenter (D-099) : l'agent `analyste` mesure dans les données ce que disent les étiquettes d'un même phénomène et pose ses questions à l'expert ; quand il a compris, il écrit ses conclusions ; l'agent `documentaliste` les fait entrer dans la documentation. Tu es l'orchestrateur : tu choisis les étiquettes avec l'utilisateur, relaies les questions et les réponses, lances le documentaliste et commites. **Tu ne juges ni les conclusions ni la documentation toi-même.** + +## 1. Les étiquettes du phénomène + +Lis `labeling/*.jsonl` (une ligne par étiquette : `debut`, `fin`, `description`) et retiens celles qui parlent du phénomène demandé (« $ARGUMENTS ») ; sans argument, demande-le. Annonce la liste, une ligne chacune (station, début, fin, dix mots de la description), et fais-la confirmer ou corriger par l'utilisateur (AskUserQuestion : « Ces étiquettes ? », Oui / J'en change). Au plus 5 : au-delà, garde les plus variées (stations différentes d'abord) et dis lesquelles restent pour une autre fois. + +Le dossier de la leçon : `labeling/lecons/_/`. Écris-y `etiquettes.jsonl`, les lignes retenues telles quelles, avec un champ `station` en plus. + +## 2. L'analyste mesure + +L'outil Agent, `subagent_type: analyste`, prompt : + +`Leçon des étiquettes de l'expert (/labels-learner, D-099), pas un lot de la boucle. Tes consignes : .claude/skills/labels-learner/analyste.md. Phénomène : . Étiquettes : /etiquettes.jsonl. Dossier de sortie : .` + +Attends sa notification ; garde son identifiant. Il a écrit `/lecon.md` : ce qu'il a mesuré, puis ses questions (section 3). Ne recopie pas la leçon dans la conversation : dis en une ligne qu'elle est écrite (son chemin). + +## 3. Les questions, jusqu'à ce qu'il ait compris + +Tant que la section 3 de `lecon.md` a des questions sans réponse : +1. Pose-les à l'utilisateur, en texte, numérotées, telles que l'analyste les a écrites, chacune avec l'étiquette qu'elle cite ; il répond dans la conversation (« je ne sais pas » est une réponse). +2. Écris ses réponses, ses mots tels quels, sous chaque question dans `lecon.md` (`Réponse de l'expert : …`). +3. Envoie à l'analyste (SendMessage, son identifiant ; à défaut, un nouvel agent `analyste` avec le prompt de l'étape 2 suivi de « Reprise : les réponses sont dans lecon.md ») : `Réponses de l'expert écrites sous tes questions, dans lecon.md. Reprends tes consignes à l'étape 4.` Attends sa notification : de nouvelles questions, ou ses conclusions. + +Au plus trois tours ; au-delà, dis-le à l'utilisateur et demande s'il faut continuer. + +## 4. Le documentaliste + +Quand la section 4 de `lecon.md` (« Conclusions ») est écrite : l'outil Agent, `subagent_type: documentaliste`, prompt : `Conclusions de l'analyste après les réponses de l'expert (/labels-learner, D-099) : /lecon.md, section 4 ; les réponses de l'expert sont sous les questions de la section 3.` Attends sa notification. + +## 5. Fin + +Relaie la section « Documentation » de `lecon.md` (une ligne par conclusion : où elle est entrée, ou pourquoi pas) et `git diff --stat`. Demande à l'utilisateur (AskUserQuestion, « La documentation te va ? ») : **Commiter** (par chemin : le dossier de la leçon et les fichiers que le documentaliste a modifiés, message `Labels lesson: ` ; rien d'autre de l'arbre), **Corriger** (ses mots au documentaliste, SendMessage, puis la question à nouveau), ou **Plus tard** (rien n'est commité). + +Puis les difficultés que l'analyste et le documentaliste ont remontées (`## Difficultés` et `## Difficultés du documentaliste` de `lecon.md`) : l'agent `releveur` (D-060), s'il y en a. + +## Règles + +- Ni détecteurs, ni base d'events ici : une étiquette marquante, propose `/new-event` en fin ; un détecteur à changer, une ligne pour `/events-learner`. +- Les étiquettes ne se modifient pas ici : elles sont à l'utilisateur (`labeling.py`). diff --git a/.claude/skills/labels-learner/analyste.md b/.claude/skills/labels-learner/analyste.md new file mode 100644 index 0000000..7490216 --- /dev/null +++ b/.claude/skills/labels-learner/analyste.md @@ -0,0 +1,58 @@ +# L'analyste face aux étiquettes de l'expert + +L'expert a étiqueté des plages en texte libre : la cause et comment il l'a sue. Ces étiquettes parlent d'un même phénomène. Ton travail : **comprendre** ce phénomène, en **mesurant dans les données** ce que disent les étiquettes et en les **comparant** ; **demander** à l'expert ce qui reste flou ; puis écrire tes **conclusions**, que le `documentaliste` fera entrer dans la documentation (D-099). Tu n'écris dans aucun document, seulement dans ton dossier de sortie. + +## Ce que tu reçois + +Le phénomène, le fichier des étiquettes (une ligne chacune : `station`, `debut`, `fin`, `description`, en UTC), le dossier de sortie. Les données de chaque étiquette : `data//`. + +## Ce que tu as le droit de lire, seulement + +- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils ; +- les dossiers de station des étiquettes, par ces outils ou tes scripts, et leurs images avec Read ; +- `docs/displacement/domaine/chaine-de-mesure.md` : le mécanisme ; +- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ; +- `events/carte-des-evenements.md` (les signatures, les catégories, les faux amis) et la base d'events comme le dit `.claude/skills/read-event/SKILL.md`. + +Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni les leçons d'autres phénomènes dans `labeling/lecons/`. Tu listes ce que tu as lu dans « Sources lues ». + +## Tes outils + +Ceux de `lire-les-donnees`, avec `--debut`, `--fin` (la plage de l'étiquette et une marge de ton choix : quelques heures, un jour ou plus pour un effet thermique) et `--sortie `. Tes scripts dans `/outils/`, bibliothèque standard, figures par `.venv/bin/python` et matplotlib ; lire les CSV bruts est permis et souvent utile (`reproj_err`, `inlier`, `error_threshold`, que les outils peuvent ne pas montrer). Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie. + +## Déroulé + +1. **Chaque étiquette** : lis-la, puis va dans les données de sa plage. La **signature mesurée** : quelles colonnes bougent, sur quels capteurs, de combien face au niveau habituel, dans quel ordre, et ce qui ne bouge pas. Ce que les données **confirment**, ce qu'elles **contredisent** ou **nuancent** (un ordre inverse, un autre capteur), ce qu'elles **ne montrent pas** (une cause lue sur les images seulement). +2. **La comparaison** : ce qui est commun à toutes les étiquettes (général), ce qui tient à une station ou à un ouvrage, ce qui ressemble sans avoir la même cause (un faux ami) ; et, face à la chaîne de mesure et à la carte, ce qu'elles disent déjà, ce qui leur manque, ce qu'elles disent de faux. +3. **Tes questions à l'expert** : ce que les données contredisent dans ses étiquettes, ce qu'il y laisse en doute, ce qu'il tient pour acquis et que tu ne retrouves pas, ce dont tu as besoin pour conclure. Peu, précises, chacune avec l'étiquette qu'elle cite. Écris le fichier jusqu'à la section 3 et réponds ; l'expert répondra sous tes questions. +4. **Après ses réponses** (on te le dit) : relis-les ; retourne aux données si une réponse le demande. S'il te reste à comprendre, ajoute tes nouvelles questions à la section 3 et réponds. Sinon, écris la section 4. +5. **Tes conclusions** : ce que tu as appris, en termes généraux, chacune avec sa source. Ce qu'un autre lecteur des données doit savoir pour reconnaître ce phénomène, en dire la cause, et ne pas le confondre : le mécanisme, la signature mesurée, la façon de le lire, les faux amis. Peu et justes : ce que les données et l'expert ne soutiennent pas n'en est pas une. Tu ne choisis pas où elles iront : c'est le travail du documentaliste. + +## Le fichier + +`/lecon.md`, exactement sur ce plan : + +```markdown +# Leçon : + +## 1. Les étiquettes, mesurées +### , → +| Ce que dit l'étiquette | Ce que montrent les données (colonnes, capteurs, valeurs, heures) | Confirmé, nuancé, contredit ou absent | + +## 2. Ce qui est général, ce qui tient au site + +## 3. Questions à l'expert +1. (<étiquette citée>) + +## 4. Conclusions +### Conclusion 1 : + +- **Source** : <étiquettes citées (station, début)> ; [U] ; [D] ; [H] si vu sur une seule station + +## Difficultés +aucune | - + +## Sources lues +``` + +Heures en UTC, figures citées par leur nom. Réponds en 2 lignes : le nombre de questions ouvertes, ou de conclusions si tu as fini ; le chemin du fichier. diff --git a/CLAUDE.md b/CLAUDE.md index 0d54142..7897b9e 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -18,7 +18,7 @@ Cadrage du product owner : sous-projet G, santé des sites et notifications au c - **En attente** : agents LLM côté serveur (D-027) et enquête par API (D-042), documents seulement ; communication avec la caméra (dev container, D-038), en attente de la doc de l'API REST ; détection des sauts et tendances (D-055, onglet `Displacements`), très expérimentale. - **Prochaine étape** : - journal du matin : les points ouverts du plan vivant, sur les consignes de l'utilisateur ; un point validé n'est plus repris ; - - les étiquettes de l'expert : l'utilisateur en réalise quelques-unes (`labeling/`, D-098) ; comment l'analyste en apprend reste à décider (point 69 du plan, `/labels-learner` proposé) ; + - les étiquettes de l'expert (`labeling/`, D-098, 13 au 2026-11-02) : le premier `/labels-learner` (D-099, point 69 du plan), sur la perte de référence, lancé par l'utilisateur ; - la première séance de `/events-learner` avec les rôles revus, lancée par l'utilisateur (points 52 à 56 du plan) ; le releveur et l'améliorateur, communs aux processus automatiques, dans une autre conversation ; - les écarts du handoff, dont « consistent with » face aux phrases catégoriques du journal, quand l'utilisateur les arbitre ; - Cellular, Storage, Temperature : les réponses du spécialiste (`docs//domaine/questions-pour-l-expert.md`, pour Temperature la question 1 de `point-de-depart.md`), puis corrections et guides. @@ -73,7 +73,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Lire sans saturer le contexte - Fichier long (tailles en lignes ci-dessous) : lire son plan (`grep -n '^#' `), puis la seule section utile (Read avec `offset` et `limit`). -- `docs/decisions.md` (980 l, D-001 à D-098) : index par `grep -n '^## D-' docs/decisions.md`, puis l'entrée citée seulement ; son **Statut** dit si elle est remplacée. +- `docs/decisions.md` (990 l, D-001 à D-099) : index par `grep -n '^## D-' docs/decisions.md`, puis l'entrée citée seulement ; son **Statut** dit si elle est remplacée. - `data/` : explorer par script (`common.stations.load_stations`, outils de `agent-tools/`), jamais en affichant les CSV. - Ne pas lire : `docs/superpowers/` (historique, sauf le plan vivant et la spec du support), `out/`, `.venv/`, `graphify-out/`. @@ -103,7 +103,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées. - `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. -- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `.jsonl`, versionné ; un clic sur une étiquette la lit et la modifie. +- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `.jsonl`, versionné ; un clic sur une étiquette la lit et la modifie ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène. - `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références). - `events-learner/`, `aiguiser/` : les séances de `/events-learner` et de `/aiguiser`, retiré (D-084, D-097), une par dossier `_/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande. - `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`. @@ -120,7 +120,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - Jeux de travail : VERMONT pour Energy (D-009, le plus long historique) ; WEISSHORN pour Storage (D-034) ; WEISSHORN et NORDEND pour Cellular (D-030, D-032) et Temperature (D-040) ; à pomper s'ils manquent. - WEISSHORN et NORDEND contiennent des identifiants (`SIM_CCID`, `ip`, `ip_*`) : ne pas les recopier. - Les données des events restent, codées, dans `events/`. -- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/events-learner` (`analyste`, `tool-builder`, `detectors-critic`, `detectors-upgrader`, `detectors-control`, `event-builder`), `revue` (`/review-event`), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite). +- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/events-learner` (`analyste`, `tool-builder`, `detectors-critic`, `detectors-upgrader`, `detectors-control`, `event-builder`), `revue` (`/review-event`), `documentaliste` (`/labels-learner`, D-099), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `labels-learner` (D-099), `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite). - `.devcontainer/` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `out/` : pages et JSON générés. - Tout est versionné (D-014), sauf `out/`, `data/`, `.venv/`, `__pycache__/`, `graphify-out/` et `.env`. diff --git a/docs/decisions.md b/docs/decisions.md index 25db5f0..e3cd45b 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -978,3 +978,10 @@ Règles du journal : - **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark). - **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout. - **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`. + +## D-099 — 2026-11-02 — Apprendre des étiquettes de l'expert : `/labels-learner` +- **Statut** : active, à l'essai ; point 69 du plan du journal du matin. +- **Décision** : un skill lancé par l'utilisateur, `/labels-learner `. L'orchestrateur retient avec lui au plus cinq étiquettes de `labeling/` sur ce phénomène ; l'agent `analyste`, sur une consigne à part (`.claude/skills/labels-learner/analyste.md`, pas `analyser-lot`), mesure dans les données ce que dit chacune (la signature : colonnes, capteurs, valeurs, ordre), les compare et pose ses questions à l'expert ; l'orchestrateur les relaie, l'analyste reprend avec les réponses, jusqu'à avoir compris (au plus trois tours), puis écrit ses conclusions. Un nouvel agent, le `documentaliste`, qui tient la documentation métier du projet, les fait entrer à leur place (chaîne de mesure, carte des événements, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source ; l'utilisateur relit le diff, puis commit. Rendus dans `labeling/lecons/_/` (`etiquettes.jsonl`, `lecon.md`), versionnés. +- **Pourquoi** : l'utilisateur, 2026-10-30 : les étiquettes ne valent que si l'analyste en apprend, et apprendre, ici, c'est documenter ; 2026-11-02, sur ses 13 premières étiquettes : pas de lecture à l'aveugle, il n'en voit pas l'intérêt ; le texte des étiquettes suffit, pas de fiche de station. Le même jour, l'utilisateur : ce que l'analyste apprend doit être documenté ; il peut poser des questions, et quand il a tout compris, il passe ses conclusions à un agent de documentation, nouveau, dont le rôle est de maintenir la documentation du projet. Constat de Claude sur ces étiquettes : elles disent le mécanisme, et la mesure dans les données le précise (deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide, à JUNGFRAU et NORDEND). +- **Options écartées** : des propositions présentées une à une à l'utilisateur, appliquées par l'orchestrateur (première version de Claude, le même jour) : les questions à l'expert tiennent lieu de validation, et la documentation a son agent ; la lecture à l'aveugle avant la confrontation (proposition de Claude, pour mesurer l'écart entre l'analyste seul et l'expert) : refusée par l'utilisateur ; une fiche de contexte par station (ouvrage, références) : le texte des étiquettes le dit ; un nouvel agent : l'analyste sait lire les données ; un document de leçons que l'analyste relirait : les acquis vont dans la chaîne de mesure, la carte et `lire-les-donnees` (point 67 : ne pas l'alourdir). +- **Conséquence** : le savoir entre par les réponses de l'expert et se relit au diff avant le commit ; une conclusion vue sur une seule station reste `[H]`. Le `documentaliste` est général : d'autres processus pourront lui passer leurs conclusions. La chaîne de mesure n'est pas encore lue par l'analyste de `/events-learner` (point 67) : ce qu'elle apprend ne l'atteint qu'ensuite. Ni détecteurs ni events ici : `/events-learner` et `/new-event`. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index a68fdea..ef26760 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -125,7 +125,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée | | 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions | | 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur | -| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | idée du 2026-10-30 ; l'utilisateur étiquette d'abord, articulation ouverte | +| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur | Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien). @@ -1596,7 +1596,7 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui - [x] L'utilisateur approuve la description (2026-10-30). - [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde. - [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30). -- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire (point 69). +- [x] Quelques cas étiquetés par l'utilisateur (13 au 2026-11-02) ; regarder ensuite ce que l'analyste en tire (point 69). ### Point 69 : Apprendre des étiquettes de l'expert : `/labels-learner` @@ -1652,9 +1652,48 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui **À regarder sur ces étiquettes.** Disent-elles la cause, ou ce qu'on voit ? Comment l'expert l'a su ? Quels plots ? Quelles stations ? Ce qui a gêné dans l'outil. -- [ ] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données »). -- [ ] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus. -- [ ] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`). +**Les 13 premières étiquettes, lues par Claude (2026-11-02).** 8 à JUNGFRAU (un pont), 4 à NORDEND (une carrière), 1 à WILDSTRUBEL (une route). Toutes disent la cause **et** comment l'expert l'a sue : les plots cités (`corr`, `error_value`, erreur de reprojection, mouvement de la caméra, températures) et les images ; c'est du mécanisme, ce qui manquait à l'analyste (point 67). + +| Phénomène | Étiquettes | Dans la chaîne de mesure ou la carte ? | +|---|---|---| +| Perte de référence : saut, puis caméra aveugle | JUNGFRAU 06/10, 14-15/10, 26/10, 27/10 ; NORDEND 04/09 11:00 | la ligne « Références » oui ; **le témoin `reproj_err` non** | +| Thermique de l'ouvrage (le pont monte en refroidissant), support plus rapide que l'ouvrage, compensation mauvaise | JUNGFRAU 11-12/10, 13/10 | oui (section 3), sans les temps relatifs | +| Thermique de la caméra sur un ouvrage qui ne bouge pas (carrière, route) | NORDEND 25-26/09, WILDSTRUBEL 27/09 | oui ; **le type d'ouvrage qui exclut l'effet de l'ouvrage, non** | +| Tendance de plusieurs jours avec la baisse des températures | JUNGFRAU 16-19/10 | non | +| Visibilité moins bonne, sans coupable | JUNGFRAU 07-08/10 | oui | +| Turbulence de jour, bien compensée | WILDSTRUBEL 27/09 | oui | +| Toile d'araignée contre l'objectif, saturée : **aucun signal** | NORDEND 03-04/09 nuit, 04/09 16:00 | la toile oui ; **l'angle mort non** | + +**Vérifié dans les données par Claude [D]** (JUNGFRAU, les quatre plages ; NORDEND, 04/09) : une référence est rejetée dès que son `error_value` dépasse son `error_threshold` (0,7 pour REF_G et REF_D, 0,45 pour REF_CT ; 0,4 à NORDEND). Trois références acceptées : `reproj_err` > 0, `inlier` = 1. **Deux** : `reproj_err` = 0,000 sur les deux, `inlier` vide. **Une** : `reproj_err` vide partout. Cela s'explique : la similitude 2D a quatre inconnues (chaîne de mesure, étage 5), deux points en donnent quatre équations, l'ajustement est exact et le résidu nul, sans contrôle ; un point ne suffit pas. C'est la règle « un petit résidu n'est pas une transformation bien contrainte » dans sa forme la plus nette : `reproj_err` = 0 est un mauvais signe, pas un bon. Deux stations, cinq cas : assez général pour la chaîne de mesure, sur la parole de l'utilisateur. +- JUNGFRAU 14-15/10 : l'ordre est inverse de celui de l'étiquette : `reproj_err` vide de 02:00 à 04:00 (REF_G et REF_D rejetées, il ne reste que REF_CT), puis 0 de 04:30 à 06:00 (REF_G revenue), puis normal à 06:30. +- JUNGFRAU 06/10 : REF_G rejetée une seule mesure, à 06:00 (`error_value` 0,97). +- NORDEND 03-04/09, la toile : `error_value` de CTR04 à 0,08 et `reproj_err` normal toute la nuit : rien ne la voit, comme le dit l'étiquette. + +**Ce qu'elles apportent hors des données.** Le contexte de la station, que l'analyste n'a pas : le type d'ouvrage (pont, carrière, route) et ce qu'il exclut ; le nombre de références et où elles sont (hors du pont) ; le fuseau, l'heure du lever lue sur les images (WILDSTRUBEL). Et une règle de lecture : un `error_value` haut n'est pas un problème en soi, ses variations le sont (JUNGFRAU 14-15/10). + +**Les doutes de l'expert, des questions pour lui.** NORDEND 03-04/09 : « le système croit toujours en avoir 3 », « pas clair comment c'est calculé ». JUNGFRAU 11-12/10 : « l'erreur reste très stable, ce qui suggère une mauvaise compensation » : stable, donc pas la vue, donc un mouvement ? JUNGFRAU 13/10 : les températures de la station ne suivent pas clairement. + +**Réponses proposées par Claude aux cinq questions, à trancher.** +1. **Par phénomène**, pour dire le général plutôt que le site ; d'abord la perte de référence (cinq étiquettes, deux stations), puis le thermique. +2. **À l'aveugle**, pour le premier essai : ni la carte ni la chaîne ne disent `reproj_err` = 0, l'écart se verra ; plages courtes (de 30 min à 6 h), donc peu coûteuses. +3. **Oui** : les étiquettes désignent les cas ; une étiquette marquante vers `/new-event` (la toile de NORDEND, un angle mort). +4. **À la lumière des étiquettes** : elles tranchent déjà une partie de la chaîne (le témoin des références, le type d'ouvrage) ; on la relit avec les propositions du premier essai. +5. **Non**, inchangé (D-098). +- Le contexte de la station : une ligne par station (ouvrage, références) que l'analyste lit, ou le texte des étiquettes suffit ? Question nouvelle. + +**Réponses de l'utilisateur (2026-11-02).** Pas de lecture à l'aveugle : il n'en voit pas l'intérêt (question 2). Le texte des étiquettes suffit pour le contexte de la station : pas de fiche de station. Les questions 1, 3, 4 et 5 restent sur la proposition de Claude, sans réponse explicite. + +**Le processus, simplifié en conséquence (Claude, à approuver).** `/labels-learner`, sur un phénomène : +1. L'analyste reçoit les étiquettes du phénomène et la chaîne de mesure ; pour chaque étiquette, il va dans les données de sa plage et en tire la **signature mesurée** (quelles colonnes, de combien, dans quel ordre), comme fait ci-dessus pour `reproj_err`. +2. Il compare les étiquettes entre elles (ce qui est général, ce qui tient au site) et rend ses **propositions** à la chaîne de mesure, à la carte et à `lire-les-donnees`, chacune sourcée, plus ses **questions** à l'expert, dont ce que les données contredisent. +3. L'orchestrateur les présente une à une à l'utilisateur ; rien n'entre sans sa parole. +Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux ; l'écart entre l'analyste seul et l'expert ne se mesure plus, l'utilisateur n'en voit pas l'usage. + +- [x] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données ») : 13 au 2026-11-02. +- [x] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus : lues le 2026-11-02, processus simplifié retenu par l'utilisateur. +- [x] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`). Fait le 2026-11-02 (D-099) : `.claude/skills/labels-learner/SKILL.md` (l'orchestrateur), `analyste.md` (la consigne de l'analyste, à la place d'`analyser-lot`) ; l'agent `analyste` lit la consigne que sa demande nomme ; `run.md`, « Apprendre des étiquettes ». + +**Ajout de l'utilisateur (2026-11-02), qui remplace la validation une à une.** Ce que l'analyste apprend doit être documenté. Il pose ses questions à l'expert tant qu'il n'a pas compris (au plus trois tours) ; quand il a tout compris, il passe ses conclusions à un agent nouveau, le `documentaliste` (`.claude/agents/documentaliste.md`), dont le rôle est de maintenir la documentation du projet : il les place (chaîne de mesure, carte, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source. L'utilisateur relit le diff avant le commit. - [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill. --- @@ -1845,3 +1884,7 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit. - 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE. - 2026-10-30 : point 68, demande de l'utilisateur : un clic sur une étiquette la lit dans une fenêtre, Save enregistre son nouveau texte ; essayé sur NIEDERHORN par de vrais gestes, sans toucher aux 13 étiquettes réelles (JUNGFRAU, NORDEND, WILDSTRUBEL). +- 2026-11-02 : point 68, édition des étiquettes commitée. Point 69 : les 13 étiquettes lues ; vérifié dans les données (JUNGFRAU, NORDEND) : deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide ; réponses proposées aux cinq questions, plus le contexte de la station ; choix de l'utilisateur attendu. +- 2026-11-02 : point 69, l'utilisateur : pas de lecture à l'aveugle, le texte des étiquettes suffit (pas de fiche de station) ; processus simplifié en un passage par phénomène, à approuver. +- 2026-11-02 : point 69, `/labels-learner` construit sur le processus simplifié (D-099) ; reste le premier essai, sur la perte de référence (5 étiquettes, JUNGFRAU et NORDEND), lancé par l'utilisateur. +- 2026-11-02 : point 69, demande de l'utilisateur : l'analyste pose ses questions jusqu'à avoir compris, puis passe ses conclusions à un agent nouveau, le `documentaliste`, qui maintient la documentation ; skill, consigne de l'analyste, D-099, `run.md` et `CLAUDE.md` revus. diff --git a/run.md b/run.md index c9a1467..6638295 100644 --- a/run.md +++ b/run.md @@ -32,6 +32,16 @@ Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double Dans le texte, dire la cause et comment on l'a sue (quel plot, quel signe). Étiqueter aussi les cas trompeurs, qui ressemblent à un problème sans en être un : ils donnent les faux amis (point 69 du plan). Le fichier se commite comme le reste (`push.sh`). +# Apprendre des étiquettes (labels-learner) + +Dans Claude Code, à la racine du dépôt : + +``` +/labels-learner perte de référence +``` + +Claude propose les étiquettes de `labeling/` qui parlent de ce phénomène (au plus 5) ; confirmer ou corriger la liste. L'analyste les mesure dans les données et écrit `labeling/lecons/_/lecon.md` ; Claude pose ses questions, répondre dans la conversation (« je ne sais pas » compte) ; il y a au plus trois tours. Quand l'analyste a compris, le documentaliste fait entrer ses conclusions dans la chaîne de mesure, la carte des événements ou `lire-les-donnees` ; relire le diff, puis Commiter, Corriger ou Plus tard (D-099). + # Compléter les métriques de qualité d'une caméra (optical_emulator) Les anciennes caméras n'ont pas les six métriques de qualité (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) dans leurs déplacements. `~/optical_emulator` les recalcule à partir des images DIFF, en rejouant sur CPU le calcul du GPU des caméras récentes.