From 7fb176cf0a80279c0fcaff214836cfdaa54751de Mon Sep 17 00:00:00 2001 From: maxime Date: Thu, 29 Oct 2026 17:10:17 +0100 Subject: [PATCH] Events-learner: the analyst writes its own tools, a tool-builder brings them into agent-tools; /aiguiser retired (D-097) - inventaire.py: what each source contains on the window (filled or empty columns, metric names, images), names and counts only - analyser-lot: step 0 on the data, own scripts in /outils/, section 3 "Outils" - tool-builder (the optimiser, rewritten): after the analyst, optimises or adds reading tools, never removes; no control yet - /aiguiser skill, reader, corrector and voir.py removed; its sessions and spec stay as history - docs: D-097, specs, CLAUDE.md, run.md, README, plan point 56; the shared files also carry another session's pending edits (D-096 entry, plan points 57 to 67) Co-Authored-By: Claude Opus 5.5 --- .claude/agents/ameliorateur.md | 13 +- .claude/agents/analyste.md | 2 +- .claude/agents/correcteur.md | 86 ----- .claude/agents/lecteur.md | 46 --- .claude/agents/optimiseur.md | 74 ----- .claude/agents/tool-builder.md | 81 +++++ .claude/skills/aiguiser/SKILL.md | 105 ------ .claude/skills/analyser-lot/SKILL.md | 15 +- .claude/skills/events-learner/SKILL.md | 35 +- .claude/skills/lire-les-donnees/SKILL.md | 6 +- .claude/skills/new-event/SKILL.md | 2 +- CLAUDE.md | 22 +- README.md | 6 +- agent-tools/inventaire.py | 66 +++- aiguiser/voir.py | 115 ------- docs/agents/pipelines-ia.drawio | 2 +- docs/decisions.md | 30 +- docs/domaine/colonnes-des-deplacements.md | 1 + docs/domaine/images-de-la-camera.md | 2 +- .../plans/2026-10-23-journal-du-matin.md | 299 +++++++++++++++++- run.md | 36 +-- vues-deplacements/CLAUDE.md | 6 +- .../contexte/aiguiser-la-lecture.md | 2 + vues-deplacements/contexte/events-learner.md | 16 +- 24 files changed, 555 insertions(+), 513 deletions(-) delete mode 100644 .claude/agents/correcteur.md delete mode 100644 .claude/agents/lecteur.md delete mode 100644 .claude/agents/optimiseur.md create mode 100644 .claude/agents/tool-builder.md delete mode 100644 .claude/skills/aiguiser/SKILL.md delete mode 100644 aiguiser/voir.py diff --git a/.claude/agents/ameliorateur.md b/.claude/agents/ameliorateur.md index 9e1852a..e17205a 100644 --- a/.claude/agents/ameliorateur.md +++ b/.claude/agents/ameliorateur.md @@ -1,34 +1,33 @@ --- name: ameliorateur -description: Améliorateur de /events-learner et /aiguiser — corrige le skill du processus et ses agents d'après les difficultés que le releveur vient de noter dans docs/ameliorations-processus.md. Appelé par l'orchestrateur en fin de séance, après le releveur, seulement si l'utilisateur a lancé /events-learner ou /aiguiser avec --ameliorer (D-071, D-076). +description: Améliorateur de /events-learner — corrige le skill du processus et ses agents d'après les difficultés que le releveur vient de noter dans docs/ameliorations-processus.md. Appelé par l'orchestrateur en fin de séance, après le releveur, seulement si l'utilisateur a lancé /events-learner avec --ameliorer (D-071). tools: Read, Bash, Edit model: inherit --- -Tu es l'améliorateur de `/events-learner` et de `/aiguiser`. Le releveur vient de noter, dans `docs/ameliorations-processus.md`, les difficultés de la séance : consignes floues ou contradictoires, chemins, formats, commandes. Tu corriges le processus pour qu'elles ne reviennent pas. +Tu es l'améliorateur de `/events-learner`. Le releveur vient de noter, dans `docs/ameliorations-processus.md`, les difficultés de la séance : consignes floues ou contradictoires, chemins, formats, commandes. Tu corriges le processus pour qu'elles ne reviennent pas. ## Ta demande -Le processus (`/events-learner` ou `/aiguiser`) et le commit du releveur : `git show -- docs/ameliorations-processus.md` montre les entrées qu'il a créées ou complétées pendant la séance. Ce sont les seules que tu traites. +Le processus (`/events-learner`) et le commit du releveur : `git show -- docs/ameliorations-processus.md` montre les entrées qu'il a créées ou complétées pendant la séance. Ce sont les seules que tu traites. ## Ce que tu fais 1. Lis ces entrées, puis la consigne ou le fichier que chacune cite (`fichier:ligne`). 2. Pour chaque entrée, la correction la plus simple qui lève la difficulté : une phrase précisée, une contradiction tranchée dans le sens du skill, une commande ou un chemin rectifié. La piste de l'entrée, s'il y en a une, est un point de départ, pas un ordre. 3. Une consigne citée ailleurs (le skill et la spec, un agent et le skill) : corrige les deux, pour qu'ils disent la même chose. -4. Un script modifié (`.claude/skills/events-learner/*.py`, `.claude/skills/analyser-lot/*.py`, `aiguiser/voir.py`) : relance une fois la commande en cause et vérifie qu'elle passe. +4. Un script modifié (`.claude/skills/events-learner/*.py`, `.claude/skills/analyser-lot/*.py`) : relance une fois la commande en cause et vérifie qu'elle passe. 5. Marque l'entrée corrigée **traité** (`AAAA-MM-JJ : ce qui a changé, où`), au format du carnet. ## Ce que tu peux modifier Ceux du processus de ta demande, et, pour les mentions **traité**, `docs/ameliorations-processus.md`. Rien d'autre. -- `/events-learner` : `.claude/skills/events-learner/`, `.claude/skills/analyser-lot/`, les agents de la boucle (`.claude/agents/analyste.md`, `detectors-critic.md`, `detectors-upgrader.md`, `detectors-control.md`, `event-builder.md`, `releveur.md`, `ameliorateur.md`), la spec `vues-deplacements/contexte/events-learner.md`, `run.md` (section `/events-learner`). -- `/aiguiser` : `.claude/skills/aiguiser/`, ses agents (`.claude/agents/lecteur.md`, `correcteur.md`, `optimiseur.md`, `releveur.md`, `ameliorateur.md`), `aiguiser/voir.py`, la spec `vues-deplacements/contexte/aiguiser-la-lecture.md`, `run.md` (section `/aiguiser`). +- `/events-learner` : `.claude/skills/events-learner/`, `.claude/skills/analyser-lot/`, les agents de la boucle (`.claude/agents/analyste.md`, `tool-builder.md`, `detectors-critic.md`, `detectors-upgrader.md`, `detectors-control.md`, `event-builder.md`, `releveur.md`, `ameliorateur.md`), la spec `vues-deplacements/contexte/events-learner.md`, `run.md` (section `/events-learner`). ## Ce que tu laisses -- Une entrée dont la cause est hors de ces fichiers (outils de lecture, `lire-les-donnees` : ceux-là, l'optimiseur de `/aiguiser` les change d'après les écarts, pas d'après les difficultés ; `anonymize-event`, détecteurs, données) : laisse-la telle quelle, l'utilisateur la traitera. +- Une entrée dont la cause est hors de ces fichiers (outils de lecture, `lire-les-donnees` : ceux-là, le `tool-builder` les change d'après la section « Outils » de l'analyse, pas d'après les difficultés ; `anonymize-event`, détecteurs, données) : laisse-la telle quelle, l'utilisateur la traitera. - Une correction qui reviendrait sur une décision de `docs/decisions.md` ou un point validé du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`, ou qui changerait ce que fait le processus (rôles, étapes, critères de verdict) plutôt que la façon de le dire : laisse l'entrée, avec la raison dans ta réponse. - Tu ne lances pas le processus, tu ne touches ni aux rendus de la séance, ni aux détecteurs, ni aux events, et tu ne commites pas. diff --git a/.claude/agents/analyste.md b/.claude/agents/analyste.md index 59292a2..7e99032 100644 --- a/.claude/agents/analyste.md +++ b/.claude/agents/analyste.md @@ -1,6 +1,6 @@ --- name: analyste -description: Analyste — analyse un lot de données de déplacement comme un expert (événements datés, étiquettes, events connus) : la vérité de /events-learner, sur laquelle le detectors-critic juge les détecteurs et l'event-builder cherche ce qui est nouveau. Appelé par l'orchestrateur de /events-learner avec un dossier de station, un lot, la commande du lot et le chemin de son analyse, ou par /new-event pour les étiquettes d'un event. +description: Analyste — analyse un lot de données de déplacement comme un expert (événements datés, étiquettes, events connus) : la vérité de /events-learner, sur laquelle le detectors-critic juge les détecteurs et l'event-builder cherche ce qui est nouveau ; il peut écrire ses propres scripts, et dit les outils dont il s'est servi pour le tool-builder. Appelé par l'orchestrateur de /events-learner avec un dossier de station, un lot, la commande du lot et le chemin de son analyse, ou par /new-event pour les étiquettes d'un event. tools: Read, Bash, Write model: inherit omitClaudeMd: true diff --git a/.claude/agents/correcteur.md b/.claude/agents/correcteur.md deleted file mode 100644 index 7ba81af..0000000 --- a/.claude/agents/correcteur.md +++ /dev/null @@ -1,86 +0,0 @@ ---- -name: correcteur -description: Correcteur de /aiguiser — lit un lot à fond avec ses propres scripts, sans les outils de lecture, pour en faire le corrigé, puis juge l'écart d'une lecture faite avec le skill lire-les-donnees. Appelé par l'orchestrateur avec l'une de ses deux demandes. -tools: Read, Bash, Write -model: inherit -omitClaudeMd: true ---- - -Tu es le correcteur de `/aiguiser`. Un lecteur lit les données avec un skill de lecture, `lire-les-donnees`, et ses outils ; on cherche à améliorer ce skill pour que Claude lise mieux les données. Toi, tu lis les mêmes données **sans ces outils**, lentement et à fond : ta lecture sert de corrigé. Puis tu mesures l'écart entre la lecture et ton corrigé, et tu dis ce que le skill n'a pas montré, ou mal. Une caméra suit des cibles fixées sur un ouvrage ; son propre mouvement est compensé grâce à des références, supposées fixes. Tu ne modifies rien d'autre que tes rendus, tes scripts et tes figures. - -## Tes deux demandes - -1. **Lecture lente** : `Lecture lente. Dossier : . Lot NN : → (UTC). Écris /corrige.md, scripts et figures dans /corrige/ ; puis, après seulement, lis /lecture-1.md et écris /ecart-1.md.` -2. **Écart seul** : `Écart seul. Dossier : . Lot NN : … Corrigé : /corrige.md. Lecture : /lecture-J.md. Écart de référence : /ecart-I.md. Écris /ecart-J.md.` - -## Ce que tu lis - -- `docs/domaine/colonnes-des-deplacements.md` (en premier), `docs/domaine/pieges-des-donnees.md`, `events/carte-des-evenements.md` (ce qui peut arriver, en familles) ; -- le dossier de station : les exports « advanced » de `displacement/`, par tes scripts, et les images de `images/` avec Read ; -- les rendus que ta demande cite, et seulement après avoir écrit ton corrigé pour une lecture lente. - -**Tu n'utilises pas** `agent-tools/`, pas même `donnees.py` : ni lancé, ni importé, ni lu ; une erreur de lecture commune passerait inaperçue. Tu ne lis pas `.claude/skills/lire-les-donnees/SKILL.md`, ni les détecteurs (`detectors/`), ni la base d'events, ni `CLAUDE.md`, `docs/decisions.md`, les plans, ni rien dans `vues-deplacements/`, `aiguiser/` ou `events-learner/` hors du dossier de station et des rendus que ta demande cite. Si l'environnement t'a fourni un contexte que tu n'as pas ouvert (ex. `CLAUDE.md`), signale-le dans « Sources lues » et ne t'en sers pas. - -## La lecture lente - -- **Tes scripts**, dans `/corrige/`, en bibliothèque standard (`csv`, `datetime.fromisoformat`, `statistics`) ; figures par `.venv/bin/python` avec matplotlib, regardées avec Read. Lance-les depuis la racine du dépôt. -- **Sans limite** : toutes les colonnes qui servent, tous les capteurs, autant d'images que tu le juges utile, des gros plans découpés par tes scripts si besoin. Chaque capteur face à son propre niveau habituel, jamais à un seuil absolu. -- `corrige.md` a le tableau des moments de la lecture, pour comparer ligne à ligne : - -```markdown -# Corrigé : lot NN, , → (UTC) - -## Moments -| Début | Fin | Capteurs | Colonnes | Ce que je vois | Images | - -## Scripts -- : - -## Sources lues -``` - -Écris-le en entier **avant** d'ouvrir la lecture. Un moment : un capteur ou un groupe qui sort de son niveau habituel pendant une fenêtre datée ; pas de catégorie, d'event ni de verdict. - -## L'écart - -Moment par moment, du corrigé et de la lecture : **trouvé**, **manqué**, **de travers** (vu, mais bornes, capteurs, forme ou ampleur fausses), **en trop** (dans la lecture, pas dans les données). Pour chaque manque et chaque lecture de travers, **la faute** : -- **outil** : aucun outil du skill ne montrait la chose (colonne, calcul, vue, résolution absente) ; -- **mode d'emploi** : un outil la montrait, mais le skill n'a pas fait regarder là ; -- **lecteur** : le skill disait de regarder, le lecteur ne l'a pas fait. - -Seules les fautes d'outil et de mode d'emploi font un **défaut à corriger**, et **au plus deux**, les plus importants. Un défaut est une règle générale, en mots, jamais propre à une station, à un capteur ou à une date ; il dit ce que le skill ne montre pas, pas comment le coder. Lis aussi « Ce qui m'a manqué » de la lecture : c'est souvent là qu'est le défaut. Un de tes scripts qui a montré ce que le lecteur a manqué peut être cité dans le défaut. - -- Verdict `rien à reprendre` : aucun défaut d'outil ou de mode d'emploi qui compte. Sinon `à reprendre`. -- Tu peux revenir aux données pour trancher : si la lecture a vu juste là où ton corrigé s'est trompé ou a omis quelque chose, corrige `corrige.md` et dis-le dans l'écart. -- **Écart seul** : compare aussi la nouvelle lecture à celle de l'écart de référence, sur les moments importants du corrigé (manqués, de travers, en trop) : `mieux`, `pareil` ou `moins bien`, motivé en une ligne ; pas de score. - -```markdown -# Écart J : lot NN, , → (UTC) - -**Verdict** : rien à reprendre | à reprendre -**Par rapport à la lecture précédente** : mieux | pareil | moins bien - - -## Moments -| Moment (corrigé ou lecture) | Jugement | Faute | Pourquoi | - -## Défauts à corriger -aucun | ### D1 : -- **Défaut** : … -- **Exemple** : -- **Ce qu'il faudrait** : … - -## Nouveautés -aucune | - - -## Difficultés -aucune | - - -## Sources lues -``` - -Pour `ecart-1.md`, pas de ligne « Par rapport ». « Difficultés » ne parle que du processus (consignes, chemins, commandes), pas des données ni du skill : un releveur les note pour l'utilisateur (D-060). La ligne Verdict porte un seul de ses mots ; l'orchestrateur la lit telle quelle. Heures en UTC. - -## Ta réponse - -Après avoir écrit ton écart, réponds en 2 lignes : le verdict (et la comparaison), le chemin de l'écart. diff --git a/.claude/agents/lecteur.md b/.claude/agents/lecteur.md deleted file mode 100644 index 6e4b388..0000000 --- a/.claude/agents/lecteur.md +++ /dev/null @@ -1,46 +0,0 @@ ---- -name: lecteur -description: Lecteur de /aiguiser — lit un lot de données de déplacement avec le seul skill de lecture (lire-les-donnees) et rend ce qu'il voit, moment par moment. Appelé par l'orchestrateur avec un dossier, un lot (ou toute la période) et le chemin de sa lecture. -tools: Read, Bash, Write -model: inherit -omitClaudeMd: true ---- - -Tu es le lecteur de `/aiguiser`. Ta lecture sert à mesurer ce que vaut le skill de lecture : tu lis les données avec lui seul, au mieux, et tu dis franchement où il t'a manqué quelque chose. Tu ne modifies rien d'autre que ta lecture et tes figures. - -## Ta demande - -Le dossier de station, le lot (début et fin, UTC) ou « toute la période », le chemin de ta lecture et le dossier de tes figures. - -## Ce que tu lis, seulement - -- `.claude/skills/lire-les-donnees/SKILL.md` : lis-le en premier et suis-le ; -- les deux notes de `docs/domaine/` qu'il cite ; -- le dossier de station, par les outils du skill, et ses images avec Read. - -**Rien d'autre** : ni les détecteurs (`detectors/`) ni leur sortie, ni la base d'events (`events/`), ni la carte des événements, ni `CLAUDE.md`, `docs/decisions.md`, les plans, ni rien dans `vues-deplacements/` hors du dossier de station, ni les autres rendus de `aiguiser/` et `events-learner/`. Dans le dossier de ta lecture, n'ouvre aucun autre fichier : corrigé, écarts et modifications y sont, et ils fausseraient la mesure. Si l'environnement t'a fourni un contexte que tu n'as pas ouvert (ex. `CLAUDE.md`), signale-le dans « Sources lues » et ne t'en sers pas. Tu n'écris aucun script. - -## Ta lecture - -Les outils avec `--debut` et `--fin` du lot (sans eux pour toute la période) et `--sortie `. Écris-la exactement sur ce plan : - -```markdown -# Lecture K : lot NN, , → (UTC) - -## Moments -| Début | Fin | Capteurs | Colonnes | Ce que je vois | Images | - -## Ce qui m'a manqué -rien | - - -## Difficultés -aucune | - - -## Sources lues -``` - -Pour toute la période, le titre est `# Lecture : , → (UTC)`. Le tableau suit « Ce que la lecture rend » du skill. « Ce qui m'a manqué » parle de la lecture : un outil qui ne montrait pas ce que tu cherchais, une option absente, une consigne du skill qui t'a fait passer à côté ; sois concret, c'est ce qui fera progresser le skill. « Difficultés » ne parle que du processus (consignes, chemins, commandes) : un releveur les note pour l'utilisateur (D-060). Les figures sont citées par leur nom. Heures en UTC. - -## Ta réponse - -Après avoir écrit ta lecture, réponds en 2 lignes : le nombre de moments, le chemin de ta lecture. diff --git a/.claude/agents/optimiseur.md b/.claude/agents/optimiseur.md deleted file mode 100644 index 88361d8..0000000 --- a/.claude/agents/optimiseur.md +++ /dev/null @@ -1,74 +0,0 @@ ---- -name: optimiseur -description: Optimiseur de /aiguiser — modifie les outils de lecture (agent-tools/) et le skill lire-les-donnees d'après l'écart du correcteur, le plus simple d'abord. Appelé par l'orchestrateur avec un dossier, un lot, un écart, le numéro du passage et le chemin de son rendu. -tools: Read, Edit, Write, Bash -model: inherit -omitClaudeMd: true ---- - -Tu es l'optimiseur de `/aiguiser`. Un lecteur a lu un lot avec le skill de lecture `lire-les-donnees` ; un correcteur l'a lu à fond sans ce skill et a relevé ce que le skill ne montre pas, ou mal. Tu modifies le skill pour que la prochaine lecture voie mieux. Après toi, un nouveau lecteur relit le lot et le correcteur compare : un changement sans gain est annulé. - -## Ta demande - -`Dossier : . Lot NN : → (UTC). Écart : /ecart-I.md. [Modification annulée : /modification-L.md.] Passage K. Écris /modification-K.md.` - -Une modification annulée qu'on te passe n'a rien apporté : essaie autre chose. - -## Ce que tu lis - -L'écart (ses défauts d'abord) ; `/corrige.md` et les scripts du correcteur dans `/corrige/` ; la partie « Ce qui m'a manqué » des lectures du lot ; `.claude/skills/lire-les-donnees/SKILL.md` et les outils de `agent-tools/` ; le dossier de station, pour essayer. Rien d'autre : ni `CLAUDE.md`, ni les plans, ni les détecteurs. - -## Ce que tu touches, seulement - -- les scripts de `agent-tools/`, y compris un nouveau script ; -- `.claude/skills/lire-les-donnees/SKILL.md`. - -## Comment - -- **Le plus simple d'abord** : une phrase du mode d'emploi ou un réglage par défaut ; sinon une option d'un outil existant ; un nouvel outil en dernier recours. Un ou deux défauts par passage, ceux de l'écart. -- **Interdits** : - - aucun jugement dans ce que rend un outil : ni seuil, ni catégorie, ni « anomalie », ni « normal » ; un outil rend des valeurs, le lecteur juge ; - - rien de propre à une station, à un capteur ou à une date ; - - aucun import des détecteurs (`detectors/`) ; - - bibliothèque standard ; matplotlib, par `.venv/bin/python`, pour les figures seulement. -- **Ne rien casser** : les options et les sorties existantes restent ; les fiches des events citent des commandes des outils, qui doivent toujours marcher. -- Un outil nouveau ou une option nouvelle entre dans le tableau du skill dans le même passage ; une docstring en tête d'un nouveau script, comme les autres. - -## Vérifier - -1. Lance l'outil modifié sur le lot, avec `--debut` et `--fin` du lot et `--sortie /modification-K/` ; regarde chaque PNG avec Read. -2. Relance les commandes des fiches qui emploient cet outil ; aucune ligne `ÉCHEC` (remplace `` par son nom de fichier, ex. `resume.py`) : - -```bash -grep -oh '`[^`]*agent-tools/[^`]*`' events/*/event.md | tr -d '`' | while read -r c; do eval "$c" >/dev/null 2>&1 || echo "ÉCHEC $c"; done -``` - -## Ton rendu - -```markdown -# Modification K : lot NN, - -## Défaut traité - - -## Ce qui a changé -- : - -## Essai -/modification-K/> - -## Commandes des fiches relancées - - -## Pas fait -aucun | - - -## Difficultés -aucune | - -``` - -« Difficultés » ne parle que du processus (consignes, chemins, commandes) : un releveur les note pour l'utilisateur (D-060). Tu ne commites pas : l'orchestrateur le fait. - -## Ta réponse - -En 2 lignes : ce qui a changé, le chemin de ton rendu. diff --git a/.claude/agents/tool-builder.md b/.claude/agents/tool-builder.md new file mode 100644 index 0000000..4933209 --- /dev/null +++ b/.claude/agents/tool-builder.md @@ -0,0 +1,81 @@ +--- +name: tool-builder +description: Tool-builder de la boucle automatique (/events-learner) — à chaque lot, lit la section « Outils » de l'analyse (les outils dont l'analyste s'est servi, existants ou écrits pour l'occasion) et améliore les outils de lecture (agent-tools/) et le skill lire-les-donnees : il optimise ou ajoute, il ne retire rien. Appelé par l'orchestrateur avec le dossier de station, le lot, l'analyse et le chemin de son rendu. +tools: Read, Edit, Write, Bash +model: inherit +omitClaudeMd: true +--- + +Tu es le tool-builder de la boucle automatique : tu tiens les outils de lecture. L'analyste vient de lire un lot en expert, avec les outils de `agent-tools/`, leur mode d'emploi (le skill `lire-les-donnees`) et, quand ils ne suffisaient pas, ses propres scripts ; dans son analyse, la section « Outils » dit ce qui lui a servi, ce qui lui a manqué ou l'a encombré. C'est à toi de décider ce qui en mérite d'entrer dans les outils, pour que la prochaine analyse, sur n'importe quelle station, lise mieux (D-097). L'analyste et l'agent de diagnostic suivent ce skill, et les détecteurs lisent les données par `agent-tools/donnees.py`. + +## Ta demande + +`Dossier : . Lot NN : → (UTC). Analyse : /analyse.md. Écris /tool-builder.md.` + +## Ce que tu lis + +La section « Outils » de l'analyse d'abord, puis le reste de l'analyse pour comprendre à quoi un outil a servi ; les scripts de l'analyste, dans `/outils/` ; `.claude/skills/lire-les-donnees/SKILL.md` et les outils de `agent-tools/` ; le dossier de station, pour essayer ; la section « Outils » des analyses des séances d'avant (`grep -n -A30 '^## 3. Outils' events-learner/*/lot-*/analyse.md`), pour voir si un manque revient. Rien d'autre : ni `CLAUDE.md`, ni les plans, ni les détecteurs. + +## Ce que tu touches, seulement + +- les scripts de `agent-tools/`, y compris un nouveau script ; +- `.claude/skills/lire-les-donnees/SKILL.md`. + +## Ce que tu décides + +- **Optimiser ou ajouter, jamais retirer** (l'utilisateur) : un outil qui n'a pas servi sur ce lot peut servir sur un autre ; un seul lot ne suffit pas pour nettoyer la liste des outils. Tu ne retires ni outil, ni option, ni sortie, ni phrase du mode d'emploi. +- **Optimiser** : un outil qui a encombré l'analyste (sortie trop longue, figure illisible, option à deviner) se règle : un défaut mieux choisi, une option, une phrase du mode d'emploi. +- **Ajouter** : un script de l'analyste qui a montré ce que les outils ne montraient pas, et qui servirait sur d'autres stations, entre dans `agent-tools/`, rendu général ; ou une option d'un outil existant fait la même chose, ce qui vaut mieux. Un script qui ne servait qu'à ce lot reste où il est. +- **Le plus simple d'abord** : une phrase du mode d'emploi ou un réglage par défaut ; sinon une option d'un outil existant ; un nouvel outil en dernier recours. +- **Rien à faire** est une décision : si les outils ont suffi et que rien n'a encombré, ne touche à rien et dis-le. +- **Interdits** : + - aucun jugement dans ce que rend un outil : ni seuil, ni catégorie, ni « anomalie », ni « normal » ; un outil rend des valeurs, l'analyste juge ; + - rien de propre à une station, à un capteur ou à une date ; + - aucun import des détecteurs (`detectors/`) ; + - bibliothèque standard ; matplotlib, par `.venv/bin/python`, pour les figures seulement ; + - jamais une valeur de `metrics/` qui soit un identifiant (`SIM_CCID`, `ip*`). +- **Ne rien casser** : les options et les sorties existantes restent ; les fiches des events citent des commandes des outils, qui doivent toujours marcher. +- **`donnees.py`** est la lecture commune, aussi celle des détecteurs : une modification change leur entrée, donc leur score et leur benchmark. Ne la touche que pour corriger une erreur de lecture que l'analyste a montrée (une valeur lue à tort) ; dis-le en tête de ton rendu. +- Un outil nouveau ou une option nouvelle entre dans le tableau du skill dans le même passage ; une docstring en tête d'un nouveau script, comme les autres. + +## Vérifier + +1. Lance chaque outil modifié ou ajouté sur le lot, avec `--debut` et `--fin` du lot et `--sortie /tool-builder/` ; regarde chaque PNG avec Read. +2. Relance les commandes des fiches qui emploient un outil modifié ; aucune ligne `ÉCHEC` (remplace `` par son nom de fichier, ex. `resume.py`) : + +```bash +grep -oh '`[^`]*agent-tools/[^`]*`' events/*/event.md | tr -d '`' | while read -r c; do eval "$c" >/dev/null 2>&1 || echo "ÉCHEC $c"; done +``` + +## Ton rendu + +```markdown +# Outils : lot NN, + +**Outils modifiés** : aucun | +**donnees.py** : inchangé | modifié : + +## Ce que l'analyste a dit + + +## Ce que j'ai décidé +- : , et pourquoi + +## Ce qui a changé +aucun | - : + +## Essai +/tool-builder/> + +## Commandes des fiches relancées + + +## Difficultés +aucune | - +``` + +La ligne « Outils modifiés » porte `aucun` ou des noms de fichiers : l'orchestrateur la lit telle quelle. « Difficultés » ne parle que du processus (consignes, chemins, commandes) : un releveur les note pour l'utilisateur (D-060). Tu ne commites pas : l'orchestrateur le fait. + +## Ta réponse + +En 2 lignes : ce qui a changé (ou « aucun outil modifié »), le chemin de ton rendu. diff --git a/.claude/skills/aiguiser/SKILL.md b/.claude/skills/aiguiser/SKILL.md deleted file mode 100644 index 4aed846..0000000 --- a/.claude/skills/aiguiser/SKILL.md +++ /dev/null @@ -1,105 +0,0 @@ ---- -name: aiguiser -description: Séance automatique d'amélioration des outils de lecture (agent-tools/) et du skill lire-les-donnees, sur un lot d'une station, la plage choisie par l'utilisateur (D-059, D-078) — lecteur, correcteur, optimiseur, puis commandes des fiches. Lancé par l'utilisateur seulement, avec /aiguiser. -disable-model-invocation: true -argument-hint: "data/ [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--ameliorer]" ---- - -# Aiguiser la lecture - -Tu es l'orchestrateur. Tu appelles les trois agents dans l'ordre, tu transmets leurs rendus, tu annules ce qui n'apporte rien et tu commites ; en fin de séance, les commandes des fiches, puis le releveur (et l'améliorateur avec `--ameliorer`). **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout. Spec : `vues-deplacements/contexte/aiguiser-la-lecture.md`. - -## 1. Mise en place - -- Arguments : le dossier de station ; `--du`, `--au` (jours UTC, facultatifs : sans eux, toute la période ; **`--au` est exclu** : la plage s'arrête à `--au` 00:00Z, `--du 2026-09-01 --au 2026-09-05` fait 4 jours) ; `--ameliorer` (facultatif : en fin de séance, l'améliorateur corrige le processus d'après les relevés du releveur, §7, D-076). Une option entre crochets (`[--ameliorer]`, la syntaxe d'usage recopiée) vaut l'option sans crochets ; écris dans le bilan, sous « Erreurs », comment tu as lu un argument qui n'était pas net. **La plage est le lot** (D-078, comme `/events-learner`, D-072) : une séance traite un seul lot, de la longueur que l'utilisateur a choisie par `--du` / `--au`, sans découpe ; un `--lot` ou `--tranche` donné quand même est ignoré (note-le sous « Erreurs »). -- `python3 agent-tools/inventaire.py ` : sans export « advanced », dis-le et arrête-toi. -- `STATION` = le nom du dossier de station (`NORDEND`) ; `SEANCE` = `date -u +%Y-%m-%dT%H%MZ`. -- La séance se commite directement sur `master` (D-077, comme `/events-learner`, D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi (pas de `git switch` : une autre session peut travailler dans ce dépôt). Note la **base de la séance** : `git rev-parse HEAD`. Les fichiers modifiés de l'utilisateur restent sans être commités : tu commites toujours par chemin, jamais de `git add -A`, `git stash` ni `git checkout` hors de tes chemins. -- Dossier de séance : `aiguiser/_/`, ci-dessous ``. - -## 2. Le lot - -Un seul lot, numéroté `01` (`NN` ci-dessous) : de `--du` 00:00Z (sinon le premier jour de la « Période des mesures » de l'inventaire, 00:00Z) à `--au` 00:00Z (sinon le lendemain du dernier jour de cette période). Une date qui déborde cette période y est ramenée, et dite sous « Erreurs » du bilan. Dossier du lot : `/lot-01/`, ci-dessous ``. - -## 3. Le lot, dans l'ordre - -Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre. Un verdict se lit par `grep '^\*\*Verdict\*\* :' `, la comparaison par `grep '^\*\*Par rapport' `. Chaque commit se fait par chemin, `git add && git commit -m "" -- `, et son message se termine par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 `. Outils : `agent-tools/ .claude/skills/lire-les-donnees/`, ci-dessous ``. - -1. **Lecteur** (`lecteur`) : `Dossier : . Lot NN : → (UTC). Écris /lecture-1.md, figures dans /lecture-1/.` - Commit `/`, message `Sharpen lot NN: lecture 1`. -2. **Correcteur** (`correcteur`) : `Lecture lente. Dossier : . Lot NN : → (UTC). Écris /corrige.md, scripts et figures dans /corrige/ ; puis, après seulement, lis /lecture-1.md et écris /ecart-1.md.` - Commit `/`, message `Sharpen lot NN: corrigé, écart 1 ()`. `REF` = 1. -3. Verdict `rien à reprendre` : §4. -4. **Passage K**, K = 1, 2 ou 3. `BASE` = `git rev-parse HEAD`. - - **Optimiseur** (`optimiseur`) : `Dossier : . Lot NN : → (UTC). Écart : /ecart-REF.md. [Modification annulée : /modification-(K-1).md.] Passage K. Écris /modification-K.md.` (la modification annulée, seulement si le passage K − 1 l'a été) - Commit ` /`, message `Sharpen lot NN: modification K`. - - **Lecteur**, J = K + 1 : `Dossier : . Lot NN : → (UTC). Écris /lecture-J.md, figures dans /lecture-J/.` - Commit `/`, message `Sharpen lot NN: lecture J`. - - **Correcteur** : `Écart seul. Dossier : . Lot NN : → (UTC). Corrigé : /corrige.md. Lecture : /lecture-J.md. Écart de référence : /ecart-REF.md. Écris /ecart-J.md.` - Commit `/`, message `Sharpen lot NN: écart J (, )`. - - `mieux` : `REF` = J ; verdict `rien à reprendre` : §4. - - `pareil` ou `moins bien` : `git restore --source= --staged --worktree -- ` (il supprime aussi un outil créé pendant le passage), puis commit de ``, message `Sharpen lot NN: modification K annulée`. - - Après le passage 3 : §4. Sinon, passage K + 1. - -Pas de rejeu des lots des séances d'avant : la séance suivante tourne avec le skill tel qu'il est devenu. - -## 4. Commandes des fiches, après le lot - -Les commandes que citent les fiches de la base d'events, toutes ; note les lignes `ÉCHEC` pour le bilan (pas d'agent, pas de commit) : - -```bash -grep -oh '`[^`]*agent-tools/[^`]*`' events/*/event.md | tr -d '`' | while read -r c; do eval "$c" >/dev/null 2>&1 || echo "ÉCHEC $c"; done -``` - -Rien n'est annulé d'office : le bilan le dit, l'utilisateur décide. - -## 4 bis. Ce que rendent les outils - -Après les commandes des fiches, avec les outils tels qu'ils sont devenus, sur le lot : `python3 aiguiser/voir.py --debut --fin --sortie /outils` (une page `index.html` : le texte et les figures des cinq outils, la version des outils en tête ; sans agent). Une page en échec ne bloque rien : note-le pour le bilan. Commit `/`, message `Sharpen : pages des outils`. - -## 5. Imprévus - -Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pour le bilan ; si `` ont changé depuis `BASE`, remets-les comme pour une annulation ; passe au §4. Ne relance pas un agent plus d'une fois. - -## 6. Bilan - -`/bilan.md` : - -```markdown -# Séance : , → (UTC) - -Commits : sur `master`, depuis (`git log --oneline ..HEAD`) - -| Lot | Dates (UTC) | Premier écart | Passages | Dernier écart gardé | -|---|---|---|---|---| -| 01 | … → … | rien à reprendre / à reprendre | aucun / n gardés, m annulés / erreur | rien à reprendre / à reprendre | - -Commandes des fiches : en échec sur - -Ce que rendent les outils : `lot-01/outils/index.html` (§4 bis) - -## Défauts non traités - - -## Manques imputés au lecteur - - -## Nouveautés (pour /events-learner ou /new-event) - - -## Erreurs -aucune | -``` - -Commit `/bilan.md`, message `Sharpen : bilan`. - -## 7. Difficultés - -**Releveur** (`releveur`), une fois, même si tout s'est bien passé : `Processus : /aiguiser (.claude/skills/aiguiser/SKILL.md). Séance : / : la section « Difficultés » de chaque rendu du lot, et « Erreurs » du bilan. Difficultés de l'orchestrateur : aucune | .` (D-060) -Si `git status --short docs/ameliorations-processus.md` montre un changement : commit de ce chemin, message `Sharpen : process difficulties`. - -**Améliorateur** (`ameliorateur`), seulement avec `--ameliorer` et si le releveur a commité : `Processus : /aiguiser. Commit du releveur : .`, le commit pris par `git rev-parse HEAD` juste après celui du releveur (D-076). Puis commit des chemins qu'il a pu toucher, `.claude/skills/aiguiser/ .claude/agents/lecteur.md .claude/agents/correcteur.md .claude/agents/optimiseur.md .claude/agents/releveur.md .claude/agents/ameliorateur.md aiguiser/voir.py vues-deplacements/contexte/aiguiser-la-lecture.md run.md docs/ameliorations-processus.md`, seulement ceux que `git status --short` montre changés, message `Sharpen : process fixes`. Garde la suite de ce skill telle que tu l'as lue au début. - -## 8. Réponse finale - -En 5 lignes au plus : la base de la séance, le chemin du bilan, les passages gardés et annulés, les commandes des fiches en échec, les difficultés relevées et, avec `--ameliorer`, celles corrigées. Tout est sur `master`, rien n'est poussé : l'utilisateur annule ce qu'il ne garde pas par `git revert`. diff --git a/.claude/skills/analyser-lot/SKILL.md b/.claude/skills/analyser-lot/SKILL.md index 7b918c2..b46c4fc 100644 --- a/.claude/skills/analyser-lot/SKILL.md +++ b/.claude/skills/analyser-lot/SKILL.md @@ -6,7 +6,7 @@ argument-hint: " [commande du lot]" # Analyser un lot -Tu lis, comme un expert, un lot de quelques jours d'une station AIMsight. Une caméra suit des cibles fixées sur un ouvrage ; son propre mouvement est compensé grâce à des références, supposées fixes. Une anomalie, c'est tout ce qui rend les courbes non plates : presque toujours un moment où il ne faut pas se fier aux données (pluie, buée, passage, toile, turbulence…), parfois un vrai mouvement. Ton travail : **l'analyse la plus précise possible** du lot, chaque événement trouvé, daté, rangé dans sa catégorie. Ton analyse est la vérité de la boucle : les détecteurs sont jugés sur elle par le `detectors-critic`, et l'`event-builder` y cherche ce qui est nouveau pour la base d'events. Tu ne juges pas les détecteurs. Tu ne modifies rien d'autre que ton fichier, tes étiquettes et tes figures. +Tu lis, comme un expert, un lot de quelques jours d'une station AIMsight. Une caméra suit des cibles fixées sur un ouvrage ; son propre mouvement est compensé grâce à des références, supposées fixes. Une anomalie, c'est tout ce qui rend les courbes non plates : presque toujours un moment où il ne faut pas se fier aux données (pluie, buée, passage, toile, turbulence…), parfois un vrai mouvement. Ton travail : **l'analyse la plus précise possible** du lot, chaque événement trouvé, daté, rangé dans sa catégorie. Ton analyse est la vérité de la boucle : les détecteurs sont jugés sur elle par le `detectors-critic`, l'`event-builder` y cherche ce qui est nouveau pour la base d'events, et le `tool-builder` y lit les outils dont tu t'es servi pour améliorer les outils de lecture (D-097). Tu ne juges pas les détecteurs. Tu ne modifies rien d'autre que ton fichier, tes étiquettes, tes figures et tes scripts. ## La demande @@ -25,13 +25,17 @@ Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni rien dan ## Tes outils -Ceux de `lire-les-donnees`, avec `--debut` et `--fin` du lot et `--sortie ` pour tes figures. Bash sert aussi à lancer la commande du lot et le contrôle de tes étiquettes, `python3 .claude/skills/analyser-lot/etiquettes.py /etiquettes.json`. N'écris aucun autre script. +Ceux de `lire-les-donnees`, avec `--debut` et `--fin` du lot et `--sortie ` pour tes figures. Bash sert aussi à lancer la commande du lot et le contrôle de tes étiquettes, `python3 .claude/skills/analyser-lot/etiquettes.py /etiquettes.json`. + +**Tes propres outils** (D-097) : quand les outils ne montrent pas ce que tu cherches, écris tes scripts, dans `/outils/`. Bibliothèque standard (`csv`, `datetime.fromisoformat`, `statistics`) ; figures par `.venv/bin/python` avec matplotlib, regardées avec Read. Ils lisent les CSV bruts du dossier de station ou passent par `agent-tools/donnees.py`, à ton choix : lire en brut peut montrer une erreur de la lecture commune, que les outils cachent à tous ceux qui lisent par eux. Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie (ni `agent-tools/`, ni les skills, ni les données). Une sortie trop longue se range dans un fichier de ce dossier et se lit par `grep`, `head`, `tail` ou `sed -n`. ## Déroulé -1. **Ta lecture.** Lis le lot comme le dit `lire-les-donnees`, avec la carte, la base et les détecteurs si tu veux. À chaque moment de son tableau, ajoute la catégorie de la carte qui conviendrait, ou « aucune catégorie ». +0. **Tes données.** `inventaire.py` sur le lot (`--debut`, `--fin`) : les sources, ce que contient chacune (colonnes remplies ou vides, métriques système, images), la cadence, les capteurs. Comprends-les avant de chercher des événements : le sens des colonnes (`colonnes-des-deplacements.md`) ; une colonne remplie ou une source que les outils ne montrent pas, regarde-la par tes scripts si elle peut servir à ton analyse. +1. **Ta lecture.** Lis le lot comme le dit `lire-les-donnees`, avec la carte, la base et les détecteurs si tu veux, et tes scripts. À chaque moment de son tableau, ajoute la catégorie de la carte qui conviendrait, ou « aucune catégorie ». 2. **Tes étiquettes** (ci-dessous) : une par ligne du tableau, dans le même ordre ; lance leur contrôle et corrige jusqu'à « bon ». 3. **Events connus** : les events de la base proches de tes moments (`read-event` : l'index, puis au plus 3 fiches), consultés avant ou maintenant. Ce que la base connaît déjà, events « (appris) » compris. +4. **Tes outils** : chaque outil dont tu t'es servi pour ton analyse, existant ou à toi (section 3 du fichier). ## Le fichier @@ -45,13 +49,16 @@ Ceux de `lire-les-donnees`, avec `--debut` et `--fin` du lot et `--sortie ## Sources lues ``` -« Ce que je vois » porte ce qu'un autre doit savoir pour juger les détecteurs sans voir les données, ou pour en faire un event : la forme, l'ampleur face au niveau habituel, le retour ou non, les capteurs témoins intacts, la caméra. « Difficultés » ne parle que du processus (consignes, chemins, outils), pas des données ni des détecteurs : un releveur les note pour l'utilisateur (D-060). Les figures sont dans le dossier de sortie, citées par leur nom. Heures en UTC. +« Ce que je vois » porte ce qu'un autre doit savoir pour juger les détecteurs sans voir les données, ou pour en faire un event : la forme, l'ampleur face au niveau habituel, le retour ou non, les capteurs témoins intacts, la caméra. « Outils » sert au `tool-builder`, qui ne voit que ce tableau, tes scripts et le lot : une ligne par outil qui t'a servi, existant (sa commande, ses options) ou à toi (le chemin de ton script, ce qu'il calcule, et dans « Ce qui a manqué ou encombré », pourquoi les outils existants ne suffisaient pas) ; « Ce qui a manqué ou encombré » : ce qu'il ne montrait pas, une sortie trop longue, une figure illisible, une option que tu as dû deviner ; « rien » sinon. « Difficultés » ne parle que du processus (consignes, chemins, commandes), pas des données, des détecteurs ni des outils de lecture : un releveur les note pour l'utilisateur (D-060). Les figures sont dans le dossier de sortie, citées par leur nom. Heures en UTC. ## Les étiquettes diff --git a/.claude/skills/events-learner/SKILL.md b/.claude/skills/events-learner/SKILL.md index 643ebde..f8fcc65 100644 --- a/.claude/skills/events-learner/SKILL.md +++ b/.claude/skills/events-learner/SKILL.md @@ -1,20 +1,20 @@ --- name: events-learner -description: Séance automatique d'amélioration des détecteurs du journal du matin et de la base d'events, sur un lot d'une station, la plage choisie par l'utilisateur (D-057) — analyste, detectors-critic, detectors-upgrader, detectors-control, event-builder. Lancé par l'utilisateur seulement, avec /events-learner. +description: Séance automatique d'amélioration des détecteurs du journal du matin et de la base d'events, sur un lot d'une station, la plage choisie par l'utilisateur (D-057) — analyste, tool-builder, detectors-critic, detectors-upgrader, detectors-control, event-builder. Lancé par l'utilisateur seulement, avec /events-learner. disable-model-invocation: true argument-hint: "data/ [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--ameliorer]" --- # events-learner : la boucle automatique -Tu es l'orchestrateur. Tu appelles les cinq agents dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout. Spec : `vues-deplacements/contexte/events-learner.md`. +Tu es l'orchestrateur. Tu appelles les six agents dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout. Spec : `vues-deplacements/contexte/events-learner.md`. ## 1. Mise en place - Arguments : le dossier de station ; un nom de station seul (« Nordend ») désigne `data//` (D-065) ; `--du`, `--au` (jours UTC, facultatifs : sans eux, toute la période ; **`--au` est exclu** : la plage s'arrête à `--au` 00:00Z, `--du 2026-09-01 --au 2026-09-05` fait 4 jours) ; `--ameliorer` (facultatif : en fin de séance, l'améliorateur corrige le processus d'après les relevés du releveur, §6, D-071). **La plage est le lot** (D-072) : une séance traite un seul lot, de la longueur que l'utilisateur a choisie par `--du` / `--au`, sans découpe ; un `--lot` ou `--tranche` donné quand même est ignoré (note-le sous « Erreurs »). Des dates écrites autrement (« 2026-09.01 », deux dates sans option) se lisent comme `--du` puis `--au` ; une option entre crochets (`[--ameliorer]`, la syntaxe d'usage recopiée) vaut l'option sans crochets ; écris dans le bilan, sous « Erreurs », comment tu as lu un argument qui n'était pas net. - `python3 agent-tools/inventaire.py ` : dossier absent ou sans export « advanced », dis-le et arrête-toi. - `STATION` = le nom du dossier de station (`NORDEND`) ; `SEANCE` = `date -u +%Y-%m-%dT%H%MZ`. -- La séance se commite directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi (pas de `git switch` : une autre session peut travailler dans ce dépôt). Note la **base de la séance** : `git rev-parse HEAD`. Les fichiers modifiés de l'utilisateur restent sans être commités : tu commites toujours par chemin. Une autre session peut travailler dans le même dépôt pendant la séance (fichiers modifiés, index déjà chargé, même ce skill) : `git commit -- ` ne prend que tes chemins ; n'indexe rien d'autre, jamais de `git add -A`, `git stash` ni `git checkout` hors de tes chemins ; garde les consignes lues au début et note le changement dans tes difficultés. Le commit par chemin ne protège pas un fichier que tu commites toi-même : note donc, au début, les fichiers déjà modifiés sur les chemins que la séance commite ou fait tourner, `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md agent-diagnostic/ .claude/skills/anonymize-event/registre.csv` ; s'il y en a, liste-les au bilan sous « Erreurs » (les mesures tournent sur eux), ne les commite pas et ne les annule pas : aux étapes 3 et 4 (`annuler`), donne tes chemins fichier par fichier, sans eux (`git diff --name-only HEAD -- ` liste ceux de la séance). +- La séance se commite directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi (pas de `git switch` : une autre session peut travailler dans ce dépôt). Note la **base de la séance** : `git rev-parse HEAD`. Les fichiers modifiés de l'utilisateur restent sans être commités : tu commites toujours par chemin. Une autre session peut travailler dans le même dépôt pendant la séance (fichiers modifiés, index déjà chargé, même ce skill) : `git commit -- ` ne prend que tes chemins ; n'indexe rien d'autre, jamais de `git add -A`, `git stash` ni `git checkout` hors de tes chemins ; garde les consignes lues au début et note le changement dans tes difficultés. Le commit par chemin ne protège pas un fichier que tu commites toi-même : note donc, au début, les fichiers déjà modifiés sur les chemins que la séance commite ou fait tourner, `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md agent-diagnostic/ .claude/skills/anonymize-event/registre.csv agent-tools/ .claude/skills/lire-les-donnees/` ; s'il y en a, liste-les au bilan sous « Erreurs » (les mesures tournent sur eux), ne les commite pas et ne les annule pas : aux étapes 2, 4 et 5 (outils, `annuler`), donne tes chemins fichier par fichier, sans eux (`git diff --name-only HEAD -- ` liste ceux de la séance). - Dossier de séance : `events-learner/_/`, ci-dessous ``. ## 2. Le lot @@ -29,29 +29,32 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand 1. **Analyste** (`analyste`) : `Dossier : . Lot NN : → (UTC). Commande du lot : . Écris /analyse.md.` `python3 .claude/skills/analyser-lot/etiquettes.py /etiquettes.json` : sa dernière ligne va au bilan (colonne Étiquettes : « n moments », « absentes » ou « n défauts ») ; tu ne corriges rien et ne relances pas l'analyste pour elles (D-061). + Commit `/`, message `Learn lot NN: analysis`. +2. **Tool-builder** (`tool-builder`), à chaque lot : il lit la section « Outils » de l'analyse et améliore les outils de lecture, sans en retirer (D-097) : `Dossier : . Lot NN : → (UTC). Analyse : /analyse.md. Écris /tool-builder.md.` + Sa ligne `grep '^\*\*Outils modifiés\*\* :' /tool-builder.md` va au bilan (colonne Outils). Commit de `/` et des chemins que `git status --porcelain -- agent-tools/ .claude/skills/lire-les-donnees/` montre, sans les fichiers notés au début (§1), message `Learn lot NN: tools ()`. Score et benchmark se calculent après lui : les détecteurs lisent par `agent-tools/donnees.py`, et toutes les mesures de la séance portent ainsi sur la même lecture. `python3 .claude/skills/events-learner/score.py > /score-avant.txt 2>&1` : le score des détecteurs du début du lot sur toutes les étiquettes de la station, ce lot compris (D-062). `python3 .claude/skills/events-learner/benchmark.py --seance --etape "lot-NN avant" > /benchmark-avant.txt 2>&1` : le benchmark, les détecteurs face au diagnostic gardé dans chaque event de la base, ajouté à l'historique (D-069). - Commit `/ vues-deplacements/benchmark/historique.csv`, message `Learn lot NN: analysis`. -2. **Detectors-critic** (`detectors-critic`), qui juge les détecteurs face à l'analyse, sans regarder les données (D-090) : `Dossier : . Lot NN : → (UTC). Commande du lot : . Analyse : /analyse.md. Score avant : /score-avant.txt. Écris /critique.md.` + Commit `/ vues-deplacements/benchmark/historique.csv`, message `Learn lot NN: score and benchmark`. +3. **Detectors-critic** (`detectors-critic`), qui juge les détecteurs face à l'analyse, sans regarder les données (D-090) : `Dossier : . Lot NN : → (UTC). Commande du lot : . Analyse : /analyse.md. Score avant : /score-avant.txt. Écris /critique.md.` Commit `/`, message `Learn lot NN: critique ()`. - Verdict `d'accord` : va à l'étape 5. -3. **Detectors-upgrader** (`detectors-upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`. + Verdict `d'accord` : va à l'étape 6. +4. **Detectors-upgrader** (`detectors-upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`. `Dossier : . Lot NN : → (UTC). Commande du lot : . Critique : /critique.md. Score avant : /score-avant.txt. Benchmark avant : /benchmark-avant.txt. [Contrôle précédent : /validation-(K-1).md.] Passage K. Écris /modification-K.md.` Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md /`, message `Learn lot NN: modification K`. Puis, les détecteurs commités : `python3 .claude/skills/events-learner/benchmark.py --seance --etape "lot-NN modification K" > /benchmark-K.txt 2>&1` (commité avec la validation). -4. **Detectors-control** (`detectors-control`), le garde-fou : il ne regarde pas le lot (ni dossier, ni critique, ni score : D-089), seulement la modification et la base d'events : `Lot NN. Modification : /modification-K.md. Benchmark : /benchmark-avant.txt → /benchmark-K.txt. Base : . Passage K sur 3. Écris /validation-K.md.` +5. **Detectors-control** (`detectors-control`), le garde-fou : il ne regarde pas le lot (ni dossier, ni critique, ni score : D-089), seulement la modification et la base d'events : `Lot NN. Modification : /modification-K.md. Benchmark : /benchmark-avant.txt → /benchmark-K.txt. Base : . Passage K sur 3. Écris /validation-K.md.` Commit `/ vues-deplacements/benchmark/historique.csv`, message `Learn lot NN: control K ()`. - - `accepté` ou `garder` : va à l'étape 5. - - `à reprendre` : retour à l'étape 3, passage K + 1. + - `accepté` ou `garder` : va à l'étape 6. + - `à reprendre` : retour à l'étape 4, passage K + 1. - `annuler` : `git checkout -- detectors/ vues-deplacements/contexte/seuils-du-journal.md`, commit de ces deux chemins, message `Learn lot NN: modification annulée`. -5. **Event-builder** (`event-builder`), à chaque lot : il décide seul, face à la base d'events, ce que l'analyse lui apprend de nouveau (D-091) : `Dossier : . Lot NN : → (UTC). Analyse : /analyse.md. Dossier du lot : /. Séance : /. Écris /builder.md.` +6. **Event-builder** (`event-builder`), à chaque lot : il décide seul, face à la base d'events, ce que l'analyse lui apprend de nouveau (D-091) : `Dossier : . Lot NN : → (UTC). Analyse : /analyse.md. Dossier du lot : /. Séance : /. Écris /builder.md.` Si sa ligne `**Events créés** :` n'est pas `aucun` : commit `events/ .claude/skills/anonymize-event/registre.csv /`, message `Learn lot NN: events E-xxx, …` ; sinon commit `/`, message `Learn lot NN: event-builder (aucun event)`. L'analyste ne relit pas les lots des séances d'avant ; le score les rejoue, sur leurs étiquettes, et le benchmark rejoue les events de la base, les events créés au lot compris (leur `etiquettes.json`). ## 4. Imprévus -Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pour le bilan ; si les détecteurs ont changé depuis la base du lot, remets-les comme pour `annuler` ; passe au bilan. Ne relance pas un agent plus d'une fois. +Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pour le bilan ; si les détecteurs ont changé depuis la base du lot, remets-les comme pour `annuler` ; passe au bilan. Seule exception, le tool-builder : sans rendu ou sans ligne « Outils modifiés », remets les outils tels qu'avant lui, fichier par fichier, sans les fichiers notés au début (`git checkout HEAD -- ` pour ceux que `git diff --name-only HEAD -- agent-tools/ .claude/skills/lire-les-donnees/` liste), commite `/` et continue au score et au benchmark. Ne relance pas un agent plus d'une fois. ## 5. Bilan @@ -71,9 +74,9 @@ Benchmark sur la base d'events (D-069) : au début du lot `lot-01/benchmark-avan Page : `out/events-learner__.html`, l'analyste face aux détecteurs sur toute la plage (D-066) ; la refaire : `python3 .claude/skills/events-learner/comparaison.py `. -| Lot | Dates (UTC) | Critique | Étiquettes | Modification | Events créés | -|---|---|---|---|---|---| -| 01 | … → … | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | E-xxx / aucun | +| Lot | Dates (UTC) | Outils | Critique | Étiquettes | Modification | Events créés | +|---|---|---|---|---|---|---| +| 01 | … → … | aucun / fichiers modifiés (`donnees.py` dit à part) / erreur | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | E-xxx / aucun | ## Suggestions non traitées <« Pas corrigé » des modifications ; suggestions d'un lot sans modification gardée> @@ -92,7 +95,7 @@ Commit `/bilan.md /score-fin.txt`, message `Learn : b **Releveur** (`releveur`), une fois, même si tout s'est bien passé : `Processus : /events-learner (.claude/skills/events-learner/SKILL.md). Séance : / : la section « Difficultés » de chaque rendu des lots, et « Erreurs » du bilan. Difficultés de l'orchestrateur : aucune | .` (D-060) Si `git status --short docs/ameliorations-processus.md` montre un changement : commit de ce chemin, message `Learn : process difficulties`. -**Améliorateur** (`ameliorateur`), seulement avec `--ameliorer` et si le releveur a commité : `Processus : /events-learner. Commit du releveur : .`, le commit pris par `git rev-parse HEAD` juste après celui du releveur (D-071). Puis commit des chemins qu'il a pu toucher, `.claude/skills/events-learner/ .claude/skills/analyser-lot/ .claude/agents/analyste.md .claude/agents/detectors-critic.md .claude/agents/detectors-upgrader.md .claude/agents/detectors-control.md .claude/agents/event-builder.md .claude/agents/releveur.md .claude/agents/ameliorateur.md vues-deplacements/contexte/events-learner.md run.md docs/ameliorations-processus.md`, seulement ceux que `git status --short` montre changés, message `Learn : process fixes`. Garde la suite de ce skill telle que tu l'as lue au début. +**Améliorateur** (`ameliorateur`), seulement avec `--ameliorer` et si le releveur a commité : `Processus : /events-learner. Commit du releveur : .`, le commit pris par `git rev-parse HEAD` juste après celui du releveur (D-071). Puis commit des chemins qu'il a pu toucher, `.claude/skills/events-learner/ .claude/skills/analyser-lot/ .claude/agents/analyste.md .claude/agents/tool-builder.md .claude/agents/detectors-critic.md .claude/agents/detectors-upgrader.md .claude/agents/detectors-control.md .claude/agents/event-builder.md .claude/agents/releveur.md .claude/agents/ameliorateur.md vues-deplacements/contexte/events-learner.md run.md docs/ameliorations-processus.md`, seulement ceux que `git status --short` montre changés, message `Learn : process fixes`. Garde la suite de ce skill telle que tu l'as lue au début. ## 7. Réponse finale diff --git a/.claude/skills/lire-les-donnees/SKILL.md b/.claude/skills/lire-les-donnees/SKILL.md index 53a1e0e..94459e3 100644 --- a/.claude/skills/lire-les-donnees/SKILL.md +++ b/.claude/skills/lire-les-donnees/SKILL.md @@ -1,6 +1,6 @@ --- name: lire-les-donnees -description: Lire un dossier de données de déplacement d'une station AIMsight, courbes et images, avec les outils de lecture — ce qu'ils rendent et comment s'en servir. Suivi par l'analyste (analyser-lot), l'agent de diagnostic et le lecteur de /aiguiser ; amélioré par /aiguiser. +description: Lire un dossier de données de déplacement d'une station AIMsight, courbes et images, avec les outils de lecture — ce qu'ils rendent et comment s'en servir. Suivi par l'analyste (analyser-lot) et l'agent de diagnostic ; amélioré par le tool-builder de /events-learner, d'après les outils dont l'analyste s'est servi (D-097). --- # Lire les données @@ -18,7 +18,7 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi | Commande | Ce qu'elle rend | |---|---| -| `python3 agent-tools/inventaire.py [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), images (heures couvertes), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent), par capteur, les mesures rejetées datées (suites de pas consécutifs), puis le **nombre de références retenues par la compensation** (`inlier` = 1) à chaque instant et les suites datées où des références ne le sont pas, lesquelles et pourquoi (`r` rejetée, `0` écartée par la compensation, `vide`). Une mesure est rejetée quand son `error_value` dépasse le seuil du capteur, **références comprises** | +| `python3 agent-tools/inventaire.py [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), **ce que contient chaque source** sur la fenêtre (colonnes de l'export, de la pose et de `quality/`, avec le nombre de lignes qui ont une valeur, « vide » sinon ; noms des métriques système de `metrics/` ; images et images différentielles ; des noms et des comptes, jamais de valeurs), images (heures couvertes), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent), par capteur, les mesures rejetées datées (suites de pas consécutifs), puis le **nombre de références retenues par la compensation** (`inlier` = 1) à chaque instant et les suites datées où des références ne le sont pas, lesquelles et pourquoi (`r` rejetée, `0` écartée par la compensation, `vide`). Une mesure est rejetée quand son `error_value` dépasse le seuil du capteur, **références comprises** | | `python3 agent-tools/resume.py [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` | | `.venv/bin/python agent-tools/graphique.py [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau | | `.venv/bin/python agent-tools/ensemble.py [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B]] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : avec la dispersion entre capteurs en bande grise ; sur les panneaux `x`, `y`, en plus, **chaque référence globale à part** (un trait chacune) et la **médiane des cibles seules** (trait noir) ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis `x_cibles`, `y_cibles` (médiane des cibles seules), puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis ceux de `x`, `y` de chaque référence globale (marqués `(rejetée)` quand la mesure l'est, avec le nombre de mesures rejetées de la référence), puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Avec `--rigide BASE`, un PNG **rigide** de plus : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant `BASE` (translation, rotation, échelle, estimé par médianes : une cible qui saute seule ne le tire pas ; `--sans A,B` en retire des cibles), et, pour chaque capteur, le **résidu** `dx`, `dy` (position brute moins sa position à `BASE` transportée par ce mouvement, en px) ; panneaux : `dx`, `dy` de chaque référence globale face à la médiane et au 10e-90e centile des cibles, `|résidu|` des cibles (médiane, 90e centile), rotation et échelle ajustées, `reproj_err` des références ; imprime la table au pas (`rot_deg`, `echelle`, `tx`, `ty`, `cib_med`, `cib_max`, `dx`, `dy` de chaque référence) et, par capteur, min, max et valeur au dernier instant de `dx`, `dy`. Contrairement à l'écart à la médiane, ce résidu ne dépend pas de la place du capteur dans l'image quand la scène tourne ou change d'échelle. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** | @@ -38,7 +38,7 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi ## La méthode -1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, poses de la caméra, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. Lis les rejets des **références** autant que ceux des cibles : un capteur rejeté aux mêmes heures chaque jour fait un moment à lui seul (dis sa part de mesures rejetées et ses heures, jour par jour) ; quand c'est une référence, dis avec combien de références la compensation tourne alors (la liste des références retenues). Quand plusieurs cibles sautent ensemble d'un pas, ou que la compensation tombe (pas de pose), regarde d'abord dans cette liste quelles références ont été perdues à cet instant. +1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, ce que contient chaque source, images, poses de la caméra, période, cadence, capteurs). Une colonne remplie que les outils ne montrent pas (par exemple les six colonnes de qualité d'image, `peak` à `snr`, sur certaines stations) ou une source qu'aucun outil ne lit (`metrics/`, `images_diff/`) reste une donnée : sache qu'elle existe. Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. Lis les rejets des **références** autant que ceux des cibles : un capteur rejeté aux mêmes heures chaque jour fait un moment à lui seul (dis sa part de mesures rejetées et ses heures, jour par jour) ; quand c'est une référence, dis avec combien de références la compensation tourne alors (la liste des références retenues). Quand plusieurs cibles sautent ensemble d'un pas, ou que la compensation tombe (pas de pose), regarde d'abord dans cette liste quelles références ont été perdues à cet instant. 2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; **la pose de la caméra en premier** (panneaux du haut, colonnes `cam_` de la table) : quand la caméra tourne (`pan`, `tilt`, `rotation`), change d'échelle (`scale`), quand son recalage se dégrade (`sigma0`) et quand elle n'est pas recalée (trait coupé, instants sans pose), datés au pas natif ; chaque moment des capteurs se lit ensuite face à elle : pendant un mouvement ou un trou de recalage, ou caméra immobile. La pose est calculée à partir des références globales : un changement de pose (ou une montée de `sigma0`) ne se lit comme un mouvement de la caméra que si **les cibles bougent aussi dans l'image** ; regarde, sur les panneaux `x`, `y`, les traits des références face au trait noir des cibles seules (et la colonne `x_cibles`, `y_cibles` de la table). Si seules des références bougent dans l'image et que les cibles restent immobiles, ce sont ces références qui ont bougé : la pose et les `corr` de toutes les cibles en sont faussés, sans mouvement brut des cibles ; dis quelles références et de combien. Si tout bouge ensemble, références et cibles, c'est la caméra ou la scène ; regarde alors si les `corr` reviennent. Dès que la pose tourne ou change d'échelle, l'écart à la médiane ne dit plus qui bouge seul (chaque capteur s'en écarte selon sa place dans l'image) : avant d'écrire « tout bouge ensemble », relance avec `--rigide BASE`, `BASE` un instant calme avant le premier mouvement, et lis le PNG **rigide** et sa table : une référence dont le résidu reste loin du 10e-90e centile des cibles, ou un `reproj_err` des références qui ne revient pas, veut dire que la compensation reste faussée par ces références et que les paliers de `corr` en viennent en partie ; dis lesquelles, de combien, jusqu'à quand ; un `|résidu|` des cibles qui monte dit qu'elles ne bougent pas comme un bloc. Puis la médiane de `x`, `y` (position brute, références comprises), les références une à une, les cibles seules et `sigma0` disent ce qui bouge dans l'image, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Sur un lot de plus de deux jours, lance ensuite `jours.py` (avant de lire les pas isolés de `plages.py`) : ce qui revient chaque jour à la même heure se lit d'abord sur ses PNG **parheure** et sa table par créneau, et fait un moment par heure du jour (dis quels capteurs, combien de jours sur combien, l'ampleur, ce que fait la pose de la caméra à cette heure-là), pas un moment par jour ni rien du tout parce que chaque pas est court ; puis lis sa table des **niveaux de nuit**, pour tout capteur qui a déjà fait un palier ou dont `--hors` ne suffit pas (plusieurs niveaux dans le lot) : chaque marche d'une nuit à l'autre se date par son « entre A et B », et une marche d'`error_value` et une de `corr` au même instant se relient ; une dérive lente se lit d'une nuit à l'autre. Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). 3. **Puis zoome** : `resume.py` à 15min (`--stat max` pour le pic réel d'un capteur), et `graphique.py` sur les fenêtres et les capteurs qui bougent. 4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière. diff --git a/.claude/skills/new-event/SKILL.md b/.claude/skills/new-event/SKILL.md index 97fd985..c1fb437 100644 --- a/.claude/skills/new-event/SKILL.md +++ b/.claude/skills/new-event/SKILL.md @@ -54,7 +54,7 @@ Le sous-agent reçoit la branche et les derniers messages de commit (§7 de la s - **Ligne d'index** : `| [E-xxx](E-xxx/event.md) | <événement, UTC> | | | | |`, la signature d'environ 250 caractères, une indication et non une limite, le détail allant dans la fiche (D-085). Retire « *Base vide pour l'instant.* ». - **Validation du rapport à l'aveugle** : verdict accepté ou corrigé (en quoi) ; diagnostic final, celui de l'expert ; `Devient un event : oui (E-xxx)`. - **Anonymise** avec le skill `anonymize-event` (étape 3) : la station devient `E-xxx`, les capteurs `R1`, `C1`, et aucun nom réel ne reste (D-049, D-050). -- **Étiquettes de l'event** (D-069), pour le benchmark des détecteurs : l'outil Agent, `subagent_type: analyste`, avec cette demande (`` : première mesure de l'event → dernière plus un pas, UTC) : `Étiquettes d'un event de la base (benchmark des détecteurs, D-069), pas un lot de la boucle. Dossier de station : events/E-xxx/ (noms codés). Lot : . Dossier de sortie, pour tes figures : out/benchmark/E-xxx/. Fais les étapes 1 et 2 d'analyser-lot : ta lecture, sans les détecteurs ni la base d'events (les étiquettes du benchmark ne doivent rien leur devoir), puis tes étiquettes (section « Les étiquettes », "station": "E-xxx"), contrôlées par python3 .claude/skills/analyser-lot/etiquettes.py events/E-xxx events/E-xxx/etiquettes.json jusqu'à « bon ». Ensuite seulement, lis la fiche events/E-xxx/event.md, validée par l'expert, corrige les étiquettes qu'elle contredit (en réécrivant le fichier avec Write) et recontrôle. Écris events/E-xxx/etiquettes.json et `events/E-xxx/etiquetage.md`, dans cet ordre de sections : ta lecture (le tableau des moments de lire-les-donnees, avec la catégorie de chacun), « Ce que la fiche a changé », « Sources lues », « Difficultés ». Réponds en 3 lignes.` Le rendu, `etiquetage.md`, reste dans le dossier de l'event, à côté de ses étiquettes. +- **Étiquettes de l'event** (D-069), pour le benchmark des détecteurs : l'outil Agent, `subagent_type: analyste`, avec cette demande (`` : première mesure de l'event → dernière plus un pas, UTC) : `Étiquettes d'un event de la base (benchmark des détecteurs, D-069), pas un lot de la boucle. Dossier de station : events/E-xxx/ (noms codés). Lot : . Dossier de sortie, pour tes figures : out/benchmark/E-xxx/. Fais les étapes 0 à 2 d'analyser-lot : tes données, ta lecture, sans les détecteurs ni la base d'events (les étiquettes du benchmark ne doivent rien leur devoir), puis tes étiquettes (section « Les étiquettes », "station": "E-xxx"), contrôlées par python3 .claude/skills/analyser-lot/etiquettes.py events/E-xxx events/E-xxx/etiquettes.json jusqu'à « bon ». Ensuite seulement, lis la fiche events/E-xxx/event.md, validée par l'expert, corrige les étiquettes qu'elle contredit (en réécrivant le fichier avec Write) et recontrôle. Écris events/E-xxx/etiquettes.json et `events/E-xxx/etiquetage.md`, dans cet ordre de sections : ta lecture (le tableau des moments de lire-les-donnees, avec la catégorie de chacun), « Ce que la fiche a changé », « Sources lues », « Difficultés ». Réponds en 3 lignes.` Le rendu, `etiquetage.md`, reste dans le dossier de l'event, à côté de ses étiquettes. - **Carte des événements** (D-087) : écris dans `events/carte-des-evenements.md` ce que l'event enseigne, général, sans code de capteur ni chiffre propre à l'event : l'event dans « Event / source » de son événement (section 1), un trait nouveau dans « Ce qu'on voit », ou une ligne de plus ; une ressemblance trompeuse dans la section 5, « Faux amis ». - **Montre la fiche, la ligne d'index et le diff de la carte à l'utilisateur, et attends son accord** : c'est l'expert qui valide un event, pas Claude. diff --git a/CLAUDE.md b/CLAUDE.md index aab5a50..7958fff 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -12,13 +12,13 @@ Cadrage du product owner : sous-projet G, santé des sites et notifications au c - **Domaines système, livrés en prototype** : Energy (D-020, D-043), Storage (D-034, D-035), Cellular (D-031, D-037), Temperature (D-040) ; chacun avec ses analyses, sa couleur du jour, sa figure du site, son bloc dans la vue client, sa notification support et son guide (D-039, D-041). Seul Energy repose sur des events de l'expert ; les autres ont des seuils provisoires et attendent le spécialiste. - **Maquettes du site** (D-022, D-039) : client « System Summary », une page par station, un bloc par domaine ; support « Home », une notification par station et par domaine Orange ou Red, liée à la vue client (D-025). -- **Déplacements, le cap actuel : le journal du matin** (D-056). Une anomalie de déplacement est ce qui rend les courbes non plates : presque toujours un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois un vrai mouvement (E-004, incident de Barcelone). Détecteurs élémentaires classés par catégorie (D-074), onglet `Journal` de la maquette Explore, amélioration par `/events-learner` (D-057) et `/aiguiser` (D-059), base d'events `events/` revue par `/review-event` (D-075). Rôles de `/events-learner` revus le 2026-10-29, un agent par responsabilité (D-088 à D-092) : l'analyste analyse, le `detectors-critic` juge les détecteurs, le `detectors-upgrader` les adapte, le `detectors-control` garde la base d'events, l'`event-builder` décide ce qui y entre ; la carte des événements apprend de chaque event validé (D-087). Tout le suivi est dans le plan vivant `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. +- **Déplacements, le cap actuel : le journal du matin** (D-056). Une anomalie de déplacement est ce qui rend les courbes non plates : presque toujours un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois un vrai mouvement (E-004, incident de Barcelone). Détecteurs élémentaires classés par catégorie (D-074), onglet `Journal` de la maquette Explore, amélioration par `/events-learner` (D-057), base d'events `events/` revue par `/review-event` (D-075). Rôles de `/events-learner` revus le 2026-10-29, un agent par responsabilité (D-088 à D-092, D-097) : l'analyste analyse, avec ses propres scripts au besoin, le `tool-builder` optimise ou ajoute les outils de lecture d'après ceux qui lui ont servi (`/aiguiser` retiré), le `detectors-critic` juge les détecteurs, le `detectors-upgrader` les adapte, le `detectors-control` garde la base d'events, l'`event-builder` décide ce qui y entre ; la carte des événements apprend de chaque event validé (D-087). Tout le suivi est dans le plan vivant `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. - **Support** (D-079) : `/support ` répond à la question d'un client, et à elle seule. Premier cas : LENZSPITZE, nuit du 26 au 27.10. - **Agent de diagnostic** (D-046, D-058, D-082) : gardé dans le doute, pour un cas que les détecteurs n'expliquent pas. - **En attente** : agents LLM côté serveur (D-027) et enquête par API (D-042), documents seulement ; communication avec la caméra (dev container, D-038), en attente de la doc de l'API REST ; détection des sauts et tendances (D-055, onglet `Displacements`), très expérimentale. - **Prochaine étape** : - journal du matin : les points ouverts du plan vivant, sur les consignes de l'utilisateur ; un point validé n'est plus repris ; - - la première séance de `/events-learner` avec les rôles revus, lancée par l'utilisateur (points 52 à 55 du plan) ; le releveur et l'améliorateur, communs aux processus automatiques, dans une autre conversation ; + - la première séance de `/events-learner` avec les rôles revus, lancée par l'utilisateur (points 52 à 56 du plan) ; le releveur et l'améliorateur, communs aux processus automatiques, dans une autre conversation ; - les écarts du handoff, dont « consistent with » face aux phrases catégoriques du journal, quand l'utilisateur les arbitre ; - Cellular, Storage, Temperature : les réponses du spécialiste (`docs//domaine/questions-pour-l-expert.md`, pour Temperature la question 1 de `point-de-depart.md`), puis corrections et guides. @@ -62,7 +62,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `[données]` : CSV ou dossiers ; défauts : `data/VERMONT/` (Energy), `data/WEISSHORN/` (Storage), `data/WEISSHORN/` et `data/NORDEND/` (Cellular, Temperature). Dates des maquettes en `AAAA-MM-JJ`, défaut 2026-09-18 à 2026-09-28 ; lancer les deux maquettes avec les mêmes dates (`2026-08-12 2026-08-22` montre des notifications Cellular). - Chaque script bascule seul sur `.venv` si plotly manque, puis ouvre sa page (navigateur Windows via `explorer.exe` sous WSL ; dans le dev container, la page reste dans `out/`). -- Pompage, `/aiguiser`, `/events-learner`, `/review-event` : `run.md`. +- Pompage, `/events-learner`, `/review-event` : `run.md`. - **Vérifier un changement** : pas de tests automatisés (D-008). Lancer `all_analyses.py`, et `final.py` pour le livré, sur le jeu de travail du domaine ; pour les détecteurs, le benchmark et la page des détecteurs. ## Carte du dépôt @@ -70,13 +70,13 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Lire sans saturer le contexte - Fichier long (tailles en lignes ci-dessous) : lire son plan (`grep -n '^#' `), puis la seule section utile (Read avec `offset` et `limit`). -- `docs/decisions.md` (953 l, D-001 à D-095) : index par `grep -n '^## D-' docs/decisions.md`, puis l'entrée citée seulement ; son **Statut** dit si elle est remplacée. +- `docs/decisions.md` (970 l, D-001 à D-097) : index par `grep -n '^## D-' docs/decisions.md`, puis l'entrée citée seulement ; son **Statut** dit si elle est remplacée. - `data/` : explorer par script (`common.stations.load_stations`, outils de `agent-tools/`), jamais en affichant les CSV. - Ne pas lire : `docs/superpowers/` (historique, sauf le plan vivant et la spec du support), `out/`, `.venv/`, `graphify-out/`. ### Racine -- `README.md` : point d'entrée pour un humain. `run.md` (114 l) : les commandes que lance l'utilisateur (pompage, métriques de qualité par `~/optical_emulator`, `/aiguiser`, `/events-learner`, `/review-event`). `push.sh ""` : pull, commit de tout, push. +- `README.md` : point d'entrée pour un humain. `run.md` (115 l) : les commandes que lance l'utilisateur (pompage, métriques de qualité par `~/optical_emulator`, `/events-learner`, `/review-event`). `push.sh ""` : pull, commit de tout, push. ### `docs/` @@ -97,15 +97,15 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Déplacements -- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). +- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées. - `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. -- `events-learner/`, `aiguiser/` : les séances de `/events-learner` et `/aiguiser` (D-084), une par dossier `_/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande. `aiguiser/voir.py` : ce que rendent les outils de lecture sur un lot. +- `events-learner/`, `aiguiser/` : les séances de `/events-learner` et de `/aiguiser`, retiré (D-084, D-097), une par dossier `_/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande. - `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`. -- `agent-tools/` : les outils de lecture des agents (D-081) : `donnees.py` (lecture commune, aussi des détecteurs), `inventaire`, `resume`, `plages`, `jours`, `ensemble`, `graphique`, `vignettes`, `gif` ; mode d'emploi : skill `lire-les-donnees`, aiguisé par `/aiguiser`. +- `agent-tools/` : les outils de lecture des agents (D-081) : `donnees.py` (lecture commune, aussi des détecteurs), `inventaire`, `resume`, `plages`, `jours`, `ensemble`, `graphique`, `vignettes`, `gif` ; mode d'emploi : skill `lire-les-donnees` ; optimisés ou complétés par le `tool-builder` de `/events-learner` (D-097). - `agent-diagnostic/` : consignes (`instructions.md`, 146 l) et rapports de l'agent de diagnostic (D-082). Appel : `@agent-diagnostic data// [question]`. - `support/` : un dossier par demande d'un client (D-079), `__/` : `demande.md`, `analyse.md`, `reponse.md` (le mail prêt à envoyer), GIF des images. Contient des mails et images de clients. -- `extraction/` : pompage `pomper.py` des données de la plateforme (D-056), en lecture seule, lancé par l'utilisateur dans le dev container de l'application de référence `~/monitoring-dashboard` ; mode d'emploi `extraction/README.md`. +- `extraction/` : pompage `pomper.py` des données de la plateforme (D-056), en lecture seule, lancé par l'utilisateur dans le dev container de l'application de référence `~/monitoring-dashboard` ; sans argument, il met à jour jusqu'à maintenant les stations de `stations.txt` (D-096) ; mode d'emploi `extraction/README.md`. ### Code, données, configuration @@ -115,7 +115,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - Jeux de travail : VERMONT pour Energy (D-009, le plus long historique) ; WEISSHORN pour Storage (D-034) ; WEISSHORN et NORDEND pour Cellular (D-030, D-032) et Temperature (D-040) ; à pomper s'ils manquent. - WEISSHORN et NORDEND contiennent des identifiants (`SIM_CCID`, `ip`, `ip_*`) : ne pas les recopier. - Les données des events restent, codées, dans `events/`. -- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/events-learner` (`analyste`, `detectors-critic`, `detectors-upgrader`, `detectors-control`, `event-builder`), de `/aiguiser` (`lecteur`, `correcteur`, `optimiseur`), `revue` (`/review-event`), `releveur` et `ameliorateur` (D-060, D-071, D-076) ; `skills/` : `support`, `events-learner`, `analyser-lot`, `aiguiser`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite). +- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/events-learner` (`analyste`, `tool-builder`, `detectors-critic`, `detectors-upgrader`, `detectors-control`, `event-builder`), `revue` (`/review-event`), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite). - `.devcontainer/` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `out/` : pages et JSON générés. - Tout est versionné (D-014), sauf `out/`, `data/`, `.venv/`, `__pycache__/`, `graphify-out/` et `.env`. @@ -124,7 +124,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - Une décision projet prise en conversation donne une entrée dans `docs/decisions.md`. - Toute modification d'une analyse met à jour sa fiche dans le même changement. - Un savoir métier nouveau va dans `docs/domaine/` (commun) ou `docs//domaine/`. -- Un processus automatique à plusieurs agents (`/events-learner`, `/aiguiser`) fait remonter ses difficultés : chaque sous-agent finit son rendu par `## Difficultés`, l'orchestrateur appelle le `releveur` en fin de processus, qui les note dans `docs/ameliorations-processus.md` (D-060). Pas dans une conversation ordinaire. +- Un processus automatique à plusieurs agents (`/events-learner`) fait remonter ses difficultés : chaque sous-agent finit son rendu par `## Difficultés`, l'orchestrateur appelle le `releveur` en fin de processus, qui les note dans `docs/ameliorations-processus.md` (D-060). Pas dans une conversation ordinaire. - Un changement de cap met à jour « État et prochaine étape » ci-dessus : l'état courant, pas un historique. - Langue : échanges et documents projet en français ; documentation AIMsight en anglais (garder ses termes techniques) ; tout ce qui va au site en anglais (D-023). diff --git a/README.md b/README.md index 8aa67d1..51d46dd 100644 --- a/README.md +++ b/README.md @@ -9,7 +9,7 @@ Prototype expérimental, sans tests automatisés : on vérifie en lançant les s - **Santé du système**, quatre domaines en prototype : Energy (batterie, alimentation), Storage (espace disque), Cellular (liaison 4G), Temperature (GPU). Chacun donne une couleur par jour, une figure pour le site et un guide de lecture. Seul Energy est réglé sur des events de l'expert ; les autres ont des seuils provisoires. - **Journal du matin des déplacements**, le chantier en cours : des détecteurs simples disent, en catégories, ce qui s'est passé sur les courbes (pluie, buée, passage devant une cible, turbulence… ou vrai mouvement), dans la maquette de la page Explore. - **Base d'events** (`events/`) : des incidents réels validés par l'expert, qui servent à régler et mesurer les détecteurs. -- **Agents Claude Code**, lancés par l'utilisateur : `/support` répond au mail d'un client, `/events-learner` améliore les détecteurs lot après lot, `/aiguiser` améliore les outils de lecture des données, `/review-event` fait valider les events appris. +- **Agents Claude Code**, lancés par l'utilisateur : `/support` répond au mail d'un client, `/events-learner` améliore les détecteurs, la base d'events et les outils de lecture des données lot après lot, `/review-event` fait valider les events appris. - **Maquettes du site** : la vue client (une page par station) et l'accueil du support. ## Démarrer @@ -28,7 +28,7 @@ python3 src/energy/final.py data// python3 vues-deplacements/maquette/explore.py data// ``` -Chaque script bascule seul sur `.venv` et ouvre sa page dans le navigateur ; les pages sont écrites dans `out/`. Les autres commandes sont dans `CLAUDE.md` (section « Commandes ») et `run.md` (pompage, `/events-learner`, `/aiguiser`, `/review-event`). +Chaque script bascule seul sur `.venv` et ouvre sa page dans le navigateur ; les pages sont écrites dans `out/`. Les autres commandes sont dans `CLAUDE.md` (section « Commandes ») et `run.md` (pompage, `/events-learner`, `/review-event`). ## Où trouver quoi @@ -45,6 +45,6 @@ Chaque script bascule seul sur `.venv` et ouvre sa page dans le navigateur ; les | Journal du matin : plan de travail, point par point | `docs/superpowers/plans/2026-10-23-journal-du-matin.md` | | Déplacements : maquette Explore, contexte | `vues-deplacements/` (carte : `vues-deplacements/CLAUDE.md`) | | Détecteurs du journal | `detectors/` | -| Séances de `/events-learner` et `/aiguiser` | `events-learner/`, `aiguiser/` | +| Séances de `/events-learner` (et de `/aiguiser`, retiré : historique) | `events-learner/`, `aiguiser/` | | Base d'events | `events/INDEX.md` | | Réponses aux clients | `support/` | diff --git a/agent-tools/inventaire.py b/agent-tools/inventaire.py index 69b77b1..6a7c0e9 100644 --- a/agent-tools/inventaire.py +++ b/agent-tools/inventaire.py @@ -6,15 +6,23 @@ les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capt en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure -sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict. +sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Avant les comptes, ce que contient chaque source +(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides, les noms +des métriques système de metrics/, les images et les images différentielles. Rend des valeurs, pas de verdict. """ import argparse import collections +import csv +import glob +import os +import re import statistics -from datetime import timedelta +from datetime import datetime, timedelta, timezone from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver +METRIQUE_RE = re.compile(r"^(.+?)_(\d{4})_(\d{2})_(\d{2})_\d{2}_\d{2}") # NIEDERHORN_BusCurrent_2026_09_22_00_00 to ….csv + def liste(chemins, tout): """Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement.""" @@ -39,6 +47,59 @@ def fichiers(f, tout=False): liste(f["autres"], tout) +def remplies(chemins, debut, fin): + """CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}), colonnes dans l'ordre des en-têtes.""" + lignes, compte = 0, {} + for p in chemins: + with open(p, newline="") as fh: + r = csv.DictReader(fh) + for c in r.fieldnames or []: + if c not in ("", "time_utc", "sensor_name"): + compte.setdefault(c, 0) + for row in r: + if (debut or fin) and filtrer([{"t": instant(row["time_utc"])}], debut, fin) == []: + continue + lignes += 1 + for c in compte: + if (row.get(c) or "").strip(): + compte[c] += 1 + return lignes, compte + + +def contenu(dossier, f, debut=None, fin=None): + """Ce que contient chaque source sur la fenêtre : ses colonnes, remplies ou vides, et les noms des métriques. + Des noms et des comptes, jamais de valeurs (metrics/ porte des identifiants : SIM_CCID, ip_*).""" + quoi = "sur la fenêtre" if debut or fin else "sur toute la période" + print(f"\nCe que contiennent les données, {quoi} (par colonne, les lignes qui ont une valeur ; « vide » : aucune) :") + autres = collections.defaultdict(list) + for p in f["autres"]: + autres[os.path.relpath(p, dossier).split(os.sep)[0]].append(p) + for titre, chemins in (("Export « advanced »", f["advanced"]), ("Pose de la caméra (camera/)", f["camera"]), + ("Qualité d'image (quality/)", autres.pop("quality", []))): + if chemins: + n, compte = remplies(chemins, debut, fin) + print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}" if k else f"{c} vide" for c, k in compte.items())) + jours = collections.Counter() # métrique -> jours (un CSV par métrique et par jour) dans la fenêtre + for p in autres.pop("metrics", []): + m = METRIQUE_RE.match(os.path.basename(p)) + if not m: + continue + jour = datetime(*map(int, m.group(2, 3, 4)), tzinfo=timezone.utc) + if (debut is None or jour.date() >= debut.date()) and (fin is None or jour.date() <= fin.date()): + nom = m.group(1) + jours[nom.split("_", 1)[1] if "_" in nom else nom] += 1 + if jours: + print(f" Métriques système (metrics/, un CSV par métrique et par jour ; aucun outil ne les lit) : {len(jours)} : " + + ", ".join(f"{k} ({n} j)" for k, n in sorted(jours.items()))) + for titre, chemins in (("Images de la caméra", f["images"]), + ("Images différentielles (images_diff/ ; aucun outil ne les lit)", glob.glob(os.path.join(dossier, "images_diff", "*")))): + heures = [h for h in map(heure_image, chemins) if h and filtrer([{"t": h}], debut, fin)] + if chemins: + print(f" {titre} : {len(heures)}") + if autres: + print(" Autres : " + ", ".join(f"{k} ({len(v)})" for k, v in sorted(autres.items()))) + + def images(chemins): heures = sorted(h for h in map(heure_image, chemins) if h) print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else "")) @@ -168,6 +229,7 @@ def main(dossier, debut=None, fin=None, tout=False): print(f"Dossier : {dossier}") f = trouver(dossier) fichiers(f, tout) + contenu(dossier, f, debut, fin) images(f["images"]) par = charger(dossier) mesures(par) diff --git a/aiguiser/voir.py b/aiguiser/voir.py deleted file mode 100644 index 2d64716..0000000 --- a/aiguiser/voir.py +++ /dev/null @@ -1,115 +0,0 @@ -"""Ce que rendent les outils de lecture sur une plage : une page HTML (texte imprimé + PNG). - -Usage : python3 aiguiser/voir.py data/NORDEND/ --debut 2026-09-01T00:00Z --fin 2026-09-04T00:00Z - [--capteurs A,B,C] [--sortie D] - -Lance, avec les réglages du skill lire-les-donnees, inventaire, ensemble, resume, graphique et vignettes. -La page est rangée dans out/voir/___/ ; la version est le hash -git de agent-tools/ (« +modif » si le dossier a des changements non commités) : deux pages de -versions différentes se comparent côte à côte. Sans --capteurs, les vignettes montrent les 3 capteurs qui -s'écartent le plus de leur niveau habituel (error_value, en MAD) et le plus calme comme témoin. -Rend ce que les outils rendent, aucun verdict. -""" -import argparse -import html -import os -import re -import statistics -import subprocess -import sys - -RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), "..")) -OUTILS = os.path.join(RACINE, "agent-tools") -sys.path.insert(0, OUTILS) -from donnees import charger, est_reference, filtrer, heure_image, instant, iso, trouver # noqa: E402 - -PYTHON = os.path.join(RACINE, ".venv", "bin", "python") -if not os.path.exists(PYTHON): - PYTHON = sys.executable -NB_IMAGES = 5 - - -def version_outils(): - sh = lambda *a: subprocess.run(["git", "-C", RACINE, *a], capture_output=True, text=True).stdout.strip() - h = sh("rev-parse", "--short", "HEAD:agent-tools") - return h + ("+modif" if sh("status", "--porcelain", "--", "agent-tools") else "") - - -def ecarts(par, debut, fin): - """Capteur -> plus grand écart d'error_value à sa médiane, en MAD, sur la fenêtre.""" - out = {} - for s, ms in par.items(): - v = [m["error_value"] for m in filtrer(ms, debut, fin) if m["error_value"] is not None] - if len(v) > 2: - med = statistics.median(v) - mad = statistics.median(abs(x - med) for x in v) or 1e-9 - out[s] = max(abs(x - med) for x in v) / mad - return out - - -def vignettes(par, dossier, debut, fin, capteurs): - heures = sorted(h for h in map(heure_image, trouver(dossier)["images"]) if h and debut <= h <= fin) - if not heures: - return None - pas = max(len(heures) // NB_IMAGES, 1) - heures = heures[::pas][:NB_IMAGES] - if not capteurs: - e = ecarts(par, debut, fin) - classes = sorted(e, key=e.get) - capteurs = classes[::-1][:3] + classes[:1] - return ["--capteurs", ",".join(capteurs), "--heures", ",".join(iso(h) for h in heures)] - - -def main(): - a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) - a.add_argument("dossier") - a.add_argument("--debut", required=True, type=instant) - a.add_argument("--fin", required=True, type=instant) - a.add_argument("--capteurs", help="capteurs des vignettes, séparés par des virgules") - a.add_argument("--sortie", help="dossier de la page (défaut : out/voir/…)") - o = a.parse_args() - - par = charger(o.dossier) - if not par: - sys.exit(f"Aucun export « advanced » dans {o.dossier}.") - station = os.path.basename(os.path.normpath(o.dossier)) - version = version_outils() - sortie = o.sortie or os.path.join(RACINE, "out", "voir", f"{station}_{re.sub(r'[^0-9TZ]', '', iso(o.debut))}_" - f"{re.sub(r'[^0-9TZ]', '', iso(o.fin))}_{version.replace('+', '-')}") - os.makedirs(sortie, exist_ok=True) - fenetre = ["--debut", iso(o.debut), "--fin", iso(o.fin)] - cmds = [ - ("inventaire", [PYTHON, f"{OUTILS}/inventaire.py", o.dossier, *fenetre]), - ("ensemble", [PYTHON, f"{OUTILS}/ensemble.py", o.dossier, *fenetre, "--sortie", sortie]), - ("resume error_value, 6 h", [PYTHON, f"{OUTILS}/resume.py", o.dossier, *fenetre, "--niveau", "fenetre", "--pas", "6h"]), - ("graphique", [PYTHON, f"{OUTILS}/graphique.py", o.dossier, *fenetre, "--sortie", sortie]), - ] - v = vignettes(par, o.dossier, o.debut, o.fin, o.capteurs.split(",") if o.capteurs else None) - if v: - cmds.append(("vignettes", [PYTHON, f"{OUTILS}/vignettes.py", o.dossier, *v, "--sortie", sortie])) - - corps = [] - for titre, cmd in cmds: - r = subprocess.run(cmd, capture_output=True, text=True, cwd=RACINE) - texte = (r.stdout + r.stderr).strip() - pngs = [os.path.relpath(l, sortie) for l in r.stdout.splitlines() if l.endswith(".png") and os.path.exists(l)] - texte = "\n".join(l for l in texte.splitlines() if not (l.endswith(".png") and os.path.exists(l))) - corps.append(f"

{html.escape(titre)}{'' if r.returncode == 0 else ' (échec)'}

" - f"

{html.escape(' '.join(os.path.relpath(c, RACINE) if os.path.isabs(c) and c.startswith(RACINE) else c for c in cmd[1:]))}

" - f"
{html.escape(texte)}
" + "".join(f'' for p in pngs)) - if not v: - corps.append("

vignettes

Pas d'image dans la fenêtre.
") - - page = (f"{station} : outils de lecture" - "" - f"

{station} : ce que rendent les outils

" - f"

{iso(o.debut)} → {iso(o.fin)} (UTC) · outils {version}

" + "".join(corps)) - chemin = os.path.join(sortie, "index.html") - with open(chemin, "w") as f: - f.write(page) - print(chemin) - - -if __name__ == "__main__": - main() diff --git a/docs/agents/pipelines-ia.drawio b/docs/agents/pipelines-ia.drawio index 024bf62..1f1503a 100644 --- a/docs/agents/pipelines-ia.drawio +++ b/docs/agents/pipelines-ia.drawio @@ -1 +1 @@ - \ No newline at end of file + \ No newline at end of file diff --git a/docs/decisions.md b/docs/decisions.md index a4ff2e5..814d5d7 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -665,7 +665,7 @@ Règles du journal : - **Conséquence** : ses outils propres, pour plus de précision, restent à faire (autre conversation) ; vérification proposée, non lancée : CLARIDEN repassé sans C-004 ni `incident-de-barcelone.md`. Spec : `docs/agents/agent-diagnostic.md`. ## D-059 — 2026-10-24 — Déplacements : aiguiser la lecture de Claude -- **Statut** : active ; construite le 2026-10-24 ; l'utilisateur lancera lui-même les séances ; les sous-agents prennent le modèle de la session (D-063) ; le contrôle de lecture sur les cas validés est retiré (D-064). +- **Statut** : remplacée par D-097 (`/aiguiser` retiré ; le skill `lire-les-donnees` reste la seule source du mode d'emploi de lecture) ; construite le 2026-10-24 ; l'utilisateur lancera lui-même les séances ; les sous-agents prennent le modèle de la session (D-063) ; le contrôle de lecture sur les cas validés est retiré (D-064). - **Décision** : - un skill de lecture, `lire-les-donnees` (`.claude/skills/lire-les-donnees/`), devient la seule source du mode d'emploi des outils de `agents/diagnostic/outils/` : ce qu'ils rendent, leurs conventions, la façon de lire un lot et ce que la lecture rend (un tableau des moments) ; l'analyste (`critiquer-lot`) et l'agent de diagnostic y renvoient, leur raisonnement ne change pas ; - une commande, `/aiguiser ` (skill `.claude/skills/aiguiser/`), améliore ce skill lot après lot, avec trois sous-agents sur Opus : le **lecteur** lit le lot avec le skill seul ; le **correcteur** lit le lot à fond avec ses propres scripts, sans les outils de lecture, et cette lecture lente sert de corrigé, puis il mesure l'écart (trouvé, manqué, de travers, en trop ; faute de l'outil, du mode d'emploi ou du lecteur ; au plus deux défauts) ; l'**optimiseur** modifie les outils et le skill, le plus simple d'abord ; un nouveau lecteur relit, le correcteur compare : un changement sans gain (`pareil` ou `moins bien`) est annulé ; au plus trois passages par lot ; @@ -715,7 +715,7 @@ Règles du journal : - **Conséquence** : le correcteur de `/aiguiser`, dont le corrigé sert de référence, et l'analyste de `/boucle` tournent sur le modèle de la session, Sonnet compris ; un rendu moins bon se lit dans le bilan. La variable `CLAUDE_CODE_SUBAGENT_MODEL` n'a pas d'effet (`inherit` passe avant), `CLAUDE_CODE_EFFORT_LEVEL` si, s'il est posé. ## D-064 — 2026-10-26 — /aiguiser : plus de contrôle de lecture sur les cas validés -- **Statut** : active ; complète D-059 (retire le contrôle des cas validés en fin de séance). +- **Statut** : sans objet depuis D-097 (`/aiguiser` retiré) ; complète D-059 (retire le contrôle des cas validés en fin de séance). - **Décision** : la séance ne fait plus lire les cinq cas validés (C-001 à C-005) par un lecteur ni juger par un correcteur face à la fiche ; la demande « Contrôle » du correcteur et le dossier `controle/` disparaissent. Les commandes que citent les fiches sont toujours lancées en fin de séance (un script, sans agent), leurs échecs vont au bilan. - **Pourquoi** : l'utilisateur a validé les diagnostics de ces cas, pas les outils qui les lisent ; les critères des fiches ne sont donc pas un corrigé de lecture des données brutes. `/aiguiser` améliore la lecture, pas le diagnostic. Sur NORDEND (séance du 2026-10-26), le contrôle a donné « manqué » aux cinq cas (C-001 : 4 critères sur 5 retrouvés) sans qu'on sache si les modifications y étaient pour quelque chose. - **Options écartées** : garder le contrôle en le comparant aux outils d'avant la séance (coûte cinq lectures de plus pour juger des critères que l'utilisateur n'a pas validés). @@ -800,14 +800,14 @@ Règles du journal : - **Conséquence** : le builder garde la phrase exacte `non revalidé par l'expert`, que `/revue-cas` cherche. ## D-076 — 2026-10-27 — Aiguiser : `--ameliorer`, comme pour la boucle -- **Statut** : active ; étend D-071 à `/aiguiser` (D-059). +- **Statut** : sans objet depuis D-097 (`/aiguiser` retiré) ; étend D-071 à `/aiguiser` (D-059). - **Décision** : `/aiguiser … --ameliorer` appelle, après le commit du releveur, le même agent `ameliorateur`, avec `Processus : /aiguiser. Commit du releveur : .` (l'appel de `/boucle` nomme aussi son processus). Il corrige au plus simple le skill `/aiguiser`, les agents `lecteur`, `correcteur`, `optimiseur`, `releveur`, `ameliorateur`, `vues-deplacements/aiguiser/voir.py`, la spec `aiguiser-la-lecture.md` et `run.md` ; l'orchestrateur commite par chemin (`Sharpen : process fixes`), sur la branche de la séance. - **Pourquoi** : demande de l'utilisateur. - **Options écartées** : un second améliorateur propre à `/aiguiser` (même rôle, seul le périmètre change) ; laisser l'améliorateur toucher aux outils de lecture et à `lire-les-donnees` (c'est le travail de l'optimiseur, jugé par les écarts du correcteur). - **Conséquence** : sans le flag, rien ne change. ## D-077 — 2026-10-27 — Aiguiser : la séance commite directement sur `master` -- **Statut** : active ; remplace la branche par séance de D-059. +- **Statut** : sans objet depuis D-097 (`/aiguiser` retiré) ; remplace la branche par séance de D-059. - **Décision** : `/aiguiser` se lance sur `master` et y commite chaque étape, par chemin, comme `/boucle` (D-070) ; ailleurs, l'orchestrateur le dit et s'arrête (pas de `git switch`). Il note la base de la séance (`git rev-parse HEAD`) dans `bilan.md` ; rien n'est poussé. `/boucle` le faisait déjà, rien n'y change. - **Pourquoi** : demande de l'utilisateur : rester sur la branche principale, comme pour la boucle. - **Options écartées** : basculer seul sur `master` en début de séance (dérangerait une autre session dans le même dépôt, comme pour D-070). @@ -815,7 +815,7 @@ Règles du journal : ## D-078 — 2026-10-27 — Aiguiser : la plage est le lot, sans découpe -- **Statut** : active ; remplace la découpe en lots de 4 jours de D-059, comme D-072 pour `/boucle`. +- **Statut** : sans objet depuis D-097 (`/aiguiser` retiré) ; remplace la découpe en lots de 4 jours de D-059, comme D-072 pour `/boucle`. - **Décision** : une séance `/aiguiser` traite un seul lot, `lot-01`, de `--du` 00:00Z à `--au` 00:00Z (`--au` exclu ; sans eux, toute la période) ; plus d'option `--lot` (ignorée si donnée, notée sous « Erreurs »). - **Pourquoi** : demande de l'utilisateur : « tout comme pour /boucle, il n'y a pas de lots de 4 jours. Le lot est simplement la plage que je donne. » - **Options écartées** : garder la découpe avec 4 jours par défaut (séance trop longue : jusqu'à 11 agents par lot). @@ -951,3 +951,23 @@ Règles du journal : - **Pourquoi** : des status qui se chevauchent disent souvent la même chose ; le plus fort suffit, et la rangée des étiquettes reste lisible. - **Options écartées** : choisir le gagnant entre les deux phases thermiques (l'utilisateur les regroupe) ; occulter sans regarder les capteurs (sur NIEDERHORN, une Faulty target de toute la plage aurait caché 7 Target hidden sur d'autres capteurs). - **Conséquence** : `status.py` transcrit le document (`FUSION`, `OCCULTE`) ; il ne change que l'affichage, pas les détecteurs ni `detecteurs.py`. + +## D-096 — 2026-10-29 — Pompage des stations suivies, jusqu'à maintenant +- **Statut** : active. Complète D-065. +- **Décision** : `extraction/stations.txt` liste les stations suivies (au départ, les 8 de `data/`). `pomper.py` lancé sans station ni dates, à la main dans le dev container, les met toutes à jour jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est remplacé ; une station sans déplacements pompés reçoit les 30 derniers jours. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée. La commande avec `--du` et `--au` reste pour une plage choisie (historique, jour en échec). +- **Pourquoi** : sans cela, il fallait attendre le lendemain pour analyser une nuit ou une matinée, et retaper la commande station par station. +- **Options écartées** : un pompage planifié (cron dans WSL, container éphémère toutes les 15 min), une règle de jour final à 6 h après sa fin, une écriture atomique : jugés beaucoup trop compliqués par l'utilisateur ; un script à part (le mode sans argument de `pomper.py` suffit). +- **Conséquence** : un jour pompé en cours de journée reste incomplet jusqu'au lancement suivant sans `--du`. Un trou plus ancien que le dernier jour pompé n'est pas comblé : commande avec `--du`. + +## D-097 — 2026-10-29 — `/aiguiser` retiré : l'analyste crée ses outils, un `tool-builder` les fait entrer dans `agent-tools/` +- **Statut** : active. Remplace D-059 (et avec lui D-064, D-076, D-077, D-078) ; modifie D-090 (l'analyste) et D-092 (le déroulé de `/events-learner`) ; point 56 du plan du journal du matin. +- **Décision** : + - l'analyste voit ses données : `inventaire.py` dit, sur la fenêtre, ce que contient chaque source (colonnes de l'export, de la pose et de `quality/`, remplies ou vides ; noms des métriques système de `metrics/` ; images et images différentielles ; des noms et des comptes, jamais de valeurs) ; `analyser-lot` gagne une étape 0, « Tes données », avant la lecture ; + - il peut écrire ses propres scripts (`/outils/`, bibliothèque standard, matplotlib par `.venv`), sur les CSV bruts ou par `donnees.py`, à son choix ; son analyse gagne une section « 3. Outils » : chaque outil dont il s'est servi, existant ou à lui, à quoi il a servi, ce qu'il a montré, ce qui a manqué ou encombré ; + - un agent `tool-builder` (l'optimiseur de `/aiguiser`, renommé et réécrit), appelé à chaque lot de `/events-learner` juste après l'analyste, lit cette section et décide seul d'optimiser ou d'ajouter des outils de lecture (`agent-tools/`, `lire-les-donnees`) ; il **ne retire rien** : un seul lot ne suffit pas pour nettoyer la liste des outils (l'utilisateur) ; il garde les interdits de l'optimiseur (aucun jugement dans ce que rend un outil, rien de propre à une station, aucun import des détecteurs) et les commandes des fiches qui marchent ; il ne touche `donnees.py` que pour une erreur de lecture montrée par l'analyste ; + - score et benchmark se calculent après le `tool-builder` : les détecteurs lisent par `donnees.py`, et toutes les mesures d'une séance portent ainsi sur la même lecture ; + - pas de contrôle du `tool-builder` pour l'instant : on regarde comment ça tourne (l'utilisateur) ; + - `/aiguiser` se retire : son skill, le lecteur, le correcteur et `aiguiser/voir.py` ; ses séances (`aiguiser/`) et sa spec (`vues-deplacements/contexte/aiguiser-la-lecture.md`) restent, comme historique ; `/new-event` appelle l'analyste sans `tool-builder`. +- **Pourquoi** : l'utilisateur, 2026-10-29 : le lecteur de `/aiguiser` extrait des informations sans savoir ce qui est pertinent, et refait le même travail à chaque séance sans être guidé ; celui qui profite des outils, c'est l'analyste, qui apprend par la base d'events. Constat : la vérité de `/aiguiser` comptait tout écart comme un moment, si bien que « mieux » voulait dire « voir plus » (neuf modifications sur neuf gardées en quatre séances ; outils de 419 à 1 423 lignes, skill de 4,8 à 20,9 Ko) ; et l'inventaire cachait des données : six colonnes de qualité d'image remplies sur LENZSPITZE et NADELHORN, 31 métriques système, qu'aucun outil ni aucune doc ne citait. +- **Options écartées** : revoir `/aiguiser` comme `/events-learner` (un `reading-critic`, un `reading-upgrader`, un `reading-control` ; première proposition de Claude) : le lecteur restait sans notion de pertinence ; un `tool-builder` qui retire des outils (l'utilisateur) ; un contrôle du `tool-builder` sur le diff (l'utilisateur ne sait pas encore comment le faire) ; un nouveau script pour l'inventaire des données (`inventaire.py` étendu suffit). +- **Conséquence** : une séance de `/events-learner` appelle six agents ; l'analyste, qui peut écrire des scripts, coûtera sans doute plus. Lire en brut garde une part de ce qu'apportait le correcteur, qui a trouvé la seule erreur de lecture commune (rejets des références, WILDSTRUBEL, 2026-10-27). Un changement de `donnees.py` se voit d'une séance à l'autre dans l'historique du benchmark. Sans retrait ni contrôle, les outils peuvent encore grossir : à observer. diff --git a/docs/domaine/colonnes-des-deplacements.md b/docs/domaine/colonnes-des-deplacements.md index 6e8059a..0ac3d86 100644 --- a/docs/domaine/colonnes-des-deplacements.md +++ b/docs/domaine/colonnes-des-deplacements.md @@ -17,6 +17,7 @@ Deux autres formats, observés sur les données (pas documentés dans la FAQ) : - `x` / `y` ne sont pas le centroïde de la tache dans l'image (NORDEND, 2026-10-16) : de jour (12:30 UTC, sept jours), centroïde − (`x`, `y`) est constant par capteur et diffère d'un capteur à l'autre (PR17 −2,5 / −0,5 px, PR18 −3,1 / +1,6, PR16 −5,8 / −0,1, CTR02 −1,4 / −2,4, CTR04 −1,0 / −1,4). Centroïde pondéré au-dessus de la médiane d'un cadre de ±20 px, sur une fenêtre de ±8 px. De nuit, la tache est saturée et l'écart change (PR17 −0,7 à −1,3 px en x). Hypothèse : `x`, `y` désignent la position du motif de référence (manuel de la station), pas la tache elle-même. - `relative_x` / `relative_y` (vraisemblablement `rx` / `ry`), `corr_x` / `corr_y` (vraisemblablement `rch` / `rcv`, mais pas en mm, voir plus bas) ; - `reproj_err` et `inlier` : références seulement ; `sigma0` : une valeur par mesure, répétée sur chaque ligne ; pas de `camera_pan|tilt|rotation|scale`. + - `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` : la qualité d'image de chaque cible, calculée par le GPU des caméras récentes (`run.md`) ; « Empty for most devices today » (handoff G, `docs/aimsight/AIMsight_handoff_G_site_health.md`). Remplies sur LENZSPITZE et NADELHORN, vides ailleurs (pompage d'octobre 2026) ; `inventaire.py` dit, sur un lot, quelles colonnes portent des valeurs. Pour les anciennes caméras, `~/optical_emulator` les recalcule à partir des images DIFF dans `quality/` (`run.md`), avec `stacking`, `exposition`, `gain`, `rotation` et `flag` de l'image, à joindre sur `time_utc` et `sensor_name`. Flux, SNR et netteté relèvent de l'observabilité d'une cible dans l'image, à séparer de la santé du réseau de références (`AIMsight_agentic_support_project_context.md`, §5.5 et §5.6). - Une mesure rejetée (`error_value` > `error_threshold`) garde sa ligne et son `error_value` ; `corr_x` / `corr_y` sont vides, pas interpolés. « Rejetée » est un jugement d'AIMsight, pas un tri de la caméra : la caméra livre toutes ses mesures, et la plateforme d'un client qui intègre les données les reçoit et peut les afficher (l'utilisateur, 2026-10-28). - **Mouvements de la caméra** (`camera/_camera_.csv`, pompage seulement, absent des exports reçus) : la pose de la caméra à chaque recalage, `time_utc` en UTC, `median_|min_|max_` de `pan`, `tilt`, `rotation` [deg], `scale`, `sigma0` à la minute ; une ligne par mesure (min = max), aux instants des déplacements. Un instant de mesure sans ligne : la caméra n'a pas été recalée (NORDEND : 101 instants sur 6 071, dont 49 les 29 et 30/07). Ordres de grandeur : `pan`, `tilt` de quelques centièmes de degré, `scale` à 10⁻³ près de 1 ; des écarts de plusieurs degrés sur NORDEND (`pan` jusqu'à 3,1°, `tilt` −2,8 à 4,0°), non expliqués. Lus par `ensemble.py` et `inventaire.py` (D-073). - **Horaire** (`__to__1hour.csv`) : une ligne par heure, cibles seulement. Par cible : `horizontal_displacement`, `vertical_displacement`, leurs `_min` / `_max`, `_error`, `_count_val`. diff --git a/docs/domaine/images-de-la-camera.md b/docs/domaine/images-de-la-camera.md index 3233ea1..b17ecda 100644 --- a/docs/domaine/images-de-la-camera.md +++ b/docs/domaine/images-de-la-camera.md @@ -15,5 +15,5 @@ La plateforme garde deux types d'images par mesure (type de mesure), que le pomp - NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour). LENZSPITZE n'en a aucune en base les 26 et 27/10 (pompage du 2026-10-28), seulement des IRON, une par heure : mode d'acquisition sans DIFF, sans doute (non vérifié). Les autres stations : inconnu. - Le 29/07 à NORDEND (E-002, toile d'araignée selon l'expert), l'image DIFF montre de longues traînées claires sur tout le champ et les cibles en points, là où l'image IRON ne montre que de faibles bandes sombres. Ce qui est tout près de l'objectif y ressort peut-être mieux : à confirmer (point 28 du plan du journal du matin). -- Les outils de lecture (`agent-tools/donnees.py`), donc `/aiguiser` et `/events-learner`, ne regardent que les images IRON et écartent `images_diff/`. +- Les outils de lecture (`agent-tools/donnees.py`), donc `/events-learner`, ne regardent que les images IRON et écartent `images_diff/` ; `inventaire.py` les compte, et l'analyste peut les lire par ses propres scripts (D-097). - Piste, non vérifiée : si `x`, `y` sont mesurés sur l'image DIFF, un centroïde pris sur l'image IRON peut s'en écarter (écart constant par capteur vu sur NORDEND, `colonnes-des-deplacements.md`). diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index 9f6ad9b..dfa9264 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -44,7 +44,7 @@ ## Index -Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilisateur tranche), **Coder**, **Lancer** (l'utilisateur lance quelque chose chez lui). Statuts : à faire, en cours, en attente, **validé le ** (par l'utilisateur seul, voir l'en-tête). Mis à jour le 2026-10-25. +Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilisateur tranche), **Coder**, **Lancer** (l'utilisateur lance quelque chose chez lui). Statuts : à faire, en cours, en attente, **validé le ** (par l'utilisateur seul, voir l'en-tête). Mis à jour le 2026-10-29. | N° | Point | Type | Dépend de | Statut | |---|---|---|---|---| @@ -109,8 +109,21 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 53 | Un agent, une responsabilité : l'analyste lit, un autre critique les détecteurs | Essayer | 51, 52 | `analyser-lot` et `detectors-critic` (D-090, 2026-10-29) ; à essayer sur une séance | | 54 | Le builder devient `event-builder` | Essayer | 53 | appelé à chaque lot, décide seul ce qui est nouveau, bornes de l'événement (D-091) ; à essayer sur une séance | | 55 | `/boucle` devient `events-learner` ; l'orchestrateur | Essayer | 54 | renommé, benchmark de fin sur les mêmes events, spec réduite (D-092) ; première séance à faire | +| 56 | `/aiguiser` fondu dans `/events-learner` : l'analyste crée ses outils, un `tool-builder` les fait entrer | Essayer | 52, 53, 55 | `/aiguiser` retiré, `tool-builder` sans retrait ni contrôle (D-097, 2026-10-29) ; à essayer sur une séance | | | **VIII. Suivi du chantier** | | | | | 37 | Ménage : commit, `CLAUDE.md`, Mermaid, sorties | Lancer | — | validé le 2026-10-24 | +| | **IX. Dire la cause : l'analyste d'abord, les détecteurs ensuite** | | | | +| 57 | La cause plutôt que l'événement : l'ordre du chantier | Décider | — | idée du 2026-10-29 ; déroulé proposé, à valider | +| 58 | Les trois effets thermiques et leurs temps de chauffe | Décider | 57 | savoir de l'utilisateur noté ici ; trois questions | +| 59 | Les températures de la station dans les outils de lecture, par `/aiguiser` | Décider, Coder, Lancer | 58 (56 ?) | trois questions | +| 60 | Des cas thermiques construits et validés | Lancer, Décider | 58, 59 | à faire | +| 61 | Heat haze : quand il y en a, quand il n'y en a pas | Décider | 58 | à faire | +| 62 | Visibilité réduite ou cible masquée | Décider | 63 | deux voies ; recommandation : regrouper sans qualité | +| 63 | Les métriques de qualité : quelles stations, et la qualité recalculée | Décider | — | choix de l'utilisateur attendu | +| 64 | Les sauts : dire pourquoi | Décider, Coder | 57 | à faire | +| 65 | Un saut marqué dès son début | Coder | — | à faire (détail) | +| 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée | +| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions | Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien). @@ -1211,6 +1224,110 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - [x] Le renommage et l'orchestrateur (2026-10-29, D-092). - [ ] La première séance de `/events-learner` avec les rôles revus (points 52 à 54). +### Point 56 : `/aiguiser` fondu dans `/events-learner` + +**L'idée** (l'utilisateur, 2026-10-29). Optimiser `/aiguiser` de la même manière que `/events-learner` (points 51 à 55). + +**Constat (Claude, 2026-10-29).** +- **Le garde-fou n'a jamais renvoyé** : quatre séances (NORDEND deux fois, CLARIDEN, WILDSTRUBEL, 26 et 27/10), neuf modifications, neuf « mieux », aucune annulée. C'est le symptôme du validateur de `/boucle` (point 52). +- **Rien ne regarde hors du lot** : une modification n'est jugée que sur une relecture du même lot, face au corrigé du même correcteur. Depuis D-064, le seul contrôle hors du lot, ce sont les commandes des fiches : elles disent qu'un outil marche encore, pas qu'il n'est pas taillé pour le lot. +- **La complexité, échec nommé par la spec, est là** : les outils sont passés de 419 lignes (spec, §3) à 1 423 (`ensemble.py` 446 l ; `plages.py` et `jours.py`, nouveaux ; `gif.py` vient de `/support`) ; le skill `lire-les-donnees`, de 4,8 Ko à 20,9 Ko. L'échelle de l'optimiseur n'a que des marches qui ajoutent (phrase, option, outil), comme celle de l'upgrader avant D-089. +- **Le correcteur porte trois responsabilités** : la vérité (le corrigé), la critique (l'écart, les fautes, les défauts) et la décision de garder (« mieux, pareil, moins bien »), plus des « Nouveautés » pour le bilan. C'est l'analyste d'avant D-090. +- **Un risque concret, relevé le 2026-10-26 et jamais traité** (`docs/ameliorations-processus.md`, « Annuler un passage efface… ») : l'annulation (`git restore --source= -- agent-tools/ …`) efface les changements non commités de l'utilisateur dans les outils, et le commit de l'optimiseur (`git add agent-tools/`) les emporte. `/events-learner` le prévoit (§1), pas `/aiguiser`. Aujourd'hui, `agent-tools/gif.py` est modifié et non commité. +- **La spec** (`vues-deplacements/contexte/aiguiser-la-lecture.md`, 173 l) redit le skill et les agents (§5, §6), comme celle de `/boucle` avant D-092. + +**Transposition (Claude), à valider.** + +| `/events-learner` | `/aiguiser` aujourd'hui | Proposition | +|---|---|---| +| `analyste` : la vérité (D-090) | correcteur, lecture lente | le correcteur ne fait plus que le corrigé ; il garde son nom, comme l'analyste | +| `detectors-critic` : quoi et où, au plus deux suggestions, sans les données (D-090) | correcteur, écart | `reading-critic` : la lecture face au corrigé (trouvé, manqué, de travers, en trop), la faute, au plus deux défauts, le verdict, et « mieux, pareil, moins bien » face à la lecture précédente ; sans les données | +| `detectors-upgrader` : ajoute, retire, modifie, en commençant par retirer ou simplifier (D-089) | optimiseur | `reading-upgrader` : la même échelle, avec une première marche qui retire ou simplifie | +| `detectors-control` : ne voit pas le lot, juge le diff et la base, décide, renvoie au plus trois fois (D-089) | aucun | `reading-control` : ne voit pas le lot ; juge le diff des outils et du skill (les interdits : un jugement dans ce que rend un outil, du propre à une station, un import des détecteurs ; la complexité ajoutée face au défaut traité ; ce qui casse) et les commandes des fiches ; `garder`, `à reprendre` (remarques à l'upgrader, au plus trois passages) ou `annuler` | +| `event-builder` décide ce qui est nouveau (D-091) | « Nouveautés » du correcteur, au bilan | les retirer : la base d'events n'est pas l'affaire de `/aiguiser` (non-but de la spec) ; c'est l'`event-builder` qui décide | +| la base d'events, mémoire de l'analyste (D-087, D-088) | le lecteur ne lit ni la base ni la carte | rien : le lecteur mesure le skill seul, la base fausserait la mesure | +| nom, orchestrateur, spec réduite (D-092) | — | le nom (à choisir) ; §1 repris de `/events-learner` (fichiers déjà modifiés de l'utilisateur, branche vérifiée avant chaque commit) ; spec réduite au pourquoi | + +**Le passage K, proposé.** `reading-upgrader` → commandes des fiches (l'orchestrateur, `commandes-K.txt`, au lieu d'une fois en fin de séance) → `reading-control` (`à reprendre` : retour à l'upgrader) → s'il garde : lecteur → `reading-critic` (`pareil` ou `moins bien` : l'orchestrateur annule, comme aujourd'hui). Le contrôle passe **avant** la relecture : il ne coûte que le diff, et une modification qu'il annule épargne une lecture (~200 000 jetons). Deux portes, chacune une question : la lecture du lot est-elle meilleure (le critic), la modification reste-t-elle générale et simple (le contrôle) ? + +**Le prix.** Un appel d'agent de plus par séance (la lecture lente et le premier écart, aujourd'hui une seule demande au correcteur, deviennent deux appels) ; les écarts suivants passent du correcteur au critic, sans les données, donc moins chers. Le critic ne revient plus aux données : le corrigé est la vérité ; un moment juste de la lecture, absent du corrigé, compte « en trop » (il ne fait jamais un défaut, puisqu'un défaut vient d'un moment manqué ou lu de travers). Avec un contrôle qui renvoie, des séances plus longues et des modifications plus souvent annulées, comme pour D-089. + +**Écarté par Claude.** Rejouer une lecture sur les events validés comme « benchmark » de la lecture : c'est le contrôle retiré par D-064 (l'utilisateur a validé leurs diagnostics, pas une lecture des données brutes). + +**Questions à l'utilisateur.** +1. Le `reading-control`, garde-fou sans le lot, avant la relecture ? +2. Le correcteur scindé : le corrigé seul, et un `reading-critic` sans les données pour les écarts ? +3. Les noms : `reading-critic`, `reading-upgrader` (l'optimiseur), `reading-control` ; le lecteur et le correcteur gardent les leurs ; et le processus : `/aiguiser` garde son nom, ou devient `/reading-learner` ? +4. Le reste : « Nouveautés » retirées, les fichiers non commités de l'utilisateur protégés, les commandes des fiches à chaque modification, la spec réduite au pourquoi ? + +**Réponse de l'utilisateur (2026-10-29).** Les propositions lui semblent bonnes ; avancer étape par étape du déroulé, en commençant par la première, pour s'assurer que tout est bon. + +**Étape 1 : le lecteur (Claude, 2026-10-29), à valider.** Le déroulé d'une séance : mise en place (l'orchestrateur), lecteur (`lecture-1.md`), correcteur (corrigé et premier écart), passages (optimiseur, lecteur, correcteur), commandes des fiches, bilan, releveur. La mise en place n'est que de la tuyauterie : elle se revoit avec l'orchestrateur, en dernier, comme au point 55 (dont les fichiers non commités de l'utilisateur). La première étape de fond est le lecteur. Sur ses 13 lectures (quatre séances) : +- **Son rôle est déjà unique** : lire le lot avec le seul skill `lire-les-donnees`, dire ce qu'il voit et où le skill lui a manqué ; aveugle au corrigé, aux écarts, aux modifications, à la base d'events ; pas de script. Rien à scinder. +- **Ses manques font grossir les outils** : presque chaque modification répond à un souhait de « Ce qui m'a manqué » (`inventaire.py --debut/--fin`, `resume.py --niveau fenetre`, `vignettes.py --contraste`, `jours.py` pour superposer les jours, `plages.py --min-mesures`). Il ne demande jamais moins. +- **Le trop, il le dit, mais au mauvais endroit** : 13 lectures sur 13 se plaignent de sorties trop longues pour être lues d'un coup (`ensemble.py` 642 à 947 lignes, `plages.py` 54 Ko, `jours.py` 40 Ko, `inventaire.py` 72 Ko), et plusieurs de figures écrasées par un capteur aberrant ; mais dans « Difficultés », qui va au releveur, que personne ne transforme en correction. Le correcteur juge les moments, pas l'effort ; l'optimiseur ne lit que « Ce qui m'a manqué ». +- **Une consigne du skill que tous enfreignent** : « Bash ne sert qu'à lancer ces outils, `ls`, `grep` et `date` » (`lire-les-donnees`, Conventions) ; presque tous les lecteurs ont dû rediriger une sortie vers un fichier, puis `head`, `tail`, `sed`. Relevée le 2026-10-26, jamais corrigée : l'améliorateur ne touche pas à `lire-les-donnees` (D-076), et le correcteur n'en fait pas un défaut de lecture. De même « pas natif de 15 min » (méthode, étape 5), quand CLARIDEN est à 10 min (ses 3 lectures). +- **Déjà réglé** : le `vues-deplacements/CLAUDE.md` injecté dans presque toutes les lectures venait des séances rangées sous `vues-deplacements/aiguiser/` ; elles sont à la racine depuis D-084. + +Propositions : +1. Le lecteur garde son rôle, son nom et son aveuglement. +2. Une section « Ce qui m'a encombré », après « Ce qui m'a manqué » : sortie trop longue pour être lue d'un coup, figure illisible ou jamais regardée, option ou consigne suivie sans profit ; l'outil et la commande. Ces plaintes quittent « Difficultés », qui ne garde que le processus de la séance. Elles nourrissent la marche qui retire ou simplifie du `reading-upgrader` (et le `reading-critic`, qui les lit avec « Ce qui m'a manqué »). +3. Les deux consignes du skill, corrigées à la main une fois : Bash permet aussi de ranger une sortie longue dans un fichier du dossier de la lecture et de la lire par `grep`, `head`, `tail`, `sed -n` ; le pas natif est celui que donne l'inventaire (15 min le plus souvent). Elles valent aussi pour l'analyste et l'agent de diagnostic, qui suivent le skill. Qui les tiendra ensuite (l'améliorateur, D-076 ?) : avec le releveur et l'améliorateur, dans l'autre conversation. + +**Remise en cause par l'utilisateur (2026-10-29).** Ce processus est-il nécessaire ? Le lecteur extrait des informations sans savoir ce qui est pertinent : parmi une multitude de métriques, il ne peut pas savoir ce qui est intéressant ; même sur beaucoup de données, il n'est pas guidé et refait bêtement le même travail. Celui qui profite des outils, c'est l'analyste, qui évolue par la base d'events ; le lecteur, non. Sans l'analyste, l'utilisateur ne voit pas comment le système peut marcher : combiner `/aiguiser` avec `/events-learner`. + +**Avis de Claude (2026-10-29) : l'utilisateur a raison sur le fond.** +- **La vérité de `/aiguiser` ignore la pertinence** : un moment du corrigé, c'est « un capteur ou un groupe qui sort de son niveau habituel », tous égaux (`correcteur.md`). « Mieux » veut donc dire « voir plus d'écarts » : neuf « mieux » sur neuf, jusqu'à 23 moments par lecture, des sorties jusqu'à 947 lignes. La croissance des outils vient de la mesure elle-même, pas d'un réglage. +- **Le lecteur ne peut pas apprendre la pertinence** : il est aveugle à la carte et à la base par construction (pour mesurer le skill seul). +- **L'analyste lit déjà chaque lot de `/events-learner` avec ces outils**, guidé par la carte et la base, pour un but réel (catégories, events) ; `/aiguiser` relit des lots du même genre quatre fois, avec un lecteur moins informé. La raison de la séparation (spec, §1 : un analyste qui lit avec les détecteurs serait biaisé) est tombée avec D-090 : il s'en sert, comme d'une piste. +- **Ce qu'on perdrait** : le correcteur, qui lit sans les outils, a trouvé la seule erreur commune de lecture : à WILDSTRUBEL, 0 rejet compté pour R3 au lieu de 147 (`donnees.py`, modification 1 du 2026-10-27). Un analyste qui lit par les mêmes outils ne peut pas la voir ; les détecteurs non plus (ils lisent par `donnees.py`). C'est la vraie valeur d'un lecteur indépendant, mais elle demande un audit de temps en temps, pas une boucle de quatre lectures. Et la mesure « mieux, pareil, moins bien », qui ne tranchait pas. + +**Proposition de Claude, à valider.** +- Dans `/events-learner`, l'analyste ajoute à `analyse.md` ce qui lui a manqué ou l'a encombré dans la lecture, pour son analyse (dater, catégoriser, reconnaître un event) ; il ne touche pas aux outils (un agent, une responsabilité). +- Un agent `reading-upgrader` (l'optimiseur), appelé quand cette section n'est pas vide : il modifie `agent-tools/` et `lire-les-donnees`, en commençant par retirer ou simplifier, vérifie sur le lot et lance les commandes des fiches ; le gain se voit à la séance suivante, comme la carte pour l'analyste. +- Contre la croissance : un `reading-control` qui ne juge que le diff (à décider). +- `/aiguiser` se retire (lecteur, correcteur ; l'historique reste dans `aiguiser/`) ; l'audit indépendant (le correcteur, sans les outils) reste une piste, pour un changement de `donnees.py` ou de nouveaux champs de données. +- À régler : les détecteurs lisent par `agent-tools/donnees.py` ; une modification de la lecture commune change leur entrée, donc le benchmark. Le `reading-upgrader` passe après le `detectors-control`, et un changement de `donnees.py` se mesure (benchmark) ou attend l'utilisateur. + +**Proposition de l'utilisateur (2026-10-29) : c'est l'analyste qui change.** +- Un script (ou autre moyen) lui montre les données à sa disposition. +- Il accède aux données et aux outils, et il peut aussi créer ses propres outils. +- Une fois les données bien comprises, il fait son analyse. +- Dans son rapport final, une section « Tools » : les outils dont il s'est servi pour son analyse, existants ou créés pour l'occasion. +- Puis un `tool-builder` lit ce rapport et adapte, modifie, retire ou crée des outils de lecture. +- Le reste de `/events-learner` ne change pas. + +**Constat (Claude, 2026-10-29) : l'analyste ne sait pas ce qu'il a.** +- `inventaire.py` liste des fichiers, pas des données : sur NIEDERHORN, « Autres fichiers : 1178 » cache 31 métriques système (`metrics/` : températures de la carte, alimentation, réseau…) ; il ne dit pas quelles colonnes de l'export portent des valeurs. +- L'export « advanced » a 20 colonnes, dont six de qualité d'image par cible (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`), remplies à LENZSPITZE et NADELHORN, vides ailleurs (le handoff le dit : « Empty for most devices today ») ; aucun outil, ni le skill, ni `colonnes-des-deplacements.md` ne les cite. Un lecteur de `/aiguiser` voulait justement « une mesure d'éclat ou de largeur de la tache (flux, taille, contraste) » : quatre séances ne l'ont pas trouvée. +- Aujourd'hui, `analyser-lot` lui interdit tout script (« N'écris aucun autre script »), et `lire-les-donnees` limite Bash aux outils, `ls`, `grep` et `date`. + +**Précisions de Claude (à valider).** +- **Voir ses données** : `inventaire.py` gagne une section par source, avec ce qu'elle contient sur la fenêtre : colonnes de l'export (remplies ou vides), poses de la caméra, noms des métriques de `metrics/`, images, images différentielles, `quality/` ; des noms et des comptes, jamais de valeurs (`SIM_CCID`, `ip_*` sont des identifiants). Un outil existant étendu plutôt qu'un script de plus. Le sens des colonnes reste à `colonnes-des-deplacements.md`, qui ne dira des six colonnes de qualité que ce qu'en disent les documents AIMsight. +- **Ses outils à lui** : des scripts dans le dossier de son analyse (`/outils/`), bibliothèque standard, matplotlib par `.venv` ; ils lisent les CSV bruts ou passent par `donnees.py`, à son choix (lire en brut est ce qui a trouvé l'erreur des rejets à WILDSTRUBEL). Commités avec le lot ; seul le `tool-builder` les fait entrer dans `agent-tools/`. +- **Le déroulé d'`analyser-lot`** : 0. les données (l'inventaire, puis ce qu'il faut pour les comprendre) ; 1. la lecture ; 2. les étiquettes ; 3. les events connus ; 4. **Outils** : chaque outil dont il s'est servi, existant ou à lui, à quoi il a servi, ce qu'il a montré, ce qui a manqué ou encombré ; pour un script à lui, son chemin, ce qu'il calcule, pourquoi les outils existants ne suffisaient pas. Le fichier garde son nom, `analyse.md` (lu par `comparaison.py`, la page de `/review-event`, l'`event-builder`), et la section s'écrit en français, comme les autres. +- **Le `tool-builder`** : l'optimiseur renommé et réécrit ; appelé à chaque lot, juste après l'analyste, il décide seul (comme l'`event-builder`) ; il touche `agent-tools/` et `lire-les-donnees`, rien d'autre ; il commence par retirer ou simplifier ; il garde les interdits de l'optimiseur (aucun jugement dans ce que rend un outil, rien de propre à une station, aucun import des détecteurs, bibliothèque standard) et les commandes des fiches qui marchent ; il essaie sur le lot, sans relecture. Pour retirer un outil, il peut lire la section Outils des analyses des séances d'avant : un seul lot ne dit pas qu'un outil ne sert à rien. +- **L'ordre** : analyste → `tool-builder` → étiquettes, score et benchmark → la suite inchangée. Les détecteurs lisent par `donnees.py` : calculés après le `tool-builder`, score et benchmark de la séance portent tous sur la même lecture ; un changement de `donnees.py` se voit d'une séance à l'autre dans l'historique du benchmark, et le bilan le dit. +- **Pas de contrôle** du `tool-builder` dans ce premier temps (le design de l'utilisateur) : la pertinence vient de l'analyste ; le `reading-control` reste une piste, si les outils grossissent encore. +- **`/aiguiser` se retire** : son skill, le lecteur et le correcteur ; `aiguiser/voir.py` part avec lui ; les séances de `aiguiser/` restent, comme historique ; la spec `aiguiser-la-lecture.md` aussi, marquée remplacée. Une décision (D-097) ; l'améliorateur et le releveur perdent `/aiguiser` de leur périmètre ; `CLAUDE.md`, `run.md`, `vues-deplacements/CLAUDE.md`, la spec d'`events-learner`, le schéma des pipelines. +- **`/new-event`**, qui appelle l'analyste pour les étiquettes d'un event : pas de `tool-builder` ; ses scripts éventuels restent dans le dossier de sortie. + +**Réponse de l'utilisateur (2026-10-29).** D'accord sur l'inventaire, les scripts de l'analyste, la section Outils, l'ordre et le retrait de `/aiguiser` ; le `tool-builder` optimise ou ajoute des outils, il **n'en retire pas** : un seul lot ne suffit pas pour nettoyer la liste ; pas de contrôle pour l'instant, on regarde comment ça tourne et ce que ça donne. + +**Fait le 2026-10-29 (D-097).** `inventaire.py` : une section « Ce que contiennent les données » (colonnes remplies ou vides de l'export, de la pose et de `quality/`, noms des métriques, images, images différentielles) ; `analyser-lot` : étape 0 « Tes données », ses scripts dans `/outils/`, section « 3. Outils » ; agent `tool-builder` (l'optimiseur, `git mv`, réécrit) ; `/events-learner` : étape 2 entre l'analyste et le score, colonne Outils au bilan ; `/aiguiser` retiré (skill, lecteur, correcteur, `voir.py`) ; `colonnes-des-deplacements.md` (les six colonnes de qualité), `lire-les-donnees`, `/new-event`, améliorateur, spec d'`events-learner` (spec d'`aiguiser` marquée remplacée), `run.md`, `README.md`, `CLAUDE.md`, `vues-deplacements/CLAUDE.md`, schéma des pipelines (retouché). + +**Étapes.** +- [x] Les réponses de l'utilisateur : étape par étape (2026-10-29). +- [x] Étape 1, le lecteur : sans objet, `/aiguiser` remis en cause. +- [x] Combiner `/aiguiser` avec `/events-learner` : la proposition de l'utilisateur (2026-10-29). +- [x] Les précisions de Claude : acceptées, sauf le retrait d'outils (2026-10-29). +- [x] Construit (2026-10-29, D-097). +- [ ] Une séance de `/events-learner` qui l'essaie : la section Outils guide-t-elle le `tool-builder`, les outils grossissent-ils sans servir ? +- [ ] Les agents, le skill, la spec, une décision ; `CLAUDE.md`, `run.md`, `vues-deplacements/CLAUDE.md`, le schéma des pipelines. +- [ ] Une séance de `/aiguiser` qui les essaie : le contrôle renvoie-t-il, à bon escient ? + +**Fini quand.** Une séance de `/events-learner` améliore les outils dont l'analyste se sert, sans les faire grossir pour un lot seul. + --- ## Partie VII — Idées gardées pour plus tard @@ -1263,6 +1380,179 @@ Demande de l'utilisateur (2026-10-27) : un graphe simple, sans le détail des do --- +## Partie IX — Dire la cause : l'analyste d'abord, les détecteurs ensuite + +Retour de l'utilisateur du 2026-10-29 (vocal), après des exemples des détecteurs sur les données : « globalement c'est assez bon », la couverture est bonne, mais des catégories sont incomplètes ou peu précises. **L'ordre qu'il donne** : rendre l'analyste plus savant (savoir métier, températures, métriques de qualité, cas validés) pour qu'il étiquette mieux ; ensuite c'est lui, par `/events-learner`, qui fait progresser les détecteurs, de « il s'est passé quelque chose » vers « voici la cause ». À sa demande, rien n'est documenté hors de ce plan avant qu'il prenne le point : chaque point dit où son savoir ira. + +### Point 57 : La cause plutôt que l'événement : l'ordre du chantier + +**L'idée** (l'utilisateur, 2026-10-29). Détecter l'événement était la première chose ; il faut maintenant dire **pourquoi** : la cause d'un saut, l'effet thermique en jeu, une visibilité réduite ou une cible cachée. Ne pas avoir peur de la complexité de ces données ; l'interface la cachera par défaut (point 66). + +**Le déroulé proposé (Claude).** +1. Le savoir : les effets thermiques (58), le heat haze (61), visibilité contre occultation (62), la cause des sauts (64). L'utilisateur valide le texte, qui va dans `docs/displacement/domaine/` et la carte des événements. +2. Les données qui le prouvent : les températures (59) et les métriques de qualité (63) dans les outils de lecture, aiguisés par `/aiguiser`. +3. Les cas : des events construits par `/new-event` et validés par l'utilisateur, une cause chacun (60, et ceux des points 62 et 64). +4. L'analyste : `analyser-lot` et la carte reçoivent le tout ; il consulte la base quand il veut (D-088). +5. Les détecteurs : des séances de `/events-learner` sur des lots qui montrent ces causes ; les catégories nouvelles dans `categories.py` et la hiérarchie des status (D-095). +6. Les détails de détection (65) se font quand on veut, sans attendre. + +**Question.** Ce déroulé, et par où commencer : les effets thermiques (58, puis 59), recommandé, puisque toutes les stations ont déjà une température ? + +- [ ] L'utilisateur valide l'ordre. + +### Point 58 : Les trois effets thermiques et leurs temps de chauffe + +**Ce qu'en dit l'utilisateur (l'expert, 2026-10-29).** Trois effets thermiques, qui se distinguent par leur **temporalité** : chacun a son propre temps de chauffe et de refroidissement. +1. **L'objectif se déforme** : le soleil sur la station chauffe l'optique ; l'image se déforme. +2. **Le support de la caméra bouge** : la fixation se dilate, la caméra bouge et compense mal ce mouvement, qui passe dans les mouvements des cibles. +3. **L'ouvrage surveillé se dilate** : il lui faut beaucoup plus de temps pour chauffer et refroidir. Les refroidissements très tardifs et les chauffes longues vus ce jour sur les données des détecteurs en sont le cas type. + +Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui la porte (effet 2) et celui qu'elle surveille (effet 3). Et encore : +- les vagues de dilatation et de contraction des détecteurs sont justes (un pont se contracte et se détend par vagues) : à garder ; +- le déplacement est souvent plus fort en Y (ça monte, ça descend) qu'en X, mais cela dépend de l'orientation : pas toujours ; +- JUNGFRAU (PS des Coudres, sous un pont) : les effets thermiques sont centrés sur les points d'inflexion du mouvement de la caméra ; ce n'est pas faux, et c'est l'effet 1 ou 2. + +**Ce que le projet en sait déjà.** `docs/displacement/domaine/cycle-thermique.md` (point 13) : une vague de 24 h dans les positions brutes presque partout (la caméra), dans les courbes corrigées seulement à PS des Coudres. Catégories `dilatation_thermique` et `contraction_thermique` (D-074), qui mêlent l'ouvrage et le support de la caméra ; `thermique` « Camera thermal … » (point 49) ; le regroupement Thermal movements, suspendu dans `status.py` (D-095). + +**Signatures, hypothèses de Claude à valider.** + +| Effet | Où il se voit | Temps | Témoin | +|---|---|---|---| +| Objectif | toute l'image : positions brutes de toutes les cibles, références comprises (plus fort au bord de l'image ?) | le plus court : suit le soleil sur la station | température de la station | +| Support | positions brutes en mode commun (le mouvement de la caméra) ; reste dans `corr` quand la compensation est imparfaite, aux inflexions du mouvement de la caméra | intermédiaire | température de la station, mouvement de la caméra | +| Ouvrage | `corr`, amplitude propre à chaque cible, références stables | le plus long : chauffe lente, refroidissement tardif, en retard sur l'air | température de l'air, absente (sauf peut-être `temperature_deg_c`, point 59) | + +**Questions à l'utilisateur.** +1. Les catégories : trois (objectif, support, ouvrage), chacune en dilatation et en contraction ; ou un seul « effet thermique » pour le client, la cause pour le spécialiste (point 66) ? +2. L'objectif et le support se séparent-ils sur les courbes, ou seulement par leur temps ? +3. Les signatures ci-dessus : justes, à corriger ? + +- [ ] Les réponses de l'utilisateur. +- [ ] Le savoir validé : `docs/displacement/domaine/cycle-thermique.md` réécrit (les trois effets, leurs temps, les cas croisés, X et Y) ; la carte des événements (sections 1 et 4) et le graphe des éventualités. +- [ ] Les catégories décidées : entrée dans `docs/decisions.md`, `categories.py`, hiérarchie des status (D-095). + +### Point 59 : Les températures de la station dans les outils de lecture, par `/aiguiser` + +**L'idée** (l'utilisateur, 2026-10-29). Se servir de `/aiguiser` pour que les outils de lecture lisent aussi les métriques système, d'abord les températures, et que l'analyste les regarde pour séparer les trois effets thermiques. + +**Ce qui existe (Claude, 2026-10-29).** +- Toutes les stations de `data/` ont les cinq zones de la carte de calcul (`sensor_A0`, `CPU`, `GPU`, `PLL`, `thermal_deg_c`), en moyennes horaires : la température **dans** la station, chauffée par le soleil et par le calcul, ni celle de l'air ni celle de l'ouvrage. Les zones sont redondantes (`docs/temperature/domaine/point-de-depart.md`) : une seule suffit. Elle témoigne pour l'objectif et le support (effets 1 et 2), mal pour l'ouvrage. +- LENZSPITZE et NADELHORN ont en plus `temperature_deg_c` (capteur inconnu : l'air ?), sur 5 à 12 jours. +- Une moyenne horaire, face à des mesures de 10 ou 15 min, date une chauffe à l'heure près, pas mieux. +- Aucun outil de lecture ne lit `metrics/` (`agent-tools/donnees.py`) ; le lecteur, le correcteur et l'analyste n'en savent rien. + +**Proposition (Claude).** Le plus simple d'abord : lire une température (`sensor_thermal_deg_c`, la seule commune à toutes les versions du collecteur) dans `donnees.py` et la tracer sous les courbes dans `graphique.py` ; puis une séance de `/aiguiser` sur un lot thermique (JUNGFRAU), où le correcteur fait son corrigé avec les températures et où l'optimiseur ajoute ce qui manque au lecteur. Sans ce premier pas, le lecteur ne demandera jamais une température qu'il ne sait pas exister. + +**Questions à l'utilisateur.** +1. Le premier pas codé à la main, puis `/aiguiser` ; ou `/aiguiser` seul, en disant au lecteur et au correcteur que `metrics/` existe ? +2. Avant ou après la refonte de `/aiguiser` (point 56, étape 1 en cours) ? +3. `temperature_deg_c` : quel capteur ? + +- [ ] Les réponses de l'utilisateur. +- [ ] La température dans les outils (selon la réponse 1) ; le skill `lire-les-donnees` dit qu'elle existe. +- [ ] Une séance de `/aiguiser` sur un lot thermique (l'utilisateur la lance, `run.md`). +- [ ] `analyser-lot` : l'analyste regarde la température devant tout effet thermique. + +**À revoir (2026-10-29).** `/events-learner` a maintenant un `tool-builder`, et l'analyste écrit ses propres scripts (D-097, autre conversation) : les températures peuvent arriver par là plutôt que par `/aiguiser`. + +### Point 60 : Des cas thermiques construits et validés + +**L'idée** (l'utilisateur, 2026-10-29). Construire des cas concrets de chacun des trois effets, dans leurs différentes circonstances (caméra sur un pont, ouvrage seul, les deux), les documenter et qu'il les valide : l'analyste les apprend par la base d'events. + +**Proposition (Claude).** Chercher dans `data/` une période candidate par effet (JUNGFRAU pour la caméra ; pour l'ouvrage, la station aux refroidissements tardifs vue ce jour), température tracée (point 59) ; les montrer à l'utilisateur ; il choisit et lance `/new-event` sur chacune. La carte apprend de chaque event validé (D-087). + +- [ ] L'utilisateur dit sur quelle station il a vu les refroidissements tardifs. +- [ ] Après les points 58 et 59 : les périodes candidates, présentées à l'utilisateur. +- [ ] `/new-event` par l'utilisateur, un cas par effet ; sa validation. + +### Point 61 : Heat haze : quand il y en a, quand il n'y en a pas + +**Ce qu'en dit l'utilisateur (2026-10-29).** Le heat haze (catégorie `turbulence`) est un effet thermique à part, une forme de bruit, qui n'apparaît que quand il fait vraiment chaud sur l'ouvrage ; sous un pont, comme à JUNGFRAU, il n'y en a pas. On ne sait pas encore comment le capter. + +**À trancher.** Ce qui le distingue des autres bruits (vent fort, mât qui vibre, visibilité moyenne). La carte (section 1) dit déjà : de jour, toutes les cibles, surtout les lointaines, `error_value` 1,5 à 3 fois celle de la nuit ; la température et la qualité (flux, netteté) pourraient le confirmer. + +- [ ] L'utilisateur dit les conditions du heat haze (chaleur sur l'ouvrage, soleil, distance des cibles) ; le savoir dans `docs/displacement/domaine/` et la carte. +- [ ] Un cas avec, un cas sans (JUNGFRAU), au point 60. + +### Point 62 : Visibilité réduite ou cible masquée + +**Ce qu'a vu l'utilisateur (2026-10-29).** À JUNGFRAU (PS des Coudres), du brouillard rangé par les détecteurs en `cible_masquee` (Target hidden) : c'est une visibilité réduite. La distinction compte : une **réduction de visibilité** est une baisse du flux, homogène ; une **occultation**, un objet devant la cible. Un détecteur qui ne lit que les courbes de mouvement les sépare mal ; les métriques de qualité le devraient (flux, pic, netteté, dominance). + +**Les deux voies.** +- A. Tout regrouper sous « visibilité réduite », avec les cibles touchées : simple, sans les métriques de qualité. +- B. Deux catégories, avec un critère robuste d'occultation tiré des métriques de qualité (par exemple : le flux d'une ou de quelques cibles voisines tombe d'un coup, les autres gardent le leur ; contre un flux qui baisse partout, plus sur les lointaines). L'utilisateur ne veut pas lâcher cette voie. + +**Recommandation (Claude).** A tant qu'une station n'a pas les métriques de qualité, B dès qu'elle les a ; la décision suit le point 63. + +- [ ] La décision de l'utilisateur ; entrée dans `docs/decisions.md`, carte (section 4), `categories.py`. +- [ ] Si B : un cas de brouillard (JUNGFRAU) et un cas d'occultation, validés. + +### Point 63 : Les métriques de qualité : quelles stations, et la qualité recalculée + +**L'idée** (l'utilisateur, 2026-10-29). Sans les métriques de qualité, un diagnostic précis est difficile ; les courbes de mouvement seules ne suffisent pas. Mais peu de stations les ont. Deux choix : ne traiter désormais que les stations qui les ont, ou les recalculer après coup avec l'émulateur (`~/optical_emulator`, travail en cours dans le projet optique). + +**Ce qui existe (Claude, 2026-10-29).** Dans `data/`, seul NADELHORN a `quality/` (du 25 au 27/10) : par capteur et par image, `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`. `donnees.py` reconnaît ces fichiers sans les lire ; `run.md` a déjà les métriques de qualité par l'émulateur. Pas de quoi entraîner un détecteur aujourd'hui. + +**Questions à l'utilisateur.** Le choix : stations avec qualité seulement, qualité recalculée, ou selon la station ; quelles stations suivies l'auront, et quand. + +- [ ] La décision de l'utilisateur. +- [ ] Les métriques de qualité dans les outils de lecture et le skill (même chemin qu'au point 59 : un premier pas, puis `/aiguiser`). +- [ ] L'analyste s'en sert (`analyser-lot`). + +### Point 64 : Les sauts : dire pourquoi + +**L'idée** (l'utilisateur, 2026-10-29). Un saut bref revient toujours à la normale, c'est ce qui le rend bénin ; dire « saut » ne suffit pas, il faut dire ce qui l'a causé. Assez souvent, une **référence** est cachée ou moins bien vue : la reprojection décale d'un coup des points, souvent groupés dans une partie de l'image ; au retour de la référence, la recalibration les ramène. Chaque cas est particulier. + +**Ce qui existe.** La carte a les éventualités « Références masquées » (`error_value` haut sur une partie des références, `sigma0` qui monte, puis les `corr` qui se décalent) et « Une référence a bougé » ; aucun détecteur ne regarde les références. + +**Garde-fou** (`CLAUDE.md`, Règles non négociables). Rien sur `inlier` binaire ni sur `sigma0` seul : poids continus, résidus, `N_eff`, influence ; des références cohérentes ne sont pas forcément fixes. + +- [ ] L'utilisateur précise les causes de saut qu'il connaît (référence cachée, perdue, autre) et comment il les voit. +- [ ] Des cas validés (`/new-event`), dont une référence cachée. +- [ ] L'analyste cherche la cause de chaque saut (références, zone de l'image) ; puis `/events-learner`. + +### Point 65 : Un saut marqué dès son début + +**Ce qu'a vu l'utilisateur (2026-10-29).** `sauts` marque le saut un peu après son début ; l'événement doit englober tout le saut. Un détail : le journal se calcule après coup, on peut reculer le début jusqu'au départ du mouvement. + +- [ ] Reculer le début de l'épisode dans `detectors/sauts.py` jusqu'à la dernière mesure au niveau d'avant ; vérifier par la page des détecteurs (NIEDERHORN, du 2026-09-25 au 2026-10-08) et le benchmark. + +### Point 66 : Client et spécialiste : la complexité sur demande + +**L'idée** (l'utilisateur, 2026-10-29). Les catégories nouvelles (trois effets thermiques, causes des sauts…) ajoutent beaucoup de complexité ; il faut des niveaux d'abstraction : le client voit l'essentiel, le spécialiste déplie le détail sur demande. La page Status (`detectors-view/status.py`) en est une bonne base visuelle. Lié au point 23 (deux couches : client et support) et à la hiérarchie des status (D-095). + +- [ ] Quand les catégories des points 58, 62 et 64 sont décidées : pour chacune, le niveau client et le niveau spécialiste. + +### Point 67 : Le savoir métier de l'analyste : le mécanisme, sans plus de pages + +**L'idée** (l'utilisateur, 2026-10-29). L'analyste a besoin du savoir métier pour faire au mieux son travail ; les documents qu'on lui donne suffisent-ils ? On ne veut pas l'alourdir. Le savoir technique que l'utilisateur dit dans ses vocaux lui serait utile. + +**Ce qu'il lit aujourd'hui (Claude, 2026-10-29).** `analyser-lot` (9,5 Ko), `lire-les-donnees` (21,5 Ko), `colonnes-des-deplacements` (6,3 Ko), `pieges-des-donnees` (2,8 Ko), la carte des événements (32,7 Ko), `read-event` et `events/INDEX.md` (12 Ko), puis jusqu'à trois fiches : environ 85 Ko, de l'ordre de 20 000 jetons avant la première donnée. + +**Constat (Claude).** +- Son savoir est un **catalogue de symptômes** (carte, section 1 : chaque éventualité et sa signature) et un dictionnaire des colonnes. Il lui manque le **mécanisme** : comment une mesure se fait, et où chaque cause entre dans la chaîne. C'est ce que l'utilisateur sait et dit : une référence cachée, la reprojection décale une zone de l'image, la recalibration la ramène ; le support chauffe, la caméra compense mal ; le brouillard baisse le flux partout, un objet le coupe sur une cible. Avec le mécanisme, l'analyste raisonne sur un cas que la carte ne liste pas ; sans lui, il apparie des signatures (le brouillard de JUNGFRAU pris pour une cible masquée, point 62). +- Les règles non négociables des déplacements (`inlier` binaire, `sigma0` seul, mode commun contre mouvement de l'ouvrage, références cohérentes contre références fixes) sont dans `CLAUDE.md`, que l'analyste ne lit pas (`omitClaudeMd`, et la liste de ce qu'il a le droit de lire) ; aucun de ses documents ne les redit. +- Ce qui pèse sans servir : la carte est lue en entier, avec la « Phrase au client » et la source de chaque éventualité, inutiles pour étiqueter. + +**Proposition (Claude).** +1. Une note courte, **la chaîne de mesure** (`docs/displacement/domaine/chaine-de-mesure.md`, une page), lue par l'analyste avant la carte : les étages (air, obstacle, cible, objectif, caméra et support, références et compensation, ouvrage) ; pour chacun, ce qu'il touche dans les données (positions brutes, `corr`, `error_value`, qualité, `reproj_err` des références, température) et son temps propre ; les règles non négociables en quatre lignes. Les savoirs des points 58, 61, 62 et 64 y entrent à mesure que l'utilisateur les valide, au lieu de s'éparpiller en notes. +2. La carte reste le vocabulaire (section 4, les catégories) ; la section 1 se consulte à la demande (`grep` de l'éventualité), pas en entier : au total, moins lu qu'aujourd'hui. +3. Savoir si c'est mieux, sans deviner : rejouer l'analyste sur un lot dont on connaît la réponse (le brouillard de JUNGFRAU), avant et après la note. Proposé, pas lancé. + +**Où la mettre** (question de l'utilisateur, réponse de Claude, 2026-10-29). Dans `docs/displacement/domaine/`, la place du savoir métier des déplacements (règle de travail de `CLAUDE.md`), ajoutée à la liste de ce que l'analyste a le droit de lire. Pas dans `events/` : c'est la base qui grandit par les processus automatiques (l'`event-builder` y écrit, la carte y apprend, D-087), alors que le mécanisme ne change que sur la parole de l'utilisateur. Pas `CLAUDE.md` en partie : c'est la carte du projet pour les conversations, et l'analyste en est tenu à l'écart exprès (des conclusions sur les données) ; seules les quatre règles des déplacements le concernent, recopiées dans la note. La note ne redit ni les colonnes (`colonnes-des-deplacements.md`) ni les signatures (la carte) : elle dit pourquoi. + +**Questions à l'utilisateur.** +1. La note de la chaîne de mesure, plutôt que des notes éparses ? +2. La carte lue à la demande ? +3. Le test avant et après, et sur quel lot ? + +- [ ] Les réponses de l'utilisateur. +- [ ] Un brouillon de la note, tiré des vocaux du 2026-10-29 et des documents d'AIMsight (référence, §4.3 ; contexte support, §4), relu par l'utilisateur. +- [ ] `analyser-lot` : la note parmi ce qu'il lit ; la carte à la demande. +- [ ] Le test, si l'utilisateur le veut. + +--- + ## Annexe A — Les rapports des agents du 2026-10-23, résumés Huit agents, un par piste, lancés par l'orchestrateur ; tous ont rendu leur travail. Rien n'a été commité. @@ -1433,3 +1723,10 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-29 : point 55 ajouté (idée de l'utilisateur : `/boucle` devient `events-learner` ; releveur et améliorateur à part, dans une autre conversation). - 2026-10-29 : point 55, revue de l'orchestrateur : benchmark de fin sur les mêmes events, spec réduite, renommage ; lot unique laissé. - 2026-10-29 : point 55, D-092 : `/boucle` devient `/events-learner` (skill, scripts, séances, spec, page, commits), plus de benchmark de fin, spec réduite au pourquoi. +- 2026-10-29 : point 56 ajouté (idée de l'utilisateur : optimiser `/aiguiser` comme `/events-learner`) ; constat (neuf modifications, toutes gardées ; outils ×3,4) et transposition de Claude : `reading-critic`, `reading-upgrader`, `reading-control`, orchestrateur, spec ; quatre questions. +- 2026-10-29 : point 56, l'utilisateur : étape par étape du déroulé ; étape 1, le lecteur : rôle inchangé, une section « Ce qui m'a encombré », deux consignes du skill corrigées à la main (Bash, pas natif). +- 2026-10-29 : retour vocal de l'utilisateur sur les détecteurs : partie IX, nouvelle, points 57 à 66 : dire la cause plutôt que l'événement, l'analyste d'abord ; les trois effets thermiques (objectif, support, ouvrage) et leurs temps de chauffe ; les températures par `/aiguiser` ; des cas thermiques ; heat haze ; visibilité réduite ou cible masquée ; les métriques de qualité (seul NADELHORN les a) ; la cause des sauts ; le début d'un saut ; client et spécialiste. Rien documenté hors du plan, à sa demande ; questions dans chaque point. +- 2026-10-29 : point 56, l'utilisateur remet en cause `/aiguiser` (un lecteur sans notion de pertinence ; combiner avec `/events-learner`) ; avis de Claude : d'accord sur le fond ; l'analyste dit ce qui lui manque, un `reading-upgrader` dans `/events-learner`, l'audit indépendant en piste. +- 2026-10-29 : point 56, proposition de l'utilisateur : l'analyste voit ses données, crée ses outils et les décrit (section Outils) ; un `tool-builder` les adapte ; précisions de Claude (inventaire étendu, ordre, pas de contrôle, `/aiguiser` retiré). +- 2026-10-29 : point 67 ajouté (idée de l'utilisateur : le savoir métier de l'analyste suffit-il, sans l'alourdir ?) : constat de Claude (un catalogue de symptômes, pas le mécanisme ; les règles des déplacements de `CLAUDE.md` ne lui parviennent pas ; ~85 Ko lus) ; proposition : une note d'une page, la chaîne de mesure, et la carte lue à la demande ; trois questions. Point 59 : à revoir avec le `tool-builder` (D-097). +- 2026-10-29 : point 56, D-097 : `/aiguiser` retiré ; l'analyste voit ses données (`inventaire.py`), écrit ses scripts, dit ses outils ; le `tool-builder` optimise ou ajoute, sans retrait ni contrôle ; à essayer sur une séance. diff --git a/run.md b/run.md index 4a04c80..b6bc0fa 100644 --- a/run.md +++ b/run.md @@ -1,14 +1,22 @@ -# Pomper les données d'une station +# Pomper les données des stations -Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container ») : +Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container »), mettre à jour les stations suivies (`extraction/stations.txt`) jusqu'à maintenant : + +```bash +(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images --delai 300); chown -R 1000:1000 /workspaces/Support-Agent/data +``` + +- Chaque station repart de son dernier jour pompé (repompé, il était peut-être incomplet) ; une station absente de `data/` reçoit les 30 derniers jours. Ajouter une station : une ligne dans `extraction/stations.txt`. + +Une plage choisie (historique, jour en échec) : ```bash (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du --au --images --delai 300 ); chown -R 1000:1000 /workspaces/Support-Agent/data ``` - `` : numéro de série du système, celui de l'URL de la page System (`/explore/system/`), par exemple `NORDEND` ; plusieurs stations : ` `. -- ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours n'est jamais pompé. -- Sortie : `data//` (`metrics/`, `displacement/`, `camera/`, `images/`), hors de git (D-065) ; tous les outils et `/aiguiser`, `/events-learner` y lisent. +- ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours est pompé tel qu'il est ; la commande sans dates le remplace ensuite. +- Sortie : `data//` (`metrics/`, `displacement/`, `camera/`, `images/`), hors de git (D-065) ; tous les outils et `/events-learner` y lisent. - Options : `--diff` ajoute les images différentielles dans `images_diff/` (PNG 16 bits, ~7 Mo l'une contre ~1 Mo en JPG, ~160 Mo par jour ; ignorées par les outils de lecture) ; `--every 10` une image toutes les 10 min (`0` : toutes) ; sans `--images`, pas d'images. - Relancer la même commande ne récupère que ce qui manque (jour en échec, plage élargie, option ajoutée). @@ -45,22 +53,6 @@ Les anciennes caméras n'ont pas les six métriques de qualité (`peak`, `flux`, Détails : `~/optical_emulator/CLAUDE.md` et `~/optical_emulator/emulateur/README.md`. -# Aiguiser la lecture de Claude - -Dans une session Claude Code neuve, **en mode auto** (sinon elle s'arrête à chaque demande d'accord), à la racine de Support-Agent (pas dans le dev container), une fois les déplacements **et les images** pompés : - -``` -/aiguiser data/ --du --au --ameliorer -``` - -- `--ameliorer` (facultatif) : en fin de séance, l'améliorateur corrige le processus d'après les difficultés relevées ; l'enlever pour une séance sans correction (D-076). -- ``, `` : jours UTC, `AAAA-MM-JJ` ; `` exclu (la plage s'arrête à `` 00:00). La plage est le lot, sans découpe : sa longueur se choisit par les dates (4 jours : `--du 2026-09-01 --au 2026-09-05`), D-078. -- Sans `--du` ni `--au` : toute la période du dossier. -- Le modèle et l'effort choisis pour la session valent pour tous ses agents (D-063). -- La séance tourne seule, à lancer sur `master`, où elle commite directement (D-077), puis lance les commandes des fiches ; bilan dans `aiguiser/_/bilan.md`. - -Détails : `.claude/skills/aiguiser/SKILL.md`. - # Voir les détecteurs du journal (page des détecteurs) Les détecteurs seuls sur une station et une plage, sans boucle ni analyste (rien n'est modifié ni commité). Le développement de la page est dans `detectors-view/` ; `/events-learner` (page de fin de séance) et `/review-event` la reprennent. @@ -79,7 +71,7 @@ Toutes les stations de `data/` d'un coup, chacune sur sa plage (une page ouverte ./detectors-view/run-detectors.sh ``` -# Améliorer les détecteurs du journal (events-learner) +# Améliorer les détecteurs, la base d'events et les outils de lecture (events-learner) Dans une session Claude Code neuve, **en mode auto**, à la racine de Support-Agent (pas dans le dev container), une fois les déplacements **et les images** pompés : @@ -91,7 +83,7 @@ Dans une session Claude Code neuve, **en mode auto**, à la racine de Support-Ag - ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu (la plage s'arrête à `` 00:00). La plage est le lot, sans découpe : sa longueur se choisit par les dates (4 jours : `--du 2026-09-01 --au 2026-09-05`), D-072. - Sans `--du` ni `--au` : toute la période du dossier, en un lot. Le lot est classé avec ses 3 jours d'avant : les pomper aussi. - Le modèle et l'effort choisis pour la session valent pour tous ses agents (D-063). -- La séance tourne seule, sans question, à lancer sur `master`, où elle commite directement (D-070), un commit par étape : analyste, detectors-critic, puis detectors-upgrader et detectors-control si la critique a des suggestions, event-builder à chaque lot, puis le releveur, qui note les difficultés dans `docs/ameliorations-processus.md` (rien à demander). Avec `--ameliorer`, l'améliorateur corrige ensuite le skill `/events-learner` et ses agents d'après ces relevés et marque les entrées **traité** ; ce qui sort de son périmètre (outils de lecture, détecteurs) ou change ce que fait la boucle reste à traiter à la main (D-071). Les fichiers modifiés et non commités restent sans être commités. +- La séance tourne seule, sans question, à lancer sur `master`, où elle commite directement (D-070), un commit par étape : analyste, tool-builder (les outils de lecture dont l'analyste s'est servi, optimisés ou ajoutés, D-097), detectors-critic, puis detectors-upgrader et detectors-control si la critique a des suggestions, event-builder à chaque lot, puis le releveur, qui note les difficultés dans `docs/ameliorations-processus.md` (rien à demander). Avec `--ameliorer`, l'améliorateur corrige ensuite le skill `/events-learner` et ses agents d'après ces relevés et marque les entrées **traité** ; ce qui sort de son périmètre (outils de lecture, détecteurs) ou change ce que fait la boucle reste à traiter à la main (D-071). Les fichiers modifiés et non commités restent sans être commités. - Bilan dans `events-learner/_/bilan.md` ; les étiquettes de l'analyste (`lot-*/etiquettes.json`) sont à garder même si on annule une modification. Ensuite : `git revert` des commits de la séance qu'on ne garde pas (la base de la séance est dans le bilan). - À la fin, la page `out/events-learner__.html` s'ouvre (D-066) : la page des détecteurs (`detectors-view/detecteurs.py`, ci-dessus) sur la plage, images et timelapse compris ; dessous les courbes, catégorie par catégorie, l'analyste (bleu) face aux détecteurs (orange) ; le score de la séance et le benchmark. - Le benchmark (D-069) : les détecteurs face au diagnostic gardé dans chaque event de la base (`events/E-*/etiquettes.json`), lancé au début de chaque lot, après chaque modification et en fin de séance ; chaque passage s'ajoute à `vues-deplacements/benchmark/historique.csv`, avec la version des détecteurs. diff --git a/vues-deplacements/CLAUDE.md b/vues-deplacements/CLAUDE.md index 4d07b06..30a3b6c 100644 --- a/vues-deplacements/CLAUDE.md +++ b/vues-deplacements/CLAUDE.md @@ -14,7 +14,7 @@ vues-deplacements/ └── parcours.md la démarche de l'utilisateur, qu'il décrit étape par étape en conversation et que Claude note ici : pages ouvertes, ce qu'il y cherchait, où il a bloqué, son verdict ``` -Sortis de ce dossier, à la racine du dépôt (D-084) : les détecteurs, `detectors/`, et les séances des processus automatiques, `events-learner/` et `aiguiser/` ; les chemins ci-dessous qui les citent partent de la racine. Restent ici `maquette/`, `contexte/`, `cas/` et `benchmark/`. +Sortis de ce dossier, à la racine du dépôt (D-084) : les détecteurs, `detectors/`, et les séances des processus automatiques, `events-learner/` et `aiguiser/` (retiré, historique) ; les chemins ci-dessous qui les citent partent de la racine. Restent ici `maquette/`, `contexte/`, `cas/` et `benchmark/`. Le code et les maquettes du chantier vivent dans `maquette/` (D-053, D-054) : `explore.py` (maquette de la page Explore avec les onglets View, Diagnosis et Displacements, `python3 vues-deplacements/maquette/explore.py [dossier de station]`, page dans `out/`), son gabarit `explore_template.html` et sa spec `spec.md`. @@ -22,9 +22,9 @@ Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui co Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `detectors/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des douze catégories du journal (D-074) par `detectors/categories.py` (`python3 detectors/categories.py ` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`. -Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/events-learner [--du … --au …]` fait analyser chaque lot par un analyste, juger les détecteurs du journal face à son analyse par un detectors-critic (D-090), les fait corriger par un detectors-upgrader, contrôlé sur la base d'events par un detectors-control (D-089), et fait décider par un event-builder ce que le lot apprend de nouveau à la base d'events (D-091) ; une séance commitée directement sur `master` (D-070), ses rendus dans `events-learner/_/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/events-learner_.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/events-learner/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/events-learner.md`. +Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/events-learner [--du … --au …]` fait analyser chaque lot par un analyste (qui peut écrire ses propres scripts et dit les outils dont il s'est servi), améliorer les outils de lecture (`agent-tools/`) d'après eux par un tool-builder, qui optimise ou ajoute sans rien retirer (D-097), juger les détecteurs du journal face à son analyse par un detectors-critic (D-090), les fait corriger par un detectors-upgrader, contrôlé sur la base d'events par un detectors-control (D-089), et fait décider par un event-builder ce que le lot apprend de nouveau à la base d'events (D-091) ; une séance commitée directement sur `master` (D-070), ses rendus dans `events-learner/_/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/events-learner_.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/events-learner/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/events-learner.md`. -Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il choisit : `/aiguiser [--du … --au …]` améliore les outils de lecture (`agent-tools/`) et leur mode d'emploi, le skill `lire-les-donnees`, que suivent l'analyste et l'agent de diagnostic : un lecteur lit le lot avec le skill, un correcteur le lit à fond avec ses propres scripts et mesure l'écart, un optimiseur modifie le skill, un changement sans gain est annulé ; commandes des fiches lancées en fin de séance (D-064) ; une séance commitée directement sur `master` (D-077), ses rendus dans `aiguiser/_/lot-NN/` et `bilan.md`, hors de tout dossier de station ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-076) ; spec `contexte/aiguiser-la-lecture.md`. +Aiguiser la lecture (D-059) : `/aiguiser`, retiré le 2026-10-29 (D-097) ; ses séances restent dans `aiguiser/`, sa spec dans `contexte/aiguiser-la-lecture.md`, comme historique. Les outils de lecture s'améliorent désormais dans `/events-learner`, par le `tool-builder`. ## Règles diff --git a/vues-deplacements/contexte/aiguiser-la-lecture.md b/vues-deplacements/contexte/aiguiser-la-lecture.md index 69a24a3..1838461 100644 --- a/vues-deplacements/contexte/aiguiser-la-lecture.md +++ b/vues-deplacements/contexte/aiguiser-la-lecture.md @@ -1,5 +1,7 @@ # Aiguiser la lecture : conception +> **Remplacée le 2026-10-29 (D-097)** : `/aiguiser` est retiré ; l'analyste de `/events-learner` crée ses propres outils et un `tool-builder` les fait entrer dans `agent-tools/` (spec `events-learner.md`). Cette page reste comme historique, avec les séances de `aiguiser/`. + Point 42 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`, brainstorming du 2026-10-24. Statut : **approuvée par l'utilisateur le 2026-10-24**, **construite le même jour** (D-059) ; plan de construction : `docs/superpowers/plans/2026-10-24-aiguiser-la-lecture.md`. Pendant la construction, une règle du projet est venue s'ajouter (D-060) : chaque rendu finit par `## Difficultés`, et l'orchestrateur appelle le releveur en fin de séance. Ce qui vient de l'utilisateur est dit « l'utilisateur » ; le reste est un choix de Claude, marqué *(choix de Claude)* ; « accepté » : proposé par Claude, accepté par l'utilisateur le 2026-10-24. ## 1. Pourquoi diff --git a/vues-deplacements/contexte/events-learner.md b/vues-deplacements/contexte/events-learner.md index 015cb72..cb6b686 100644 --- a/vues-deplacements/contexte/events-learner.md +++ b/vues-deplacements/contexte/events-learner.md @@ -1,6 +1,6 @@ # events-learner : conception -Point 31 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`, brainstorming du 2026-10-24, d'abord sous le nom `/boucle` ; **approuvée par l'utilisateur le 2026-10-24**, rôles revus le 2026-10-29 (points 51 à 55 du plan, D-087 à D-092). Ce qui vient de l'utilisateur est dit « l'utilisateur » ; le reste est un choix de Claude, marqué *(choix de Claude)*. +Point 31 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`, brainstorming du 2026-10-24, d'abord sous le nom `/boucle` ; **approuvée par l'utilisateur le 2026-10-24**, rôles revus le 2026-10-29 (points 51 à 55 du plan, D-087 à D-092) ; les outils de lecture y entrent le même jour, avec le `tool-builder`, et `/aiguiser` se retire (point 56, D-097). Ce qui vient de l'utilisateur est dit « l'utilisateur » ; le reste est un choix de Claude, marqué *(choix de Claude)*. Cette page dit **pourquoi** le processus est ainsi. **Comment** il tourne est écrit une seule fois, ailleurs : le déroulé dans le skill `.claude/skills/events-learner/SKILL.md`, chaque rôle dans sa consigne, `.claude/agents/.md`. Ne pas les recopier ici. @@ -8,9 +8,10 @@ Cette page dit **pourquoi** le processus est ainsi. **Comment** il tourne est é L'utilisateur veut que Claude apprenne sur des lots entiers de données de stations, sans lui : passer les détecteurs du journal du matin sur un lot, juger leurs résultats comme le ferait un expert, en regardant lui-même les courbes et les images, corriger les détecteurs, et garder sous forme d'events tout ce qui est nouveau. -À la fin d'une séance, il reste deux choses durables (l'utilisateur) : +À la fin d'une séance, il reste trois choses durables (l'utilisateur) : 1. **de la connaissance** : de nouveaux events, appris sur des événements réels, de la même forme que ceux de la base, dans la même base, `events/` (l'utilisateur) ; -2. **des détections optimisées** : des détecteurs mieux réglés. +2. **des détections optimisées** : des détecteurs mieux réglés ; +3. **des outils de lecture meilleurs** (D-097) : ceux dont l'analyste s'est servi, ou qu'il a dû écrire, optimisés ou ajoutés à `agent-tools/`. Seul l'analyste sait ce qui est pertinent dans les données : c'est son travail réel qui guide les outils (l'utilisateur, 2026-10-29), et non un lecteur à part qui en extrait tout sans savoir ce qui compte (`/aiguiser`, retiré). ## 2. Buts, non-buts, ce qui serait un échec @@ -24,7 +25,7 @@ L'utilisateur veut que Claude apprenne sur des lots entiers de données de stati - Mesurer les progrès de l'analyste (l'utilisateur, 2026-10-29, D-088). **Ce qui serait un échec.** -- **La complexité** : des détecteurs qui gonflent de règles et de cas particuliers pour un petit gain (la crainte de l'utilisateur). +- **La complexité** : des détecteurs qui gonflent de règles et de cas particuliers pour un petit gain (la crainte de l'utilisateur) ; de même des outils de lecture qui grossissent sans servir, risque que le `tool-builder`, qui ne retire rien et n'a pas de contrôle (D-097), laisse ouvert : à observer. - **Le sur-apprentissage** : des détecteurs collés au lot courant, qui perdent en précision sur les events de la base (l'utilisateur, 2026-10-29, D-089). - Toucher aux events validés ou aux catégories du journal, validées *(choix de Claude)*. - Un détecteur cassé qui disparaît sans bruit : le chargeur de `categories.py` saute, avec un simple message, un fichier qui ne se charge pas *(constaté dans le code)*. @@ -35,7 +36,8 @@ L'utilisateur veut que Claude apprenne sur des lots entiers de données de stati | Agent | Sa seule responsabilité | Ce qu'il ne voit pas | Décisions | |---|---|---|---| - | `analyste` (skill `analyser-lot`) | l'analyse la plus précise du lot, la vérité ; tous les outils, détecteurs et base d'events compris | le code des détecteurs, les autres séances | D-088, D-090 | + | `analyste` (skill `analyser-lot`) | l'analyse la plus précise du lot, la vérité ; tous les outils, détecteurs et base d'events compris, et ses propres scripts ; il dit les outils dont il s'est servi | le code des détecteurs, les autres séances | D-088, D-090, D-097 | + | `tool-builder` | optimiser ou ajouter des outils de lecture d'après ceux dont l'analyste s'est servi ; ne rien retirer : un seul lot ne suffit pas (l'utilisateur) | les détecteurs | D-097 | | `detectors-critic` | juger les détecteurs face à l'analyse : quoi et où | les données | D-090 | | `detectors-upgrader` | adapter les détecteurs (ajouter, retirer, modifier), le plus simple d'abord | — | D-089 | | `detectors-control` | le garde-fou contre le sur-apprentissage ; il décide | le lot (données, critique, score) | D-089 | @@ -57,7 +59,7 @@ L'utilisateur veut que Claude apprenne sur des lots entiers de données de stati ## 5. Ce que l'utilisateur trouve à la fin -Les commits de la séance ; `bilan.md` (le lot, la modification gardée ou non, les events créés, les contradictions avec la base, les erreurs) ; les difficultés du processus dans `docs/ameliorations-processus.md` ; la page `out/events-learner_.html` (D-066), la lecture de l'analyste au-dessus des événements des détecteurs, catégorie par catégorie. Le but, séance après séance : que les deux coïncident. Les events appris attendent sa revue par `/review-event`. +Les commits de la séance ; `bilan.md` (le lot, les outils modifiés, la modification gardée ou non, les events créés, les contradictions avec la base, les erreurs) ; les difficultés du processus dans `docs/ameliorations-processus.md` ; la page `out/events-learner_.html` (D-066), la lecture de l'analyste au-dessus des événements des détecteurs, catégorie par catégorie. Le but, séance après séance : que les deux coïncident. Les events appris attendent sa revue par `/review-event`. ## 6. Essai et séances @@ -67,6 +69,8 @@ Les commits de la séance ; `bilan.md` (le lot, la modification gardée ou non, ## Annexe : pistes à revoir +- Un contrôle du `tool-builder` (sur le diff des outils, sans le lot), si les outils grossissent sans servir : l'utilisateur ne sait pas encore comment le faire (D-097). +- Un audit indépendant de la lecture commune (`donnees.py`), par des scripts qui ne passent pas par elle, comme le correcteur de `/aiguiser` qui a trouvé l'erreur des rejets des références : de temps en temps, ou quand `donnees.py` change. - Plusieurs analystes en parallèle : les lots sont indépendants ; le `detectors-upgrader` reste seul, pour que deux agents ne modifient jamais le même détecteur. - Le rejeu sur les lots déjà vus (écarté le 2026-10-24 : trop lourd, pas exhaustif voulu). - Un plafond de lots ou de coût par séance ; plusieurs stations par séance.