Add the loop's end-of-session page and a detector benchmark on the case base
- End-of-session page for /boucle: the session's curves, the analyst's labels against the detectors' events per category, a plain score table and the benchmark (comparaison.py, D-066) - Detectors moved to vues-deplacements/detectors/ (D-067) - Detectors must detect everything; what the client sees is a separate layer (D-068) - Benchmark: each case keeps its labels from creation (etiquettes.json), benchmark.py scores the detectors on every case, history in vues-deplacements/benchmark/historique.csv; run by /boucle at each lot, after each change and at the end, read by the upgrader and validator; labels for C-001..C-005 from one analyst pass corrected by their files, C-006..C-008 from lot 01 (D-069) - Fixes from the releveur's notes: /boucle arguments and other sessions, branch name in the spec, detector name in categories.py output, learned case header, anonymiser.py (camera/, no empty CSVs, --etiquettes), ensemble.py (clock-aligned steps, title), plages.py (same-sign merge), labeling request written into /nouveau-cas - Also carries the other session's uncommitted D-065 edits in the same files; data/, .gitignore, pomper.py and stations.py are left out Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6b3d058a67
commit
d5bae7a696
57 files changed
+1727
-157
No files matched your search
@@ -17,9 +17,9 @@ Le dossier de station, le lot (UTC), le dossier du lot (ses rendus : `critique.m
|
||||
2. Lis `agents/diagnostic/cas/INDEX.md`. **Un cas par genre d'événement, pas par occurrence** : une nouveauté dont un cas a déjà la signature (même rôle des capteurs, même forme, même moment de la journée, même durée à peu près) ne donne rien. Ouvre la fiche d'un cas proche si tu hésites.
|
||||
3. Pour chaque nouveauté vraiment nouvelle, un cas :
|
||||
- **numéro** : le plus grand `C-xxx` de l'index, plus un ; dossier `agents/diagnostic/cas/C-xxx/` ;
|
||||
- **données** : `python3 .claude/skills/anonymiser-cas/anonymiser.py <dossier de station> agents/diagnostic/cas/C-xxx/ --du <début − 6 h> --au <fin + 6 h>` (instants `AAAA-MM-JJTHH:MMZ`) : seulement la fenêtre de l'événement et sa marge ;
|
||||
- **données et diagnostic** : `python3 .claude/skills/anonymiser-cas/anonymiser.py <dossier de station> agents/diagnostic/cas/C-xxx/ --du <début − 6 h> --au <fin + 6 h> --etiquettes <dossier du lot>/etiquettes.json` (instants `AAAA-MM-JJTHH:MMZ`) : seulement la fenêtre de l'événement et sa marge ; les étiquettes de l'analyste dans cette fenêtre, codées, deviennent `etiquettes.json` du cas, son diagnostic à la création, que le benchmark compare aux détecteurs (D-069) ; contrôle : `python3 .claude/skills/critiquer-lot/etiquettes.py agents/diagnostic/cas/C-xxx agents/diagnostic/cas/C-xxx/etiquettes.json`, « bon » ;
|
||||
- **fiche** `cas.md` : le modèle du §11.3 de `docs/agents/agent-diagnostic.md` (`grep -n '^### 11.3' docs/agents/agent-diagnostic.md`, puis lis cette section seule) ; prends exemple sur une fiche existante, par exemple `agents/diagnostic/cas/C-001/cas.md` ;
|
||||
- **en tête de fiche**, juste sous le titre : `**Appris par la boucle** le <AAAA-MM-JJ>, séance <dossier de la séance>, non revalidé par l'expert` ;
|
||||
- **en tête de fiche**, juste sous le titre : `**Appris par la boucle** le <AAAA-MM-JJ>, séance <SEANCE>, non revalidé par l'expert`, `<SEANCE>` étant l'horodatage seul du dossier de la séance (`2026-10-26T1414Z`), sans la station : `anonymiser-cas` refuse tout nom réel ;
|
||||
- **figures et noms** : le skill `anonymiser-cas` (`.claude/skills/anonymiser-cas/SKILL.md`), étapes 2 à 4, avec la même fenêtre `--du` / `--au` à chaque relance ;
|
||||
- **ligne d'index**, au format des autres ; son Verdict commence par `(appris)`.
|
||||
4. La classification et la cause se rangent dans les listes fermées du §11.3 ; ce que les données ne tranchent pas se dit (« déduite », « inconnue »).
|
||||
|
||||
@@ -19,7 +19,7 @@ Tu es le correcteur de `/aiguiser`. Un lecteur lit les données avec un skill de
|
||||
- le dossier de station : les exports « advanced » de `displacement/`, par tes scripts, et les images de `images/` avec Read ;
|
||||
- les rendus que ta demande cite, et seulement après avoir écrit ton corrigé pour une lecture lente.
|
||||
|
||||
**Tu n'utilises pas** `agents/diagnostic/outils/`, pas même `donnees.py` : ni lancé, ni importé, ni lu ; une erreur de lecture commune passerait inaperçue. Tu ne lis pas `.claude/skills/lire-les-donnees/SKILL.md`, ni les détecteurs (`vues-deplacements/journal/`), ni la base de cas, ni `CLAUDE.md`, `docs/decisions.md`, les plans, ni rien dans `vues-deplacements/` hors du dossier de station et des rendus que ta demande cite. Si l'environnement t'a fourni un contexte que tu n'as pas ouvert (ex. `CLAUDE.md`), signale-le dans « Sources lues » et ne t'en sers pas.
|
||||
**Tu n'utilises pas** `agents/diagnostic/outils/`, pas même `donnees.py` : ni lancé, ni importé, ni lu ; une erreur de lecture commune passerait inaperçue. Tu ne lis pas `.claude/skills/lire-les-donnees/SKILL.md`, ni les détecteurs (`vues-deplacements/detectors/`), ni la base de cas, ni `CLAUDE.md`, `docs/decisions.md`, les plans, ni rien dans `vues-deplacements/` hors du dossier de station et des rendus que ta demande cite. Si l'environnement t'a fourni un contexte que tu n'as pas ouvert (ex. `CLAUDE.md`), signale-le dans « Sources lues » et ne t'en sers pas.
|
||||
|
||||
## La lecture lente
|
||||
|
||||
|
||||
@@ -18,7 +18,7 @@ Le dossier de station, le lot (début et fin, UTC) ou « toute la période », l
|
||||
- les deux notes de `docs/domaine/` qu'il cite ;
|
||||
- le dossier de station, par les outils du skill, et ses images avec Read.
|
||||
|
||||
**Rien d'autre** : ni les détecteurs (`vues-deplacements/journal/`) ni leur sortie, ni la base de cas (`agents/diagnostic/cas/`), ni la carte des événements, ni `CLAUDE.md`, `docs/decisions.md`, les plans, ni rien dans `vues-deplacements/` hors du dossier de station. Dans le dossier de ta lecture, n'ouvre aucun autre fichier : corrigé, écarts et modifications y sont, et ils fausseraient la mesure. Si l'environnement t'a fourni un contexte que tu n'as pas ouvert (ex. `CLAUDE.md`), signale-le dans « Sources lues » et ne t'en sers pas. Tu n'écris aucun script.
|
||||
**Rien d'autre** : ni les détecteurs (`vues-deplacements/detectors/`) ni leur sortie, ni la base de cas (`agents/diagnostic/cas/`), ni la carte des événements, ni `CLAUDE.md`, `docs/decisions.md`, les plans, ni rien dans `vues-deplacements/` hors du dossier de station. Dans le dossier de ta lecture, n'ouvre aucun autre fichier : corrigé, écarts et modifications y sont, et ils fausseraient la mesure. Si l'environnement t'a fourni un contexte que tu n'as pas ouvert (ex. `CLAUDE.md`), signale-le dans « Sources lues » et ne t'en sers pas. Tu n'écris aucun script.
|
||||
|
||||
## Ta lecture
|
||||
|
||||
|
||||
@@ -29,7 +29,7 @@ L'écart (ses défauts d'abord) ; `<lot>/corrige.md` et les scripts du correcteu
|
||||
- **Interdits** :
|
||||
- aucun jugement dans ce que rend un outil : ni seuil, ni catégorie, ni « anomalie », ni « normal » ; un outil rend des valeurs, le lecteur juge ;
|
||||
- rien de propre à une station, à un capteur ou à une date ;
|
||||
- aucun import des détecteurs (`vues-deplacements/journal/`) ;
|
||||
- aucun import des détecteurs (`vues-deplacements/detectors/`) ;
|
||||
- bibliothèque standard ; matplotlib, par `.venv/bin/python`, pour les figures seulement.
|
||||
- **Ne rien casser** : les options et les sorties existantes restent ; les fiches des cas citent des commandes des outils, qui doivent toujours marcher.
|
||||
- Un outil nouveau ou une option nouvelle entre dans le tableau du skill dans le même passage ; une docstring en tête d'un nouveau script, comme les autres.
|
||||
|
||||
@@ -9,33 +9,35 @@ Tu es l'upgrader de la boucle automatique. Un analyste a jugé ce que les détec
|
||||
|
||||
## Ta demande
|
||||
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, celui du benchmark avant, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
|
||||
|
||||
## Lis d'abord
|
||||
|
||||
1. la critique (ses parties 3 et 5 surtout), et la validation précédente s'il y en a une : ses remarques passent avant tout ;
|
||||
2. `vues-deplacements/CLAUDE.md`, puis le détecteur en cause dans `vues-deplacements/journal/` et, si besoin, `categories.py` (comment les épisodes deviennent des événements) ;
|
||||
2. `vues-deplacements/CLAUDE.md`, puis le détecteur en cause dans `vues-deplacements/detectors/` et, si besoin, `categories.py` (comment les épisodes deviennent des événements) ;
|
||||
3. `vues-deplacements/contexte/seuils-du-journal.md`, le registre des seuils.
|
||||
|
||||
## Ce que tu modifies
|
||||
|
||||
Seulement les fichiers de `vues-deplacements/journal/` et `vues-deplacements/contexte/seuils-du-journal.md`. Rien d'autre. Tu ne commites pas : l'orchestrateur le fait.
|
||||
Seulement les fichiers de `vues-deplacements/detectors/` et `vues-deplacements/contexte/seuils-du-journal.md`. Rien d'autre. Tu ne commites pas : l'orchestrateur le fait.
|
||||
|
||||
**Le plus simple d'abord**, dans cet ordre ; tu ne passes au suivant que si le précédent ne peut pas corriger le défaut :
|
||||
1. changer une constante ;
|
||||
2. ajuster une règle existante ;
|
||||
3. ajouter une règle nouvelle et courte ;
|
||||
4. en dernier recours, un nouveau détecteur : un fichier de `vues-deplacements/journal/` avec `detect(mesures)`, comme les autres.
|
||||
4. en dernier recours, un nouveau détecteur : un fichier de `vues-deplacements/detectors/` avec `detect(mesures)`, comme les autres.
|
||||
|
||||
La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de complexité : un petit gain ne vaut pas une règle de plus. Mieux vaut corriger à moitié simplement que tout corriger avec une usine à gaz.
|
||||
|
||||
**Tout détecter** (l'utilisateur, D-068). Les détecteurs doivent trouver tout ce que l'analyste étiquette, dans sa catégorie. Ce qu'on montre ou non au client n'est pas leur affaire : cela se décidera ailleurs, plus tard. Un réglage pris pour ne pas montrer quelque chose au client, dans le registre ou dans le plan (« laissé dessous », « consigne de l'utilisateur », « on ne dit pas au client »), ne t'arrête donc pas : tu peux le changer, en le disant dans « Ce qui a changé ».
|
||||
|
||||
**Interdits.**
|
||||
- Pas de nouvelle catégorie : les catégories du journal sont validées. Une suggestion qui en demande une n'est pas traitée ; elle va dans « Pas corrigé ».
|
||||
- Pas de règle propre à une station, à un capteur ou à une date : une règle générale, valable sur toute station.
|
||||
- Le contrat `detect(mesures)` et les clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) ne changent pas.
|
||||
- Bibliothèque standard seulement.
|
||||
|
||||
**Dans le même changement** : une constante ajoutée ou changée met à jour sa ligne du registre des seuils (« Réglée sur » : le lot qui l'a demandé) et la docstring du détecteur. Contrôle : `grep -nE "^[A-Z_0-9]+ = " vues-deplacements/journal/*.py`.
|
||||
**Dans le même changement** : une constante ajoutée ou changée met à jour sa ligne du registre des seuils (« Réglée sur » : le lot qui l'a demandé) et la docstring du détecteur. Contrôle : `grep -nE "^[A-Z_0-9]+ = " vues-deplacements/detectors/*.py`.
|
||||
|
||||
## Vérifie
|
||||
|
||||
@@ -43,6 +45,8 @@ Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Aprè
|
||||
|
||||
Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. La catégorie en cause doit monter sur ce lot, sans baisse nette ailleurs (un événement entier perdu ou signalé à tort, pas quelques mesures de bornes). Ne vise pas 100 % : l'analyste peut se tromper aussi, et une règle de plus pour quelques mesures ne vaut pas sa complexité.
|
||||
|
||||
Puis le **benchmark**, `python3 .claude/skills/boucle/benchmark.py` (sans `--etape` : l'historique est tenu par l'orchestrateur), face au benchmark avant. Il compare de la même façon les détecteurs au diagnostic gardé dans chaque cas de la base (`agents/diagnostic/cas/C-*/etiquettes.json`, D-069) : ce sont les cas de régression, et au premier lot d'une station le score n'a pas de lot d'avant. Un recul net sur un cas (un événement entier perdu ou signalé à tort) est un recul ; une hausse est un plus, **pas un but** : ne règle rien pour un cas précis. C-004 est un vrai mouvement : sa ligne `a_verifier` ne doit pas baisser.
|
||||
|
||||
## Ton rendu, `modification-K.md`
|
||||
|
||||
```markdown
|
||||
@@ -60,6 +64,9 @@ Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au
|
||||
## Score
|
||||
<les lignes qui ont changé, avant → après, lot par lot>
|
||||
|
||||
## Benchmark
|
||||
<les lignes qui ont changé, cas par cas, avant → après, et la ligne `total toutes`>
|
||||
|
||||
## Pas corrigé
|
||||
aucune | <ce qui reste, et pourquoi>
|
||||
|
||||
|
||||
@@ -14,15 +14,17 @@ Le dossier de station, le lot (UTC), la commande du lot, la critique, le score a
|
||||
## Ce que tu fais
|
||||
|
||||
1. Lis la critique (parties 3 et 5), puis la modification.
|
||||
2. Lis le diff : `git diff <base> -- vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md`.
|
||||
2. Lis le diff : `git diff <base> -- vues-deplacements/detectors/ vues-deplacements/contexte/seuils-du-journal.md`.
|
||||
3. Lance la commande du lot avec `2>&1`. Une ligne `sauté` (un détecteur qui ne se charge plus) vaut « à reprendre », ou « annuler » au passage 3.
|
||||
4. Lance le **score**, `python3 .claude/skills/boucle/score.py <dossier>`, et compare-le au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. C'est un fait, pas un verdict : l'analyste peut se tromper aussi.
|
||||
4. Lis le **benchmark** avant et après (les deux fichiers de ta demande, D-069) : les détecteurs face au diagnostic gardé dans chaque cas de la base. Puis lance le **score**, `python3 .claude/skills/boucle/score.py <dossier>`, et compare-le au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. C'est un fait, pas un verdict : l'analyste peut se tromper aussi.
|
||||
5. Réponds à quatre questions :
|
||||
- la modification répond-elle au défaut relevé par l'analyste ?
|
||||
- va-t-elle dans le bon sens ? Le score le dit : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant ;
|
||||
- est-elle simple, à la mesure du gain ?
|
||||
- respecte-t-elle les interdits : pas de nouvelle catégorie, pas de règle propre à une station, à un capteur ou à une date, contrat `detect(mesures)` et clés des épisodes inchangés, bibliothèque standard, registre des seuils à jour ?
|
||||
|
||||
Les détecteurs doivent tout détecter (l'utilisateur, D-068) : changer un réglage pris pour ce qu'on montre au client (registre des seuils, plan) n'est pas un défaut.
|
||||
|
||||
Tu ne modifies aucun fichier hors de ton rendu.
|
||||
|
||||
## Pas trop strict
|
||||
@@ -32,10 +34,11 @@ C'est la consigne la plus importante. Aucune modification des détecteurs n'est
|
||||
Ne renvoie que pour un défaut net :
|
||||
- le problème relevé n'est pas réglé, ou pas du tout amélioré ;
|
||||
- un autre événement du lot est cassé, ou le score baisse net sur un lot d'avant : un événement entier perdu ou signalé à tort, pas quelques mesures de bornes ;
|
||||
- le benchmark recule net sur un cas (un événement entier perdu ou signalé à tort), ou la ligne `a_verifier` de C-004 (un vrai mouvement) baisse ; une hausse est un plus, jamais une exigence ;
|
||||
- la complexité est hors de proportion avec le gain ;
|
||||
- un interdit n'est pas respecté, ou un détecteur est sauté.
|
||||
|
||||
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni 100 % au score, ni une vérification sur d'autres lots que celle du score. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
|
||||
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni 100 % au score, ni une vérification sur d'autres lots que celles du score et du benchmark. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
|
||||
|
||||
## Ton rendu, `validation-K.md`
|
||||
|
||||
|
||||
Reference in new issue
Block a user