Loop CLARIDEN: process fixes
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f95e64e788
commit
6ea82ca918
7 files changed
+16
-15
No files matched your search
@@ -14,7 +14,7 @@ Le dossier de station, le lot (UTC), le dossier du lot (ses rendus : `critique.m
|
||||
## Ce que tu fais
|
||||
|
||||
1. Lis la partie `## Nouveautés` de chaque rendu du lot, et ce que la critique en dit (parties 1 et 3, figures).
|
||||
2. Lis `agents/diagnostic/cas/INDEX.md`. **Un cas par genre d'événement, pas par occurrence** : une nouveauté dont un cas a déjà la signature (même rôle des capteurs, même forme, même moment de la journée, même durée à peu près) ne donne rien. Ouvre la fiche d'un cas proche si tu hésites.
|
||||
2. Lis `agents/diagnostic/cas/INDEX.md`. **Un cas par genre d'événement, pas par occurrence** : une nouveauté dont un cas a déjà la signature (même rôle des capteurs, même forme, même moment de la journée, même durée à peu près) ne donne rien. La signature d'un cas, c'est sa ligne d'index **ou** sa fiche : ouvre la fiche des cas proches, un phénomène peut n'être que dans la fiche. Une nouveauté qui contredit le diagnostic d'un cas (un même état étiqueté autrement) est « déjà connue (C-00x) », avec la contradiction en une phrase, pour l'utilisateur.
|
||||
3. Pour chaque nouveauté vraiment nouvelle, un cas :
|
||||
- **numéro** : le plus grand `C-xxx` de l'index, plus un ; dossier `agents/diagnostic/cas/C-xxx/` ;
|
||||
- **données et diagnostic** : `python3 .claude/skills/anonymiser-cas/anonymiser.py <dossier de station> agents/diagnostic/cas/C-xxx/ --du <début − 6 h> --au <fin + 6 h> --etiquettes <dossier du lot>/etiquettes.json` (instants `AAAA-MM-JJTHH:MMZ`) : seulement la fenêtre de l'événement et sa marge ; les étiquettes de l'analyste dans cette fenêtre, codées, deviennent `etiquettes.json` du cas, son diagnostic à la création, que le benchmark compare aux détecteurs (D-069), et `etiquetage.md` à côté dit d'où elles viennent ; contrôle : `python3 .claude/skills/critiquer-lot/etiquettes.py agents/diagnostic/cas/C-xxx agents/diagnostic/cas/C-xxx/etiquettes.json`, « bon » ;
|
||||
|
||||
@@ -43,9 +43,9 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
|
||||
|
||||
Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Le défaut relevé doit avoir bougé dans le bon sens, sans casser les autres événements du lot.
|
||||
|
||||
Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. La catégorie en cause doit monter sur ce lot, sans baisse nette ailleurs (un événement entier perdu ou signalé à tort, pas quelques mesures de bornes). Ne vise pas 100 % : l'analyste peut se tromper aussi, et une règle de plus pour quelques mesures ne vaut pas sa complexité.
|
||||
Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. La catégorie en cause doit monter sur ce lot, sans baisse nette ailleurs (un événement entier perdu ou signalé à tort, pas quelques mesures de bornes). Un trou n'a pas de mesure, donc pas de case au score : pour une suggestion sur un trou, le bon sens se lit à la commande du lot (le trou daté comme l'analyste), et le score et le benchmark ne doivent pas baisser net. Ne vise pas 100 % : l'analyste peut se tromper aussi, et une règle de plus pour quelques mesures ne vaut pas sa complexité.
|
||||
|
||||
Puis le **benchmark**, `python3 .claude/skills/boucle/benchmark.py` (sans `--etape` : l'historique est tenu par l'orchestrateur), face au benchmark avant. Il compare de la même façon les détecteurs au diagnostic gardé dans chaque cas de la base (`agents/diagnostic/cas/C-*/etiquettes.json`, D-069) : ce sont les cas de régression, et au premier lot d'une station le score n'a pas de lot d'avant. Un recul net sur un cas (un événement entier perdu ou signalé à tort) est un recul ; une hausse est un plus, **pas un but** : ne règle rien pour un cas précis. C-004 est un vrai mouvement : sa ligne `a_verifier` ne doit pas baisser.
|
||||
Puis le **benchmark**, `python3 .claude/skills/boucle/benchmark.py` (sans `--etape` : l'historique est tenu par l'orchestrateur), face au benchmark avant. Il compare de la même façon les détecteurs au diagnostic gardé dans chaque cas de la base (`agents/diagnostic/cas/C-*/etiquettes.json`, D-069) : ce sont les cas de régression, et au premier lot d'une station le score n'a pas de lot d'avant. Un recul net sur un cas (un événement entier perdu ou signalé à tort) est un recul ; une hausse est un plus, **pas un but** : ne règle rien pour un cas précis. C-004 est un vrai mouvement : sa ligne `a_verifier` ne doit pas baisser. Si la critique étiquette un état que le diagnostic figé d'un cas étiquette autrement (son `etiquettes.json`, son `etiquetage.md`), ne tranche pas : le benchmark prime (pas de recul net), et la contradiction va dans « Pas corrigé », pour l'utilisateur.
|
||||
|
||||
## Ton rendu, `modification-K.md`
|
||||
|
||||
@@ -65,7 +65,7 @@ Puis le **benchmark**, `python3 .claude/skills/boucle/benchmark.py` (sans `--eta
|
||||
<les lignes qui ont changé, avant → après, lot par lot>
|
||||
|
||||
## Benchmark
|
||||
<les lignes qui ont changé, cas par cas, avant → après, et la ligne `total toutes`>
|
||||
<les lignes qui ont changé, cas par cas, avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
|
||||
## Pas corrigé
|
||||
aucune | <ce qui reste, et pourquoi>
|
||||
|
||||
@@ -19,7 +19,7 @@ Le dossier de station, le lot (UTC), la commande du lot, la critique, le score a
|
||||
4. Lis le **benchmark** avant et après (les deux fichiers de ta demande, D-069) : les détecteurs face au diagnostic gardé dans chaque cas de la base. Puis lance le **score**, `python3 .claude/skills/boucle/score.py <dossier>`, et compare-le au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. C'est un fait, pas un verdict : l'analyste peut se tromper aussi.
|
||||
5. Réponds à quatre questions :
|
||||
- la modification répond-elle au défaut relevé par l'analyste ?
|
||||
- va-t-elle dans le bon sens ? Le score le dit : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant ;
|
||||
- va-t-elle dans le bon sens ? Le score le dit : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant ; pour un trou, sans case au score (pas de mesure), la commande du lot le dit (le trou daté comme l'analyste), sans baisse nette du score ni du benchmark ;
|
||||
- est-elle simple, à la mesure du gain ?
|
||||
- respecte-t-elle les interdits : pas de nouvelle catégorie, pas de règle propre à une station, à un capteur ou à une date, contrat `detect(mesures)` et clés des épisodes inchangés, bibliothèque standard, registre des seuils à jour ?
|
||||
|
||||
|
||||
Reference in new issue
Block a user