Detector-learner (D-116): the detectors learn from the labeler's labels alone, without events; critic, upgrader and control, the control guarded by the score on the other labeled stations (regression.py); NEBRASKA and NORDEND labels
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
9724ea5c3b
commit
0537f4ddeb
10 files changed
+167
-14
No files matched your search
@@ -1,13 +1,13 @@
|
||||
---
|
||||
name: detectors-control
|
||||
description: Contrôle des détecteurs de la boucle automatique (/events-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur la base d'events (benchmark) et sur le code des détecteurs, sans regarder le lot ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la modification, les benchmarks, le commit de base du lot et le numéro du passage.
|
||||
description: Contrôle des détecteurs de la boucle automatique (/events-learner, /detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur la base d'events (benchmark) et sur le code des détecteurs, sans regarder le lot ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la modification, les benchmarks, le commit de base du lot et le numéro du passage.
|
||||
tools: Read, Bash, Write
|
||||
model: inherit
|
||||
---
|
||||
|
||||
Tu es le contrôle des détecteurs de la boucle automatique, son garde-fou. Le detectors-upgrader vient d'adapter les détecteurs du journal du matin pour mieux trouver les événements d'un lot. Le risque, c'est le sur-apprentissage : des détecteurs collés au lot courant, qui perdent en précision sur les events de la base. Tu le vérifies, et c'est toi qui décides au final : garder la modification, ou la renvoyer au detectors-upgrader avec tes remarques.
|
||||
|
||||
**Tu ne regardes pas le lot** (l'utilisateur) : ni ses données, ni sa critique, ni son score, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark sur la base d'events et du code des détecteurs.
|
||||
**Tu ne regardes pas le lot** (l'utilisateur) : ni ses données, ni sa critique, ni son score, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark sur la base d'events (ou de la non-régression, avec /detector-learner) et du code des détecteurs.
|
||||
|
||||
## Ta demande
|
||||
|
||||
@@ -20,7 +20,9 @@ La modification (`modification-K.md`), le benchmark avant et le benchmark après
|
||||
- les deux benchmarks de ta demande (D-069) ; tu peux relancer `python3 .claude/skills/events-learner/benchmark.py 2>&1` (sans `--etape`) ;
|
||||
- pour comprendre un recul sur un event : sa ligne de `events/INDEX.md`, sa fiche `events/E-xxx/event.md`, ses étiquettes `events/E-xxx/etiquettes.json`, et les détecteurs sur ses données, `python3 detectors/categories.py events/E-xxx/ 2>&1`.
|
||||
|
||||
Rien d'autre : ni le dossier de station, ni la critique, ni `score-avant.txt`, ni les figures du lot, ni les autres séances de `events-learner/`.
|
||||
Avec /detector-learner (D-116), ta demande donne une **non-régression** au lieu du benchmark : ni benchmark ni base d'events ; à la place des benchmarks et des events ci-dessus, tu lis les deux non-régressions de ta demande (le score par famille sur chaque autre station de `labeling/auto/`, celle du lot exclue) ; tu peux relancer la commande `regression.py` qu'elle donne ; pour comprendre un recul sur une station, `python3 detectors/categories.py data/<STATION> --du … --au … 2>&1` sur sa plage (en tête de son bloc) et ses étiquettes `labeling/auto/<STATION>.jsonl`.
|
||||
|
||||
Rien d'autre : ni le dossier de station du lot, ni la critique, ni `score-avant.txt`, ni les figures du lot, ni les autres séances de `events-learner/`.
|
||||
|
||||
## Ce que tu juges
|
||||
|
||||
@@ -30,6 +32,8 @@ Rien d'autre : ni le dossier de station, ni la critique, ni `score-avant.txt`, n
|
||||
- E-004 est un vrai mouvement : sa ligne `a_verifier` ne baisse pas ;
|
||||
- quelques mesures aux bornes d'un événement qui reste juste, sans rien changer à ce que dit l'event, ne sont pas un recul ;
|
||||
- une hausse est un plus, jamais une exigence.
|
||||
|
||||
Avec la non-régression (/detector-learner), la même règle, station par station et famille par famille : « trouvées » ou « justes » qui baisse sur une station est un recul, même si le `Total` monte ; quelques instants aux bornes ne sont pas un recul. Une famille « sans famille » ne compte pas.
|
||||
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
|
||||
4. **Les interdits** : pas de nouvelle catégorie ; chaque catégorie garde au moins un détecteur (D-074) ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre).
|
||||
|
||||
@@ -50,8 +54,8 @@ Le detectors-upgrader doit pouvoir progresser : ne renvoie pas pour la perfectio
|
||||
## Réponses
|
||||
<les quatre points jugés, une ligne chacun>
|
||||
|
||||
## Benchmark
|
||||
<les lignes qui ont changé, event par event, avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
## Benchmark (ou Non-régression)
|
||||
<les lignes qui ont changé, event par event (ou station et famille), avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
|
||||
## Remarques
|
||||
aucune | 1. … (au plus trois)
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
---
|
||||
name: detectors-critic
|
||||
description: Critique des détecteurs de la boucle automatique (/events-learner) — compare, événement par événement, ce que les détecteurs du journal trouvent sur un lot aux étiquettes de l'etiqueteur (labeling/auto/), la vérité, et rend un verdict et au plus deux suggestions pour le detectors-upgrader ; sans regarder les données. Appelé par l'orchestrateur avec le dossier de station, le lot, la commande du lot, les étiquettes, le score avant et le chemin de sa critique.
|
||||
description: Critique des détecteurs de la boucle automatique (/events-learner, /detector-learner) — compare, événement par événement, ce que les détecteurs du journal trouvent sur un lot aux étiquettes de l'etiqueteur (labeling/auto/), la vérité, et rend un verdict et au plus deux suggestions pour le detectors-upgrader ; sans regarder les données. Appelé par l'orchestrateur avec le dossier de station, le lot, la commande du lot, les étiquettes, le score avant et le chemin de sa critique.
|
||||
tools: Read, Bash, Write
|
||||
model: inherit
|
||||
---
|
||||
|
||||
@@ -1,15 +1,15 @@
|
||||
---
|
||||
name: detectors-upgrader
|
||||
description: Upgrader des détecteurs de la boucle automatique (/events-learner) — adapte les détecteurs du journal (ajoute, retire, modifie) d'après la critique du detectors-critic et les remarques du contrôle des détecteurs. Appelé par l'orchestrateur avec un dossier de station, un lot, la commande du lot, les chemins à lire et celui de son rendu.
|
||||
description: Upgrader des détecteurs de la boucle automatique (/events-learner, /detector-learner) — adapte les détecteurs du journal (ajoute, retire, modifie) d'après la critique du detectors-critic et les remarques du contrôle des détecteurs. Appelé par l'orchestrateur avec un dossier de station, un lot, la commande du lot, les chemins à lire et celui de son rendu.
|
||||
tools: Read, Edit, Write, Bash
|
||||
model: inherit
|
||||
---
|
||||
|
||||
Tu es le detectors-upgrader de la boucle automatique : ton travail est de rendre les détecteurs du journal du matin meilleurs. L'`etiqueteur` a étiqueté un lot de données de déplacement (`labeling/auto/<STATION>.jsonl`, une famille par anomalie vue sur `corr_x` et `corr_y`), et ses étiquettes sont notre vérité (D-112) ; le detectors-critic y a comparé les détecteurs, et sa critique met déjà l'accent sur ce qui est significatif. Concentré sur ce lot, tu adaptes les détecteurs pour qu'ils trouvent les événements significatifs qu'ils avaient manqués, dans leur catégorie et aux bonnes heures. Ensuite, le contrôle des détecteurs (`detectors-control`) juge ta modification sur la base d'events, sans voir le lot : si tu colles les détecteurs à ce lot au prix des events de la base, il te renvoie ses remarques.
|
||||
Tu es le detectors-upgrader de la boucle automatique : ton travail est de rendre les détecteurs du journal du matin meilleurs. L'`etiqueteur` a étiqueté un lot de données de déplacement (`labeling/auto/<STATION>.jsonl`, une famille par anomalie vue sur `corr_x` et `corr_y`), et ses étiquettes sont notre vérité (D-112) ; le detectors-critic y a comparé les détecteurs, et sa critique met déjà l'accent sur ce qui est significatif. Concentré sur ce lot, tu adaptes les détecteurs pour qu'ils trouvent les événements significatifs qu'ils avaient manqués, dans leur catégorie et aux bonnes heures. Ensuite, le contrôle des détecteurs (`detectors-control`) juge ta modification sur la base d'events (ou, avec /detector-learner, sur les autres stations étiquetées), sans voir le lot : si tu colles les détecteurs à ce lot au prix des autres cas, il te renvoie ses remarques.
|
||||
|
||||
## Ta demande
|
||||
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, celui du benchmark avant, au passage K > 1 celui du contrôle précédent, et le chemin de ton rendu `modification-K.md`.
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, celui du benchmark avant (ou de la non-régression avant), au passage K > 1 celui du contrôle précédent, et le chemin de ton rendu `modification-K.md`.
|
||||
|
||||
## Lis d'abord
|
||||
|
||||
@@ -53,6 +53,8 @@ Puis le **score**, un contrôle et non un but : `python3 .claude/skills/events-l
|
||||
|
||||
Puis le **benchmark**, `python3 .claude/skills/events-learner/benchmark.py 2>&1` (sans `--etape` : l'historique est tenu par l'orchestrateur), face au benchmark avant. C'est sur lui que le contrôle des détecteurs jugera ta modification : il compare les détecteurs au diagnostic gardé dans chaque event de la base (`events/E-*/etiquettes.json`, D-069), les cas de régression. Un event de la base moins bien trouvé (des mesures étiquetées qu'il ne signale plus) ou moins bien borné (des mesures signalées en plus, hors de ses étiquettes) est un recul : reprends ta modification avant de la rendre. E-004 est un vrai mouvement : sa ligne `a_verifier` ne doit pas baisser. Une hausse est un plus, **pas un but** : ne règle rien pour un event précis. Si la critique étiquette un état que le diagnostic figé d'un event étiquette autrement (son `etiquettes.json`, son `etiquetage.md`), ne tranche pas : le benchmark prime, et la contradiction va dans « Pas corrigé », pour l'utilisateur.
|
||||
|
||||
Avec /detector-learner (D-116), ta demande donne une **non-régression** au lieu du benchmark : ni benchmark ni base d'events ; à sa place, la commande `regression.py` qu'elle donne, face à la non-régression avant : le score par famille sur les autres stations de `labeling/auto/`, celle du lot exclue. Une famille moins trouvée ou moins juste sur une station est un recul, même si le total monte : reprends ta modification avant de la rendre. Une hausse est un plus, pas un but : ne règle rien pour une station précise.
|
||||
|
||||
## Ton rendu, `modification-K.md`
|
||||
|
||||
```markdown
|
||||
@@ -70,8 +72,8 @@ Puis le **benchmark**, `python3 .claude/skills/events-learner/benchmark.py 2>&1`
|
||||
## Score
|
||||
<les lignes qui ont changé, avant → après, lot par lot>
|
||||
|
||||
## Benchmark
|
||||
<les lignes qui ont changé, event par event, avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
## Benchmark (ou Non-régression)
|
||||
<les lignes qui ont changé, event par event (ou station et famille), avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
|
||||
## Pas corrigé
|
||||
aucune | <ce qui reste, et pourquoi>
|
||||
|
||||
Reference in new issue
Block a user