Detector-learner (D-116): the detectors learn from the labeler's labels alone, without events; critic, upgrader and control, the control guarded by the score on the other labeled stations (regression.py); NEBRASKA and NORDEND labels
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
9724ea5c3b
commit
0537f4ddeb
10 files changed
+167
-14
No files matched your search
@@ -1,13 +1,13 @@
|
||||
---
|
||||
name: detectors-control
|
||||
description: Contrôle des détecteurs de la boucle automatique (/events-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur la base d'events (benchmark) et sur le code des détecteurs, sans regarder le lot ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la modification, les benchmarks, le commit de base du lot et le numéro du passage.
|
||||
description: Contrôle des détecteurs de la boucle automatique (/events-learner, /detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur la base d'events (benchmark) et sur le code des détecteurs, sans regarder le lot ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la modification, les benchmarks, le commit de base du lot et le numéro du passage.
|
||||
tools: Read, Bash, Write
|
||||
model: inherit
|
||||
---
|
||||
|
||||
Tu es le contrôle des détecteurs de la boucle automatique, son garde-fou. Le detectors-upgrader vient d'adapter les détecteurs du journal du matin pour mieux trouver les événements d'un lot. Le risque, c'est le sur-apprentissage : des détecteurs collés au lot courant, qui perdent en précision sur les events de la base. Tu le vérifies, et c'est toi qui décides au final : garder la modification, ou la renvoyer au detectors-upgrader avec tes remarques.
|
||||
|
||||
**Tu ne regardes pas le lot** (l'utilisateur) : ni ses données, ni sa critique, ni son score, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark sur la base d'events et du code des détecteurs.
|
||||
**Tu ne regardes pas le lot** (l'utilisateur) : ni ses données, ni sa critique, ni son score, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark sur la base d'events (ou de la non-régression, avec /detector-learner) et du code des détecteurs.
|
||||
|
||||
## Ta demande
|
||||
|
||||
@@ -20,7 +20,9 @@ La modification (`modification-K.md`), le benchmark avant et le benchmark après
|
||||
- les deux benchmarks de ta demande (D-069) ; tu peux relancer `python3 .claude/skills/events-learner/benchmark.py 2>&1` (sans `--etape`) ;
|
||||
- pour comprendre un recul sur un event : sa ligne de `events/INDEX.md`, sa fiche `events/E-xxx/event.md`, ses étiquettes `events/E-xxx/etiquettes.json`, et les détecteurs sur ses données, `python3 detectors/categories.py events/E-xxx/ 2>&1`.
|
||||
|
||||
Rien d'autre : ni le dossier de station, ni la critique, ni `score-avant.txt`, ni les figures du lot, ni les autres séances de `events-learner/`.
|
||||
Avec /detector-learner (D-116), ta demande donne une **non-régression** au lieu du benchmark : ni benchmark ni base d'events ; à la place des benchmarks et des events ci-dessus, tu lis les deux non-régressions de ta demande (le score par famille sur chaque autre station de `labeling/auto/`, celle du lot exclue) ; tu peux relancer la commande `regression.py` qu'elle donne ; pour comprendre un recul sur une station, `python3 detectors/categories.py data/<STATION> --du … --au … 2>&1` sur sa plage (en tête de son bloc) et ses étiquettes `labeling/auto/<STATION>.jsonl`.
|
||||
|
||||
Rien d'autre : ni le dossier de station du lot, ni la critique, ni `score-avant.txt`, ni les figures du lot, ni les autres séances de `events-learner/`.
|
||||
|
||||
## Ce que tu juges
|
||||
|
||||
@@ -30,6 +32,8 @@ Rien d'autre : ni le dossier de station, ni la critique, ni `score-avant.txt`, n
|
||||
- E-004 est un vrai mouvement : sa ligne `a_verifier` ne baisse pas ;
|
||||
- quelques mesures aux bornes d'un événement qui reste juste, sans rien changer à ce que dit l'event, ne sont pas un recul ;
|
||||
- une hausse est un plus, jamais une exigence.
|
||||
|
||||
Avec la non-régression (/detector-learner), la même règle, station par station et famille par famille : « trouvées » ou « justes » qui baisse sur une station est un recul, même si le `Total` monte ; quelques instants aux bornes ne sont pas un recul. Une famille « sans famille » ne compte pas.
|
||||
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
|
||||
4. **Les interdits** : pas de nouvelle catégorie ; chaque catégorie garde au moins un détecteur (D-074) ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre).
|
||||
|
||||
@@ -50,8 +54,8 @@ Le detectors-upgrader doit pouvoir progresser : ne renvoie pas pour la perfectio
|
||||
## Réponses
|
||||
<les quatre points jugés, une ligne chacun>
|
||||
|
||||
## Benchmark
|
||||
<les lignes qui ont changé, event par event, avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
## Benchmark (ou Non-régression)
|
||||
<les lignes qui ont changé, event par event (ou station et famille), avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
|
||||
## Remarques
|
||||
aucune | 1. … (au plus trois)
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
---
|
||||
name: detectors-critic
|
||||
description: Critique des détecteurs de la boucle automatique (/events-learner) — compare, événement par événement, ce que les détecteurs du journal trouvent sur un lot aux étiquettes de l'etiqueteur (labeling/auto/), la vérité, et rend un verdict et au plus deux suggestions pour le detectors-upgrader ; sans regarder les données. Appelé par l'orchestrateur avec le dossier de station, le lot, la commande du lot, les étiquettes, le score avant et le chemin de sa critique.
|
||||
description: Critique des détecteurs de la boucle automatique (/events-learner, /detector-learner) — compare, événement par événement, ce que les détecteurs du journal trouvent sur un lot aux étiquettes de l'etiqueteur (labeling/auto/), la vérité, et rend un verdict et au plus deux suggestions pour le detectors-upgrader ; sans regarder les données. Appelé par l'orchestrateur avec le dossier de station, le lot, la commande du lot, les étiquettes, le score avant et le chemin de sa critique.
|
||||
tools: Read, Bash, Write
|
||||
model: inherit
|
||||
---
|
||||
|
||||
@@ -1,15 +1,15 @@
|
||||
---
|
||||
name: detectors-upgrader
|
||||
description: Upgrader des détecteurs de la boucle automatique (/events-learner) — adapte les détecteurs du journal (ajoute, retire, modifie) d'après la critique du detectors-critic et les remarques du contrôle des détecteurs. Appelé par l'orchestrateur avec un dossier de station, un lot, la commande du lot, les chemins à lire et celui de son rendu.
|
||||
description: Upgrader des détecteurs de la boucle automatique (/events-learner, /detector-learner) — adapte les détecteurs du journal (ajoute, retire, modifie) d'après la critique du detectors-critic et les remarques du contrôle des détecteurs. Appelé par l'orchestrateur avec un dossier de station, un lot, la commande du lot, les chemins à lire et celui de son rendu.
|
||||
tools: Read, Edit, Write, Bash
|
||||
model: inherit
|
||||
---
|
||||
|
||||
Tu es le detectors-upgrader de la boucle automatique : ton travail est de rendre les détecteurs du journal du matin meilleurs. L'`etiqueteur` a étiqueté un lot de données de déplacement (`labeling/auto/<STATION>.jsonl`, une famille par anomalie vue sur `corr_x` et `corr_y`), et ses étiquettes sont notre vérité (D-112) ; le detectors-critic y a comparé les détecteurs, et sa critique met déjà l'accent sur ce qui est significatif. Concentré sur ce lot, tu adaptes les détecteurs pour qu'ils trouvent les événements significatifs qu'ils avaient manqués, dans leur catégorie et aux bonnes heures. Ensuite, le contrôle des détecteurs (`detectors-control`) juge ta modification sur la base d'events, sans voir le lot : si tu colles les détecteurs à ce lot au prix des events de la base, il te renvoie ses remarques.
|
||||
Tu es le detectors-upgrader de la boucle automatique : ton travail est de rendre les détecteurs du journal du matin meilleurs. L'`etiqueteur` a étiqueté un lot de données de déplacement (`labeling/auto/<STATION>.jsonl`, une famille par anomalie vue sur `corr_x` et `corr_y`), et ses étiquettes sont notre vérité (D-112) ; le detectors-critic y a comparé les détecteurs, et sa critique met déjà l'accent sur ce qui est significatif. Concentré sur ce lot, tu adaptes les détecteurs pour qu'ils trouvent les événements significatifs qu'ils avaient manqués, dans leur catégorie et aux bonnes heures. Ensuite, le contrôle des détecteurs (`detectors-control`) juge ta modification sur la base d'events (ou, avec /detector-learner, sur les autres stations étiquetées), sans voir le lot : si tu colles les détecteurs à ce lot au prix des autres cas, il te renvoie ses remarques.
|
||||
|
||||
## Ta demande
|
||||
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, celui du benchmark avant, au passage K > 1 celui du contrôle précédent, et le chemin de ton rendu `modification-K.md`.
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, celui du benchmark avant (ou de la non-régression avant), au passage K > 1 celui du contrôle précédent, et le chemin de ton rendu `modification-K.md`.
|
||||
|
||||
## Lis d'abord
|
||||
|
||||
@@ -53,6 +53,8 @@ Puis le **score**, un contrôle et non un but : `python3 .claude/skills/events-l
|
||||
|
||||
Puis le **benchmark**, `python3 .claude/skills/events-learner/benchmark.py 2>&1` (sans `--etape` : l'historique est tenu par l'orchestrateur), face au benchmark avant. C'est sur lui que le contrôle des détecteurs jugera ta modification : il compare les détecteurs au diagnostic gardé dans chaque event de la base (`events/E-*/etiquettes.json`, D-069), les cas de régression. Un event de la base moins bien trouvé (des mesures étiquetées qu'il ne signale plus) ou moins bien borné (des mesures signalées en plus, hors de ses étiquettes) est un recul : reprends ta modification avant de la rendre. E-004 est un vrai mouvement : sa ligne `a_verifier` ne doit pas baisser. Une hausse est un plus, **pas un but** : ne règle rien pour un event précis. Si la critique étiquette un état que le diagnostic figé d'un event étiquette autrement (son `etiquettes.json`, son `etiquetage.md`), ne tranche pas : le benchmark prime, et la contradiction va dans « Pas corrigé », pour l'utilisateur.
|
||||
|
||||
Avec /detector-learner (D-116), ta demande donne une **non-régression** au lieu du benchmark : ni benchmark ni base d'events ; à sa place, la commande `regression.py` qu'elle donne, face à la non-régression avant : le score par famille sur les autres stations de `labeling/auto/`, celle du lot exclue. Une famille moins trouvée ou moins juste sur une station est un recul, même si le total monte : reprends ta modification avant de la rendre. Une hausse est un plus, pas un but : ne règle rien pour une station précise.
|
||||
|
||||
## Ton rendu, `modification-K.md`
|
||||
|
||||
```markdown
|
||||
@@ -70,8 +72,8 @@ Puis le **benchmark**, `python3 .claude/skills/events-learner/benchmark.py 2>&1`
|
||||
## Score
|
||||
<les lignes qui ont changé, avant → après, lot par lot>
|
||||
|
||||
## Benchmark
|
||||
<les lignes qui ont changé, event par event, avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
## Benchmark (ou Non-régression)
|
||||
<les lignes qui ont changé, event par event (ou station et famille), avant → après, et la ligne `total` de la catégorie `toutes` (`grep -E '^total +toutes'` : colonnes alignées)>
|
||||
|
||||
## Pas corrigé
|
||||
aucune | <ce qui reste, et pourquoi>
|
||||
|
||||
@@ -0,0 +1,61 @@
|
||||
---
|
||||
name: detector-learner
|
||||
description: Séance automatique d'amélioration des détecteurs du journal du matin sur les étiquettes de l'etiqueteur déjà produites (labeling/auto/), sans base d'events (D-116) — detectors-critic, detectors-upgrader, detectors-control ; le garde-fou est le score sur les autres stations étiquetées. Lancé par l'utilisateur seulement, avec /detector-learner.
|
||||
disable-model-invocation: true
|
||||
argument-hint: "data/<STATION> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]"
|
||||
---
|
||||
|
||||
# detector-learner : les détecteurs face aux étiquettes
|
||||
|
||||
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `labeling/auto/<STATION>.jsonl`, écrites en amont par l'`etiqueteur` (D-106) : le diagnostic est déjà fait, il n'y a ni analyste ni base d'events ici (D-116). Tu appelles les trois agents des détecteurs dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
|
||||
|
||||
## 1. Mise en place
|
||||
|
||||
- Arguments : le dossier de station ; un nom seul (« Nordend ») désigne `data/<NOM EN MAJUSCULES>/`. `--du`, `--au` : jours UTC, `--au` exclu. Sans eux, la plage des étiquettes de la station : du jour de la première à minuit après la dernière (`plage()` de `regression.py` : `python3 -c "import sys; sys.path.insert(0, '.claude/skills/detector-learner'); import regression; print(regression.plage('labeling/auto/<STATION>.jsonl'))"`). Un argument pas net : lis-le au mieux et note sous « Erreurs » du bilan comment.
|
||||
- `STATION` = le nom du dossier ; `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<STATION>/`, ci-dessous `<séance>`.
|
||||
- Commits directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi. Note la **base de la séance** : `git rev-parse HEAD`. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ce dépôt. Avant chaque commit, `git branch --show-current` ; si ce n'est plus `master`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
|
||||
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/` : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux).
|
||||
|
||||
**Commande du lot**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier> --du <début> --au <fin>`.
|
||||
|
||||
## 2. Dans l'ordre
|
||||
|
||||
Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre. Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>`.
|
||||
|
||||
1. **Score et non-régression avant.**
|
||||
`python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin> > <séance>/score-avant.txt 2>&1` ; s'il sort en erreur (« Aucune étiquette »), dis-le et arrête-toi, sans commit.
|
||||
`python3 .claude/skills/detector-learner/regression.py --sauf <STATION> > <séance>/regression-avant.txt 2>&1` : les mêmes détecteurs face aux étiquettes des autres stations, le garde-fou.
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: score`.
|
||||
2. **Detectors-critic** (`detectors-critic`) : `Dossier : <dossier>. Lot 01 : <début> → <fin> (UTC). Commande du lot : <commande>. Étiquettes : labeling/auto/<STATION>.jsonl, celles qui touchent le lot. Score avant : <séance>/score-avant.txt. Écris <séance>/critique.md.`
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: critique (<verdict>)`. Verdict `d'accord` : va au bilan.
|
||||
3. **Detectors-upgrader** (`detectors-upgrader`), passage K = 1, 2 ou 3 :
|
||||
`Dossier : <dossier>. Lot 01 : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <séance>/critique.md. Score avant : <séance>/score-avant.txt. Non-régression avant (/detector-learner, pas de benchmark ni de base d'events) : <séance>/regression-avant.txt, à relancer par python3 .claude/skills/detector-learner/regression.py --sauf <STATION>. [Contrôle précédent : <séance>/validation-(K-1).md.] Passage K. Écris <séance>/modification-K.md.`
|
||||
Puis `python3 .claude/skills/detector-learner/regression.py --sauf <STATION> > <séance>/regression-K.txt 2>&1`.
|
||||
Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md <séance>/`, message `Detector-learner <STATION>: modification K`.
|
||||
4. **Detectors-control** (`detectors-control`), qui ne regarde pas le lot :
|
||||
`Modification : <séance>/modification-K.md. Non-régression (/detector-learner, pas de benchmark ni de base d'events) : <séance>/regression-avant.txt → <séance>/regression-K.txt, à relancer par python3 .claude/skills/detector-learner/regression.py --sauf <STATION>. Base : <base de la séance>. Passage K sur 3. Écris <séance>/validation-K.md.`
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: control K (<verdict>)`.
|
||||
- `accepté` ou `garder` : va au bilan.
|
||||
- `à reprendre` : retour à l'étape 3, passage K + 1.
|
||||
- `annuler` : `git checkout <base de la séance> -- detectors/ vues-deplacements/contexte/seuils-du-journal.md` (sans les fichiers déjà modifiés notés au §1), commit de ces chemins, message `Detector-learner <STATION>: modification annulée`.
|
||||
|
||||
Un rendu absent ou sans verdict lisible : note-le, remets les détecteurs comme pour `annuler` s'ils ont changé, passe au bilan. Ne relance pas un agent plus d'une fois.
|
||||
|
||||
## 3. Bilan
|
||||
|
||||
`python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin> > <séance>/score-fin.txt 2>&1`.
|
||||
|
||||
`<séance>/bilan.md` : la plage, la base de la séance (`git log --oneline <base>..HEAD`), le nombre d'étiquettes ; le score avant → fin, famille par famille ; la ligne `Total` de la non-régression avant → celle de la modification gardée ; critique (`d'accord` / suggestions n), modification (aucune / gardée en K passages / annulée / erreur) ; `## Suggestions non traitées` (« Pas corrigé » des modifications) ; `## Erreurs` (aucune, ou ce qui manquait).
|
||||
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: bilan`.
|
||||
|
||||
## 4. Difficultés
|
||||
|
||||
**Releveur** (`releveur`), une fois, même si tout s'est bien passé : `Processus : /detector-learner (.claude/skills/detector-learner/SKILL.md). Séance : <séance>/ : la section « Difficultés » de chaque rendu, et « Erreurs » du bilan. Difficultés de l'orchestrateur : aucune | <…>.` (D-060)
|
||||
Si `git status --short docs/ameliorations-processus.md` montre un changement : commit de ce chemin, message `Detector-learner <STATION>: process difficulties`.
|
||||
|
||||
## 5. Réponse finale
|
||||
|
||||
`python3 .claude/skills/events-learner/comparaison.py <dossier> <séance> --du <début> --au <fin>` : la page de fin de séance, les étiquettes face aux détecteurs famille par famille (son annexe garde le benchmark des events, pour information). Un échec du script va dans la réponse, sans relance.
|
||||
|
||||
En 6 lignes au plus : la page, la base de la séance, le bilan, le score avant → fin, la non-régression (`Total`), la modification gardée ou non, les erreurs et difficultés. Tout est sur `master`, rien n'est poussé : l'utilisateur annule ce qu'il ne garde pas par `git revert`.
|
||||
@@ -0,0 +1,48 @@
|
||||
"""Non-régression de /detector-learner (D-116) : les détecteurs face aux étiquettes de l'étiqueteur des autres stations.
|
||||
|
||||
Pour chaque station de labeling/auto/ (sauf celle de la séance, --sauf) qui a son dossier dans data/, le score par
|
||||
famille et par instant de score.py (D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la
|
||||
dernière. Puis le total, famille par famille. Il tient lieu du benchmark sur la base d'events : une famille qui recule
|
||||
sur une station est un recul, même si le total monte.
|
||||
Usage : python3 .claude/skills/detector-learner/regression.py [--sauf STATION]
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
|
||||
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
|
||||
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "events-learner"))
|
||||
import score # noqa: E402
|
||||
|
||||
|
||||
def plage(chemin):
|
||||
"""labeling/auto/<STATION>.jsonl -> (début, fin) iso, en jours entiers UTC, fin exclue."""
|
||||
with open(chemin, encoding="utf-8") as f:
|
||||
etiq = [json.loads(l) for l in f if l.strip()]
|
||||
du = min(e["debut"] for e in etiq)[:10]
|
||||
fin = max(e["fin"] for e in etiq)
|
||||
au = fin[:10] if fin[11:16] in ("", "00:00") else score.iso(score.instant(fin[:10]) + score.timedelta(days=1))[:10]
|
||||
return score.iso(score.instant(du)), score.iso(score.instant(au))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if sys.argv[1:] and sys.argv[1:2] != ["--sauf"]:
|
||||
sys.exit(__doc__)
|
||||
sauf = sys.argv[2].upper() if len(sys.argv) > 2 else None
|
||||
total = {}
|
||||
for chemin in sorted(glob.glob(os.path.join(RACINE, "labeling", "auto", "*.jsonl"))):
|
||||
station = os.path.basename(chemin)[:-len(".jsonl")]
|
||||
dossier = os.path.join(RACINE, "data", station)
|
||||
if station == sauf:
|
||||
continue
|
||||
if not os.path.isdir(dossier):
|
||||
print(f"{station} : pas de data/{station}/, sautée\n")
|
||||
continue
|
||||
du, au = plage(chemin)
|
||||
n, etiq = score.familles_lot(dossier, du, au)
|
||||
score.afficher(f"{station} : {du} → {au}, {len(etiq)} étiquettes", n)
|
||||
print()
|
||||
for k, v in n.items():
|
||||
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
|
||||
score.afficher("Total", total)
|
||||
Reference in new issue
Block a user