Detector-learner (D-116): the detectors learn from the labeler's labels alone, without events; critic, upgrader and control, the control guarded by the score on the other labeled stations (regression.py); NEBRASKA and NORDEND labels
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
9724ea5c3b
commit
0537f4ddeb
10 files changed
+167
-14
No files matched your search
@@ -0,0 +1,61 @@
|
||||
---
|
||||
name: detector-learner
|
||||
description: Séance automatique d'amélioration des détecteurs du journal du matin sur les étiquettes de l'etiqueteur déjà produites (labeling/auto/), sans base d'events (D-116) — detectors-critic, detectors-upgrader, detectors-control ; le garde-fou est le score sur les autres stations étiquetées. Lancé par l'utilisateur seulement, avec /detector-learner.
|
||||
disable-model-invocation: true
|
||||
argument-hint: "data/<STATION> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]"
|
||||
---
|
||||
|
||||
# detector-learner : les détecteurs face aux étiquettes
|
||||
|
||||
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `labeling/auto/<STATION>.jsonl`, écrites en amont par l'`etiqueteur` (D-106) : le diagnostic est déjà fait, il n'y a ni analyste ni base d'events ici (D-116). Tu appelles les trois agents des détecteurs dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
|
||||
|
||||
## 1. Mise en place
|
||||
|
||||
- Arguments : le dossier de station ; un nom seul (« Nordend ») désigne `data/<NOM EN MAJUSCULES>/`. `--du`, `--au` : jours UTC, `--au` exclu. Sans eux, la plage des étiquettes de la station : du jour de la première à minuit après la dernière (`plage()` de `regression.py` : `python3 -c "import sys; sys.path.insert(0, '.claude/skills/detector-learner'); import regression; print(regression.plage('labeling/auto/<STATION>.jsonl'))"`). Un argument pas net : lis-le au mieux et note sous « Erreurs » du bilan comment.
|
||||
- `STATION` = le nom du dossier ; `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<STATION>/`, ci-dessous `<séance>`.
|
||||
- Commits directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi. Note la **base de la séance** : `git rev-parse HEAD`. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ce dépôt. Avant chaque commit, `git branch --show-current` ; si ce n'est plus `master`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
|
||||
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/` : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux).
|
||||
|
||||
**Commande du lot**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier> --du <début> --au <fin>`.
|
||||
|
||||
## 2. Dans l'ordre
|
||||
|
||||
Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre. Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>`.
|
||||
|
||||
1. **Score et non-régression avant.**
|
||||
`python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin> > <séance>/score-avant.txt 2>&1` ; s'il sort en erreur (« Aucune étiquette »), dis-le et arrête-toi, sans commit.
|
||||
`python3 .claude/skills/detector-learner/regression.py --sauf <STATION> > <séance>/regression-avant.txt 2>&1` : les mêmes détecteurs face aux étiquettes des autres stations, le garde-fou.
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: score`.
|
||||
2. **Detectors-critic** (`detectors-critic`) : `Dossier : <dossier>. Lot 01 : <début> → <fin> (UTC). Commande du lot : <commande>. Étiquettes : labeling/auto/<STATION>.jsonl, celles qui touchent le lot. Score avant : <séance>/score-avant.txt. Écris <séance>/critique.md.`
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: critique (<verdict>)`. Verdict `d'accord` : va au bilan.
|
||||
3. **Detectors-upgrader** (`detectors-upgrader`), passage K = 1, 2 ou 3 :
|
||||
`Dossier : <dossier>. Lot 01 : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <séance>/critique.md. Score avant : <séance>/score-avant.txt. Non-régression avant (/detector-learner, pas de benchmark ni de base d'events) : <séance>/regression-avant.txt, à relancer par python3 .claude/skills/detector-learner/regression.py --sauf <STATION>. [Contrôle précédent : <séance>/validation-(K-1).md.] Passage K. Écris <séance>/modification-K.md.`
|
||||
Puis `python3 .claude/skills/detector-learner/regression.py --sauf <STATION> > <séance>/regression-K.txt 2>&1`.
|
||||
Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md <séance>/`, message `Detector-learner <STATION>: modification K`.
|
||||
4. **Detectors-control** (`detectors-control`), qui ne regarde pas le lot :
|
||||
`Modification : <séance>/modification-K.md. Non-régression (/detector-learner, pas de benchmark ni de base d'events) : <séance>/regression-avant.txt → <séance>/regression-K.txt, à relancer par python3 .claude/skills/detector-learner/regression.py --sauf <STATION>. Base : <base de la séance>. Passage K sur 3. Écris <séance>/validation-K.md.`
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: control K (<verdict>)`.
|
||||
- `accepté` ou `garder` : va au bilan.
|
||||
- `à reprendre` : retour à l'étape 3, passage K + 1.
|
||||
- `annuler` : `git checkout <base de la séance> -- detectors/ vues-deplacements/contexte/seuils-du-journal.md` (sans les fichiers déjà modifiés notés au §1), commit de ces chemins, message `Detector-learner <STATION>: modification annulée`.
|
||||
|
||||
Un rendu absent ou sans verdict lisible : note-le, remets les détecteurs comme pour `annuler` s'ils ont changé, passe au bilan. Ne relance pas un agent plus d'une fois.
|
||||
|
||||
## 3. Bilan
|
||||
|
||||
`python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin> > <séance>/score-fin.txt 2>&1`.
|
||||
|
||||
`<séance>/bilan.md` : la plage, la base de la séance (`git log --oneline <base>..HEAD`), le nombre d'étiquettes ; le score avant → fin, famille par famille ; la ligne `Total` de la non-régression avant → celle de la modification gardée ; critique (`d'accord` / suggestions n), modification (aucune / gardée en K passages / annulée / erreur) ; `## Suggestions non traitées` (« Pas corrigé » des modifications) ; `## Erreurs` (aucune, ou ce qui manquait).
|
||||
|
||||
Commit `<séance>/`, message `Detector-learner <STATION>: bilan`.
|
||||
|
||||
## 4. Difficultés
|
||||
|
||||
**Releveur** (`releveur`), une fois, même si tout s'est bien passé : `Processus : /detector-learner (.claude/skills/detector-learner/SKILL.md). Séance : <séance>/ : la section « Difficultés » de chaque rendu, et « Erreurs » du bilan. Difficultés de l'orchestrateur : aucune | <…>.` (D-060)
|
||||
Si `git status --short docs/ameliorations-processus.md` montre un changement : commit de ce chemin, message `Detector-learner <STATION>: process difficulties`.
|
||||
|
||||
## 5. Réponse finale
|
||||
|
||||
`python3 .claude/skills/events-learner/comparaison.py <dossier> <séance> --du <début> --au <fin>` : la page de fin de séance, les étiquettes face aux détecteurs famille par famille (son annexe garde le benchmark des events, pour information). Un échec du script va dans la réponse, sans relance.
|
||||
|
||||
En 6 lignes au plus : la page, la base de la séance, le bilan, le score avant → fin, la non-régression (`Total`), la modification gardée ou non, les erreurs et difficultés. Tout est sur `master`, rien n'est poussé : l'utilisateur annule ce qu'il ne garde pas par `git revert`.
|
||||
@@ -0,0 +1,48 @@
|
||||
"""Non-régression de /detector-learner (D-116) : les détecteurs face aux étiquettes de l'étiqueteur des autres stations.
|
||||
|
||||
Pour chaque station de labeling/auto/ (sauf celle de la séance, --sauf) qui a son dossier dans data/, le score par
|
||||
famille et par instant de score.py (D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la
|
||||
dernière. Puis le total, famille par famille. Il tient lieu du benchmark sur la base d'events : une famille qui recule
|
||||
sur une station est un recul, même si le total monte.
|
||||
Usage : python3 .claude/skills/detector-learner/regression.py [--sauf STATION]
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
|
||||
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
|
||||
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "events-learner"))
|
||||
import score # noqa: E402
|
||||
|
||||
|
||||
def plage(chemin):
|
||||
"""labeling/auto/<STATION>.jsonl -> (début, fin) iso, en jours entiers UTC, fin exclue."""
|
||||
with open(chemin, encoding="utf-8") as f:
|
||||
etiq = [json.loads(l) for l in f if l.strip()]
|
||||
du = min(e["debut"] for e in etiq)[:10]
|
||||
fin = max(e["fin"] for e in etiq)
|
||||
au = fin[:10] if fin[11:16] in ("", "00:00") else score.iso(score.instant(fin[:10]) + score.timedelta(days=1))[:10]
|
||||
return score.iso(score.instant(du)), score.iso(score.instant(au))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if sys.argv[1:] and sys.argv[1:2] != ["--sauf"]:
|
||||
sys.exit(__doc__)
|
||||
sauf = sys.argv[2].upper() if len(sys.argv) > 2 else None
|
||||
total = {}
|
||||
for chemin in sorted(glob.glob(os.path.join(RACINE, "labeling", "auto", "*.jsonl"))):
|
||||
station = os.path.basename(chemin)[:-len(".jsonl")]
|
||||
dossier = os.path.join(RACINE, "data", station)
|
||||
if station == sauf:
|
||||
continue
|
||||
if not os.path.isdir(dossier):
|
||||
print(f"{station} : pas de data/{station}/, sautée\n")
|
||||
continue
|
||||
du, au = plage(chemin)
|
||||
n, etiq = score.familles_lot(dossier, du, au)
|
||||
score.afficher(f"{station} : {du} → {au}, {len(etiq)} étiquettes", n)
|
||||
print()
|
||||
for k, v in n.items():
|
||||
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
|
||||
score.afficher("Total", total)
|
||||
Reference in new issue
Block a user