Detector-learner: one benchmark, scripts moved, critic with realistic suggestions (D-120)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 15:12:24 +01:00
1 parent 98be20a2bc
commit 98c3308ca7
14 files changed
+291 -284

No files matched your search

+22 -22
View File
@@ -1,40 +1,40 @@
---
name: detector-learner
description: Séance automatique d'amélioration des détecteurs du journal du matin sur les étiquettes de l'etiqueteur déjà produites (labeling/auto/), la seule vérité (D-116, D-118) — detectors-critic, detectors-upgrader, detectors-control ; le but, des détecteurs alignés sur toutes les étiquettes de labeling/auto/ ; le garde-fou, le score sur les autres stations étiquetées. Lancé par l'utilisateur seulement, avec /detector-learner.
description: Séance automatique d'amélioration des détecteurs du journal du matin sur les étiquettes de l'etiqueteur déjà produites (labeling/auto/), la seule vérité (D-116, D-118) — detectors-critic, detectors-upgrader, detectors-control ; le but, des détecteurs alignés sur toutes les étiquettes de labeling/auto/ ; le garde-fou, le benchmark sur les autres stations étiquetées. Lancé par l'utilisateur seulement, avec /detector-learner.
disable-model-invocation: true
argument-hint: "data/<STATION> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--ameliorer]"
argument-hint: "data/<STATION> [--ameliorer]"
---
# detector-learner : les détecteurs face aux étiquettes
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `labeling/auto/<STATION>.jsonl`, écrites en amont par l'`etiqueteur` (D-106) : le diagnostic est déjà fait, il n'y a ni analyste ni autre vérité ici (D-116, D-118). Le but est d'aligner les détecteurs le mieux possible sur l'ensemble des étiquettes de `labeling/auto/` ; le lot de la station montre où regarder. Tu appelles les trois agents des détecteurs dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `labeling/auto/`, écrites en amont par l'`etiqueteur` (D-106) : le diagnostic est déjà fait, il n'y a ni analyste ni autre vérité ici (D-116, D-118). Le but est d'aligner les détecteurs le mieux possible sur l'ensemble des étiquettes de `labeling/auto/` ; la station de la séance montre où regarder. Tu appelles les trois agents des détecteurs dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
## 1. Mise en place
- Arguments : le dossier de station ; un nom seul (« Nordend ») désigne `data/<NOM EN MAJUSCULES>/`. `--du`, `--au` : jours UTC, `--au` exclu. Sans eux, la plage des étiquettes de la station : du jour de la première à minuit après la dernière (`plage()` de `regression.py` : `python3 -c "import sys; sys.path.insert(0, '.claude/skills/detector-learner'); import regression; print(regression.plage('labeling/auto/<STATION>.jsonl'))"`). `--ameliorer` (facultatif) : en fin de séance, l'améliorateur corrige le processus d'après les relevés du releveur (§4, D-071). Un argument pas net (`[--ameliorer]` entre crochets vaut l'option) : lis-le au mieux et note sous « Erreurs » du bilan comment.
- `STATION` = le nom du dossier ; `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<STATION>/`, ci-dessous `<séance>`.
- Arguments : le dossier de station ; un nom seul (« Nordend ») désigne `data/<NOM EN MAJUSCULES>/`. `--ameliorer` (facultatif) : en fin de séance, l'améliorateur corrige le processus d'après les relevés du releveur (§4, D-071). Un argument pas net (`[--ameliorer]` entre crochets vaut l'option) : lis-le au mieux et note sous « Erreurs » du bilan comment.
- `STATION` = le nom du dossier ; `labeling/auto/<STATION>.jsonl` sans étiquette, ou absent : dis-le et arrête-toi, sans commit. La **plage** de la séance : toutes les étiquettes de la station, du jour de la première à minuit après la dernière (`python3 -c "import sys; sys.path.insert(0, '.claude/skills/detector-learner'); import regression; print(regression.plage('labeling/auto/<STATION>.jsonl'))"`), ci-dessous `<début>` et `<fin>`, celle du bloc de la station dans le benchmark.
- `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<STATION>/`, ci-dessous `<séance>`.
- Commits directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi. Note la **base de la séance** : `git rev-parse HEAD`. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ce dépôt. Avant chaque commit, `git branch --show-current` ; si ce n'est plus `master`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que comptent `score.py` et `regression.py`) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux).
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux).
**Commande du lot**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier> --du <début> --au <fin>`. **Commande des capteurs**, pour le critique : `python3 .claude/skills/detector-learner/capteurs.py <dossier> --du <début> --au <fin>` (la cadence des mesures, puis les capteurs de chaque événement, dont la commande du lot ne donne que le nombre).
**Commande du journal**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier> --du <début> --au <fin>`. **Commande des capteurs**, pour le critique : `python3 .claude/skills/detector-learner/capteurs.py <dossier> --du <début> --au <fin>` (la cadence des mesures, puis les capteurs de chaque événement, dont la commande du journal ne donne que le nombre).
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `<STATION>` est le score de la séance ; les autres blocs, la non-régression.
## 2. Dans l'ordre
Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre, sauf une consigne de l'utilisateur arrivée en cours de séance : ajoute-la telle quelle à la demande des agents suivants (`Consigne de l'utilisateur : …`) et note-la au bilan ; elle passe avant leurs consignes (nombre de suggestions, catégories), pas avant leur périmètre de fichiers, et ce qu'ils ne peuvent pas en faire va dans leur « Pas corrigé ». Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>`.
Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre, sauf une consigne de l'utilisateur arrivée en cours de séance : ajoute-la telle quelle à la demande des agents suivants (`Consigne de l'utilisateur : …`) et note-la au bilan ; elle passe avant leurs consignes, pas avant leur périmètre de fichiers, et ce qu'ils ne peuvent pas en faire va dans leur « Pas corrigé ». Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>`.
1. **Score et non-régression avant.**
`python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin> > <séance>/score-avant.txt 2>&1` ; s'il sort en erreur (« Aucune étiquette »), dis-le et arrête-toi, sans commit.
`python3 .claude/skills/detector-learner/regression.py --sauf <STATION> > <séance>/regression-avant.txt 2>&1` : les mêmes détecteurs face aux étiquettes des autres stations, le garde-fou.
`python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape avant > <séance>/regression-avant-global.txt 2>&1` : le **benchmark**, sur toutes les étiquettes de `labeling/auto/`, la station du lot comprise ; ses lignes entrent dans `detector-learner/historique.csv`, qui dit si les détecteurs font globalement mieux d'une séance à l'autre.
Commit `<séance>/ detector-learner/historique.csv`, message `Detector-learner <STATION>: score`.
2. **Detectors-critic** (`detectors-critic`) : `Dossier : <dossier>. Lot 01 : <début> → <fin> (UTC). Commande du lot : <commande>. Commande des capteurs : <commande des capteurs>. Étiquettes : labeling/auto/<STATION>.jsonl, celles qui touchent le lot. Score avant : <séance>/score-avant.txt. Écris <séance>/critique.md.`
1. **Benchmark avant** : étape `avant`, donc `<séance>/benchmark-avant.txt`.
Commit `<séance>/ detector-learner/historique.csv`, message `Detector-learner <STATION>: benchmark`.
2. **Detectors-critic** (`detectors-critic`) : `Dossier : <dossier>. Station : <STATION>, plage <début> → <fin> (UTC). Commande du journal : <commande>. Commande des capteurs : <commande des capteurs>. Étiquettes : labeling/auto/<STATION>.jsonl. Score : le bloc <STATION> de <séance>/benchmark-avant.txt. Écris <séance>/critique.md.`
Commit `<séance>/`, message `Detector-learner <STATION>: critique (<verdict>)`. Verdict `d'accord` : va au bilan.
3. **Detectors-upgrader** (`detectors-upgrader`), passage K = 1, 2 ou 3 :
`Dossier : <dossier>. Lot 01 : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <séance>/critique.md. Score avant : <séance>/score-avant.txt. Benchmark avant (toutes les étiquettes de labeling/auto/) : <séance>/regression-avant-global.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --sauf ni --etape) ; ses blocs des autres stations sont la non-régression. [Contrôle précédent : <séance>/validation-(K-1).md.] Passage K. Écris <séance>/modification-K.md.`
Puis `python3 .claude/skills/detector-learner/regression.py --sauf <STATION> > <séance>/regression-K.txt 2>&1` et `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape "modification K" > <séance>/regression-K-global.txt 2>&1`.
`Dossier : <dossier>. Station : <STATION>, plage <début> → <fin> (UTC). Commande du journal : <commande>. Critique : <séance>/critique.md. Benchmark avant : <séance>/benchmark-avant.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --etape). [Contrôle précédent : <séance>/validation-(K-1).md.] Passage K. Écris <séance>/modification-K.md.`
Puis le benchmark, étape `modification K`, dans `<séance>/benchmark-K.txt`.
Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md <séance>/ detector-learner/historique.csv`, message `Detector-learner <STATION>: modification K`.
4. **Detectors-control** (`detectors-control`), qui ne regarde pas le lot :
`Lot 01. Modification : <séance>/modification-K.md. Benchmark (toutes les étiquettes de labeling/auto/) : <séance>/regression-avant-global.txt → <séance>/regression-K-global.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --sauf ni --etape). Non-régression, les autres stations seules : <séance>/regression-avant.txt → <séance>/regression-K.txt. Base : <base de la séance>. Passage K sur 3. Écris <séance>/validation-K.md.`
4. **Detectors-control** (`detectors-control`), qui ne regarde pas la station de la séance :
`Station de la séance : <STATION>. Modification : <séance>/modification-K.md. Benchmark : <séance>/benchmark-avant.txt → <séance>/benchmark-K.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --etape). Base : <base de la séance>. Passage K sur 3. Écris <séance>/validation-K.md.`
Commit `<séance>/`, message `Detector-learner <STATION>: control K (<verdict>)`.
- `accepté` ou `garder` : va au bilan.
- `à reprendre` : retour à l'étape 3, passage K + 1.
@@ -44,9 +44,9 @@ Un rendu absent ou sans verdict lisible : note-le, remets les détecteurs comme
## 3. Bilan
`python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin> > <séance>/score-fin.txt 2>&1`. Si la modification est annulée, `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape fin > <séance>/regression-fin-global.txt 2>&1`, pour que l'historique finisse sur les détecteurs gardés.
Le benchmark, étape `fin`, dans `<séance>/benchmark-fin.txt` : les détecteurs gardés.
`<séance>/bilan.md` : la plage, la base de la séance (`git log --oneline <base>..HEAD`), le nombre d'étiquettes ; le score avant → fin, famille par famille ; la ligne `Total` de la non-régression avant → celle de la modification gardée, et celle du benchmark (`-global`) ; critique (`d'accord` / suggestions n), modification (aucune / gardée en K passages / annulée / erreur) ; `## Suggestions non traitées` (« Pas corrigé » des modifications) ; `## Erreurs` (aucune, ou ce qui manquait).
`<séance>/bilan.md` : la plage, la base de la séance (`git log --oneline <base>..HEAD`), le nombre d'étiquettes ; avant → fin, famille par famille, le bloc `<STATION>`, puis les lignes changées des autres stations, puis le `Total` ; critique (`d'accord` / suggestions n), modification (aucune / gardée en K passages / annulée / erreur) ; `## Suggestions non traitées` (« Pas corrigé » des modifications) ; `## Erreurs` (aucune, ou ce qui manquait).
Commit `<séance>/ detector-learner/historique.csv`, message `Detector-learner <STATION>: bilan`.
@@ -59,6 +59,6 @@ Si `git status --short docs/ameliorations-processus.md` montre un changement : c
## 5. Réponse finale
`python3 .claude/skills/events-learner/comparaison.py <dossier> <séance> --du <début> --au <fin>` : la page de fin de séance, les étiquettes face aux détecteurs famille par famille (son annexe, un reste de /events-learner, ne compte pas). Un échec du script va dans la réponse, sans relance.
`python3 .claude/skills/detector-learner/comparaison.py <dossier> <séance> --du <début> --au <fin>` : la page de fin de séance, `out/detector-learner_<SEANCE>_<STATION>.html`, les étiquettes face aux détecteurs famille par famille. Un échec du script va dans la réponse, sans relance.
En 6 lignes au plus : la page, la base de la séance, le bilan, le score avant → fin, la non-régression et le benchmark (`Total`), la modification gardée ou non, les erreurs et difficultés relevées et, avec `--ameliorer`, celles corrigées. Tout est sur `master`, rien n'est poussé : l'utilisateur annule ce qu'il ne garde pas par `git revert`.
En 6 lignes au plus : la page, la base de la séance, le bilan, la station avant → fin et le `Total`, la modification gardée ou non, les erreurs et difficultés relevées et, avec `--ameliorer`, celles corrigées. Tout est sur `master`, rien n'est poussé : l'utilisateur annule ce qu'il ne garde pas par `git revert`.
@@ -1,14 +1,14 @@
"""Page de fin de séance de /events-learner : les étiquettes de l'étiqueteur face aux détecteurs, sur la plage de la séance.
"""Page de fin de séance de /detector-learner : les étiquettes de l'étiqueteur face aux détecteurs, sur la plage de la séance.
La page de detectors-view/detecteurs.py (images de la caméra, timelapse d'un événement au clic, pose de la caméra, corr_x et corr_y de
chaque capteur en couleur, ligne « Error rate »), une ligne par famille des étiquettes (labeling/familles.md), dédoublée :
en haut les étiquettes de labeling/auto/<STATION>.jsonl qui touchent la plage, en bas les événements des détecteurs tels
qu'ils sont (la plage classée avec ses 3 jours d'historique, comme le score), rangés par la correspondance de familles.md ;
un saut bref, dont la famille est celle de sa cause, garde sa ligne (D-112). Sous la figure, la liste des événements des
détecteurs, le score de la séance (score.py --du --au) et le benchmark. Faire coïncider les deux barres de chaque ligne,
détecteurs et le score de la séance (score.py --du --au). Faire coïncider les deux barres de chaque ligne,
séance après séance, c'est le but de la boucle.
Usage : python3 .claude/skills/events-learner/comparaison.py <dossier de station> <dossier de séance> --du AAAA-MM-JJ --au AAAA-MM-JJ
(--au exclu ; page : out/events-learner_<séance>.html, ouverte dans le navigateur)
Usage : python3 .claude/skills/detector-learner/comparaison.py <dossier de station> <dossier de séance> --du AAAA-MM-JJ --au AAAA-MM-JJ
(--au exclu ; page : out/detector-learner_<séance>.html, ouverte dans le navigateur)
"""
import html
import os
@@ -16,7 +16,7 @@ import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..", "detectors-view"))
import detecteurs # noqa: E402 (la page des détecteurs ; met src/, detectors/ et les outils sur le chemin)
from detecteurs import HORS, ROOT, benchmark, open_served, score, survol # noqa: E402
from detecteurs import HORS, ROOT, open_served, score, survol # noqa: E402
NIVEAUX = {"à ignorer": "Toutes les zones à ignorer", "prudence": "Toutes les zones à lire avec prudence"}
@@ -37,16 +37,14 @@ def tableau(total, ordre, titre="Catégorie"):
def page(dossier, seance, du, au):
"""La page de detecteurs.py sur la plage de la séance (images, timelapse, pose de la caméra, capteurs en couleur),
plus les étiquettes de l'étiqueteur, le score de la séance et le benchmark."""
plus les étiquettes de l'étiqueteur et le score de la séance."""
debut, fin = score.iso(score.instant(du)), score.iso(score.instant(au))
total, etiq = score.familles_lot(dossier, debut, fin)
if not etiq:
sys.exit(f"Aucune étiquette de {os.path.basename(os.path.normpath(dossier))} sur {debut} → {fin} dans labeling/auto/.")
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "None" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
events, _ = benchmark.mesurer()
bench = {c: n[benchmark.TOUTES] for c, n in events.items()}
lignes = score.familles()
ordre = [*dict.fromkeys(lignes.values()), HORS]
nom = os.path.basename(os.path.normpath(seance))
@@ -64,15 +62,9 @@ détecteurs signalent aussi ; le reste, ils l'ont raté. <b>Confirmées</b> : de
part qu'une étiquette range aussi dans la famille ; le reste, ce sont des alertes en trop, ou un oubli de l'étiqueteur.
Un saut bref compte dans la famille de l'étiquette qui le couvre. Le but : 100 % dans les deux colonnes ; « — » : rien à
compter. Les trous ne comptent pas (pas de mesure).</p>
{tableau(total, ordre, "Famille")}
<h3>Benchmark sur la base d'events</h3>
<p>Les mêmes détecteurs, face au diagnostic gardé dans chaque event de la base à sa création (ses étiquettes), toutes
catégories ensemble. Il garde les détecteurs d'un recul ; il n'est pas un but. Le détail par catégorie :
<code>python3 .claude/skills/events-learner/benchmark.py</code> ; dans le temps : <code>{os.path.relpath(benchmark.HISTORIQUE, ROOT)}</code>
(version {benchmark.version()}).</p>
{tableau(bench, list(bench), "Event")}"""
{tableau(total, ordre, "Famille")}"""
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
chemin=os.path.join(ROOT, "out", f"events-learner_{nom}.html"))
chemin=os.path.join(ROOT, "out", f"detector-learner_{nom}.html"))
if __name__ == "__main__":
+11 -16
View File
@@ -1,12 +1,12 @@
"""Non-régression de /detector-learner (D-116) : les détecteurs face aux étiquettes de l'étiqueteur des autres stations.
"""Benchmark de /detector-learner (D-116) : les détecteurs face à toutes les étiquettes de l'étiqueteur (labeling/auto/).
Pour chaque station de labeling/auto/ (sauf --sauf) qui a son dossier dans data/, le score par famille et par instant
de score.py (D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la dernière. Puis le total,
famille par famille : le benchmark de /detector-learner, sur toutes les étiquettes de l'étiqueteur, qui dit si les
détecteurs font globalement mieux d'une séance à l'autre. Une famille qui recule sur une station est un recul, même si
le total monte. Avec --etape, chaque ligne (stations et Total) entre dans l'historique, detector-learner/historique.csv,
avec la version des détecteurs (benchmark.version()).
Usage : python3 .claude/skills/detector-learner/regression.py [--sauf STATION] [--seance <séance> --etape <étape>]
Pour chaque station de labeling/auto/ qui a son dossier dans data/, le score par famille et par instant de score.py
(D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la dernière. Puis le total, famille par
famille, qui dit si les détecteurs font globalement mieux d'une séance à l'autre. Le bloc de la station de la séance est
son score ; les autres blocs, la non-régression : une famille qui recule sur une station est un recul, même si le total
monte. Avec --etape, chaque ligne (stations et Total) entre dans l'historique, detector-learner/historique.csv, avec la
version des détecteurs (score.version()).
Usage : python3 .claude/skills/detector-learner/regression.py [--seance <séance> --etape <étape>]
"""
import argparse
import csv
@@ -14,11 +14,10 @@ import glob
import json
import os
import sys
from datetime import datetime, timezone
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "events-learner"))
import benchmark # noqa: E402
import score # noqa: E402
import score # noqa: E402 (à côté)
HISTORIQUE = os.path.join(RACINE, "detector-learner", "historique.csv")
@@ -35,17 +34,13 @@ def plage(chemin):
if __name__ == "__main__":
p = argparse.ArgumentParser(usage=__doc__)
p.add_argument("--sauf")
p.add_argument("--seance", default="")
p.add_argument("--etape")
a = p.parse_args()
sauf = a.sauf.upper() if a.sauf else None
total, res = {}, {}
for chemin in sorted(glob.glob(os.path.join(RACINE, "labeling", "auto", "*.jsonl"))):
station = os.path.basename(chemin)[:-len(".jsonl")]
dossier = os.path.join(RACINE, "data", station)
if station == sauf:
continue
if not os.path.isdir(dossier):
print(f"{station} : pas de data/{station}/, sautée\n")
continue
@@ -61,7 +56,7 @@ if __name__ == "__main__":
res["Total"] = total
os.makedirs(os.path.dirname(HISTORIQUE), exist_ok=True)
neuf = not os.path.exists(HISTORIQUE)
date, ver = benchmark.datetime.now(benchmark.timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), benchmark.version()
date, ver = datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), score.version()
with open(HISTORIQUE, "a", newline="", encoding="utf-8") as f:
w = csv.writer(f)
if neuf:
@@ -10,18 +10,19 @@ Validité d'une case : la pire de ses catégories ; « à ignorer » : les zones
section 4) ; « prudence » : visibilité réduite et turbulence ; « fiable » sinon (dilatation, contraction, à vérifier :
jamais grisées), et sans catégorie. Un trou n'a pas de mesure, donc pas de case ; un moment « aucune » n'est pas compté.
Le score est un fait, pas un verdict : l'analyste peut se tromper aussi.
Avec --du et --au, le score d'un lot de /events-learner (D-112) : les détecteurs face aux étiquettes de l'étiqueteur
Avec --du et --au, le score d'une plage (D-112, /detector-learner) : les détecteurs face aux étiquettes de l'étiqueteur
(labeling/auto/<STATION>.jsonl) qui touchent le lot, par famille (labeling/familles.md) et par instant, les étiquettes
ne disant pas leurs capteurs ; la catégorie d'un événement est sa famille (un détecteur par famille, D-119), sauf un saut
bref resté seul, qui prend la famille de l'étiquette qui le couvre. Aucune étiquette sur le lot : sortie en erreur.
Usage : python3 .claude/skills/events-learner/score.py <dossier de station> [etiquettes.json ...]
Usage : python3 .claude/skills/detector-learner/score.py <dossier de station> [etiquettes.json ...]
(défaut : events-learner/*/lot-*/etiquettes.json de la station)
python3 .claude/skills/events-learner/score.py <dossier de station> --du AAAA-MM-JJ --au AAAA-MM-JJ
python3 .claude/skills/events-learner/score.py --test
python3 .claude/skills/detector-learner/score.py <dossier de station> --du AAAA-MM-JJ --au AAAA-MM-JJ
python3 .claude/skills/detector-learner/score.py --test
"""
import glob
import json
import os
import subprocess
import sys
from datetime import timedelta
from pathlib import Path
@@ -83,6 +84,13 @@ def compter(paires):
return n
def version():
"""La version des détecteurs : le commit, suivi de « + » si detectors/ a des changements non commités."""
def git(*a):
return subprocess.run(["git", "-C", RACINE, *a], capture_output=True, text=True).stdout.strip()
return git("rev-parse", "--short", "HEAD") + ("+" if git("status", "--porcelain", "--", "detectors") else "")
def score(etiq, det):
"""{case: catégories de l'analyste}, {case: catégories des détecteurs} -> {clé: [étiquetées, signalées, les deux]}."""
return compter([x | {v} if (v := validite(x)) else x for x in (etiq[c], det[c])] for c in etiq)
+2 -5
View File
@@ -22,7 +22,7 @@ import sys
from datetime import datetime, timezone
ICI = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, ICI)
sys.path.insert(0, os.path.join(ICI, "..", "detector-learner"))
import score # noqa: E402
RACINE = os.path.normpath(os.path.join(ICI, "..", "..", ".."))
@@ -30,10 +30,7 @@ HISTORIQUE = os.path.join(RACINE, "vues-deplacements", "benchmark", "historique.
TOUTES = "toutes"
def version():
def git(*a):
return subprocess.run(["git", "-C", RACINE, *a], capture_output=True, text=True).stdout.strip()
return git("rev-parse", "--short", "HEAD") + ("+" if git("status", "--porcelain", "--", "detectors") else "")
version = score.version
def mesurer():