Detector-learner: label bounds excluded, false positives as a regression, control watches the session station (D-123)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 15:45:13 +01:00
1 parent 7fb1f8d12d
commit daa1fd989d
6 files changed
+32 -37

No files matched your search

+2 -2
View File
@@ -19,7 +19,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la
**Commande du journal**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier> --du <début> --au <fin>`. **Commande des capteurs**, pour le critique : `python3 .claude/skills/detector-learner/capteurs.py <dossier> --du <début> --au <fin>` (la cadence des mesures, puis les capteurs de chaque événement, dont la commande du journal ne donne que le nombre).
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `<STATION>` est le score de la séance ; les autres blocs, la non-régression.
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `<STATION>` est le score de la séance, et ses instants signalés à tort, une non-régression ; les autres blocs, la non-régression (D-123).
## 2. Dans l'ordre
@@ -34,7 +34,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
L'upgrader commite lui-même chaque suggestion gardée, avec son benchmark `<séance>/benchmark-K-S<n>.txt`, message `Detector-learner <STATION>: modification K, S<n>` : le contrôle peut ainsi en faire retirer une seule.
Puis le benchmark, étape `modification K`, dans `<séance>/benchmark-K.txt`.
Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md <séance>/ detector-learner/historique.csv` (sans les fichiers déjà modifiés notés au §1), message `Detector-learner <STATION>: modification K`.
4. **Detectors-control** (`detectors-control`), qui ne regarde pas la station de la séance :
4. **Detectors-control** (`detectors-control`), qui ne regarde de la station de la séance que ses instants signalés à tort :
`Station de la séance : <STATION>. Modification : <séance>/modification-K.md. Benchmark : <séance>/benchmark-avant.txt → <séance>/benchmark-K.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --etape) ; après chaque suggestion : <séance>/benchmark-K-S*.txt. Base : <base de la séance>. Passage K sur 3. Écris <séance>/validation-K.md.`
Commit `<séance>/`, message `Detector-learner <STATION>: control K (<verdict>)`.
- `accepté` ou `garder` : va au bilan.
+15 -27
View File
@@ -112,16 +112,20 @@ def etiquettes_auto(station, debut, fin):
def familles_lot(dossier, debut, fin, etiq=None):
"""Score d'un lot par famille et par instant (D-112) -> ({famille: [étiquetés, signalés, les deux]}, étiquettes).
Un instant : une heure du lot où un capteur au moins a une mesure ; il reçoit les familles des étiquettes qui le
couvrent, bornes comprises, et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/."""
couvrent, bornes exclues (sauf un trou, sans mesure dedans), et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/."""
# ponytail: par instant et non par capteur, les étiquettes ne disent leurs capteurs que dans le texte ; un champ
# capteurs dans l'étiquette, si cette finesse manque
mesures = charger(dossier)
if etiq is None:
etiq = etiquettes_auto(os.path.basename(os.path.normpath(dossier)), debut, fin)
evts = evenements(mesures, debut, fin)
instants = sorted({t for _, t in cases(mesures, debut, fin)})
# bornes exclues : elles sont la mesure saine d'avant et d'après (D-111) ; un trou, sans mesure dedans, les garde
vides = {i for i, e in enumerate(etiq) if not any(e["debut"] < t < e["fin"] for t in instants)}
paires = []
for t in sorted({t for _, t in cases(mesures, debut, fin)}):
a = {e.get("categorie", "sans famille") for e in etiq if e["debut"] <= t <= e["fin"]} - {"None"}
for t in instants:
a = {e.get("categorie", "sans famille") for i, e in enumerate(etiq)
if e["debut"] < t < e["fin"] or (i in vides and e["debut"] <= t <= e["fin"])} - {"None"}
d = {v["category"] for v in evts if v["start"] <= t <= v["end"]}
paires.append((a, d))
return compter(paires), etiq
@@ -176,31 +180,15 @@ def lots(dossier, chemins, explicite):
def test():
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09) : une étiquette (D-111) ne compte que les instants entre ses bornes,
la mesure saine d'avant et celle d'après ; un trou, sans mesure entre ses bornes, compte ses deux bornes."""
dossier = os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND")
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
cs = cases(mesures, debut, fin)
spans = detectes(mesures, debut, fin)
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
det = marquer(cs, spans)
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
cat = next(s[3] for s in spans if validite({s[3]}))
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
assert ajout == [len(cs), 0, 0], ajout
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
assert validite({"dilatation_thermique", "a_verifier"}) is None
# par famille (D-112) : chaque catégorie du journal a sa famille, sauf saut_bref ; les événements des détecteurs pris
# pour étiquettes, sauts brefs à part, donnent chaque famille trouvée et juste en entier
corr = familles()
assert set(categories.CATEGORIES) - set(corr) == {"saut_bref"}, corr
etiq = [{"debut": v["start"], "fin": v["end"], "categorie": corr[v["category"]]}
for v in evenements(mesures, debut, fin) if v["category"] != "saut_bref"]
n, _ = familles_lot(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"), debut, fin, etiq)
assert n and all(x[0] == x[1] == x[2] for k, x in n.items() if k != "saut_bref"), n
a, b, c = sorted({t for _, t in cases(charger(dossier), debut, fin)})[10:13]
n, _ = familles_lot(dossier, debut, fin, [{"debut": a, "fin": c, "categorie": "X"}])
assert n["X"][0] == 1, n
n, _ = familles_lot(dossier, debut, fin, [{"debut": a, "fin": b, "categorie": "X"}])
assert n["X"][0] == 2, n
print("test : bon")