Detector-learner: one benchmark, scripts moved, critic with realistic suggestions (D-120)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 15:12:24 +01:00
1 parent 98be20a2bc
commit 98c3308ca7
14 files changed
+291 -284

No files matched your search

+2 -5
View File
@@ -22,7 +22,7 @@ import sys
from datetime import datetime, timezone
ICI = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, ICI)
sys.path.insert(0, os.path.join(ICI, "..", "detector-learner"))
import score # noqa: E402
RACINE = os.path.normpath(os.path.join(ICI, "..", "..", ".."))
@@ -30,10 +30,7 @@ HISTORIQUE = os.path.join(RACINE, "vues-deplacements", "benchmark", "historique.
TOUTES = "toutes"
def version():
def git(*a):
return subprocess.run(["git", "-C", RACINE, *a], capture_output=True, text=True).stdout.strip()
return git("rev-parse", "--short", "HEAD") + ("+" if git("status", "--porcelain", "--", "detectors") else "")
version = score.version
def mesurer():
@@ -1,83 +0,0 @@
"""Page de fin de séance de /events-learner : les étiquettes de l'étiqueteur face aux détecteurs, sur la plage de la séance.
La page de detectors-view/detecteurs.py (images de la caméra, timelapse d'un événement au clic, pose de la caméra, corr_x et corr_y de
chaque capteur en couleur, ligne « Error rate »), une ligne par famille des étiquettes (labeling/familles.md), dédoublée :
en haut les étiquettes de labeling/auto/<STATION>.jsonl qui touchent la plage, en bas les événements des détecteurs tels
qu'ils sont (la plage classée avec ses 3 jours d'historique, comme le score), rangés par la correspondance de familles.md ;
un saut bref, dont la famille est celle de sa cause, garde sa ligne (D-112). Sous la figure, la liste des événements des
détecteurs, le score de la séance (score.py --du --au) et le benchmark. Faire coïncider les deux barres de chaque ligne,
séance après séance, c'est le but de la boucle.
Usage : python3 .claude/skills/events-learner/comparaison.py <dossier de station> <dossier de séance> --du AAAA-MM-JJ --au AAAA-MM-JJ
(--au exclu ; page : out/events-learner_<séance>.html, ouverte dans le navigateur)
"""
import html
import os
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..", "detectors-view"))
import detecteurs # noqa: E402 (la page des détecteurs ; met src/, detectors/ et les outils sur le chemin)
from detecteurs import HORS, ROOT, benchmark, open_served, score, survol # noqa: E402
NIVEAUX = {"à ignorer": "Toutes les zones à ignorer", "prudence": "Toutes les zones à lire avec prudence"}
def tableau(total, ordre, titre="Catégorie"):
"""{clé: [mesures de l'analyste, des détecteurs, des deux]} (score.lots) -> table HTML : les catégories, puis les
deux niveaux de validité."""
def part(a, b):
return f"{round(100 * a / b)} %<small> ({a} sur {b})</small>" if b else "—"
cles = [*(c for c in ordre if c in total), *sorted(set(total) - set(ordre) - set(NIVEAUX)), *(k for k in NIVEAUX if k in total)]
lignes = "".join(f"<tr{' class=niveau' if k in NIVEAUX else ''}><td>{NIVEAUX.get(k, k)}</td><td>{total[k][0]}</td>"
f"<td>{total[k][1]}</td><td>{part(total[k][2], total[k][0])}</td><td>{part(total[k][2], total[k][1])}</td></tr>"
for k in cles)
return (f"<table><tr><th>{titre}</th><th>Étiquetées</th><th>Signalées par les détecteurs</th>"
"<th>Trouvées</th><th>Confirmées</th></tr>" + lignes + "</table>")
def page(dossier, seance, du, au):
"""La page de detecteurs.py sur la plage de la séance (images, timelapse, pose de la caméra, capteurs en couleur),
plus les étiquettes de l'étiqueteur, le score de la séance et le benchmark."""
debut, fin = score.iso(score.instant(du)), score.iso(score.instant(au))
total, etiq = score.familles_lot(dossier, debut, fin)
if not etiq:
sys.exit(f"Aucune étiquette de {os.path.basename(os.path.normpath(dossier))} sur {debut} → {fin} dans labeling/auto/.")
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
events, _ = benchmark.mesurer()
bench = {c: n[benchmark.TOUTES] for c, n in events.items()}
lignes = score.familles()
ordre = [*dict.fromkeys(lignes.values()), HORS]
nom = os.path.basename(os.path.normpath(seance))
entete = f"""<h1>Séance {html.escape(nom)}</h1>
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
les {len(etiq)} étiquettes de l'étiqueteur qui touchent la plage (<code>labeling/auto/</code>), celle du bas, les événements
des détecteurs dans leur état de fin de séance, rangés dans la famille de leur catégorie (survol : la catégorie du
journal). Un saut bref, de la famille de sa cause, garde sa ligne. Survol : bornes, description ; un clic sur une barre, des
étiquettes ou des détecteurs, joue son timelapse. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>"""
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
<h3>Score de la séance</h3>
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure ; les étiquettes ne disent leurs
capteurs que dans leur texte. <b>Trouvées</b> : des instants qu'une étiquette range dans la famille, la part que les
détecteurs signalent aussi ; le reste, ils l'ont raté. <b>Confirmées</b> : des instants que signalent les détecteurs, la
part qu'une étiquette range aussi dans la famille ; le reste, ce sont des alertes en trop, ou un oubli de l'étiqueteur.
Un saut bref compte dans la famille de l'étiquette qui le couvre. Le but : 100 % dans les deux colonnes ; « — » : rien à
compter. Les trous ne comptent pas (pas de mesure).</p>
{tableau(total, ordre, "Famille")}
<h3>Benchmark sur la base d'events</h3>
<p>Les mêmes détecteurs, face au diagnostic gardé dans chaque event de la base à sa création (ses étiquettes), toutes
catégories ensemble. Il garde les détecteurs d'un recul ; il n'est pas un but. Le détail par catégorie :
<code>python3 .claude/skills/events-learner/benchmark.py</code> ; dans le temps : <code>{os.path.relpath(benchmark.HISTORIQUE, ROOT)}</code>
(version {benchmark.version()}).</p>
{tableau(bench, list(bench), "Event")}"""
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
chemin=os.path.join(ROOT, "out", f"events-learner_{nom}.html"))
if __name__ == "__main__":
if len(sys.argv) != 7 or sys.argv[3::2] != ["--du", "--au"]:
sys.exit(__doc__)
p = page(sys.argv[1], sys.argv[2], sys.argv[4], sys.argv[6])
print(p)
open_served(p)
-222
View File
@@ -1,222 +0,0 @@
"""Score des détecteurs du journal face aux étiquettes de l'analyste (point 45 du plan du journal du matin, D-062).
Une case : une mesure d'un capteur dans un lot. Chaque case reçoit, d'un côté, les catégories des moments de l'analyste
qui la couvrent (etiquettes.json, D-061), de l'autre, celles des événements des détecteurs (categories.py, le lot classé
avec ses 3 jours d'historique, comme la commande du lot). Pour chaque catégorie, et pour les deux niveaux de validité
qui ne sont pas « fiable » :
trouvées : cases étiquetées que les détecteurs ont aussi signalées (part des étiquetées) ;
justes : cases signalées que l'analyste a aussi étiquetées (part des signalées).
Validité d'une case : la pire de ses catégories ; « à ignorer » : les zones grisées du journal (carte des événements,
section 4) ; « prudence » : visibilité réduite et turbulence ; « fiable » sinon (dilatation, contraction, à vérifier :
jamais grisées), et sans catégorie. Un trou n'a pas de mesure, donc pas de case ; un moment « aucune » n'est pas compté.
Le score est un fait, pas un verdict : l'analyste peut se tromper aussi.
Avec --du et --au, le score d'un lot de /events-learner (D-112) : les détecteurs face aux étiquettes de l'étiqueteur
(labeling/auto/<STATION>.jsonl) qui touchent le lot, par famille (labeling/familles.md) et par instant, les étiquettes
ne disant pas leurs capteurs ; la catégorie d'un événement est sa famille (un détecteur par famille, D-119), sauf un saut
bref resté seul, qui prend la famille de l'étiquette qui le couvre. Aucune étiquette sur le lot : sortie en erreur.
Usage : python3 .claude/skills/events-learner/score.py <dossier de station> [etiquettes.json ...]
(défaut : events-learner/*/lot-*/etiquettes.json de la station)
python3 .claude/skills/events-learner/score.py <dossier de station> --du AAAA-MM-JJ --au AAAA-MM-JJ
python3 .claude/skills/events-learner/score.py --test
"""
import glob
import json
import os
import sys
from datetime import timedelta
from pathlib import Path
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
sys.path.insert(0, os.path.join(RACINE, "detectors"))
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "analyser-lot"))
import categories # noqa: E402 (il met lui-même agent-tools sur le chemin)
from donnees import charger, instant, iso # noqa: E402
from etiquettes import defauts, vocabulaire # noqa: E402
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "cible_a_probleme", "saut_bref"} # zones grisées (carte, section 4)
# ponytail: la turbulence est toujours « prudence » : l'étiquette ne dit pas si elle est forte (grisée alors dans le
# journal) ; un champ de force dans les étiquettes si cet écart compte
PRUDENCE = {"visibilite_reduite", "turbulence"}
NIVEAUX = ("à ignorer", "prudence")
CAUSES_SAUT = {"Obstruction", "Visibility", "Displacement"} # un saut bref : la famille de sa cause (familles.md, frontières)
def validite(cats):
return "à ignorer" if cats & IGNORER else "prudence" if cats & PRUDENCE else None
def cases(mesures, debut, fin):
"""Mesures -> [(capteur, instant iso)] du lot, fin exclue."""
return [(s, t) for s, ms in mesures.items() for m in ms if debut <= (t := iso(m["t"])) < fin]
def marquer(cs, spans):
"""Cases, [(début, fin, capteurs, catégorie)] -> {case: {catégories}} ; fin incluse, capteurs vides : tous."""
out = {c: set() for c in cs}
for d, f, capteurs, cat in spans:
for s, t in cs:
if d <= t <= f and (not capteurs or s in capteurs):
out[(s, t)].add(cat)
return out
def evenements(mesures, debut, fin):
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique (comme la commande du lot)."""
h, b = instant(debut) - HISTORIQUE, instant(fin)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
return [v for v in (categories.evenements(tranche) if tranche else []) if v["end"] >= debut]
def detectes(mesures, debut, fin):
"""Événements des détecteurs du lot -> spans de marquer."""
return [(v["start"], v["end"], v["sensors"], v["category"]) for v in evenements(mesures, debut, fin)]
def compter(paires):
"""[(clés étiquetées, clés signalées)], une paire par case -> {clé: [étiquetées, signalées, les deux]}."""
n = {}
for a, d in paires:
for k in a | d:
x = n.setdefault(k, [0, 0, 0])
x[0], x[1], x[2] = x[0] + (k in a), x[1] + (k in d), x[2] + (k in a and k in d)
return n
def score(etiq, det):
"""{case: catégories de l'analyste}, {case: catégories des détecteurs} -> {clé: [étiquetées, signalées, les deux]}."""
return compter([x | {v} if (v := validite(x)) else x for x in (etiq[c], det[c])] for c in etiq)
def familles():
"""{catégorie du journal: famille} : chaque famille est sa propre catégorie (D-119), dans l'ordre de categories.py."""
return {c: c for c in categories.CATEGORIES}
def bref(v):
"""Un événement qui n'est qu'un saut revenu, resté seul (aucune cause ne l'a absorbé)."""
return v["category"] == "Displacement" and v["episodes"][0]["label"] == categories.SAUT
def etiquettes_auto(station, debut, fin):
"""labeling/auto/<STATION>.jsonl -> les étiquettes de l'étiqueteur qui touchent [début, fin)."""
chemin = os.path.join(RACINE, "labeling", "auto", f"{station}.jsonl")
if not os.path.exists(chemin):
return []
with open(chemin, encoding="utf-8") as f:
return [e for e in map(json.loads, filter(str.strip, f)) if e["debut"] < fin and e["fin"] >= debut]
def familles_lot(dossier, debut, fin, etiq=None):
"""Score d'un lot par famille et par instant (D-112) -> ({famille: [étiquetés, signalés, les deux]}, étiquettes).
Un instant : une heure du lot où un capteur au moins a une mesure ; il reçoit les familles des étiquettes qui le
couvrent, bornes comprises, et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/."""
# ponytail: par instant et non par capteur, les étiquettes ne disent leurs capteurs que dans le texte ; un champ
# capteurs dans l'étiquette, si cette finesse manque
mesures = charger(dossier)
if etiq is None:
etiq = etiquettes_auto(os.path.basename(os.path.normpath(dossier)), debut, fin)
evts = evenements(mesures, debut, fin)
paires = []
for t in sorted({t for _, t in cases(mesures, debut, fin)}):
a = {e.get("categorie", "sans famille") for e in etiq if e["debut"] <= t <= e["fin"]} - {"None"}
d = {"saut_bref" if bref(v) else v["category"] for v in evts if v["start"] <= t <= v["end"]}
if "saut_bref" in d:
d = d - {"saut_bref"} | (a & CAUSES_SAUT or {"saut_bref"})
paires.append((a, d))
return compter(paires), etiq
def pct(a, b):
return f"{a}/{b} ({round(100 * a / b)} %)" if b else "—"
def afficher(titre, n):
print(titre)
print(f" {'':<22}{'trouvées':>20}{'justes':>20}")
for k in [*NIVEAUX, *sorted(set(n) - set(NIVEAUX))]:
if k in n:
lab, sig, both = n[k]
print(f" {k:<22}{pct(both, lab):>20}{pct(both, sig):>20}")
def lots(dossier, chemins, explicite):
station = os.path.basename(os.path.normpath(dossier))
mesures = charger(dossier)
vocab = vocabulaire()
total, vus = {}, 0
for chemin in chemins:
nom = os.path.join(*Path(chemin).resolve().parent.parts[-2:])
with open(chemin, encoding="utf-8") as f:
lot = json.load(f)
if lot.get("station") != station:
if explicite:
print(f"{nom} : station {lot.get('station')!r}, le dossier est {station!r} : sauté")
continue
if fautes := defauts(lot, station, set(mesures), *vocab):
print(f"{nom} : étiquettes à corriger ({len(fautes)} défauts, etiquettes.py) : sauté")
continue
cs = cases(mesures, lot["debut"], lot["fin"])
if not cs:
print(f"{nom} : aucune mesure du lot dans {dossier} : sauté")
continue
moments = [m for m in lot["moments"] if m["categorie"] != "aucune"]
etiq = marquer(cs, [(m["debut"], m["fin"], m["capteurs"], m["categorie"]) for m in moments])
n = score(etiq, marquer(cs, detectes(mesures, lot["debut"], lot["fin"])))
afficher(f"{nom} : {lot['debut']} → {lot['fin']}, {len(moments)} moments comptés "
f"({len(lot['moments']) - len(moments)} « aucune »), {len(cs)} cases", n)
for k, v in n.items():
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
vus += 1
if vus > 1:
afficher(f"Total : {vus} lots", total)
elif not vus:
print(f"Aucun lot étiqueté de {station} à compter.")
return total # la page de fin de séance (comparaison.py) en fait son tableau
def test():
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
cs = cases(mesures, debut, fin)
spans = detectes(mesures, debut, fin)
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
det = marquer(cs, spans)
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
cat = next(s[3] for s in spans if validite({s[3]}))
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
assert ajout == [len(cs), 0, 0], ajout
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
assert validite({"dilatation_thermique", "a_verifier"}) is None
# par famille (D-112) : chaque catégorie du journal a sa famille, sauf saut_bref ; les événements des détecteurs pris
# pour étiquettes, sauts brefs à part, donnent chaque famille trouvée et juste en entier
corr = familles()
assert set(categories.CATEGORIES) - set(corr) == {"saut_bref"}, corr
etiq = [{"debut": v["start"], "fin": v["end"], "categorie": corr[v["category"]]}
for v in evenements(mesures, debut, fin) if v["category"] != "saut_bref"]
n, _ = familles_lot(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"), debut, fin, etiq)
assert n and all(x[0] == x[1] == x[2] for k, x in n.items() if k != "saut_bref"), n
print("test : bon")
if __name__ == "__main__":
if sys.argv[1:] == ["--test"]:
test()
elif len(sys.argv) == 6 and sys.argv[2::2] == ["--du", "--au"]:
station, du, au = os.path.basename(os.path.normpath(sys.argv[1])), iso(instant(sys.argv[3])), iso(instant(sys.argv[5]))
n, etiq = familles_lot(sys.argv[1], du, au)
if not etiq:
sys.exit(f"Aucune étiquette de {station} sur {du} → {au} dans labeling/auto/{station}.jsonl : "
"étiqueter le lot d'abord (@etiqueteur).")
afficher(f"{station} : {du} → {au}, {len(etiq)} étiquettes de labeling/auto/{station}.jsonl, par famille et par instant", n)
elif len(sys.argv) >= 2:
explicites = sys.argv[2:]
tous = sorted(glob.glob(os.path.join(RACINE, "events-learner", "*", "lot-*", "etiquettes.json")))
lots(sys.argv[1], explicites or tous, bool(explicites))
else:
sys.exit(__doc__)