Events-learner on the labeler's labels: the session reads the lot's labels in labeling/auto/ instead of having the analyst read the lot; the detectors-critic judges the detectors against them, family by family (correspondence of labeling/familles.md); score.py --du --au scores by family and by instant, the session page shows labels and detectors on one row per family; analyst, tool-builder and event-builder leave the session (D-112, point 72)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 16:25:44 +01:00
1 parent a95d7ca07a
commit bc984a86d3
14 files changed
+227 -151

No files matched your search

+35 -46
View File
@@ -1,20 +1,16 @@
"""Page de fin de séance de /events-learner : la lecture de l'analyste face aux détecteurs, sur toute la plage de la séance.
"""Page de fin de séance de /events-learner : les étiquettes de l'étiqueteur face aux détecteurs, sur la plage de la séance.
La page de detectors-view/detecteurs.py (images de la caméra, timelapse d'un événement au clic, pose de la caméra, corr_x et corr_y de
chaque capteur en couleur, ligne « Error rate »), chaque ligne de catégorie dédoublée : en haut les moments de l'analyste
(etiquettes.json des lots de la séance), en bas les événements des détecteurs tels qu'ils sont (la plage classée avec ses
3 jours d'historique, comme le score). En dernier, en gris, les moments « aucune » de l'analyste : vus, mais hors des
catégories du journal (sans effet sur les courbes le plus souvent, ou une nouveauté). Sous la figure, la liste des
événements des détecteurs, le score de la séance (score.py sur ses seules étiquettes) et le benchmark. Faire coïncider
les deux barres de chaque ligne, séance après séance, c'est le but de la boucle.
Usage : python3 .claude/skills/events-learner/comparaison.py <dossier de station> <dossier de séance>
(page : out/events-learner_<séance>.html, ouverte dans le navigateur)
chaque capteur en couleur, ligne « Error rate »), une ligne par famille des étiquettes (labeling/familles.md), dédoublée :
en haut les étiquettes de labeling/auto/<STATION>.jsonl qui touchent la plage, en bas les événements des détecteurs tels
qu'ils sont (la plage classée avec ses 3 jours d'historique, comme le score), rangés par la correspondance de familles.md ;
un saut bref, dont la famille est celle de sa cause, garde sa ligne (D-112). Sous la figure, la liste des événements des
détecteurs, le score de la séance (score.py --du --au) et le benchmark. Faire coïncider les deux barres de chaque ligne,
séance après séance, c'est le but de la boucle.
Usage : python3 .claude/skills/events-learner/comparaison.py <dossier de station> <dossier de séance> --du AAAA-MM-JJ --au AAAA-MM-JJ
(--au exclu ; page : out/events-learner_<séance>.html, ouverte dans le navigateur)
"""
import contextlib
import glob
import html
import io
import json
import os
import sys
@@ -35,60 +31,53 @@ def tableau(total, ordre, titre="Catégorie"):
lignes = "".join(f"<tr{' class=niveau' if k in NIVEAUX else ''}><td>{NIVEAUX.get(k, k)}</td><td>{total[k][0]}</td>"
f"<td>{total[k][1]}</td><td>{part(total[k][2], total[k][0])}</td><td>{part(total[k][2], total[k][1])}</td></tr>"
for k in cles)
return (f"<table><tr><th>{titre}</th><th>Vues par l'analyste</th><th>Signalées par les détecteurs</th>"
return (f"<table><tr><th>{titre}</th><th>Étiquetées</th><th>Signalées par les détecteurs</th>"
"<th>Trouvées</th><th>Confirmées</th></tr>" + lignes + "</table>")
def page(dossier, seance):
def page(dossier, seance, du, au):
"""La page de detecteurs.py sur la plage de la séance (images, timelapse, pose de la caméra, capteurs en couleur),
plus les moments de l'analyste, le score de la séance et le benchmark."""
chemins = sorted(glob.glob(os.path.join(seance, "lot-*", "etiquettes.json")))
if not chemins:
sys.exit(f"{seance} : aucun lot-*/etiquettes.json")
lots = []
for c in chemins:
with open(c, encoding="utf-8") as f:
lots.append(json.load(f))
debut, fin = min(x["debut"] for x in lots), max(x["fin"] for x in lots)
agent = [(m["debut"], m["fin"], c := HORS if m["categorie"] == "aucune" else m["categorie"],
survol(f"Analyste : {c}", m["debut"], m["fin"], m["capteurs"],
f"{m['evenement'] or '—'} ({m['preuve']})", m["description"]))
for x in lots for m in x["moments"]]
plus les étiquettes de l'étiqueteur, le score de la séance et le benchmark."""
debut, fin = score.iso(score.instant(du)), score.iso(score.instant(au))
total, etiq = score.familles_lot(dossier, debut, fin)
if not etiq:
sys.exit(f"Aucune étiquette de {os.path.basename(os.path.normpath(dossier))} sur {debut} → {fin} dans labeling/auto/.")
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
with contextlib.redirect_stdout(io.StringIO()): # le détail par lot : lot-NN/score-avant.txt et score-fin.txt
total = score.lots(dossier, chemins, True)
events, _ = benchmark.mesurer()
bench = {c: n[benchmark.TOUTES] for c, n in events.items()}
ordre = [*score.categories.CATEGORIES, HORS]
lignes = score.familles()
ordre = [*dict.fromkeys(lignes.values()), HORS]
nom = os.path.basename(os.path.normpath(seance))
entete = f"""<h1>Séance {html.escape(nom)}</h1>
<p>Dessous les courbes, chaque ligne est une catégorie du journal : la barre du haut est la lecture de l'analyste
(étiquettes des {len(lots)} lot(s) de la séance), celle du bas, les événements des détecteurs dans leur état de fin de
séance. En dernier, en gris, ce que l'analyste a vu hors des catégories du journal : sans effet sur les courbes le plus
souvent, ou une nouveauté ; aucun détecteur ne peut le rejoindre. Survol : capteurs, preuve, description ; un clic sur une
barre, de l'analyste ou des détecteurs, joue son timelapse. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>"""
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
les {len(etiq)} étiquettes de l'étiqueteur qui touchent la plage (<code>labeling/auto/</code>), celle du bas, les événements
des détecteurs dans leur état de fin de séance, rangés dans la famille de leur catégorie (survol : la catégorie du
journal). Un saut bref, de la famille de sa cause, garde sa ligne. Survol : bornes, description ; un clic sur une barre, des
étiquettes ou des détecteurs, joue son timelapse. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>"""
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
<h3>Score de la séance</h3>
<p>On compte des mesures : une mesure, c'est un capteur à un instant.
<b>Trouvées</b> : de ce que l'analyste range dans la catégorie, la part que les détecteurs signalent aussi ; le reste, ils
l'ont raté. <b>Confirmées</b> : de ce que signalent les détecteurs, la part que l'analyste range aussi dans la catégorie ;
le reste, ce sont des alertes en trop, ou un oubli de l'analyste. Le but : 100 % dans les deux colonnes ; « — » : rien à
compter. Les moments hors catégorie ne comptent pas, ni les trous (pas de mesure). En italique, les catégories regroupées comme sur la page du client : zones grisées, et zones
de prudence (visibilité réduite, turbulence).</p>
{tableau(total, ordre)}
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure ; les étiquettes ne disent leurs
capteurs que dans leur texte. <b>Trouvées</b> : des instants qu'une étiquette range dans la famille, la part que les
détecteurs signalent aussi ; le reste, ils l'ont raté. <b>Confirmées</b> : des instants que signalent les détecteurs, la
part qu'une étiquette range aussi dans la famille ; le reste, ce sont des alertes en trop, ou un oubli de l'étiqueteur.
Un saut bref compte dans la famille de l'étiquette qui le couvre. Le but : 100 % dans les deux colonnes ; « — » : rien à
compter. Les trous ne comptent pas (pas de mesure).</p>
{tableau(total, ordre, "Famille")}
<h3>Benchmark sur la base d'events</h3>
<p>Les mêmes détecteurs, face au diagnostic gardé dans chaque event de la base à sa création (ses étiquettes), toutes
catégories ensemble. Il garde les détecteurs d'un recul ; il n'est pas un but. Le détail par catégorie :
<code>python3 .claude/skills/events-learner/benchmark.py</code> ; dans le temps : <code>{os.path.relpath(benchmark.HISTORIQUE, ROOT)}</code>
(version {benchmark.version()}).</p>
{tableau(bench, list(bench), "Event")}"""
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent,
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
chemin=os.path.join(ROOT, "out", f"events-learner_{nom}.html"))
if __name__ == "__main__":
if len(sys.argv) != 3:
if len(sys.argv) != 7 or sys.argv[3::2] != ["--du", "--au"]:
sys.exit(__doc__)
p = page(sys.argv[1], sys.argv[2])
p = page(sys.argv[1], sys.argv[2], sys.argv[4], sys.argv[6])
print(p)
open_served(p)