Events-learner on the labeler's labels: the session reads the lot's labels in labeling/auto/ instead of having the analyst read the lot; the detectors-critic judges the detectors against them, family by family (correspondence of labeling/familles.md); score.py --du --au scores by family and by instant, the session page shows labels and detectors on one row per family; analyst, tool-builder and event-builder leave the session (D-112, point 72)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
a95d7ca07a
commit
bc984a86d3
14 files changed
+227
-151
No files matched your search
@@ -1,20 +1,16 @@
|
||||
"""Page de fin de séance de /events-learner : la lecture de l'analyste face aux détecteurs, sur toute la plage de la séance.
|
||||
"""Page de fin de séance de /events-learner : les étiquettes de l'étiqueteur face aux détecteurs, sur la plage de la séance.
|
||||
|
||||
La page de detectors-view/detecteurs.py (images de la caméra, timelapse d'un événement au clic, pose de la caméra, corr_x et corr_y de
|
||||
chaque capteur en couleur, ligne « Error rate »), chaque ligne de catégorie dédoublée : en haut les moments de l'analyste
|
||||
(etiquettes.json des lots de la séance), en bas les événements des détecteurs tels qu'ils sont (la plage classée avec ses
|
||||
3 jours d'historique, comme le score). En dernier, en gris, les moments « aucune » de l'analyste : vus, mais hors des
|
||||
catégories du journal (sans effet sur les courbes le plus souvent, ou une nouveauté). Sous la figure, la liste des
|
||||
événements des détecteurs, le score de la séance (score.py sur ses seules étiquettes) et le benchmark. Faire coïncider
|
||||
les deux barres de chaque ligne, séance après séance, c'est le but de la boucle.
|
||||
Usage : python3 .claude/skills/events-learner/comparaison.py <dossier de station> <dossier de séance>
|
||||
(page : out/events-learner_<séance>.html, ouverte dans le navigateur)
|
||||
chaque capteur en couleur, ligne « Error rate »), une ligne par famille des étiquettes (labeling/familles.md), dédoublée :
|
||||
en haut les étiquettes de labeling/auto/<STATION>.jsonl qui touchent la plage, en bas les événements des détecteurs tels
|
||||
qu'ils sont (la plage classée avec ses 3 jours d'historique, comme le score), rangés par la correspondance de familles.md ;
|
||||
un saut bref, dont la famille est celle de sa cause, garde sa ligne (D-112). Sous la figure, la liste des événements des
|
||||
détecteurs, le score de la séance (score.py --du --au) et le benchmark. Faire coïncider les deux barres de chaque ligne,
|
||||
séance après séance, c'est le but de la boucle.
|
||||
Usage : python3 .claude/skills/events-learner/comparaison.py <dossier de station> <dossier de séance> --du AAAA-MM-JJ --au AAAA-MM-JJ
|
||||
(--au exclu ; page : out/events-learner_<séance>.html, ouverte dans le navigateur)
|
||||
"""
|
||||
import contextlib
|
||||
import glob
|
||||
import html
|
||||
import io
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
|
||||
@@ -35,60 +31,53 @@ def tableau(total, ordre, titre="Catégorie"):
|
||||
lignes = "".join(f"<tr{' class=niveau' if k in NIVEAUX else ''}><td>{NIVEAUX.get(k, k)}</td><td>{total[k][0]}</td>"
|
||||
f"<td>{total[k][1]}</td><td>{part(total[k][2], total[k][0])}</td><td>{part(total[k][2], total[k][1])}</td></tr>"
|
||||
for k in cles)
|
||||
return (f"<table><tr><th>{titre}</th><th>Vues par l'analyste</th><th>Signalées par les détecteurs</th>"
|
||||
return (f"<table><tr><th>{titre}</th><th>Étiquetées</th><th>Signalées par les détecteurs</th>"
|
||||
"<th>Trouvées</th><th>Confirmées</th></tr>" + lignes + "</table>")
|
||||
|
||||
|
||||
def page(dossier, seance):
|
||||
def page(dossier, seance, du, au):
|
||||
"""La page de detecteurs.py sur la plage de la séance (images, timelapse, pose de la caméra, capteurs en couleur),
|
||||
plus les moments de l'analyste, le score de la séance et le benchmark."""
|
||||
chemins = sorted(glob.glob(os.path.join(seance, "lot-*", "etiquettes.json")))
|
||||
if not chemins:
|
||||
sys.exit(f"{seance} : aucun lot-*/etiquettes.json")
|
||||
lots = []
|
||||
for c in chemins:
|
||||
with open(c, encoding="utf-8") as f:
|
||||
lots.append(json.load(f))
|
||||
debut, fin = min(x["debut"] for x in lots), max(x["fin"] for x in lots)
|
||||
agent = [(m["debut"], m["fin"], c := HORS if m["categorie"] == "aucune" else m["categorie"],
|
||||
survol(f"Analyste : {c}", m["debut"], m["fin"], m["capteurs"],
|
||||
f"{m['evenement'] or '—'} ({m['preuve']})", m["description"]))
|
||||
for x in lots for m in x["moments"]]
|
||||
plus les étiquettes de l'étiqueteur, le score de la séance et le benchmark."""
|
||||
debut, fin = score.iso(score.instant(du)), score.iso(score.instant(au))
|
||||
total, etiq = score.familles_lot(dossier, debut, fin)
|
||||
if not etiq:
|
||||
sys.exit(f"Aucune étiquette de {os.path.basename(os.path.normpath(dossier))} sur {debut} → {fin} dans labeling/auto/.")
|
||||
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
|
||||
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
|
||||
|
||||
with contextlib.redirect_stdout(io.StringIO()): # le détail par lot : lot-NN/score-avant.txt et score-fin.txt
|
||||
total = score.lots(dossier, chemins, True)
|
||||
events, _ = benchmark.mesurer()
|
||||
bench = {c: n[benchmark.TOUTES] for c, n in events.items()}
|
||||
ordre = [*score.categories.CATEGORIES, HORS]
|
||||
lignes = score.familles()
|
||||
ordre = [*dict.fromkeys(lignes.values()), HORS]
|
||||
nom = os.path.basename(os.path.normpath(seance))
|
||||
entete = f"""<h1>Séance {html.escape(nom)}</h1>
|
||||
<p>Dessous les courbes, chaque ligne est une catégorie du journal : la barre du haut est la lecture de l'analyste
|
||||
(étiquettes des {len(lots)} lot(s) de la séance), celle du bas, les événements des détecteurs dans leur état de fin de
|
||||
séance. En dernier, en gris, ce que l'analyste a vu hors des catégories du journal : sans effet sur les courbes le plus
|
||||
souvent, ou une nouveauté ; aucun détecteur ne peut le rejoindre. Survol : capteurs, preuve, description ; un clic sur une
|
||||
barre, de l'analyste ou des détecteurs, joue son timelapse. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>"""
|
||||
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
|
||||
les {len(etiq)} étiquettes de l'étiqueteur qui touchent la plage (<code>labeling/auto/</code>), celle du bas, les événements
|
||||
des détecteurs dans leur état de fin de séance, rangés dans la famille de leur catégorie (survol : la catégorie du
|
||||
journal). Un saut bref, de la famille de sa cause, garde sa ligne. Survol : bornes, description ; un clic sur une barre, des
|
||||
étiquettes ou des détecteurs, joue son timelapse. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>"""
|
||||
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
|
||||
<h3>Score de la séance</h3>
|
||||
<p>On compte des mesures : une mesure, c'est un capteur à un instant.
|
||||
<b>Trouvées</b> : de ce que l'analyste range dans la catégorie, la part que les détecteurs signalent aussi ; le reste, ils
|
||||
l'ont raté. <b>Confirmées</b> : de ce que signalent les détecteurs, la part que l'analyste range aussi dans la catégorie ;
|
||||
le reste, ce sont des alertes en trop, ou un oubli de l'analyste. Le but : 100 % dans les deux colonnes ; « — » : rien à
|
||||
compter. Les moments hors catégorie ne comptent pas, ni les trous (pas de mesure). En italique, les catégories regroupées comme sur la page du client : zones grisées, et zones
|
||||
de prudence (visibilité réduite, turbulence).</p>
|
||||
{tableau(total, ordre)}
|
||||
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure ; les étiquettes ne disent leurs
|
||||
capteurs que dans leur texte. <b>Trouvées</b> : des instants qu'une étiquette range dans la famille, la part que les
|
||||
détecteurs signalent aussi ; le reste, ils l'ont raté. <b>Confirmées</b> : des instants que signalent les détecteurs, la
|
||||
part qu'une étiquette range aussi dans la famille ; le reste, ce sont des alertes en trop, ou un oubli de l'étiqueteur.
|
||||
Un saut bref compte dans la famille de l'étiquette qui le couvre. Le but : 100 % dans les deux colonnes ; « — » : rien à
|
||||
compter. Les trous ne comptent pas (pas de mesure).</p>
|
||||
{tableau(total, ordre, "Famille")}
|
||||
<h3>Benchmark sur la base d'events</h3>
|
||||
<p>Les mêmes détecteurs, face au diagnostic gardé dans chaque event de la base à sa création (ses étiquettes), toutes
|
||||
catégories ensemble. Il garde les détecteurs d'un recul ; il n'est pas un but. Le détail par catégorie :
|
||||
<code>python3 .claude/skills/events-learner/benchmark.py</code> ; dans le temps : <code>{os.path.relpath(benchmark.HISTORIQUE, ROOT)}</code>
|
||||
(version {benchmark.version()}).</p>
|
||||
{tableau(bench, list(bench), "Event")}"""
|
||||
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent,
|
||||
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
|
||||
chemin=os.path.join(ROOT, "out", f"events-learner_{nom}.html"))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 3:
|
||||
if len(sys.argv) != 7 or sys.argv[3::2] != ["--du", "--au"]:
|
||||
sys.exit(__doc__)
|
||||
p = page(sys.argv[1], sys.argv[2])
|
||||
p = page(sys.argv[1], sys.argv[2], sys.argv[4], sys.argv[6])
|
||||
print(p)
|
||||
open_served(p)
|
||||
Reference in new issue
Block a user