Files
Support-Agent/.claude/skills/events-learner/benchmark.py
T
maximeandClaude Opus 5.5 3b732adc52 Loop renamed events-learner; end benchmark on the same events; spec reduced to the why (D-092)
- /boucle becomes /events-learner: skill and scripts in
  .claude/skills/events-learner/, sessions in events-learner/, spec
  vues-deplacements/contexte/events-learner.md, end page
  out/events-learner_<session>.html, commits "Learn <STATION> ...";
  history keeps /boucle, the review page reads both.
- No benchmark-fin.txt: the end benchmark is the last kept
  modification's, on the same events as the start.
- The spec keeps only the why; the how lives in the skill and agents.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-29 10:27:05 +01:00

94 lines
4.2 KiB
Python

"""Benchmark des détecteurs sur la base d'events (point 48 du plan du journal du matin, D-069).
Chaque event d'events/ qui a son etiquettes.json (le diagnostic de l'analyste, figé à la création de l'event) :
les détecteurs tels qu'ils sont, face à ces étiquettes, mesure par mesure et capteur par capteur (score.py, D-062).
Un calcul seulement, sans agent. Par event, puis au total, et par catégorie : « trouvées » (part des mesures étiquetées
que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées) ; « toutes »
somme les catégories (pas les deux niveaux de validité, qui les regroupent). Le benchmark garde les détecteurs
d'un recul : il n'est pas un but (sur une dizaine d'events, les détecteurs se régleraient sur eux).
Avec --etape, chaque ligne entre dans l'historique, vues-deplacements/benchmark/historique.csv, avec la version des
détecteurs (le commit, suivi de « + » si detectors/ a des changements non commités) : le score
dans le temps, version par version.
Usage : python3 .claude/skills/events-learner/benchmark.py [--seance <séance> --etape <étape>]
"""
import argparse
import contextlib
import csv
import glob
import io
import os
import subprocess
import sys
from datetime import datetime, timezone
ICI = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, ICI)
import score # noqa: E402
RACINE = os.path.normpath(os.path.join(ICI, "..", "..", ".."))
HISTORIQUE = os.path.join(RACINE, "vues-deplacements", "benchmark", "historique.csv")
TOUTES = "toutes"
def version():
def git(*a):
return subprocess.run(["git", "-C", RACINE, *a], capture_output=True, text=True).stdout.strip()
return git("rev-parse", "--short", "HEAD") + ("+" if git("status", "--porcelain", "--", "detectors") else "")
def mesurer():
"""-> ({event: {clé: [étiquetées, signalées, les deux]}}, [events sautés et pourquoi]) ; le total sous « total »."""
res, sautes = {}, []
for chemin in sorted(glob.glob(os.path.join(RACINE, "events", "E-*", "etiquettes.json"))):
event = os.path.dirname(chemin)
sortie = io.StringIO()
with contextlib.redirect_stdout(sortie):
n = score.lots(event, [chemin], True)
if "sauté" in sortie.getvalue():
sautes.append(sortie.getvalue().strip())
continue
n[TOUTES] = [sum(v[i] for k, v in n.items() if k not in score.NIVEAUX) for i in range(3)]
res[os.path.basename(event)] = n
total = {}
for n in res.values():
for k, v in n.items():
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
if res:
res["total"] = total
return res, sautes
def afficher(res, sautes, ver):
print(f"Benchmark des détecteurs (version {ver}) sur {len(res) - 1 if res else 0} events, mesure par mesure")
print(f"{'event':8}{'catégorie':24}{'trouvées':>20}{'justes':>20}")
for event, n in res.items():
for i, k in enumerate([TOUTES, *sorted(k for k in n if k != TOUTES)]):
lab, sig, both = n[k]
print(f"{event if i == 0 else '':8}{k:24}{score.pct(both, lab):>20}{score.pct(both, sig):>20}")
for s in sautes:
print(s)
def historiser(res, ver, seance, etape):
os.makedirs(os.path.dirname(HISTORIQUE), exist_ok=True)
neuf = not os.path.exists(HISTORIQUE)
date = datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%MZ")
with open(HISTORIQUE, "a", newline="", encoding="utf-8") as f:
w = csv.writer(f)
if neuf:
w.writerow(("date", "seance", "etape", "version", "event", "categorie", "etiquetees", "signalees", "les_deux"))
w.writerows((date, seance, etape, ver, event, k, *v) for event, n in res.items() for k, v in sorted(n.items()))
if __name__ == "__main__":
p = argparse.ArgumentParser(usage=__doc__)
p.add_argument("--seance", default="—")
p.add_argument("--etape", help="écrit les lignes dans l'historique sous cette étape (« lot-01 avant »…)")
a = p.parse_args()
res, sautes = mesurer()
ver = version()
afficher(res, sautes, ver)
if a.etape:
historiser(res, ver, a.seance, a.etape)
print(f"historique : {os.path.relpath(HISTORIQUE, RACINE)}")