"""Benchmark des détecteurs sur la base d'events (point 48 du plan du journal du matin, D-069). Chaque event d'events/ qui a son etiquettes.json (le diagnostic de l'analyste, figé à la création de l'event) : les détecteurs tels qu'ils sont, face à ces étiquettes, mesure par mesure et capteur par capteur (score.py, D-062). Un calcul seulement, sans agent. Par event, puis au total, et par catégorie : « trouvées » (part des mesures étiquetées que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées) ; « toutes » somme les catégories (pas les deux niveaux de validité, qui les regroupent). Le benchmark garde les détecteurs d'un recul : il n'est pas un but (sur une dizaine d'events, les détecteurs se régleraient sur eux). Avec --etape, chaque ligne entre dans l'historique, vues-deplacements/benchmark/historique.csv, avec la version des détecteurs (le commit, suivi de « + » si detectors/ a des changements non commités) : le score dans le temps, version par version. Usage : python3 .claude/skills/events-learner/benchmark.py [--seance --etape <étape>] """ import argparse import contextlib import csv import glob import io import os import subprocess import sys from datetime import datetime, timezone ICI = os.path.dirname(os.path.abspath(__file__)) sys.path.insert(0, os.path.join(ICI, "..", "detector-learner")) import score # noqa: E402 RACINE = os.path.normpath(os.path.join(ICI, "..", "..", "..")) HISTORIQUE = os.path.join(RACINE, "vues-deplacements", "benchmark", "historique.csv") TOUTES = "toutes" version = score.version def mesurer(): """-> ({event: {clé: [étiquetées, signalées, les deux]}}, [events sautés et pourquoi]) ; le total sous « total ».""" res, sautes = {}, [] for chemin in sorted(glob.glob(os.path.join(RACINE, "events", "E-*", "etiquettes.json"))): event = os.path.dirname(chemin) sortie = io.StringIO() with contextlib.redirect_stdout(sortie): n = score.lots(event, [chemin], True) if "sauté" in sortie.getvalue(): sautes.append(sortie.getvalue().strip()) continue n[TOUTES] = [sum(v[i] for k, v in n.items() if k not in score.NIVEAUX) for i in range(3)] res[os.path.basename(event)] = n total = {} for n in res.values(): for k, v in n.items(): total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)] if res: res["total"] = total return res, sautes def afficher(res, sautes, ver): print(f"Benchmark des détecteurs (version {ver}) sur {len(res) - 1 if res else 0} events, mesure par mesure") print(f"{'event':8}{'catégorie':24}{'trouvées':>20}{'justes':>20}") for event, n in res.items(): for i, k in enumerate([TOUTES, *sorted(k for k in n if k != TOUTES)]): lab, sig, both = n[k] print(f"{event if i == 0 else '':8}{k:24}{score.pct(both, lab):>20}{score.pct(both, sig):>20}") for s in sautes: print(s) def historiser(res, ver, seance, etape): os.makedirs(os.path.dirname(HISTORIQUE), exist_ok=True) neuf = not os.path.exists(HISTORIQUE) date = datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%MZ") with open(HISTORIQUE, "a", newline="", encoding="utf-8") as f: w = csv.writer(f) if neuf: w.writerow(("date", "seance", "etape", "version", "event", "categorie", "etiquetees", "signalees", "les_deux")) w.writerows((date, seance, etape, ver, event, k, *v) for event, n in res.items() for k, v in sorted(n.items())) if __name__ == "__main__": p = argparse.ArgumentParser(usage=__doc__) p.add_argument("--seance", default="—") p.add_argument("--etape", help="écrit les lignes dans l'historique sous cette étape (« lot-01 avant »…)") a = p.parse_args() res, sautes = mesurer() ver = version() afficher(res, sautes, ver) if a.etape: historiser(res, ver, a.seance, a.etape) print(f"historique : {os.path.relpath(HISTORIQUE, RACINE)}")