Detector-learner: one benchmark, scripts moved, critic with realistic suggestions (D-120)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 15:12:24 +01:00
1 parent 98be20a2bc
commit 98c3308ca7
14 files changed
+291 -284

No files matched your search

+11 -16
View File
@@ -1,12 +1,12 @@
"""Non-régression de /detector-learner (D-116) : les détecteurs face aux étiquettes de l'étiqueteur des autres stations.
"""Benchmark de /detector-learner (D-116) : les détecteurs face à toutes les étiquettes de l'étiqueteur (labeling/auto/).
Pour chaque station de labeling/auto/ (sauf --sauf) qui a son dossier dans data/, le score par famille et par instant
de score.py (D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la dernière. Puis le total,
famille par famille : le benchmark de /detector-learner, sur toutes les étiquettes de l'étiqueteur, qui dit si les
détecteurs font globalement mieux d'une séance à l'autre. Une famille qui recule sur une station est un recul, même si
le total monte. Avec --etape, chaque ligne (stations et Total) entre dans l'historique, detector-learner/historique.csv,
avec la version des détecteurs (benchmark.version()).
Usage : python3 .claude/skills/detector-learner/regression.py [--sauf STATION] [--seance <séance> --etape <étape>]
Pour chaque station de labeling/auto/ qui a son dossier dans data/, le score par famille et par instant de score.py
(D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la dernière. Puis le total, famille par
famille, qui dit si les détecteurs font globalement mieux d'une séance à l'autre. Le bloc de la station de la séance est
son score ; les autres blocs, la non-régression : une famille qui recule sur une station est un recul, même si le total
monte. Avec --etape, chaque ligne (stations et Total) entre dans l'historique, detector-learner/historique.csv, avec la
version des détecteurs (score.version()).
Usage : python3 .claude/skills/detector-learner/regression.py [--seance <séance> --etape <étape>]
"""
import argparse
import csv
@@ -14,11 +14,10 @@ import glob
import json
import os
import sys
from datetime import datetime, timezone
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "events-learner"))
import benchmark # noqa: E402
import score # noqa: E402
import score # noqa: E402 (à côté)
HISTORIQUE = os.path.join(RACINE, "detector-learner", "historique.csv")
@@ -35,17 +34,13 @@ def plage(chemin):
if __name__ == "__main__":
p = argparse.ArgumentParser(usage=__doc__)
p.add_argument("--sauf")
p.add_argument("--seance", default="")
p.add_argument("--etape")
a = p.parse_args()
sauf = a.sauf.upper() if a.sauf else None
total, res = {}, {}
for chemin in sorted(glob.glob(os.path.join(RACINE, "labeling", "auto", "*.jsonl"))):
station = os.path.basename(chemin)[:-len(".jsonl")]
dossier = os.path.join(RACINE, "data", station)
if station == sauf:
continue
if not os.path.isdir(dossier):
print(f"{station} : pas de data/{station}/, sautée\n")
continue
@@ -61,7 +56,7 @@ if __name__ == "__main__":
res["Total"] = total
os.makedirs(os.path.dirname(HISTORIQUE), exist_ok=True)
neuf = not os.path.exists(HISTORIQUE)
date, ver = benchmark.datetime.now(benchmark.timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), benchmark.version()
date, ver = datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), score.version()
with open(HISTORIQUE, "a", newline="", encoding="utf-8") as f:
w = csv.writer(f)
if neuf: