66 lines
3.2 KiB
Python
66 lines
3.2 KiB
Python
"""Benchmark de /detector-learner (D-116) : les détecteurs face à toutes les étiquettes de l'étiqueteur (labeling/auto/).
|
|
|
|
Pour chaque station de labeling/auto/ qui a son dossier dans data/, le score par famille et par instant de score.py
|
|
(D-112), sur la plage de ses étiquettes : du jour de la première à minuit après la dernière. Puis le total, famille par
|
|
famille, qui dit si les détecteurs font globalement mieux d'une séance à l'autre. Le bloc de la station de la séance est
|
|
son score ; les autres blocs, la non-régression : une famille qui recule sur une station est un recul, même si le total
|
|
monte. Avec --etape, chaque ligne (stations et Total) entre dans l'historique, detector-learner/historique.csv, avec la
|
|
version des détecteurs (score.version()).
|
|
Usage : python3 .claude/skills/detector-learner/regression.py [--seance <séance> --etape <étape>]
|
|
"""
|
|
import argparse
|
|
import csv
|
|
import glob
|
|
import json
|
|
import os
|
|
import sys
|
|
from datetime import datetime, timezone
|
|
|
|
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
|
|
import score # noqa: E402 (à côté)
|
|
|
|
HISTORIQUE = os.path.join(RACINE, "detector-learner", "historique.csv")
|
|
|
|
|
|
def plage(chemin):
|
|
"""labeling/auto/<STATION>.jsonl -> (début, fin) iso, en jours entiers UTC, fin exclue."""
|
|
with open(chemin, encoding="utf-8") as f:
|
|
etiq = [json.loads(l) for l in f if l.strip()]
|
|
du = min(e["debut"] for e in etiq)[:10]
|
|
fin = max(e["fin"] for e in etiq)
|
|
au = fin[:10] if fin[11:16] in ("", "00:00") else score.iso(score.instant(fin[:10]) + score.timedelta(days=1))[:10]
|
|
return score.iso(score.instant(du)), score.iso(score.instant(au))
|
|
|
|
|
|
if __name__ == "__main__":
|
|
p = argparse.ArgumentParser(usage=__doc__)
|
|
p.add_argument("--seance", default="")
|
|
p.add_argument("--etape")
|
|
a = p.parse_args()
|
|
total, res = {}, {}
|
|
for chemin in sorted(glob.glob(os.path.join(RACINE, "labeling", "auto", "*.jsonl"))):
|
|
station = os.path.basename(chemin)[:-len(".jsonl")]
|
|
dossier = os.path.join(RACINE, "data", station)
|
|
if not os.path.isdir(dossier):
|
|
print(f"{station} : pas de data/{station}/, sautée\n")
|
|
continue
|
|
du, au = plage(chemin)
|
|
n, etiq = score.familles_lot(dossier, du, au)
|
|
score.afficher(f"{station} : {du} → {au}, {len(etiq)} étiquettes", n)
|
|
print()
|
|
res[station] = n
|
|
for k, v in n.items():
|
|
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
|
|
score.afficher("Total", total)
|
|
if a.etape:
|
|
res["Total"] = total
|
|
os.makedirs(os.path.dirname(HISTORIQUE), exist_ok=True)
|
|
neuf = not os.path.exists(HISTORIQUE)
|
|
date, ver = datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%MZ"), score.version()
|
|
with open(HISTORIQUE, "a", newline="", encoding="utf-8") as f:
|
|
w = csv.writer(f)
|
|
if neuf:
|
|
w.writerow(("date", "seance", "etape", "version", "station", "famille", "etiquetees", "signalees", "les_deux"))
|
|
w.writerows((date, a.seance, a.etape, ver, st, k, *v) for st, n in res.items() for k, v in sorted(n.items()))
|
|
print(f"\nhistorique : {os.path.relpath(HISTORIQUE, RACINE)} (version {ver})")
|