Add the loop's end-of-session page and a detector benchmark on the case base
- End-of-session page for /boucle: the session's curves, the analyst's labels against the detectors' events per category, a plain score table and the benchmark (comparaison.py, D-066) - Detectors moved to vues-deplacements/detectors/ (D-067) - Detectors must detect everything; what the client sees is a separate layer (D-068) - Benchmark: each case keeps its labels from creation (etiquettes.json), benchmark.py scores the detectors on every case, history in vues-deplacements/benchmark/historique.csv; run by /boucle at each lot, after each change and at the end, read by the upgrader and validator; labels for C-001..C-005 from one analyst pass corrected by their files, C-006..C-008 from lot 01 (D-069) - Fixes from the releveur's notes: /boucle arguments and other sessions, branch name in the spec, detector name in categories.py output, learned case header, anonymiser.py (camera/, no empty CSVs, --etiquettes), ensemble.py (clock-aligned steps, title), plages.py (same-sign merge), labeling request written into /nouveau-cas - Also carries the other session's uncommitted D-065 edits in the same files; data/, .gitignore, pomper.py and stations.py are left out Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6b3d058a67
commit
d5bae7a696
57 files changed
+1727
-157
No files matched your search
@@ -3,10 +3,13 @@ des codes stables (D-049, D-050).
|
||||
|
||||
Usage :
|
||||
python3 .claude/skills/anonymiser-cas/anonymiser.py data/<STATION>/ agents/diagnostic/cas/C-xxx/ [--du T] [--au T]
|
||||
copie displacement/ et images/ de la station dans le cas, noms codés dans les CSV et les noms de fichiers ;
|
||||
[--etiquettes <lot>/etiquettes.json]
|
||||
copie displacement/, camera/ (pompage) et images/ de la station dans le cas, noms codés dans les CSV et les noms de fichiers ;
|
||||
avec --du / --au (2026-10-07T12:00Z), seulement les lignes et les images de [du, au) : un cas n'a pas besoin
|
||||
des centaines d'images d'un long export (cas appris par la boucle, D-057) ;
|
||||
dans les .md du cas et cas/INDEX.md, data/<STATION>/ devient le dossier du cas et chaque nom son code ;
|
||||
avec --etiquettes, les moments de l'analyste qui touchent [du, au), bornés à la fenêtre et codés, deviennent
|
||||
etiquettes.json du cas : son diagnostic à la création, que le benchmark compare aux détecteurs (point 48) ;
|
||||
dans les .md, .csv et .json du cas et cas/INDEX.md, data/<STATION>/ devient le dossier du cas et chaque nom son code ;
|
||||
échoue s'il reste un nom réel
|
||||
python3 .claude/skills/anonymiser-cas/anonymiser.py --test
|
||||
Codes : la station devient C-xxx ; R1, R2... pour les références et C1, C2... pour les cibles, par station.
|
||||
@@ -14,6 +17,7 @@ Le registre (registre.csv, à côté) ne fait que grandir : un capteur garde son
|
||||
<station>,<station>,C-xxx dit de quelle station vient chaque cas.
|
||||
"""
|
||||
import csv
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import shutil
|
||||
@@ -23,9 +27,10 @@ ICI = os.path.dirname(os.path.abspath(__file__))
|
||||
RACINE = os.path.normpath(os.path.join(ICI, "..", "..", ".."))
|
||||
REGISTRE = os.path.join(ICI, "registre.csv")
|
||||
INDEX = os.path.join(RACINE, "agents", "diagnostic", "cas", "INDEX.md")
|
||||
DONNEES = ("displacement", "images") # ce que lisent les outils de l'agent ; le reste de data/<STATION>/ ne suit pas
|
||||
DONNEES = ("displacement", "camera", "images") # ce que lisent les outils, et les poses de la caméra (pompage) ;
|
||||
# le reste de data/<STATION>/ ne suit pas
|
||||
sys.path.insert(0, os.path.join(RACINE, "agents", "diagnostic", "outils"))
|
||||
from donnees import charger, est_reference, heure_image, instant, trouver # noqa: E402
|
||||
from donnees import charger, est_reference, heure_image, instant, iso, trouver # noqa: E402
|
||||
|
||||
|
||||
def codes(dossier, cas_id):
|
||||
@@ -105,7 +110,18 @@ def garder_image(nom, du, au):
|
||||
return t is None or dans(t, du, au)
|
||||
|
||||
|
||||
def anonymiser(dossier, cas, du=None, au=None):
|
||||
def etiquettes_du_cas(chemin, du, au):
|
||||
"""Étiquettes d'un lot (D-061) -> texte JSON de celles du cas : les moments qui touchent [du, au), bornés à la
|
||||
fenêtre ; les noms restent réels (remplacer les code ensuite)."""
|
||||
with open(chemin, encoding="utf-8") as f:
|
||||
lot = json.load(f)
|
||||
a, b = iso(du) if du else lot["debut"], iso(au) if au else lot["fin"]
|
||||
moments = [dict(m, debut=max(m["debut"], a), fin=min(m["fin"], b))
|
||||
for m in lot["moments"] if m["fin"] >= a and m["debut"] < b]
|
||||
return json.dumps(dict(lot, debut=a, fin=b, moments=moments), ensure_ascii=False, indent=1) + "\n"
|
||||
|
||||
|
||||
def anonymiser(dossier, cas, du=None, au=None, etiquettes=None):
|
||||
cas_id = os.path.basename(os.path.normpath(cas))
|
||||
if not re.fullmatch(r"C-\d{3}", cas_id):
|
||||
sys.exit(f"Le dossier du cas doit s'appeler C-xxx : {cas}")
|
||||
@@ -121,12 +137,16 @@ def anonymiser(dossier, cas, du=None, au=None):
|
||||
dst = os.path.join(cas, remplacer(os.path.relpath(src, dossier), table, station))
|
||||
os.makedirs(os.path.dirname(dst), exist_ok=True)
|
||||
if f.endswith(".csv"):
|
||||
ecrire(dst, remplacer(filtrer_csv(lire(src), du, au), table, station))
|
||||
texte = filtrer_csv(lire(src), du, au)
|
||||
if len(texte.splitlines()) > 1: # un CSV par jour hors de la fenêtre : rien, pas un en-tête seul
|
||||
ecrire(dst, remplacer(texte, table, station))
|
||||
elif garder_image(f, du, au):
|
||||
shutil.copy2(src, dst)
|
||||
if etiquettes: # le diagnostic du cas à sa création (point 48 : benchmark des détecteurs)
|
||||
ecrire(os.path.join(cas, "etiquettes.json"), remplacer(etiquettes_du_cas(etiquettes, du, au), table, station))
|
||||
|
||||
def textes():
|
||||
return [os.path.join(r, f) for r, _, fs in os.walk(cas) for f in fs if f.endswith((".md", ".csv"))] + [INDEX]
|
||||
return [os.path.join(r, f) for r, _, fs in os.walk(cas) for f in fs if f.endswith((".md", ".csv", ".json"))] + [INDEX]
|
||||
|
||||
chemin = re.compile(rf"data/{re.escape(station)}/?")
|
||||
for p in textes():
|
||||
@@ -160,6 +180,15 @@ def _test():
|
||||
assert filtrer_csv("timestamp,a\r\n2026-10-07 13:00:00,1\r\n", du, au) == "timestamp,a\r\n2026-10-07 13:00:00,1\r\n"
|
||||
assert garder_image("20261007T1200Z_1.jpg", du, au) and not garder_image("20261008T0000Z_2.jpg", du, au)
|
||||
assert garder_image("sans_heure.jpg", du, au)
|
||||
import tempfile
|
||||
with tempfile.NamedTemporaryFile("w", suffix=".json", delete=False, encoding="utf-8") as f:
|
||||
json.dump({"station": "S", "debut": "2026-10-07T00:00Z", "fin": "2026-10-09T00:00Z", "moments": [
|
||||
{"debut": "2026-10-07T10:00Z", "fin": "2026-10-07T13:00Z", "capteurs": ["BJ_C"]},
|
||||
{"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:00Z", "capteurs": []}]}, f)
|
||||
e = json.loads(etiquettes_du_cas(f.name, du, au))
|
||||
os.remove(f.name)
|
||||
assert (e["debut"], e["fin"]) == ("2026-10-07T12:00Z", "2026-10-08T00:00Z")
|
||||
assert [(m["debut"], m["fin"]) for m in e["moments"]] == [("2026-10-07T12:00Z", "2026-10-07T13:00Z")]
|
||||
print("ok")
|
||||
|
||||
|
||||
@@ -173,5 +202,6 @@ if __name__ == "__main__":
|
||||
p.add_argument("cas")
|
||||
p.add_argument("--du", type=instant, help="premier instant gardé, UTC")
|
||||
p.add_argument("--au", type=instant, help="premier instant exclu, UTC")
|
||||
p.add_argument("--etiquettes", help="etiquettes.json du lot : ses moments dans [du, au) deviennent ceux du cas")
|
||||
a = p.parse_args()
|
||||
anonymiser(a.dossier, a.cas, a.du, a.au)
|
||||
anonymiser(a.dossier, a.cas, a.du, a.au, a.etiquettes)
|
||||
Reference in new issue
Block a user