From 7e24df09a09f7d66771cfae42ef46faee3484aa7 Mon Sep 17 00:00:00 2001 From: maxime Date: Sat, 14 Nov 2026 15:47:51 +0100 Subject: [PATCH] =?UTF-8?q?Apr=C3=A8s=20l'audit=20du=20scan=20du=202026-11?= =?UTF-8?q?-06=20:=20error=5Fvalue=20des=20capteurs=20accept=C3=A9s,=2012?= =?UTF-8?q?=20capteurs=20nomm=C3=A9s,=20consignes=20du=20scanner=20(passag?= =?UTF-8?q?e=20non=20couvert,=20doublon=20gard=C3=A9,=20image=20par=20dout?= =?UTF-8?q?e=20de=20famille)=20;=20outils/=20:=20non=5Fcouverts.py=20par?= =?UTF-8?q?=20capteur,=20rejets=5Finstants.py,=20ev=5Ffenetres.py,=20horai?= =?UTF-8?q?re=5Fjours.py?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- .claude/agents/scanner.md | 8 ++--- batch.py | 7 +++-- outils/ev_fenetres.py | 16 ++++++++++ outils/horaire_jours.py | 18 +++++++++++ outils/non_couverts.py | 64 +++++++++++++++++++++------------------ outils/rejets_instants.py | 16 ++++++++++ 6 files changed, 93 insertions(+), 36 deletions(-) create mode 100644 outils/ev_fenetres.py create mode 100644 outils/horaire_jours.py create mode 100644 outils/rejets_instants.py diff --git a/.claude/agents/scanner.md b/.claude/agents/scanner.md index a6f6928..5629328 100644 --- a/.claude/agents/scanner.md +++ b/.claude/agents/scanner.md @@ -14,10 +14,10 @@ Tu es le scanner d'Optimizer, un critique léger des détecteurs. Sur un jour UT 1. les étiquettes, une ligne par famille, avec leur id court ; 2. et 3. `corr_x` et `corr_y` des cibles, chacune en écart à sa médiane du jour, en bruits propres ; entre les pointillés ±5, une courbe est calme ; écrêtées en haut et en bas ; le nom des cibles qui sortent le plus du calme ; les références ne sont pas tracées ; une mesure rejetée non plus : la courbe s'interrompt ; 4. le nombre de capteurs rejetés, les références en noir, les cibles en rouge, et manquants (gris) ; hachuré : aucune mesure d'aucun capteur ; - 5. la température du boîtier (rouge) et l'`error_value` rapportée à son seuil, médiane des capteurs (bleu ; 1 : le seuil). + 5. la température du boîtier (rouge) et l'`error_value` rapportée à son seuil, médiane des capteurs acceptés (bleu ; 1 : le seuil). - `/verite/.jsonl` : les étiquettes des détecteurs, une par ligne, `{"id", "debut", "fin", "categorie", "description"}`, que tu corriges. - `labeling/familles.md` : les familles et leurs frontières. **Lis-le en entier d'abord.** -- `data//images/` : les images de la caméra, `AAAAMMJJTHHMMZ_.jpg`, à peu près une par heure ; les trouver : `ls data//images/20261112T14*`. **Cinq images au plus pour tout le batch** : pour un doute de famille qu'une image peut trancher (un passage, un véhicule garé, une toile d'araignée devant une référence), regarde celle de l'heure avant d'y renoncer. +- `data//images/` : les images de la caméra, `AAAAMMJJTHHMMZ_.jpg`, à peu près une par heure ; les trouver : `ls data//images/20261112T14*`. **Cinq images au plus pour tout le batch, et chaque doute de famille en demande une** (un passage, un véhicule garé, une toile d'araignée devant une référence, un saut sans cause) : regarde celle de l'heure ; un doute de famille sans image regardée dit pourquoi (pas d'images pour cette station, les cinq déjà prises). Tu ne lis jamais les CSV de `data/`, ni le code des détecteurs. @@ -28,8 +28,8 @@ Ce qui rend `corr_x` ou `corr_y` non plates (un pic, un saut, une dérive, du br ## Les irrégularités - **raté** : les courbes sortent du calme, ou manquent, et aucune étiquette ne l'explique. Ce qui tombe sous une étiquette longue d'une autre famille (Thermal displacement, une Visibility de plusieurs heures) et s'en distingue (un rejet bref, un saut qui revient) est un raté. -- **trop** : une étiquette sur des courbes calmes, mesures présentes et acceptées (hors Thermal displacement) ; un `No data` alors que les mesures sont là ; deux étiquettes de la même famille sur les mêmes heures (l'une est de trop). -- **bornes** : une étiquette qui commence ou finit à plus d'une heure, et à plus d'une mesure, de ce que montrent les courbes. Moins : pas une irrégularité, la figure n'est pas assez fine. +- **trop** : une étiquette sur des courbes calmes, mesures présentes et acceptées (hors Thermal displacement) ; un `No data` alors que les mesures sont là ; deux étiquettes de la même famille sur les mêmes heures (l'une est de trop : retire la grisée, garde celle montrée au client ; si la famille des deux est fausse, c'est un cas famille sur celle que tu gardes). +- **bornes** : une étiquette qui commence ou finit à plus d'une heure, et à plus d'une mesure, de ce que montrent les courbes. Moins : pas une irrégularité, la figure n'est pas assez fine. Un passage à part (des rejets, une référence rejetée et toutes les cibles qui sautent) qu'aucune étiquette ne couvre n'est pas une affaire de bornes de l'étiquette voisine : c'est un raté, si près soit-elle. - **famille** : la forme dit une autre famille, selon `labeling/familles.md` (une ou quelques cibles qui s'écartent, le reste calme ; toute la scène, `error_value` qui monte, beaucoup de rejets ; une onde qui suit la température ; un saut qui dure ; aucune mesure d'aucun capteur). Trois signatures trompeuses : une référence rejetée (noir) quand toutes les cibles sautent ensemble puis reviennent, c'est un passage devant la référence, Obstruction ; un même groupe de cibles rejeté par moments, le reste mesuré, même la moitié de la scène, Obstruction ; une agitation de jour sans que l'`error_value` monte, thermique, pas Visibility. Ne sont pas des irrégularités : un trou aux mêmes heures sur plusieurs stations (une cause commune, `No data` reste juste) ; un trou à la toute fin du jour (les données ne sont peut-être pas encore pompées). diff --git a/batch.py b/batch.py index e3be86a..3b6a8d5 100644 --- a/batch.py +++ b/batch.py @@ -52,7 +52,7 @@ PAS = 0.25 # heures : le pas de la figure, 15 min, la cadence de la plupart des def capteurs(v): s = v["sensors"] - return "tous les capteurs" if not s else ", ".join(s) if len(s) <= 6 else f"{len(s)} capteurs" + return "tous les capteurs" if not s else ", ".join(s) if len(s) <= 12 else f"{len(s)} capteurs" # 12 : un groupe se reconnaît def etiquettes(station, mesures, d): @@ -193,14 +193,15 @@ def figure(station, mesures, temperature, labels, d, chemin): rapports = {} for s in actifs: for m in par[s]: - if m["error_value"] is not None and m["error_threshold"]: + if m["error_value"] is not None and m["error_threshold"] and not rejected(m): # un rejeté est au-dessus par + # définition, parfois figé : la moitié de la scène cachée faisait un pic de toute la scène (essai du 06) rapports.setdefault(case(m["t"]), []).append(m["error_value"] / m["error_threshold"]) a2 = ax[4].twinx() if rapports: a2.plot(*zip(*coupe([(centre(k), statistics.median(r)) for k, r in sorted(rapports.items())], station_pas)), color="tab:blue", lw=1) a2.axhline(1, color="tab:blue", ls=":", lw=0.8) - a2.set_ylabel("error_value / seuil\n(médiane des capteurs)", fontsize=8, color="tab:blue") + a2.set_ylabel("error_value / seuil\n(médiane des capteurs\nacceptés)", fontsize=8, color="tab:blue") ax[-1].set_xlim(0, 24) ax[-1].set_xticks(range(0, 25, 2), [f"{h:02d}:00" for h in range(0, 25, 2)]) diff --git a/outils/ev_fenetres.py b/outils/ev_fenetres.py new file mode 100644 index 0000000..0753844 --- /dev/null +++ b/outils/ev_fenetres.py @@ -0,0 +1,16 @@ +# ev/seuil médian et part rejetée par capteur sur des fenêtres horaires du jour : STATION "HH-HH,HH-HH,..." (JOUR=AAAA-MM-JJ). +import statistics, sys +import os +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) # outils.py, à côté +from outils import D, station, rejected +from datetime import timedelta +nom, fen = sys.argv[1], [tuple(int(h) for h in f.split("-")) for f in sys.argv[2].split(",")] +m, refs = station(nom) +print("capteur".ljust(18), *[f"{a:02d}-{b:02d}h".rjust(12) for a, b in fen]) +for s in sorted(m, key=lambda s: (s not in refs, s)): + cells = [] + for a, b in fen: + xs = [x for x in m[s] if D + timedelta(hours=a) <= x["t"] < D + timedelta(hours=b)] + ev = [x["error_value"] / x["error_threshold"] for x in xs if x["error_value"] is not None and x["error_threshold"]] + cells.append(f"{statistics.median(ev) if ev else float('nan'):.2f} r{sum(map(rejected, xs))}/{len(xs)}".rjust(12)) + print((s + (" (R)" if s in refs else "")).ljust(18), *cells) diff --git a/outils/horaire_jours.py b/outils/horaire_jours.py new file mode 100644 index 0000000..4d9e765 --- /dev/null +++ b/outils/horaire_jours.py @@ -0,0 +1,18 @@ +# Médiane horaire d'une colonne pour quelques capteurs, sur plusieurs jours (STATION COL CAPTEUR[,CAPTEUR] J0 J1 [H0 H1]) : le même motif revient-il chaque jour ? +import statistics, sys +from datetime import datetime, timezone +import os +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) # outils.py, à côté +from outils import station +nom, col, caps, j0, j1 = sys.argv[1:6] +h0, h1 = (int(x) for x in sys.argv[6:8]) if len(sys.argv) > 7 else (0, 24) +m, _ = station(nom) +for s in caps.split(","): + par = {} + for x in m[s]: + j = x["t"].strftime("%m-%d") + if j0 <= j <= j1 and h0 <= x["t"].hour < h1 and x[col] is not None: + par.setdefault(j, {}).setdefault(x["t"].hour, []).append(x[col]) + print(s, col, "heures", h0, "à", h1 - 1) + for j in sorted(par): + print(" ", j, " ".join(f"{statistics.median(par[j][h]):+.3f}" if h in par[j] else " - " for h in range(h0, h1))) diff --git a/outils/non_couverts.py b/outils/non_couverts.py index 1b32bfc..5c6b3ec 100644 --- a/outils/non_couverts.py +++ b/outils/non_couverts.py @@ -1,21 +1,28 @@ -# Les instants anormaux qu'aucune étiquette de la vérité (hors Thermal) ne couvre, toutes stations : rejets non habituels, ou cibles qui sautent face à leur niveau local (±6 mesures), en bruits. -import json -import statistics -import sys -from pathlib import Path +# Les instants anormaux (rejets non habituels, cibles qui sautent face à leur niveau local) qu'aucune étiquette de la vérité ne couvre, toutes stations (JOUR=AAAA-MM-JJ) ; une étiquette ne couvre que ses capteurs (lus dans « Détecteurs : variété, capteurs ») ; « N capteurs », « tous » ou une ligne du scanner couvrent tout ; une référence rejetée couverte couvre les sauts de l'instant. Hors Thermal. STATION... (JOUR=AAAA-MM-JJ). +import json, re, statistics, sys +import os +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) # outils.py, à côté from outils import D, B, RACINE, station, bruit, hhmm, rejected, iso - BATCH = RACINE / "batches" / iso(D)[:10] -K, N = 10, 3 # un saut : au moins N cibles à plus de K bruits de leur niveau local -stations = sys.argv[1:] or sorted(p.stem for p in (BATCH / "verite").glob("*.jsonl")) -for nom in stations: +K, N = 10, 3 + +def capteurs(e): + m = re.match(r"Détecteurs : [^,]+, (.*?)(, grisé)?\. ", e["description"]) + if not m or re.fullmatch(r"\d+ capteurs|tous les capteurs", m.group(1)): + return None # tout + return set(m.group(1).split(", ")) + +for nom in sys.argv[1:]: labels = [json.loads(l) for l in open(BATCH / "verite" / f"{nom}.jsonl") if l.strip()] - labels = [e for e in labels if e["categorie"] not in ("Thermal displacement",)] + labels = [(e, capteurs(e)) for e in labels if e["categorie"] != "Thermal displacement"] m, refs = station(nom) jour = {s: [x for x in ms if D <= x["t"] < B] for s, ms in m.items()} habituel = {s for s, ms in jour.items() if ms and sum(map(rejected, ms)) > 0.5 * len(ms)} - par = {} + sauts, rej = {}, {} for s, ms in jour.items(): + for x in ms: + if rejected(x) and s not in habituel: + rej.setdefault(x["t"], set()).add(s) if s in refs: continue for col in ("corr_x", "corr_y"): @@ -23,22 +30,21 @@ for nom in stations: if not b: continue for i, x in enumerate(ms): - voisins = [y[col] for y in ms[max(0, i - 6):i] + ms[i + 1:i + 7] if y[col] is not None] - if x[col] is not None and len(voisins) >= 4 and abs(x[col] - statistics.median(voisins)) > K * b: - par.setdefault(x["t"], set()).add(s) - rej = {} - for s, ms in jour.items(): - for x in ms: - if rejected(x) and s not in habituel: - rej.setdefault(x["t"], set()).add(s) - sorties = [] - for t in sorted(set(par) | set(rej)): - sauts, r = par.get(t, set()), rej.get(t, set()) - if len(sauts) < N and not r: + v = [y[col] for y in ms[max(0, i - 6):i] + ms[i + 1:i + 7] if y[col] is not None] + if x[col] is not None and len(v) >= 4 and abs(x[col] - statistics.median(v)) > K * b: + sauts.setdefault(x["t"], set()).add(s) + print(f"== {nom} (rejet habituel : {sorted(habituel)})") + for t in sorted(set(sauts) | set(rej)): + S, r = set(sauts.get(t, ())), set(rej.get(t, ())) + if len(S) < N and not r: continue - if any(e["debut"] <= iso(t) <= e["fin"] for e in labels): - continue - sorties.append(f"{hhmm(t)} sauts={len(sauts)} rejets={sorted(r)[:4]}{'…' if len(r) > 4 else ''}") - print(f"== {nom} (rejet habituel : {sorted(habituel)}) : {len(sorties)} instants non couverts") - for l in sorties[:80]: - print(" ", l) + for e, c in labels: + if e["debut"] <= iso(t) <= e["fin"]: + if c is None: + S, r = set(), set() + break + if c & r & refs: + S = set() + S -= c; r -= c + if len(S) >= N or r: + print(f" {hhmm(t)} sauts={len(S)} rejets={sorted(r)[:5]}") diff --git a/outils/rejets_instants.py b/outils/rejets_instants.py new file mode 100644 index 0000000..5c46707 --- /dev/null +++ b/outils/rejets_instants.py @@ -0,0 +1,16 @@ +# Par instant d'une plage (STATION HH:MM HH:MM) : capteurs rejetés (noms abrégés, R = référence) et nombre de capteurs mesurés (JOUR=AAAA-MM-JJ). +import sys +import os +sys.path.insert(0, os.path.dirname(os.path.abspath(__file__))) # outils.py, à côté +from outils import D, B, station, rejected, hhmm +nom, de, a = sys.argv[1:4] +m, refs = station(nom) +par = {} +for s, ms in m.items(): + for x in ms: + if D <= x["t"] < B and de <= hhmm(x["t"]) <= a: + par.setdefault(x["t"], {})[s] = x +court = lambda s: s.replace("28DEF_RERA_CAM01_", "") + ("(R)" if s in refs else "") +for t in sorted(par): + r = sorted(court(s) for s, x in par[t].items() if rejected(x)) + print(hhmm(t), f"n={len(par[t])}", f"rej={len(r)}", " ".join(r))