Add the loop's end-of-session page and a detector benchmark on the case base
- End-of-session page for /boucle: the session's curves, the analyst's labels against the detectors' events per category, a plain score table and the benchmark (comparaison.py, D-066) - Detectors moved to vues-deplacements/detectors/ (D-067) - Detectors must detect everything; what the client sees is a separate layer (D-068) - Benchmark: each case keeps its labels from creation (etiquettes.json), benchmark.py scores the detectors on every case, history in vues-deplacements/benchmark/historique.csv; run by /boucle at each lot, after each change and at the end, read by the upgrader and validator; labels for C-001..C-005 from one analyst pass corrected by their files, C-006..C-008 from lot 01 (D-069) - Fixes from the releveur's notes: /boucle arguments and other sessions, branch name in the spec, detector name in categories.py output, learned case header, anonymiser.py (camera/, no empty CSVs, --etiquettes), ensemble.py (clock-aligned steps, title), plages.py (same-sign merge), labeling request written into /nouveau-cas - Also carries the other session's uncommitted D-065 edits in the same files; data/, .gitignore, pomper.py and stations.py are left out Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6b3d058a67
commit
d5bae7a696
57 files changed
+1727
-157
No files matched your search
@@ -0,0 +1,146 @@
|
||||
"""Sauts brutaux du journal du matin : corr_x / corr_y (px) de chaque cible, cadence native de l'export « advanced ».
|
||||
|
||||
1. Bruit de la série = médiane des écarts d'une mesure à la suivante ; saut = mesure à K bruits ou plus du niveau
|
||||
d'avant (médiane des BASE mesures précédentes) ; les BASE premières mesures, faute de niveau d'avant, face au niveau
|
||||
d'après (médiane des BASE suivantes), un écart y est un saut revenu aussitôt (point 12 du plan, 2026-10-24).
|
||||
2. Revenu (BASE mesures de suite à moins de la moitié du saut) en moins d'un jour, ou un jour après de retour à sa place
|
||||
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé (artefact).
|
||||
3. Sinon « Lasting shift », jamais grisé (peut-être un vrai mouvement) ; moins d'un jour de recul :
|
||||
« Jump, not back yet », pas grisé non plus.
|
||||
4. Les sauts qui se suivent à moins d'une heure, toutes cibles confondues, font un seul épisode (mode commun) ;
|
||||
une seule cible durable (ou trop récente) suffit à ne pas griser l'épisode.
|
||||
5. Références globales exclues ; mesures rejetées (corr vides) sautées.
|
||||
6. Pic commun (lot 01 de la boucle NORDEND, 2026-10-26) : au même instant, au moins PIC_MIN cibles s'écartent d'au moins
|
||||
K_PIC bruits de leurs deux mesures voisines, du même côté (toute l'image secouée un pas) : un saut revenu pour chacune,
|
||||
même sous K. Il entre dans les épisodes du point 4 (près d'un saut durable, il ne grise rien).
|
||||
|
||||
Résultats (2026-10-23, K = 20) :
|
||||
- C-001 PS des Coudres : rien (vérité : rien côté sauts).
|
||||
- C-002 NORDEND juillet : grisés 28/07 21:00 → 29/07 10:45 (18 cibles) et 30/07 13:30 → 31/07 01:15 (18) ; toile revenue
|
||||
31/07 20:30 : « not back yet » (13 cibles, 1 h avant la fin des données).
|
||||
- C-003 WILDSTRUBEL : un saut d'un pas grisé, 04/09 06:45 (le C2 de la fiche) ; les autres sont sur des références
|
||||
ou rejetés.
|
||||
- C-004 CLARIDEN : « Lasting shift » 19/09 06:10, 18 cibles, non grisé ; faux positif probable : une cible agitée seule,
|
||||
18/09 15:40, non grisé ; la dérive de nuit de corr_x (lente) n'est pas un saut.
|
||||
- C-005 NIEDERHORN : train du 01/10 12:00 grisé (1 cible sur 3 : les deux autres à 17 et 19 bruits) ; train du
|
||||
30/09 22:00 vu depuis le 2026-10-24 (2 cibles, première mesure de l'export) ; feuilles, pluie : rien (error_value, pas
|
||||
des sauts). Les trains sont de toute façon attrapés par visibilite (« Passing obstacle ») et le classement y absorbe
|
||||
leurs sauts : ne pas baisser K pour eux (point 12 du plan).
|
||||
- NORDEND octobre : PR17 seule en « Lasting shift » le 08/10 02:30 ; cinq épisodes communs grisés (07/10 19:45,
|
||||
08/10 07:15, 09/10 08:45 et 21:15, 14/10 05:15 : 4 à 15 cibles, aller-retour en moins de 5 h) ; PR15 08/10 04:45,
|
||||
un instant grisé.
|
||||
Pic commun (K_PIC = 6, PIC_MIN = 3, 2026-10-26) : NORDEND, lot du 01 au 04/09 : secousses du 03/09 13:30 (3 cibles) et
|
||||
16:45 (4) grisées, aussi 01/09 15:45 → 16:00 et 02/09 09:45, mêmes secousses d'un pas pendant la bascule de la caméra ;
|
||||
NORDEND octobre : un pic de 3 cibles le 13/10 12:30, et PR17 (08/10 02:30) groupé avec le pic de 02:15, « 3 targets,
|
||||
1 stayed shifted », toujours non grisé ; C-002, C-005 : pics absorbés par la toile et les trains ; C-004 : les pics du
|
||||
mouvement (19/09 06:30, 06:50) restent dans le « Lasting shift » ; C-001, C-003 : rien.
|
||||
"""
|
||||
import statistics
|
||||
import sys
|
||||
from datetime import timedelta
|
||||
from pathlib import Path
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[2] / "agents" / "diagnostic" / "outils"))
|
||||
import donnees # noqa: E402
|
||||
|
||||
K = 20 # provisoire, réglé sur C-001 : à 15, deux cibles saines y sont grisées (17 et 18 bruits) ; les trains de
|
||||
# C-005 (17 et 19 bruits) sont attrapés par visibilite : ne pas baisser K
|
||||
K_PIC = 6 # provisoire : pic d'un pas commun à plusieurs cibles (secousses de NORDEND, 6 à 11 bruits, lot 01 de la boucle)
|
||||
PIC_MIN = 3 # provisoire : cibles qui piquent au même pas pour un pic commun (une ou deux : bruit ordinaire)
|
||||
BASE = 4 # mesures qui font le niveau d'avant (1 h à 15 min)
|
||||
GAP = timedelta(hours=1) # deux sauts à moins d'une heure, toutes cibles confondues : un seul épisode
|
||||
BACK_H = 24 # provisoire : retour en moins d'un jour = artefact (C-002 : paliers jusqu'à 11 h 30)
|
||||
|
||||
|
||||
def _sauts(t, v):
|
||||
"""Une série (instants, valeurs) -> [(i début, i fin, état)], état 'back', 'lasting' ou 'recent'."""
|
||||
day = timedelta(hours=BACK_H)
|
||||
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
|
||||
# ponytail: place habituelle = premier jour de l'export, faux s'il commence dans un artefact
|
||||
ref = statistics.median(x for x, u in zip(v, t) if u < t[0] + day)
|
||||
# les BASE premières mesures, faute de niveau d'avant, face au niveau d'après : un écart y est revenu aussitôt
|
||||
out = [(k, k, "back") for k in range(min(BASE, len(v) - BASE))
|
||||
if noise and abs(v[k] - statistics.median(v[k + 1:k + 1 + BASE])) >= K * noise]
|
||||
i = BASE
|
||||
while noise and i < len(v):
|
||||
base = statistics.median(v[i - BASE:i])
|
||||
if abs(v[i] - base) < K * noise:
|
||||
i += 1
|
||||
continue
|
||||
tol = abs(v[i] - base) / 2 # revenu : BASE mesures de suite à moins de la moitié du saut du niveau d'avant
|
||||
j = next((k for k in range(i + 1, len(v)) if all(abs(x - base) < tol for x in v[k:k + BASE])), len(v))
|
||||
before = statistics.median([x for x, u in zip(v, t) if t[i] - day <= u < t[i]] or [base])
|
||||
after = statistics.median(x for x, u in zip(v, t) if t[i] <= u < t[i] + day)
|
||||
if j < len(v) and t[j] - t[i] <= day:
|
||||
state = "back"
|
||||
elif abs(after - ref) < tol or abs(after - before) < tol: # le jour d'après, la cible est à sa place
|
||||
state, j = "back", i + 1 # habituelle, ou là où elle était le jour d'avant : le saut finissait un creux
|
||||
else:
|
||||
state = "lasting" if t[-1] - t[i] >= day else "recent" # moins d'un jour de recul : on ne sait pas encore
|
||||
out.append((i, j - 1, state))
|
||||
i = j + BASE # niveau d'avant refait après le retour
|
||||
return out
|
||||
|
||||
|
||||
def _pics(t, v):
|
||||
"""Instants où la mesure s'écarte d'au moins K_PIC bruits de ses deux voisines, du même côté (pic d'un pas)."""
|
||||
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
|
||||
return [t[i] for i in range(1, len(v) - 1) if noise and (v[i] - v[i - 1]) * (v[i] - v[i + 1]) > 0
|
||||
and min(abs(v[i] - v[i - 1]), abs(v[i] - v[i + 1])) >= K_PIC * noise]
|
||||
|
||||
|
||||
def detect(mesures):
|
||||
"""{capteur: [mesure]} (donnees.charger) -> épisodes du journal, triés par début."""
|
||||
found = [] # (début, fin, état, capteur)
|
||||
pics = {} # instant -> cibles qui y font un pic d'un pas
|
||||
for name, ms in mesures.items():
|
||||
if donnees.est_reference(ms):
|
||||
continue
|
||||
for axe in ("corr_x", "corr_y"):
|
||||
kept = [m for m in ms if m[axe] is not None]
|
||||
if len(kept) <= BASE:
|
||||
continue
|
||||
t, v = [m["t"] for m in kept], [m[axe] for m in kept]
|
||||
# un saut qui n'est pas revenu finit avec lui-même, pas avec les données (sa barre cachait les autres)
|
||||
found += [(t[a], t[b] if state == "back" else t[a], state, name) for a, b, state in _sauts(t, v)]
|
||||
for u in _pics(t, v):
|
||||
pics.setdefault(u, set()).add(name)
|
||||
found += [(u, u, "back", s) for u, cs in pics.items() if len(cs) >= PIC_MIN for s in cs] # pic commun : revenu
|
||||
groups = [] # un saut qui n'est pas revenu ne compte que par son instant : sa fin est souvent celle des données
|
||||
for s, e, state, name in sorted(found):
|
||||
if groups and s <= groups[-1]["until"] + GAP:
|
||||
g = groups[-1]
|
||||
else:
|
||||
g = {"start": s, "end": e, "until": s, "sensors": {}}
|
||||
groups.append(g)
|
||||
g["end"], g["until"] = max(g["end"], e), max(g["until"], e if state == "back" else s)
|
||||
g["sensors"].setdefault(name, set()).add(state)
|
||||
return [_episode(g) for g in groups]
|
||||
|
||||
|
||||
def _episode(g):
|
||||
"""Un groupe -> épisode du journal ; un seul saut durable (ou trop récent) suffit à ne pas griser."""
|
||||
n = len(g["sensors"])
|
||||
lasting = sum("lasting" in st for st in g["sensors"].values())
|
||||
recent = any("recent" in st for st in g["sensors"].values())
|
||||
who = "One target" if n == 1 else f"{n} targets together (a single event)"
|
||||
if lasting:
|
||||
label = "Lasting shift"
|
||||
some = "" if lasting == n else f", {lasting} of them stayed shifted for more than a day"
|
||||
text = (f"{who} jumped{some}" if some else f"{who} jumped and stayed shifted for more than a day") + \
|
||||
": this may be a real movement, please check it."
|
||||
elif recent:
|
||||
label = "Jump, not back yet"
|
||||
text = f"{who} jumped less than a day before the last measurement and has not come back yet: check again later."
|
||||
else:
|
||||
label = "Sudden jump, back to normal"
|
||||
text = f"{who} jumped and came back within a day: most likely a measurement artefact, not a movement."
|
||||
return {"start": donnees.iso(g["start"]), "end": donnees.iso(g["end"]), "kind": "sauts", "label": label,
|
||||
"text": text, "ignore": not lasting and not recent, "sensors": sorted(g["sensors"]),
|
||||
"lasting": sorted(s for s, st in g["sensors"].items() if "lasting" in st)} # restées décalées (phrase du journal)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
for ep in detect(donnees.charger(sys.argv[1])):
|
||||
print(ep["start"], ep["end"], "ignore" if ep["ignore"] else "KEEP ", ep["label"], "|", len(ep["sensors"]),
|
||||
",".join(ep["sensors"][:6]), "|", ep["text"])
|
||||
Reference in new issue
Block a user