From 99742c55c879e334df36d5c426edc8351c656d47 Mon Sep 17 00:00:00 2001 From: maxime Date: Thu, 5 Nov 2026 11:43:19 +0100 Subject: [PATCH] Detector-learner Obstruction: modification 1, S3 Co-Authored-By: Claude Opus 5.5 --- .../benchmark-1-S3.txt | 101 ++++++++++++++++++ detectors/categories.py | 12 ++- detectors/obstruction.py | 15 ++- detectors/visibility.py | 16 +++ .../contexte/seuils-du-journal.md | 4 +- 5 files changed, 133 insertions(+), 15 deletions(-) create mode 100644 detector-learner/2026-11-05T0954Z_Obstruction/benchmark-1-S3.txt diff --git a/detector-learner/2026-11-05T0954Z_Obstruction/benchmark-1-S3.txt b/detector-learner/2026-11-05T0954Z_Obstruction/benchmark-1-S3.txt new file mode 100644 index 0000000..42ac623 --- /dev/null +++ b/detector-learner/2026-11-05T0954Z_Obstruction/benchmark-1-S3.txt @@ -0,0 +1,101 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes + trouvées justes + Displacement 168/168 (100 %) 168/171 (98 %) + No data 2/2 (100 %) 2/2 (100 %) + Obstruction 40/48 (83 %) 40/40 (100 %) + Thermal displacement 0/21 (0 %) — + Visibility — 0/25 (0 %) + +CLARIDEN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 43 étiquettes + trouvées justes + Displacement 2578/3091 (83 %) 2578/2601 (99 %) + No data 6/20 (30 %) 6/12 (50 %) + Obstruction 1/5 (20 %) 1/5 (20 %) + Target issue 4068/4068 (100 %) 4068/4069 (100 %) + Thermal displacement 13/42 (31 %) 13/204 (6 %) + Visibility 3/87 (3 %) 3/3 (100 %) + +FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes + trouvées justes + Displacement 0/41 (0 %) 0/15 (0 %) + No data 4/21 (19 %) 4/4 (100 %) + Obstruction 0/2 (0 %) 0/13 (0 %) + Target issue 2913/2913 (100 %) 2913/2914 (100 %) + Thermal displacement 613/1047 (59 %) 613/737 (83 %) + Visibility 381/598 (64 %) 381/381 (100 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes + trouvées justes + Displacement — 0/19 (0 %) + No data 4/29 (14 %) 4/4 (100 %) + Obstruction 1/1 (100 %) 1/158 (1 %) + Target issue 3005/3005 (100 %) 3005/3006 (100 %) + Thermal displacement 939/2557 (37 %) 939/1091 (86 %) + Visibility 305/669 (46 %) 305/315 (97 %) + +LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes + trouvées justes + Displacement — 0/4640 (0 %) + No data 12/615 (2 %) 12/16 (75 %) + Obstruction 19/47 (40 %) 19/84 (23 %) + Thermal displacement 1744/1925 (91 %) 1744/4230 (41 %) + Visibility 915/1886 (49 %) 915/1077 (85 %) + +MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes + trouvées justes + Displacement 130/130 (100 %) 130/171 (76 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/147 (90 %) 132/132 (100 %) + Thermal displacement 19/25 (76 %) 19/46 (41 %) + +NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes + trouvées justes + Displacement 165/165 (100 %) 165/171 (96 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/132 (100 %) 132/132 (100 %) + Thermal displacement 8/20 (40 %) 8/13 (62 %) + +NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes + trouvées justes + Displacement 3/48 (6 %) 3/16 (19 %) + No data 2/26 (8 %) 2/2 (100 %) + Obstruction 75/156 (48 %) 75/167 (45 %) + Target issue 719/719 (100 %) 719/720 (100 %) + Thermal displacement 156/267 (58 %) 156/167 (93 %) + Visibility 25/104 (24 %) 25/28 (89 %) + +NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes + trouvées justes + Displacement 2/12 (17 %) 2/38 (5 %) + No data 10/58 (17 %) 10/10 (100 %) + Obstruction 635/2625 (24 %) 635/1873 (34 %) + Target issue 2097/7183 (29 %) 2097/2097 (100 %) + Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %) + Visibility 679/1950 (35 %) 679/1138 (60 %) + +SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes + trouvées justes + Displacement 2111/2111 (100 %) 2111/2112 (100 %) + No data 10/30 (33 %) 10/16 (62 %) + Obstruction 20/22 (91 %) 20/431 (5 %) + Target issue 2111/2111 (100 %) 2111/2112 (100 %) + Thermal displacement 891/1726 (52 %) 891/893 (100 %) + Visibility 0/761 (0 %) — + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes + trouvées justes + Displacement 550/579 (95 %) 550/1833 (30 %) + No data 21/31 (68 %) 21/30 (70 %) + Obstruction 253/1026 (25 %) 253/482 (52 %) + Target issue 350/2091 (17 %) 350/350 (100 %) + Thermal displacement 331/845 (39 %) 331/342 (97 %) + Visibility 420/1152 (36 %) 420/429 (98 %) + +Total + trouvées justes + Displacement 5707/6345 (90 %) 5707/11787 (48 %) + No data 75/836 (9 %) 75/100 (75 %) + Obstruction 1044/3932 (27 %) 1044/3253 (32 %) + Target issue 15527/22369 (69 %) 15527/15532 (100 %) + Thermal displacement 7920/15887 (50 %) 7920/10951 (72 %) + Visibility 2728/7207 (38 %) 2728/3396 (80 %) diff --git a/detectors/categories.py b/detectors/categories.py index 30c95d6..17a16e8 100644 --- a/detectors/categories.py +++ b/detectors/categories.py @@ -12,9 +12,10 @@ thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événe (la courbe d'une cible à problème est à ignorer, familles.md) ; - un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ; - une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ; -- deux événements de même sorte à moins de MERGE n'en font qu'un ; deux Target obscured, seulement s'ils partagent un - capteur (/detector-learner Obstruction, modification 1, S1 : des cibles différentes enchaînées en un événement de - plusieurs jours). +- deux événements de même sorte à moins de MERGE n'en font qu'un ; deux Obstruction (Target obscured, Brief + obstruction), seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1 : S1, des cibles + différentes enchaînées en un événement de plusieurs jours ; S3, des passages de quelques minutes en une heure entière) ; + un passage n'absorbe que les sauts revenus dans MERGE après son instant (S3 : pas le saut de 30 h d'une autre cible). Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne « Pour le client » de familles.md ; la cause n'est dite que si la sorte l'établit, sinon les images la montrent. Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur. @@ -165,7 +166,8 @@ def classer(episodes, references=frozenset()): # plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003) hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique) host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h)) - and (h["label"] != "Brief obstruction" or e["start"] == h["start"])), None) + and (h["label"] != "Brief obstruction" or e["start"] == h["start"] + and datetime.fromisoformat(e["end"]) - datetime.fromisoformat(h["start"]) <= MERGE)), None) for e in eps if e["label"] == SAUT} # une dérive ou un saut revenu dont toutes les cibles sont dans un épisode Target issue qui le chevauche : sa courbe # est à ignorer, il en prend la famille (/detector-learner Displacement, modification 1, S6) @@ -178,7 +180,7 @@ def classer(episodes, references=frozenset()): groupes[id(host[id(e)])].append(e) merged = [] for g in groupes.values(): - prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0]) and (g[0]["label"] != "Target obscured" + prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0]) and (g[0]["kind"] != "Obstruction" or set(g[0]["sensors"]) & {s for e in m for s in e["sensors"]})), None) end = max((e["end"] for e in prev if sorte(e) == sorte(g[0])), default=None) if prev else None if end and datetime.fromisoformat(g[0]["start"]) - datetime.fromisoformat(end) < MERGE: diff --git a/detectors/obstruction.py b/detectors/obstruction.py index f546236..d8fe016 100644 --- a/detectors/obstruction.py +++ b/detectors/obstruction.py @@ -3,10 +3,10 @@ cibles, un instant ou longtemps. Il reprend deux calculs partagés avec d'autres - l'error_value de visibility.py : Brief obstruction (un passage, un instant) et Target obscured (une cible rejetée à répétition quand les autres restent vues, ou une gêne qui ne touche que quelques cibles, sans référence) ; - les rejets jour après jour de target_issue.py : une cible rejetée moins d'une semaine, Target obscured. -Un capteur déjà dans un épisode Target issue (Degraded target, Target stuck) qui le chevauche n'est pas rendu en Target -obscured : sa courbe est déjà à ignorer, la famille est Target issue (frontière « Target issue ou épisode d'une autre -famille » de labeling/familles.md ; /detector-learner Obstruction, modification 1, S1 : cibles à problème de FLORIDA, -NORDEND, SNCF01, NIEDERHORN, JUNGFRAU, CLARIDEN découpées en Target obscured). +Un capteur déjà dans un épisode Target issue (Degraded target, Target stuck) qui le chevauche n'est pas rendu en +Obstruction : sa courbe est déjà à ignorer, la famille est Target issue (frontière « Target issue ou épisode d'une autre +famille » de labeling/familles.md ; /detector-learner Obstruction, modification 1 : S1, cibles à problème de FLORIDA, +NORDEND, SNCF01, NIEDERHORN, JUNGFRAU, CLARIDEN découpées en Target obscured ; S3, leurs rejets isolés en Brief obstruction). Usage : python3 detectors/obstruction.py (affiche les épisodes) """ import os @@ -26,10 +26,9 @@ def detect(mesures): for e in visibility.episodes(mesures) + ti: if e["kind"] != "Obstruction": continue - if e["label"] == "Target obscured": # sans les capteurs déjà en Target issue à ce moment - pris = {s for h in issues if h["start"] <= e["end"] and h["end"] >= e["start"] for s in h["sensors"]} - if not (e := {**e, "sensors": [s for s in e["sensors"] if s not in pris]})["sensors"]: - continue + pris = {s for h in issues if h["start"] <= e["end"] and h["end"] >= e["start"] for s in h["sensors"]} + if not (e := {**e, "sensors": [s for s in e["sensors"] if s not in pris]})["sensors"]: # sans les capteurs déjà + continue # en Target issue out.append(e) return sorted(out, key=lambda e: e["start"]) diff --git a/detectors/visibility.py b/detectors/visibility.py index 2d8f67d..32f0242 100644 --- a/detectors/visibility.py +++ b/detectors/visibility.py @@ -13,6 +13,11 @@ Méthode (seuils provisoires ci-dessous) : BREF_MIN cibles sont rejetées (> error_threshold) à cet instant et ni à l'instant d'avant ni à celui d'après : un passage devant elles, une référence touchée en plus (/detector-learner Displacement, modification 1, S5 : trains de NIEDERHORN, 12 et 13 cibles rejetées ; NORDEND le 01.09 11:15 n'a aucun rejet). + Aussi, un passage devant une ou deux cibles, ou une seule référence : à un instant, moins de BREF_MIN capteurs + rejetés à plus de FACTEUR fois leur médiane (sans K_MAD : de jour, la turbulence gonfle la MAD), au plus une + référence, aucun d'eux rejeté à l'instant d'avant ni à celui d'après, et moins de BREF_MIN capteurs hauts + (/detector-learner Obstruction, modification 1, S3 : véhicules, passants, insectes devant une ou deux cibles de + WILDSTRUBEL, NIEDERHORN, LENZSPITZE ; une référence cachée par un camion à JUNGFRAU, BREITHORN). 3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées. 4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h @@ -128,6 +133,7 @@ def episodes(mesures): hautes, rejets = {}, {} # capteur -> [t] refuses = set() # instants où une cible (pas une global_ref) est au-dessus de son seuil rejetees = {} # t -> {cibles au-dessus de leur seuil} + forts, refus = {}, {} # t -> {capteurs rejetés à plus de FACTEUR fois leur médiane}, {capteurs rejetés} for s, v in mesures.items(): e = [m["error_value"] for m in v if m["error_value"] is not None] if len(e) < 10: @@ -144,6 +150,10 @@ def episodes(mesures): rejetees.setdefault(m["t"], set()).add(s) if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med): hautes.setdefault(s, []).append(m["t"]) + if rejete: + refus.setdefault(m["t"], set()).add(s) + if x > FACTEUR * med: + forts.setdefault(m["t"], set()).add(s) if s not in refs and rejete and x > med + K_CIBLE * mad: rejets.setdefault(s, []).append(m["t"]) par_t = {} # t -> {capteurs hauts} @@ -165,6 +175,12 @@ def episodes(mesures): continue # pas un obstacle devant des cibles, l'image entière out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came " "back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t])) + elif 0 < len(f := forts.get(t, set())) < BREF_MIN and n(t) < BREF_MIN and len(f & refs) <= 1 and not f & set().union( + *(refus.get(instants[j], set()) for j in (i - 1, i + 1) if 0 <= j < len(instants))): + # une ou deux cibles, ou une référence, rejetées à cette seule mesure, à FACTEUR fois leur médiane + out.append(_episode(t, t, "Brief obstruction", f"{len(f)} point{'s were' if len(f) > 1 else ' was'} poorly seen " + "for a single measurement, then came back: probably something passing; ignore this point on the " + "curves.", f)) # 3. Poor visibility : suites longues par capteur (sans les instants brefs), réunies entre capteurs, # puis réduites aux instants où au moins FRAC du pic de l'épisode est haut (coupe les queues d'un ou deux capteurs diff --git a/vues-deplacements/contexte/seuils-du-journal.md b/vues-deplacements/contexte/seuils-du-journal.md index 38fe663..a2e759a 100644 --- a/vues-deplacements/contexte/seuils-du-journal.md +++ b/vues-deplacements/contexte/seuils-du-journal.md @@ -9,7 +9,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | Détecteur | Constante | Valeur | Réglée sur | |---|---|---|---| | `visibility` | `K_MAD` | 10 | E-001 (buée 11 à 57 MAD), E-005 (10 à 70 MAD) | -| | `FACTEUR` | 2 | écarte les capteurs à MAD quasi nulle (E-004, E-005) | +| | `FACTEUR` | 2 | écarte les capteurs à MAD quasi nulle (E-004, E-005) ; aussi, seul (sans `K_MAD`), le passage devant une ou deux cibles ou une référence, rejetées à une seule mesure (point 2) : /detector-learner Obstruction, modification 1, S3 (WILDSTRUBEL, de jour la turbulence gonfle la MAD : R1 rejetée à ×3,6 sous 10 MAD) | | | `SUITE_MIN` | 3 | E-001, pluie de E-005 | | | `BREF_MIN` | 3 | trains de E-005 (5 à 17 capteurs) | | | `SAILLIE` | 3 | trains (5 à 17) contre toile de E-002 (2 à 9) | @@ -63,7 +63,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) | | | `MORCEAU` | 3,5 amplitudes | dérive par morceaux, pour une cible sans dérive sur toute la fenêtre (point 4 bis de `displacement.py`) : /detector-learner Displacement, modification 1, S1 (rangées de CLARIDEN, 3,8 à 8,3 amplitudes ; JUNGFRAU, cycles thermiques sans étiquette Displacement, 3,1 au plus ; à 1, NORDEND et JUNGFRAU débordent) | | | `TROU` | 2 jours | un morceau de dérive (point 4 bis) ne passe pas d'un jour retenu au suivant à plus de 2 jours : /detector-learner Displacement, modification 2, S1 (CLARIDEN, trou du 10-03 au 10-05 : les morceaux de 09-28 à 11-01 tombent ; à 1, les jours manquants d'un trou d'une demi-journée coupent les dérives de CLARIDEN et de NEBRASKA) | -| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement; deux Target obscured seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1, S1) | +| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement; deux Obstruction (Target obscured, Brief obstruction) seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1, S1 et S3) ; un passage n'absorbe que les sauts revenus dans `MERGE` après son instant (S3) | | dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC | | | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière | | | `TREND_STEADY` | 0,6 | tau de Kendall des niveaux journaliers |