From 4f067a6efb93b1b6799d9706600b40e1fa815971 Mon Sep 17 00:00:00 2001 From: maxime Date: Thu, 5 Nov 2026 10:08:11 +0100 Subject: [PATCH] Detector-learner Displacement: modification 1, S5 Co-Authored-By: Claude Opus 5.5 --- .../benchmark-1-S5.txt | 101 ++++++++++++++++++ detectors/categories.py | 7 +- detectors/visibility.py | 13 ++- 3 files changed, 116 insertions(+), 5 deletions(-) create mode 100644 detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S5.txt diff --git a/detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S5.txt b/detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S5.txt new file mode 100644 index 0000000..92071cf --- /dev/null +++ b/detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S5.txt @@ -0,0 +1,101 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes + trouvées justes + Displacement 168/168 (100 %) 168/171 (98 %) + No data 2/2 (100 %) 2/2 (100 %) + Obstruction 39/48 (81 %) 39/39 (100 %) + Thermal displacement 0/21 (0 %) — + Visibility — 0/25 (0 %) + +CLARIDEN : 2026-10-01T00:00Z → 2026-11-02T00:00Z, 43 étiquettes + trouvées justes + Displacement 3091/3091 (100 %) 3091/4213 (73 %) + No data 6/20 (30 %) 6/12 (50 %) + Obstruction 1/5 (20 %) 1/44 (2 %) + Target issue 4068/4068 (100 %) 4068/4213 (97 %) + Thermal displacement 13/43 (30 %) 13/204 (6 %) + Visibility 3/87 (3 %) 3/3 (100 %) + +FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes + trouvées justes + Displacement 0/41 (0 %) 0/15 (0 %) + No data 4/21 (19 %) 4/4 (100 %) + Obstruction 2/2 (100 %) 2/1009 (0 %) + Target issue 2913/2913 (100 %) 2913/2914 (100 %) + Thermal displacement 613/1047 (59 %) 613/737 (83 %) + Visibility 381/598 (64 %) 381/381 (100 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes + trouvées justes + Displacement — 0/21 (0 %) + No data 4/29 (14 %) 4/4 (100 %) + Obstruction 0/1 (0 %) 0/155 (0 %) + Target issue 3005/3005 (100 %) 3005/3006 (100 %) + Thermal displacement 939/2557 (37 %) 939/1091 (86 %) + Visibility 305/669 (46 %) 305/315 (97 %) + +LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes + trouvées justes + Displacement — 0/4047 (0 %) + No data 14/24 (58 %) 14/18 (78 %) + Obstruction 12/47 (26 %) 12/12 (100 %) + Thermal displacement 1758/1925 (91 %) 1758/3652 (48 %) + Visibility 954/1886 (51 %) 954/959 (99 %) + +MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes + trouvées justes + Displacement 130/130 (100 %) 130/171 (76 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/147 (90 %) 132/132 (100 %) + Thermal displacement 19/25 (76 %) 19/46 (41 %) + +NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes + trouvées justes + Displacement 165/165 (100 %) 165/171 (96 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/132 (100 %) 132/132 (100 %) + Thermal displacement 8/20 (40 %) 8/13 (62 %) + +NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes + trouvées justes + Displacement 3/48 (6 %) 3/604 (0 %) + No data 2/26 (8 %) 2/2 (100 %) + Obstruction 92/156 (59 %) 92/291 (32 %) + Target issue 719/719 (100 %) 719/720 (100 %) + Thermal displacement 156/267 (58 %) 156/167 (93 %) + Visibility 25/104 (24 %) 25/28 (89 %) + +NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes + trouvées justes + Displacement 2/12 (17 %) 2/38 (5 %) + No data 10/58 (17 %) 10/10 (100 %) + Obstruction 978/2625 (37 %) 978/2143 (46 %) + Target issue 1296/7183 (18 %) 1296/1296 (100 %) + Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %) + Visibility 679/1950 (35 %) 679/1138 (60 %) + +SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes + trouvées justes + Displacement 2111/2111 (100 %) 2111/2112 (100 %) + No data 10/30 (33 %) 10/16 (62 %) + Obstruction 21/22 (95 %) 21/985 (2 %) + Target issue 2111/2111 (100 %) 2111/2112 (100 %) + Thermal displacement 891/1726 (52 %) 891/893 (100 %) + Visibility 0/761 (0 %) — + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes + trouvées justes + Displacement 550/579 (95 %) 550/1836 (30 %) + No data 21/31 (68 %) 21/30 (70 %) + Obstruction 216/1026 (21 %) 216/424 (51 %) + Target issue 350/2091 (17 %) 350/350 (100 %) + Thermal displacement 331/845 (39 %) 331/342 (97 %) + Visibility 420/1152 (36 %) 420/429 (98 %) + +Total + trouvées justes + Displacement 6220/6345 (98 %) 6220/13399 (46 %) + No data 77/245 (31 %) 77/102 (75 %) + Obstruction 1361/3932 (35 %) 1361/5102 (27 %) + Target issue 14726/22369 (66 %) 14726/14875 (99 %) + Thermal displacement 7934/15888 (50 %) 7934/10373 (76 %) + Visibility 2767/7207 (38 %) 2767/3278 (84 %) diff --git a/detectors/categories.py b/detectors/categories.py index 04138ab..22e8234 100644 --- a/detectors/categories.py +++ b/detectors/categories.py @@ -5,7 +5,9 @@ thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événe épisodes ; leur label en dit la sorte (Poor visibility, Heat shimmer, Brief obstruction, Slow drift…). Règles : - un saut revenu à la normale (SAUT) qui chevauche un épisode de HOTES (perte de visibilité, passage, turbulence, et en dernier l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il - reste Displacement, sans cause établie, à vérifier sur les images (familles.md, « Un saut puis le retour ») ; + reste Displacement, sans cause établie, à vérifier sur les images (familles.md, « Un saut puis le retour ») ; un passage + (Brief obstruction, un seul instant) n'absorbe que les sauts qui commencent à son instant, pas ceux de plusieurs jours + qu'il croise (/detector-learner Displacement, modification 1, S5) ; - un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ; - une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ; - deux événements de même sorte à moins de MERGE n'en font qu'un. @@ -147,7 +149,8 @@ def classer(episodes, references=frozenset()): # la vague thermique n'absorbe qu'en dernier (un saut d'un passage ou d'une pluie va à eux), et que les sauts de # plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003) hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique) - host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h))), None) + host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h)) + and (h["label"] != "Brief obstruction" or e["start"] == h["start"])), None) for e in eps if e["label"] == SAUT} groupes = {id(e): [e] for e in eps if not host.get(id(e))} for e in eps: diff --git a/detectors/visibility.py b/detectors/visibility.py index cf00ed5..2d8f67d 100644 --- a/detectors/visibility.py +++ b/detectors/visibility.py @@ -9,7 +9,10 @@ Méthode (seuils provisoires ci-dessous) : en Target obscured. 2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule), sans référence (global_ref) parmi eux : un pic d'un pas qui touche les références n'est pas un obstacle devant des - cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré. + cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré. Sauf si au moins + BREF_MIN cibles sont rejetées (> error_threshold) à cet instant et ni à l'instant d'avant ni à celui d'après : un + passage devant elles, une référence touchée en plus (/detector-learner Displacement, modification 1, S5 : trains de + NIEDERHORN, 12 et 13 cibles rejetées ; NORDEND le 01.09 11:15 n'a aucun rejet). 3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées. 4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h @@ -124,6 +127,7 @@ def episodes(mesures): instants = sorted({m["t"] for v in mesures.values() for m in v}) hautes, rejets = {}, {} # capteur -> [t] refuses = set() # instants où une cible (pas une global_ref) est au-dessus de son seuil + rejetees = {} # t -> {cibles au-dessus de leur seuil} for s, v in mesures.items(): e = [m["error_value"] for m in v if m["error_value"] is not None] if len(e) < 10: @@ -137,6 +141,7 @@ def episodes(mesures): rejete = m["error_threshold"] and x > m["error_threshold"] if rejete and s not in refs: refuses.add(m["t"]) + rejetees.setdefault(m["t"], set()).add(s) if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med): hautes.setdefault(s, []).append(m["t"]) if s not in refs and rejete and x > med + K_CIBLE * mad: @@ -154,8 +159,10 @@ def episodes(mesures): voisins = [n(instants[j]) for j in (i - 1, i + 1) if 0 <= j < len(instants)] if n(t) >= BREF_MIN and n(t) >= SAILLIE * max(voisins): brefs.add(t) - if par_t[t] & refs: # références touchées : pas un obstacle devant des cibles (carte : références intactes) - continue + seules = rejetees.get(t, set()).difference(*(rejetees.get(instants[j], set()) for j in (i - 1, i + 1) + if 0 <= j < len(instants))) + if par_t[t] & refs and len(seules) < BREF_MIN: # références touchées sans cibles rejetées à ce seul instant : + continue # pas un obstacle devant des cibles, l'image entière out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came " "back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))