From 85f4a7fd4fbdf5dc8eb4d00456780abae3692674 Mon Sep 17 00:00:00 2001 From: maxime Date: Thu, 5 Nov 2026 14:48:00 +0100 Subject: [PATCH] Detector-learner Visibility: modification 1, S2 Co-Authored-By: Claude Opus 5.5 --- .../benchmark-1-S2.txt | 101 ++++++++++++++++++ detectors/visibility.py | 29 ++++- .../contexte/seuils-du-journal.md | 1 + 3 files changed, 130 insertions(+), 1 deletion(-) create mode 100644 detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S2.txt diff --git a/detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S2.txt b/detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S2.txt new file mode 100644 index 0000000..8b5b079 --- /dev/null +++ b/detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S2.txt @@ -0,0 +1,101 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes + trouvées justes + Displacement 168/168 (100 %) 168/171 (98 %) + No data 2/2 (100 %) 2/2 (100 %) + Obstruction 46/48 (96 %) 46/46 (100 %) + Thermal displacement 4/21 (19 %) 4/4 (100 %) + Visibility — 0/25 (0 %) + +CLARIDEN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 43 étiquettes + trouvées justes + Displacement 2578/3091 (83 %) 2578/2601 (99 %) + No data 6/20 (30 %) 6/12 (50 %) + Obstruction 1/5 (20 %) 1/5 (20 %) + Target issue 4068/4068 (100 %) 4068/4069 (100 %) + Thermal displacement 40/42 (95 %) 40/264 (15 %) + Visibility 3/87 (3 %) 3/3 (100 %) + +FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes + trouvées justes + Displacement 0/41 (0 %) 0/15 (0 %) + No data 4/21 (19 %) 4/4 (100 %) + Obstruction 0/2 (0 %) 0/13 (0 %) + Target issue 2913/2913 (100 %) 2913/2914 (100 %) + Thermal displacement 815/1047 (78 %) 815/1338 (61 %) + Visibility 434/598 (73 %) 434/439 (99 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes + trouvées justes + Displacement — 0/19 (0 %) + No data 4/29 (14 %) 4/4 (100 %) + Obstruction 1/1 (100 %) 1/158 (1 %) + Target issue 3005/3005 (100 %) 3005/3006 (100 %) + Thermal displacement 1544/2557 (60 %) 1544/1786 (86 %) + Visibility 427/669 (64 %) 427/450 (95 %) + +LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes + trouvées justes + Displacement — 0/4640 (0 %) + No data 12/615 (2 %) 12/16 (75 %) + Obstruction 19/47 (40 %) 19/84 (23 %) + Thermal displacement 1767/1925 (92 %) 1767/4253 (42 %) + Visibility 934/1886 (50 %) 934/1116 (84 %) + +MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes + trouvées justes + Displacement 130/130 (100 %) 130/171 (76 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/147 (90 %) 132/132 (100 %) + Thermal displacement 19/25 (76 %) 19/46 (41 %) + +NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes + trouvées justes + Displacement 165/165 (100 %) 165/171 (96 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/132 (100 %) 132/132 (100 %) + Thermal displacement 10/20 (50 %) 10/17 (59 %) + +NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes + trouvées justes + Displacement 3/48 (6 %) 3/15 (20 %) + No data 2/26 (8 %) 2/2 (100 %) + Obstruction 75/156 (48 %) 75/167 (45 %) + Target issue 719/719 (100 %) 719/720 (100 %) + Thermal displacement 216/267 (81 %) 216/236 (92 %) + Visibility 28/104 (27 %) 28/32 (88 %) + +NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes + trouvées justes + Displacement 2/12 (17 %) 2/20 (10 %) + No data 10/58 (17 %) 10/10 (100 %) + Obstruction 635/2625 (24 %) 635/1873 (34 %) + Target issue 2097/7183 (29 %) 2097/2097 (100 %) + Thermal displacement 4607/7412 (62 %) 4607/4707 (98 %) + Visibility 774/1950 (40 %) 774/1246 (62 %) + +SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes + trouvées justes + Displacement 2111/2111 (100 %) 2111/2112 (100 %) + No data 10/30 (33 %) 10/16 (62 %) + Obstruction 20/22 (91 %) 20/431 (5 %) + Target issue 2111/2111 (100 %) 2111/2112 (100 %) + Thermal displacement 1218/1726 (71 %) 1218/1275 (96 %) + Visibility 23/761 (3 %) 23/24 (96 %) + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes + trouvées justes + Displacement 579/579 (100 %) 579/1986 (29 %) + No data 21/31 (68 %) 21/30 (70 %) + Obstruction 253/1026 (25 %) 253/482 (52 %) + Target issue 350/2091 (17 %) 350/350 (100 %) + Thermal displacement 495/845 (59 %) 495/512 (97 %) + Visibility 908/1152 (79 %) 908/925 (98 %) + +Total + trouvées justes + Displacement 5736/6345 (90 %) 5736/11921 (48 %) + No data 75/836 (9 %) 75/100 (75 %) + Obstruction 1050/3932 (27 %) 1050/3259 (32 %) + Target issue 15527/22369 (69 %) 15527/15532 (100 %) + Thermal displacement 10735/15887 (68 %) 10735/14438 (74 %) + Visibility 3531/7207 (49 %) 3531/4260 (83 %) diff --git a/detectors/visibility.py b/detectors/visibility.py index cbd5eb8..103caa0 100644 --- a/detectors/visibility.py +++ b/detectors/visibility.py @@ -38,6 +38,12 @@ Méthode (seuils provisoires ci-dessous) : 7. Poor visibility ou objet (frontière « Visibility ou Obstruction » de labeling/familles.md ; boucle /detector-learner BREITHORN, lot 01) : une gêne qui ne touche qu'au plus QUELQUES cibles, et aucune référence, n'est pas diffuse : c'est un objet devant elles (un véhicule stationné), un épisode « Target obscured » de toute sa durée, sans niveau. +8. Gêne diffuse, rejets ou non (/detector-learner Visibility, modification 1, S2) : à chaque instant, la médiane, sur les + capteurs, de l'error_value en MAD au-dessus de la médiane de chacun ; au moins SUITE_MIN instants de suite à K_DIFFUS + ou plus font une Poor visibility « reduced ». Une gêne diffuse tout entière dans une turbulence est la turbulence : pas + d'épisode (sinon elle absorbait le saut revenu de la veille, WILDSTRUBEL le 04.10). Trouve les baisses de visibilité de + toute la scène sans rejet de JUNGFRAU, FLORIDA, NORDEND ; à 2, des nuits étiquetées thermiques à JUNGFRAU, à 3 la + moitié du gain. Résultats (2026-10-23) : - PS_DES_COUDRES (E-001, buée 13.10 23:45 → 14.10 05:15, 2 références sur 3) : Poor visibility 13.10 23:45 → 14.10 04:45, REF_G et @@ -89,6 +95,7 @@ CIBLE_ECART = timedelta(hours=6) # provisoire, réglé sur E-005 (feuilles : 7 FACTEUR_REJET = 1.2 # provisoire : un rejet à 10 MAD compte aussi (boucle FLORIDA, lot 01 : niveaux de 0,6, ×2 hors d'atteinte) ; # écarte C24 de E-009 (niveau 0,68 au ras du seuil 0,7, rejeté à ×1,04) MOITIE = 0.5 # provisoire : « on ne voit rien » ; réglé sur NORDEND (09.10 23:00 : 68 % rejetées) et E-005 (pluie : 24 à 33 %) +K_DIFFUS = 2.5 # provisoire : gêne diffuse (8) ; /detector-learner Visibility, modification 1, S2 QUELQUES = 3 # provisoire : Poor visibility sur au plus 3 cibles, sans référence : un objet, Target obscured (7) ; # boucle /detector-learner BREITHORN, lot 01 (véhicules stationnés devant 2 ou 3 cibles sur 12) @@ -241,8 +248,28 @@ def _grouper_intervalles(intervalles, ecart): return out +def diffuse(mesures): + """Gêne diffuse (8) : les suites d'au moins SUITE_MIN instants où la médiane, sur les capteurs, de l'error_value en MAD + au-dessus de la médiane de chacun atteint K_DIFFUS, rejets ou non -> Poor visibility « reduced ».""" + z = {} # t -> {capteur: écart en MAD} + for s, v in mesures.items(): + e = [m["error_value"] for m in v if m["error_value"] is not None] + if len(e) < 10: + continue + med = statistics.median(e) + mad = statistics.median(abs(x - med) for x in e) or 1e-9 + for m in v: + if m["error_value"] is not None: + z.setdefault(m["t"], {})[s] = (m["error_value"] - med) / mad + hauts = [(t, None) for t in sorted(z) if statistics.median(z[t].values()) >= K_DIFFUS] + return [_episode(a, b, "Poor visibility", "", {s for t in l for s, x in z[t].items() if x >= K_DIFFUS}, "reduced") + for a, b, _, l in _grouper(hauts, ECART * _pas(mesures)) if len(l) >= SUITE_MIN] + + def detect(mesures): - return [e for e in episodes(mesures) if e["kind"] == "Visibility"] + turbulence(mesures) + tremble = turbulence(mesures) # une gêne diffuse pendant une turbulence est la turbulence (8) + return ([e for e in episodes(mesures) if e["kind"] == "Visibility"] + tremble + + [e for e in diffuse(mesures) if not any(t["start"] <= e["start"] and e["end"] <= t["end"] for t in tremble)]) # --- Turbulence ---------------------------------------------------------------------------------------------------- diff --git a/vues-deplacements/contexte/seuils-du-journal.md b/vues-deplacements/contexte/seuils-du-journal.md index f3a4601..63a38b2 100644 --- a/vues-deplacements/contexte/seuils-du-journal.md +++ b/vues-deplacements/contexte/seuils-du-journal.md @@ -21,6 +21,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | | `ECART` | 2,5 pas | gigue des horodatages | | | `FACTEUR_REJET` | 1,2 | boucle FLORIDA, lot 01 : un rejet à 10 MAD est haut sans doubler (cibles au niveau 0,6) ; écarte C24 de E-009 (0,68, rejetée à ×1,04) | | | `MOITIE` | 0,5 | niveau « none » (point 38) : NORDEND 09/10 23:00 (68 % rejetées) contre pluie de E-005 (24 à 33 %) | +| | `K_DIFFUS` | 2,5 MAD | gêne diffuse (point 8) : médiane, sur les capteurs, de l'error_value en MAD au-dessus de la médiane de chacun, `SUITE_MIN` instants de suite, rejets ou non : Poor visibility « reduced » ; pas dans une turbulence ; /detector-learner Visibility, modification 1, S2 (JUNGFRAU, FLORIDA, NORDEND : visibilité réduite de toute la scène sans rejet ; à 2, des nuits étiquetées thermiques à JUNGFRAU et des sauts revenus de WILDSTRUBEL absorbés ; à 3, la moitié du gain) | | | `QUELQUES` | 3 cibles | Poor visibility sur au plus 3 cibles, sans référence : un objet devant elles, Target obscured (frontière « Visibility ou Obstruction » de `labeling/familles.md`) ; boucle /detector-learner BREITHORN, lot 01 (véhicules stationnés devant 2 ou 3 cibles sur 12) | | `displacement` (sauts) | `K` | 20 bruits | E-001 (à 15, deux cibles saines grisées) ; ne pas baisser pour les trains, vus par `visibilite` (point 12) | | | `K_DURABLE` | 7 bruits | saut sous K qui reste (point 8 de `sauts.py`) : boucle NIEDERHORN, lot 01 (e09, corr_y −0,19 px d'un coup, 8 bruits, resté 5 jours) |