diff --git a/detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S1.txt b/detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S1.txt new file mode 100644 index 0000000..d3fe5b5 --- /dev/null +++ b/detector-learner/2026-11-05T1236Z_Visibility/benchmark-1-S1.txt @@ -0,0 +1,101 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes + trouvées justes + Displacement 168/168 (100 %) 168/171 (98 %) + No data 2/2 (100 %) 2/2 (100 %) + Obstruction 46/48 (96 %) 46/46 (100 %) + Thermal displacement 4/21 (19 %) 4/4 (100 %) + Visibility — 0/25 (0 %) + +CLARIDEN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 43 étiquettes + trouvées justes + Displacement 2578/3091 (83 %) 2578/2601 (99 %) + No data 6/20 (30 %) 6/12 (50 %) + Obstruction 1/5 (20 %) 1/5 (20 %) + Target issue 4068/4068 (100 %) 4068/4069 (100 %) + Thermal displacement 40/42 (95 %) 40/264 (15 %) + Visibility 3/87 (3 %) 3/3 (100 %) + +FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes + trouvées justes + Displacement 0/41 (0 %) 0/15 (0 %) + No data 4/21 (19 %) 4/4 (100 %) + Obstruction 0/2 (0 %) 0/13 (0 %) + Target issue 2913/2913 (100 %) 2913/2914 (100 %) + Thermal displacement 815/1047 (78 %) 815/1338 (61 %) + Visibility 381/598 (64 %) 381/381 (100 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes + trouvées justes + Displacement — 0/19 (0 %) + No data 4/29 (14 %) 4/4 (100 %) + Obstruction 1/1 (100 %) 1/158 (1 %) + Target issue 3005/3005 (100 %) 3005/3006 (100 %) + Thermal displacement 1544/2557 (60 %) 1544/1786 (86 %) + Visibility 306/669 (46 %) 306/317 (97 %) + +LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes + trouvées justes + Displacement — 0/4640 (0 %) + No data 12/615 (2 %) 12/16 (75 %) + Obstruction 19/47 (40 %) 19/84 (23 %) + Thermal displacement 1767/1925 (92 %) 1767/4253 (42 %) + Visibility 915/1886 (49 %) 915/1097 (83 %) + +MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes + trouvées justes + Displacement 130/130 (100 %) 130/171 (76 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/147 (90 %) 132/132 (100 %) + Thermal displacement 19/25 (76 %) 19/46 (41 %) + +NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes + trouvées justes + Displacement 165/165 (100 %) 165/171 (96 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/132 (100 %) 132/132 (100 %) + Thermal displacement 10/20 (50 %) 10/17 (59 %) + +NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes + trouvées justes + Displacement 3/48 (6 %) 3/15 (20 %) + No data 2/26 (8 %) 2/2 (100 %) + Obstruction 75/156 (48 %) 75/167 (45 %) + Target issue 719/719 (100 %) 719/720 (100 %) + Thermal displacement 216/267 (81 %) 216/236 (92 %) + Visibility 28/104 (27 %) 28/32 (88 %) + +NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes + trouvées justes + Displacement 2/12 (17 %) 2/36 (6 %) + No data 10/58 (17 %) 10/10 (100 %) + Obstruction 635/2625 (24 %) 635/1873 (34 %) + Target issue 2097/7183 (29 %) 2097/2097 (100 %) + Thermal displacement 4607/7412 (62 %) 4607/4707 (98 %) + Visibility 679/1950 (35 %) 679/1138 (60 %) + +SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes + trouvées justes + Displacement 2111/2111 (100 %) 2111/2112 (100 %) + No data 10/30 (33 %) 10/16 (62 %) + Obstruction 20/22 (91 %) 20/431 (5 %) + Target issue 2111/2111 (100 %) 2111/2112 (100 %) + Thermal displacement 1218/1726 (71 %) 1218/1275 (96 %) + Visibility 0/761 (0 %) — + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes + trouvées justes + Displacement 579/579 (100 %) 579/1986 (29 %) + No data 21/31 (68 %) 21/30 (70 %) + Obstruction 253/1026 (25 %) 253/482 (52 %) + Target issue 350/2091 (17 %) 350/350 (100 %) + Thermal displacement 495/845 (59 %) 495/512 (97 %) + Visibility 905/1152 (79 %) 905/922 (98 %) + +Total + trouvées justes + Displacement 5736/6345 (90 %) 5736/11937 (48 %) + No data 75/836 (9 %) 75/100 (75 %) + Obstruction 1050/3932 (27 %) 1050/3259 (32 %) + Target issue 15527/22369 (69 %) 15527/15532 (100 %) + Thermal displacement 10735/15887 (68 %) 10735/14438 (74 %) + Visibility 3217/7207 (45 %) 3217/3915 (82 %) diff --git a/detectors/categories.py b/detectors/categories.py index 17a16e8..92c8349 100644 --- a/detectors/categories.py +++ b/detectors/categories.py @@ -11,7 +11,10 @@ thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événe - une dérive lente ou un saut revenu dont toutes les cibles sont dans un épisode Target issue qui le chevauche y est absorbé (la courbe d'une cible à problème est à ignorer, familles.md) ; - un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ; -- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ; +- une turbulence qui chevauche un décalage de plusieurs cibles n'est pas gardée : un vrai mouvement agite aussi les courbes ; + le décalage d'une seule cible ne retire pas la turbulence de toute la scène, et une turbulence n'absorbe que les sauts + revenus qui commencent pendant elle, pas celui de la veille qui revient dans sa journée (/detector-learner Visibility, + modification 1, S1 : WILDSTRUBEL) ; - deux événements de même sorte à moins de MERGE n'en font qu'un ; deux Obstruction (Target obscured, Brief obstruction), seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1 : S1, des cibles différentes enchaînées en un événement de plusieurs jours ; S3, des passages de quelques minutes en une heure entière) ; @@ -160,12 +163,14 @@ def classer(episodes, references=frozenset()): """Épisodes de tous les détecteurs -> événements triés par début (règles : docstring du module) ; references : les capteurs global_ref, pour la phrase.""" eps = sorted(episodes, key=lambda e: e["start"]) - checks = [e for e in eps if e["label"] in DECALAGES] # un vrai mouvement n'est jamais pris pour de la turbulence + # un vrai mouvement n'est jamais pris pour de la turbulence ; le décalage d'une seule cible n'est pas un mouvement de la scène + checks = [e for e in eps if e["label"] in DECALAGES and len(e["sensors"]) > 1] eps = [e for e in eps if e["label"] != "Heat shimmer" or not any(overlap(e, c) for c in checks)] # la vague thermique n'absorbe qu'en dernier (un saut d'un passage ou d'une pluie va à eux), et que les sauts de # plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003) hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique) host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h)) + and (h["label"] != "Heat shimmer" or h["start"] <= e["start"]) and (h["label"] != "Brief obstruction" or e["start"] == h["start"] and datetime.fromisoformat(e["end"]) - datetime.fromisoformat(h["start"]) <= MERGE)), None) for e in eps if e["label"] == SAUT} diff --git a/detectors/visibility.py b/detectors/visibility.py index 6ea38b7..cbd5eb8 100644 --- a/detectors/visibility.py +++ b/detectors/visibility.py @@ -255,7 +255,10 @@ def detect(mesures): # 3. Heure turbulente : au moins la moitié des capteurs à ≥ 1,5 fois leur agitation calme, et error_value médiane # des capteurs à ≥ 1,5 fois la calme (l'air chaud brouille les taches : E-003, critère 1). # 4. Heures voisines fusionnées (trou d'une heure toléré), épisode d'au moins 3 h, écarté si plus de 15 % des mesures -# sont rejetées (c'est alors de la mauvaise visibilité, autre détecteur). Grisé si l'agitation médiane ≥ 2×. +# sont rejetées en plus de l'habitude de leur capteur (sa part de rejets sur l'export) : c'est alors de la mauvaise +# visibilité, autre règle. Une cible toujours rejetée (Target issue) ne compte pas (/detector-learner Visibility, +# modification 1, S1 : WILDSTRUBEL, R3 rejetée toute la journée, les jours de turbulence étaient écartés). +# Grisé si l'agitation médiane ≥ 2×. # # Résultats (2026-10-23, seuils ci-dessous) : # - WILDSTRUBEL (E-003, vérité : chaque jour ~03:30 → 16:00) : 3 épisodes, 02.09 04:00-15:00, 03.09 05:00-15:00, @@ -267,7 +270,8 @@ def detect(mesures): RATIO = 1.5 # provisoire, réglé sur E-003 (WILDSTRUBEL : de jour, corr ×1,7 à ×3 la nuit) PART = 0.5 # provisoire : part des capteurs agités en même temps RATIO_ERR = 1.5 # provisoire, réglé sur E-003 (error_value ×1,7 à ×3,2 la nuit ; ≈ ×1 à midi ailleurs) -REJET_MAX = 0.15 # provisoire : E-003 ≤ 7 % ; toile d'araignée (E-002) et pluie (E-005) ≥ 18 % +REJET_MAX = 0.15 # provisoire : E-003 ≤ 7 % ; toile d'araignée (E-002) et pluie (E-005) ≥ 18 % ; rejets en plus de l'habitude + # depuis /detector-learner Visibility, modification 1, S1 (WILDSTRUBEL : 4 à 14 %, contre 9 à 22 % bruts) FORT = 2.0 # provisoire : E-003 (×2,3 à ×2,6) est fort ; un épisode entre ×1,5 et ×2 reste visible DUREE_MIN = timedelta(hours=3) # provisoire : E-003 dure 10-11 h ; écarte le matin du mouvement réel de E-004 (2 h), # que le classement écarte aussi, quelle que soit la durée (point 14 du plan) @@ -317,11 +321,13 @@ def turbulence(mesures): blocs[-1].append(h) else: blocs.append([h]) + taux = {s: sum(m["corr_x"] is None for m in ms) / len(ms) for s, ms in mesures.items()} # rejets habituels episodes = [] for b in blocs: debut, fin = b[0], b[-1] + HEURE - dedans = [m for ms in mesures.values() for m in ms if debut <= m["t"] < fin] - if fin - debut < DUREE_MIN or sum(m["corr_x"] is None for m in dedans) > REJET_MAX * len(dedans): + par = {s: [m for m in ms if debut <= m["t"] < fin] for s, ms in mesures.items()} + nouveaux = sum(max(0, sum(m["corr_x"] is None for m in d) - taux[s] * len(d)) for s, d in par.items()) + if fin - debut < DUREE_MIN or nouveaux > REJET_MAX * sum(map(len, par.values())): continue par_capteur = {} for h in b: diff --git a/vues-deplacements/contexte/seuils-du-journal.md b/vues-deplacements/contexte/seuils-du-journal.md index 28fea0b..f3a4601 100644 --- a/vues-deplacements/contexte/seuils-du-journal.md +++ b/vues-deplacements/contexte/seuils-du-journal.md @@ -49,7 +49,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | `visibility` (turbulence) | `RATIO` | 1,5 | E-003 (×1,7 à ×3 la nuit) | | | `PART` | 0,5 | — | | | `RATIO_ERR` | 1,5 | E-003 (×1,7 à ×3,2) | -| | `REJET_MAX` | 15 % | E-003 ≤ 7 % ; toile et pluie ≥ 18 % | +| | `REJET_MAX` | 15 % | E-003 ≤ 7 % ; toile et pluie ≥ 18 % ; en rejets en plus de l'habitude de chaque capteur (sa part de rejets sur l'export) : /detector-learner Visibility, modification 1, S1 (WILDSTRUBEL, une référence ou des cibles rejetées d'habitude écartaient les jours de turbulence : 4 à 14 % contre 9 à 22 % bruts) | | | `FORT` | 2× | E-003 (×2,3 à ×2,6) | | | `DUREE_MIN` | 3 h | E-003 (10-11 h) contre matin de E-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) | | `no_data` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |