# Visibility : modification 1 ## Ce qui a changé **S1, commit 374d91e** - `detectors/visibility.py`, `turbulence()`, point 4 de la méthode : un bloc de turbulence n'est plus écarté sur la part brute de mesures rejetées, mais sur la part de rejets **en plus de l'habitude de chaque capteur** (sa part de rejets sur toute la fenêtre lue). Pour chaque capteur, on soustrait de ses rejets dans le bloc ce que sa part habituelle de rejets y prédit (au moins 0), puis on somme. `REJET_MAX` reste à 0,15, mais il s'applique maintenant à ces rejets nouveaux ; sa ligne du registre et son commentaire le disent. - `detectors/categories.py`, `classer()` : - une Heat shimmer n'est retirée que si elle chevauche un décalage (`DECALAGES`) qui touche **plus d'une cible**. Avant, n'importe quel décalage la retirait, même celui d'une seule cible. - nouvelle condition d'absorption : une Heat shimmer n'absorbe que les sauts revenus qui **commencent pendant elle** (`h["start"] <= e["start"]`). Sans elle, un saut revenu de plusieurs jours, commencé la veille, était absorbé par la turbulence du lendemain. - docstring du module mise à jour. **S2, commit 85f4a7f** - `detectors/visibility.py` : nouvelle fonction `diffuse()`, point 8 de la méthode, et nouvelle constante `K_DIFFUS = 2.5`. - À chaque instant, on prend sur les capteurs la médiane de l'error_value, exprimée en MAD au-dessus de la médiane de chaque capteur. - Au moins `SUITE_MIN` instants de suite à `K_DIFFUS` ou plus donnent une Poor visibility « reduced », avec ou sans rejet. Ses capteurs sont ceux qui atteignent `K_DIFFUS`. - Dans `detect()`, une gêne diffuse tout entière comprise dans une Heat shimmer n'est pas gardée : c'est la turbulence. - Nouvelle ligne `K_DIFFUS` dans le registre des seuils ; docstring mise à jour. ## Pourquoi - **S1.** Des journées de turbulence étaient écartées pour des rejets qui ne venaient pas d'elles : des cibles ou une référence rejetées d'habitude (Target issue) comptaient dans le seuil de 15 %. On compte maintenant les seuls rejets nouveaux : une pluie ou une toile, qui font beaucoup de rejets nouveaux, restent écartées. Le décalage d'une seule cible ne dit pas que la scène bouge, il ne retire donc plus la turbulence de toute la scène ; un vrai mouvement de plusieurs cibles la retire toujours. Une turbulence ne dit la cause que d'un saut qui commence pendant elle, d'où la condition d'absorption. - **S2.** Une baisse de visibilité de toute la scène, sans rejet ou avant les premiers rejets, n'avait pas d'épisode, parce que la Poor visibility exigeait une cible rejetée. Le critère suggéré à l'échelle de la scène (la médiane, sur les capteurs, de l'error_value rapportée au niveau de chacun) la trouve désormais. - Seuil : à 2 MAD, des nuits étiquetées thermiques passent en Visibility, et une gêne diffuse absorbe un saut revenu étiqueté Displacement ; à 3 MAD, on ne garde que la moitié du gain. 2,5 tient entre les deux. - Exiger la médiane de tous les capteurs écarte un groupe de cibles seul (un vrai mouvement). - L'exclusion dans une turbulence évite qu'une même gêne compte deux fois et absorbe le saut de la veille. ## Avant / après sur les stations de la suggestion Lignes changées de `categories.py … 2>&1`, de l'état avant à l'état final. Aucune ligne `sauté`, avant comme après. Les listes d'absorbés ne sont pas recopiées. **SNCF01** (2026-10-04 → 2026-11-01) ``` > 2026-10-20T08:15Z → 2026-10-20T08:45Z Visibility gardé | Poor visibility | 18 capteurs (S2) > 2026-10-26T17:00Z → 2026-10-26T22:00Z Visibility gardé | Poor visibility | 24 capteurs (S2 : SNCF01-79, 14:30 → 22:00) ``` Aucune Heat shimmer sur les 21 journées de turbulence (voir « Pas corrigé »). **WILDSTRUBEL** (2026-09-01 → 2026-11-01), Heat shimmer nouvelles (S1) : ``` > 2026-09-03T05:00Z → 2026-09-03T15:00Z Heat shimmer 12 capteurs (WILDSTRUBEL-17) > 2026-09-04T04:00Z → 2026-09-04T15:00Z Heat shimmer 12 capteurs > 2026-09-06 05:00 → 14:00, 09-07 04:00 → 15:00, 09-08 05:00 → 15:00, 09-09 05:00 → 15:00 > 2026-09-22T08:00Z → 2026-09-22T14:00Z Heat shimmer 11 capteurs (WILDSTRUBEL-73, malgré le Lasting shift de PB1_2) > 2026-10-01T05:00Z → 2026-10-01T15:00Z Heat shimmer 11 capteurs (WILDSTRUBEL-134) > 2026-10-02 04:00 → 14:00, 10-04 05:00 → 15:00, 10-06 05:00 → 15:00, 10-09 04:00 → 14:00 > 2026-10-08T05:00Z → 2026-10-08T15:00Z Heat shimmer 12 capteurs (WILDSTRUBEL-185, malgré le Lasting shift de PB_5) ``` Sauts revenus d'une cible maintenant absorbés par la turbulence (S1) : 09-09 10:15, 10-02 04:45, 10-06 14:30, 10-08 11:15 → 14:45 (4 capteurs). ``` < 2026-10-03T07:45Z → 2026-10-04T14:15Z Displacement | Sudden jump, back to normal | 5 capteurs > 2026-10-03T07:45Z → 2026-10-08T14:45Z Displacement | Sudden jump, back to normal | 6 capteurs ``` Cet allongement vient de S1 : le saut de 6 cibles commencé le 10-03, avant absorbé par la turbulence du 10-05, ne l'est plus. Poor visibility élargies aux matins (S2) : ``` < 2026-09-05 04:00 → 04:00 (2 capteurs) et 06:15 → 07:30 (4) > 2026-09-05T04:00Z → 07:45Z, 11 capteurs < 2026-09-26 04:00 → 04:15 (4) et 06:15 → 06:45 (4) > 2026-09-26T04:00Z → 06:45Z, 10 capteurs > 2026-09-09T04:45Z → 07:15Z, 09-27 04:45 → 05:15, 10-03 05:00 → 06:45 (10 à 11 capteurs) ``` **LENZSPITZE** (2026-10-16 → 2026-11-01) ``` > 2026-10-24T03:00Z → 2026-10-24T11:00Z Heat shimmer 32 capteurs (S1 : plus retirée par le Lasting shift d'une seule cible) < 2026-10-17T14:15Z → 2026-10-17T14:35Z Poor visibility 4 capteurs > 2026-10-17T14:15Z → 2026-10-17T15:05Z Poor visibility 28 capteurs (S2, LENZSPITZE-13 : un peu plus couvert) > 2026-10-16T11:30Z → 12:25Z et 15:10Z → 15:25Z Poor visibility 33 et 30 capteurs (S2) < 2026-10-16T15:25Z Displacement | Sudden jump, back to normal | 1 capteur (absorbé par la Poor visibility de 15:10) < 2026-10-23T15:20Z → 15:30Z Poor visibility 32 capteurs > 15:20Z → 15:40Z, 41 capteurs ``` Les autres lignes ne changent que leurs capteurs (plus nombreux) ou leurs sauts absorbés, qui passent d'une Heat shimmer à une Poor visibility, de la même famille. LENZSPITZE-18 et -55 restent sans Heat shimmer. **NIEDERHORN** (2026-10-01 → 2026-11-01) ``` > 2026-10-31T12:00Z → 2026-10-31T15:00Z Visibility grisé | Heat shimmer | 21 capteurs (S1 ; NIEDERHORN-138, Visibility) ``` NIEDERHORN-127 (10-29) reste sans Poor visibility. **CLARIDEN** (2026-10-01 → 2026-11-01) : aucune ligne changée. ## Benchmark Benchmark avant → état final (`benchmark-1-S2.txt`) : | Station | Famille | trouvées | justes | |---|---|---|---| | FLORIDA | Visibility | 381/598 (64 %) → 434/598 (73 %) | 381/381 (100 %) → 434/439 (99 %) | | JUNGFRAU | Visibility | 305/669 (46 %) → 427/669 (64 %) | 305/315 (97 %) → 427/450 (95 %), −1,9 pt | | LENZSPITZE | Visibility | 915/1886 (49 %) → 934/1886 (50 %) | 915/1077 (85 %) → 934/1116 (84 %), −1,3 pt | | NIEDERHORN | Visibility | 25/104 (24 %) → 28/104 (27 %) | 25/28 (89 %) → 28/32 (88 %) | | NORDEND | Displacement | 2/12 (17 %), inchangé | 2/36 (6 %) → 2/20 (10 %) | | NORDEND | Visibility | 679/1950 (35 %) → 774/1950 (40 %) | 679/1138 (60 %) → 774/1246 (62 %) | | SNCF01 | Visibility | 0/761 (0 %) → 23/761 (3 %) | — → 23/24 (96 %) | | WILDSTRUBEL | Displacement | 550/579 (95 %) → 579/579 (100 %) | 550/1833 (30 %) → 579/1986 (29 %), −0,9 pt | | WILDSTRUBEL | Visibility | 420/1152 (36 %) → 908/1152 (79 %) | 420/429 (98 %) → 908/925 (98 %) | `Total` : | Famille | trouvées | justes | |---|---|---| | Displacement | 5707/6345 (90 %) → 5736/6345 (90 %) | 5707/11784 (48 %) → 5736/11921 (48 %) | | Visibility | 2728/7207 (38 %) → 3531/7207 (49 %) | 2728/3396 (80 %) → 3531/4260 (83 %) | Part de chaque suggestion : - **S1** (`benchmark-1-S1.txt`) : Visibility de 38 % à 45 % trouvées, de 80 % à 82 % justes, presque tout sur WILDSTRUBEL (de 36 % à 79 %). WILDSTRUBEL Displacement passe de 95 % à 100 %. - **S2** : Visibility de 45 % à 49 % trouvées, de 82 % à 83 % justes, gagnés sur FLORIDA, JUNGFRAU et NORDEND. Aucune ligne ne perd plus de 2 points. ## À trancher par l'utilisateur - JUNGFRAU-86 (Visibility, 2026-10-26 23:00 → 10-27 08:00, deux références perdues) et JUNGFRAU-85 (Thermal displacement, 10-26 19:00 → 10-27 08:00). La gêne diffuse de S2 commence dès 20:30 : l'error_value de toute la scène monte avant la borne de l'étiquette. C'est la lecture de la critique (S2 : « les épisodes commencent en retard quand une dérive lente précède les premiers rejets »). Ces 11 instants comptent à tort au benchmark : ils font l'essentiel de la baisse des justes de JUNGFRAU Visibility (−1,9 pt). ## Pas corrigé - **S1, la partie SNCF01** (21 journées, 761 instants). La cause n'est pas celle que dit la critique. Sur ces jours, aucun bloc n'est seulement candidat : - l'heure n'est pas turbulente, car l'error_value médiane des capteurs reste à ×1,0 de son calme (le 10-04 : 0,95 à 1,00), alors que l'agitation monte à ×2 à ×2,5 ; - les rejets n'y sont pour rien. Essais faits : - tenir aussi une heure pour turbulente quand l'agitation médiane atteint `FORT`, sans hausse de l'error_value : SNCF01 passe à 46 % (99 % justes), mais les justes Visibility reculent sur NIEDERHORN (de 88 % à 22 %), JUNGFRAU (de 97 % à 65 %), FLORIDA (de 100 % à 83 %) et LENZSPITZE (de 83 % à 78 %) ; - retirer le critère de l'error_value : pire encore. Il faudrait une autre signature (l'error_value qui varie fort, sans monter), à chercher. - **S2, en partie.** Les exemples de la critique sur CLARIDEN (CLARIDEN-12 : médiane de la scène à 2 MAD au plus, sur un groupe de cibles), NIEDERHORN-127 et LENZSPITZE-13 (seulement 14:15 → 15:05) restent manqués : leur gêne ne touche pas la plupart des capteurs, ou pas assez. À 1,5 MAD, CLARIDEN est trouvée à 25 %, mais FLORIDA, JUNGFRAU et SNCF01 reculent. L'élargissement des épisodes à rejets par ce critère n'est pas fait : les épisodes de même sorte proches se fusionnent déjà au classement (`MERGE`). - **S3** (une cible perdue chaque jour aux mêmes heures). - Essai simple : les heures du jour où une cible est rejetée sur au moins 3 jours, et à au moins 2 ou 3 fois la médiane de ses 24 heures, donnent une Poor visibility par jour. - Gain : SNCF01 jusqu'à 52 %, WILDSTRUBEL 86 %, NIEDERHORN 89 %. - Reculs : les justes de NIEDERHORN Visibility tombent de 88 % à 22 % (cibles Target issue rejetées « presque chaque nuit », NIEDERHORN-70 et -79, qui ont elles aussi leurs heures), ceux de LENZSPITZE de 84 % à 75 %, et WILDSTRUBEL Displacement de 100 % à 87 % (sauts absorbés). - Pour la distinguer d'une Target issue, il faudrait encore « sans voisine touchée » et « l'error_value qui monte jusqu'au seuil » : trop de règles pour un gain qui tient surtout à NORDEND (CTR01). Laissée. ## Difficultés - Le benchmark entier dure 2 à 3 min ; lancé en arrière-plan, il dépasse la limite d'attente d'une commande au premier plan. J'ai attendu par une boucle sur les fichiers de sortie, faute de l'outil d'attente que cite la consigne (Monitor), absent ici. - Un commit d'une autre session (95c723e) est arrivé entre S1 et S2 ; sans effet sur mes fichiers.