Files
2026-11-05 14:56:06 +01:00

11 KiB
Raw Permalink Blame History

Visibility : modification 1

Ce qui a changé

S1, commit 374d91e

  • detectors/visibility.py, turbulence(), point 4 de la méthode : un bloc de turbulence n'est plus écarté sur la part brute de mesures rejetées, mais sur la part de rejets en plus de l'habitude de chaque capteur (sa part de rejets sur toute la fenêtre lue). Pour chaque capteur, on soustrait de ses rejets dans le bloc ce que sa part habituelle de rejets y prédit (au moins 0), puis on somme. REJET_MAX reste à 0,15, mais il s'applique maintenant à ces rejets nouveaux ; sa ligne du registre et son commentaire le disent.
  • detectors/categories.py, classer() :
    • une Heat shimmer n'est retirée que si elle chevauche un décalage (DECALAGES) qui touche plus d'une cible. Avant, n'importe quel décalage la retirait, même celui d'une seule cible.
    • nouvelle condition d'absorption : une Heat shimmer n'absorbe que les sauts revenus qui commencent pendant elle (h["start"] <= e["start"]). Sans elle, un saut revenu de plusieurs jours, commencé la veille, était absorbé par la turbulence du lendemain.
    • docstring du module mise à jour.

S2, commit 85f4a7f

  • detectors/visibility.py : nouvelle fonction diffuse(), point 8 de la méthode, et nouvelle constante K_DIFFUS = 2.5.
    • À chaque instant, on prend sur les capteurs la médiane de l'error_value, exprimée en MAD au-dessus de la médiane de chaque capteur.
    • Au moins SUITE_MIN instants de suite à K_DIFFUS ou plus donnent une Poor visibility « reduced », avec ou sans rejet. Ses capteurs sont ceux qui atteignent K_DIFFUS.
    • Dans detect(), une gêne diffuse tout entière comprise dans une Heat shimmer n'est pas gardée : c'est la turbulence.
    • Nouvelle ligne K_DIFFUS dans le registre des seuils ; docstring mise à jour.

Pourquoi

  • S1. Des journées de turbulence étaient écartées pour des rejets qui ne venaient pas d'elles : des cibles ou une référence rejetées d'habitude (Target issue) comptaient dans le seuil de 15 %. On compte maintenant les seuls rejets nouveaux : une pluie ou une toile, qui font beaucoup de rejets nouveaux, restent écartées. Le décalage d'une seule cible ne dit pas que la scène bouge, il ne retire donc plus la turbulence de toute la scène ; un vrai mouvement de plusieurs cibles la retire toujours. Une turbulence ne dit la cause que d'un saut qui commence pendant elle, d'où la condition d'absorption.
  • S2. Une baisse de visibilité de toute la scène, sans rejet ou avant les premiers rejets, n'avait pas d'épisode, parce que la Poor visibility exigeait une cible rejetée. Le critère suggéré à l'échelle de la scène (la médiane, sur les capteurs, de l'error_value rapportée au niveau de chacun) la trouve désormais.
    • Seuil : à 2 MAD, des nuits étiquetées thermiques passent en Visibility, et une gêne diffuse absorbe un saut revenu étiqueté Displacement ; à 3 MAD, on ne garde que la moitié du gain. 2,5 tient entre les deux.
    • Exiger la médiane de tous les capteurs écarte un groupe de cibles seul (un vrai mouvement).
    • L'exclusion dans une turbulence évite qu'une même gêne compte deux fois et absorbe le saut de la veille.

Avant / après sur les stations de la suggestion

Lignes changées de categories.py … 2>&1, de l'état avant à l'état final. Aucune ligne sauté, avant comme après. Les listes d'absorbés ne sont pas recopiées.

SNCF01 (2026-10-04 → 2026-11-01)

> 2026-10-20T08:15Z → 2026-10-20T08:45Z Visibility gardé | Poor visibility | 18 capteurs          (S2)
> 2026-10-26T17:00Z → 2026-10-26T22:00Z Visibility gardé | Poor visibility | 24 capteurs          (S2 : SNCF01-79, 14:30 → 22:00)

Aucune Heat shimmer sur les 21 journées de turbulence (voir « Pas corrigé »).

WILDSTRUBEL (2026-09-01 → 2026-11-01), Heat shimmer nouvelles (S1) :

> 2026-09-03T05:00Z → 2026-09-03T15:00Z Heat shimmer 12 capteurs   (WILDSTRUBEL-17)
> 2026-09-04T04:00Z → 2026-09-04T15:00Z Heat shimmer 12 capteurs
> 2026-09-06 05:00 → 14:00, 09-07 04:00 → 15:00, 09-08 05:00 → 15:00, 09-09 05:00 → 15:00
> 2026-09-22T08:00Z → 2026-09-22T14:00Z Heat shimmer 11 capteurs   (WILDSTRUBEL-73, malgré le Lasting shift de PB1_2)
> 2026-10-01T05:00Z → 2026-10-01T15:00Z Heat shimmer 11 capteurs   (WILDSTRUBEL-134)
> 2026-10-02 04:00 → 14:00, 10-04 05:00 → 15:00, 10-06 05:00 → 15:00, 10-09 04:00 → 14:00
> 2026-10-08T05:00Z → 2026-10-08T15:00Z Heat shimmer 12 capteurs   (WILDSTRUBEL-185, malgré le Lasting shift de PB_5)

Sauts revenus d'une cible maintenant absorbés par la turbulence (S1) : 09-09 10:15, 10-02 04:45, 10-06 14:30, 10-08 11:15 → 14:45 (4 capteurs).

< 2026-10-03T07:45Z → 2026-10-04T14:15Z Displacement | Sudden jump, back to normal | 5 capteurs
> 2026-10-03T07:45Z → 2026-10-08T14:45Z Displacement | Sudden jump, back to normal | 6 capteurs

Cet allongement vient de S1 : le saut de 6 cibles commencé le 10-03, avant absorbé par la turbulence du 10-05, ne l'est plus.

Poor visibility élargies aux matins (S2) :

< 2026-09-05 04:00 → 04:00 (2 capteurs) et 06:15 → 07:30 (4)   > 2026-09-05T04:00Z → 07:45Z, 11 capteurs
< 2026-09-26 04:00 → 04:15 (4) et 06:15 → 06:45 (4)            > 2026-09-26T04:00Z → 06:45Z, 10 capteurs
> 2026-09-09T04:45Z → 07:15Z, 09-27 04:45 → 05:15, 10-03 05:00 → 06:45 (10 à 11 capteurs)

LENZSPITZE (2026-10-16 → 2026-11-01)

> 2026-10-24T03:00Z → 2026-10-24T11:00Z Heat shimmer 32 capteurs                 (S1 : plus retirée par le Lasting shift d'une seule cible)
< 2026-10-17T14:15Z → 2026-10-17T14:35Z Poor visibility 4 capteurs
> 2026-10-17T14:15Z → 2026-10-17T15:05Z Poor visibility 28 capteurs              (S2, LENZSPITZE-13 : un peu plus couvert)
> 2026-10-16T11:30Z → 12:25Z et 15:10Z → 15:25Z Poor visibility 33 et 30 capteurs (S2)
< 2026-10-16T15:25Z Displacement | Sudden jump, back to normal | 1 capteur       (absorbé par la Poor visibility de 15:10)
< 2026-10-23T15:20Z → 15:30Z Poor visibility 32 capteurs  > 15:20Z → 15:40Z, 41 capteurs

Les autres lignes ne changent que leurs capteurs (plus nombreux) ou leurs sauts absorbés, qui passent d'une Heat shimmer à une Poor visibility, de la même famille. LENZSPITZE-18 et -55 restent sans Heat shimmer.

NIEDERHORN (2026-10-01 → 2026-11-01)

> 2026-10-31T12:00Z → 2026-10-31T15:00Z Visibility grisé | Heat shimmer | 21 capteurs   (S1 ; NIEDERHORN-138, Visibility)

NIEDERHORN-127 (10-29) reste sans Poor visibility.

CLARIDEN (2026-10-01 → 2026-11-01) : aucune ligne changée.

Benchmark

Benchmark avant → état final (benchmark-1-S2.txt) :

Station Famille trouvées justes
FLORIDA Visibility 381/598 (64 %) → 434/598 (73 %) 381/381 (100 %) → 434/439 (99 %)
JUNGFRAU Visibility 305/669 (46 %) → 427/669 (64 %) 305/315 (97 %) → 427/450 (95 %), −1,9 pt
LENZSPITZE Visibility 915/1886 (49 %) → 934/1886 (50 %) 915/1077 (85 %) → 934/1116 (84 %), −1,3 pt
NIEDERHORN Visibility 25/104 (24 %) → 28/104 (27 %) 25/28 (89 %) → 28/32 (88 %)
NORDEND Displacement 2/12 (17 %), inchangé 2/36 (6 %) → 2/20 (10 %)
NORDEND Visibility 679/1950 (35 %) → 774/1950 (40 %) 679/1138 (60 %) → 774/1246 (62 %)
SNCF01 Visibility 0/761 (0 %) → 23/761 (3 %) — → 23/24 (96 %)
WILDSTRUBEL Displacement 550/579 (95 %) → 579/579 (100 %) 550/1833 (30 %) → 579/1986 (29 %), −0,9 pt
WILDSTRUBEL Visibility 420/1152 (36 %) → 908/1152 (79 %) 420/429 (98 %) → 908/925 (98 %)

Total :

Famille trouvées justes
Displacement 5707/6345 (90 %) → 5736/6345 (90 %) 5707/11784 (48 %) → 5736/11921 (48 %)
Visibility 2728/7207 (38 %) → 3531/7207 (49 %) 2728/3396 (80 %) → 3531/4260 (83 %)

Part de chaque suggestion :

  • S1 (benchmark-1-S1.txt) : Visibility de 38 % à 45 % trouvées, de 80 % à 82 % justes, presque tout sur WILDSTRUBEL (de 36 % à 79 %). WILDSTRUBEL Displacement passe de 95 % à 100 %.
  • S2 : Visibility de 45 % à 49 % trouvées, de 82 % à 83 % justes, gagnés sur FLORIDA, JUNGFRAU et NORDEND.

Aucune ligne ne perd plus de 2 points.

À trancher par l'utilisateur

  • JUNGFRAU-86 (Visibility, 2026-10-26 23:00 → 10-27 08:00, deux références perdues) et JUNGFRAU-85 (Thermal displacement, 10-26 19:00 → 10-27 08:00). La gêne diffuse de S2 commence dès 20:30 : l'error_value de toute la scène monte avant la borne de l'étiquette. C'est la lecture de la critique (S2 : « les épisodes commencent en retard quand une dérive lente précède les premiers rejets »). Ces 11 instants comptent à tort au benchmark : ils font l'essentiel de la baisse des justes de JUNGFRAU Visibility (−1,9 pt).

Pas corrigé

  • S1, la partie SNCF01 (21 journées, 761 instants). La cause n'est pas celle que dit la critique. Sur ces jours, aucun bloc n'est seulement candidat :

    • l'heure n'est pas turbulente, car l'error_value médiane des capteurs reste à ×1,0 de son calme (le 10-04 : 0,95 à 1,00), alors que l'agitation monte à ×2 à ×2,5 ;
    • les rejets n'y sont pour rien.

    Essais faits :

    • tenir aussi une heure pour turbulente quand l'agitation médiane atteint FORT, sans hausse de l'error_value : SNCF01 passe à 46 % (99 % justes), mais les justes Visibility reculent sur NIEDERHORN (de 88 % à 22 %), JUNGFRAU (de 97 % à 65 %), FLORIDA (de 100 % à 83 %) et LENZSPITZE (de 83 % à 78 %) ;
    • retirer le critère de l'error_value : pire encore.

    Il faudrait une autre signature (l'error_value qui varie fort, sans monter), à chercher.

  • S2, en partie. Les exemples de la critique sur CLARIDEN (CLARIDEN-12 : médiane de la scène à 2 MAD au plus, sur un groupe de cibles), NIEDERHORN-127 et LENZSPITZE-13 (seulement 14:15 → 15:05) restent manqués : leur gêne ne touche pas la plupart des capteurs, ou pas assez. À 1,5 MAD, CLARIDEN est trouvée à 25 %, mais FLORIDA, JUNGFRAU et SNCF01 reculent. L'élargissement des épisodes à rejets par ce critère n'est pas fait : les épisodes de même sorte proches se fusionnent déjà au classement (MERGE).

  • S3 (une cible perdue chaque jour aux mêmes heures).

    • Essai simple : les heures du jour où une cible est rejetée sur au moins 3 jours, et à au moins 2 ou 3 fois la médiane de ses 24 heures, donnent une Poor visibility par jour.
    • Gain : SNCF01 jusqu'à 52 %, WILDSTRUBEL 86 %, NIEDERHORN 89 %.
    • Reculs : les justes de NIEDERHORN Visibility tombent de 88 % à 22 % (cibles Target issue rejetées « presque chaque nuit », NIEDERHORN-70 et -79, qui ont elles aussi leurs heures), ceux de LENZSPITZE de 84 % à 75 %, et WILDSTRUBEL Displacement de 100 % à 87 % (sauts absorbés).
    • Pour la distinguer d'une Target issue, il faudrait encore « sans voisine touchée » et « l'error_value qui monte jusqu'au seuil » : trop de règles pour un gain qui tient surtout à NORDEND (CTR01). Laissée.

Difficultés

  • Le benchmark entier dure 2 à 3 min ; lancé en arrière-plan, il dépasse la limite d'attente d'une commande au premier plan. J'ai attendu par une boucle sur les fichiers de sortie, faute de l'outil d'attente que cite la consigne (Monitor), absent ici.
  • Un commit d'une autre session (95c723e) est arrivé entre S1 et S2 ; sans effet sur mes fichiers.