100 lines
16 KiB
Markdown
100 lines
16 KiB
Markdown
# Obstruction : modification 1
|
||
|
||
## Ce qui a changé
|
||
|
||
**S1, commit 7516c6d** (une cible à problème découpée en Target obscured) :
|
||
- `detectors/target_issue.py` : constante ajoutée `PONT = 2` (jours). Les suites de jours dégradés d'une cible sont aussi calculées « reliées » : au plus `PONT` jours non dégradés de suite ne coupent pas la suite. Une suite reliée d'au moins `SEMAINE` jours (de son premier à son dernier jour dégradé) et à au moins `PART` de rejets sur tous ses jours devient un Degraded target (Target issue) ; les suites strictes (comme avant) qu'elle couvre ne donnent plus de Target obscured. Les autres suites strictes restent des Target obscured, inchangées. Fonction `_suites` ajoutée ; texte du Degraded target : « on n of N days ».
|
||
- `detectors/obstruction.py` : un capteur déjà dans un épisode Target issue (Degraded target, Target stuck) qui chevauche un épisode Obstruction en est retiré ; l'épisode tombe s'il n'en reste aucun (frontière « Target issue ou épisode d'une autre famille »).
|
||
- `detectors/categories.py`, fusion des épisodes de même sorte à moins de `MERGE` : deux Target obscured ne fusionnent que s'ils partagent un capteur.
|
||
- Registre : ligne `PONT` ajoutée, ligne `MERGE` complétée.
|
||
|
||
**S3, commit 99742c5** (un passage d'une mesure sur une ou deux cibles, ou devant une référence) :
|
||
- `detectors/visibility.py`, point 2 : nouvelle forme de Brief obstruction (famille Obstruction) : à un instant, une ou deux cibles, ou une seule référence (moins de `BREF_MIN` capteurs, au plus une référence), rejetées à plus de `FACTEUR` fois leur médiane (sans la condition `K_MAD` : de jour la turbulence gonfle la MAD), aucune d'elles rejetée à la mesure d'avant ni à celle d'après, et moins de `BREF_MIN` capteurs hauts à cet instant. Pas de constante nouvelle.
|
||
- `detectors/obstruction.py` : le retrait des capteurs en Target issue vaut pour tous les épisodes Obstruction (pas seulement Target obscured) : les rejets isolés d'une cible à problème ne font pas de passage.
|
||
- `detectors/categories.py` : la règle de fusion par capteur partagé vaut pour toute la famille Obstruction (Brief obstruction compris : des passages de quelques minutes ne font plus une heure entière) ; un passage n'absorbe un saut revenu qui commence à son instant que si ce saut est revenu dans `MERGE` (1 h) : un saut de plusieurs heures d'une autre cible qui commence au même instant n'est plus effacé.
|
||
- Registre : lignes `FACTEUR` et `MERGE` complétées.
|
||
|
||
**S6, commit dfd87c3** (à 4 h de cadence, le Target obscured hors d'atteinte) :
|
||
- `detectors/visibility.py`, point 4 : l'écart toléré entre deux rejets d'une cible est `max(CIBLE_ECART, 2 pas de mesure)` (avant : `CIBLE_ECART`, 6 h) ; le nombre de rejets demandé est 2 quand `CIBLE_MIN` pas de mesure ne tiennent pas dans `CIBLE_ECART` (cadence de plus de 2 h), `CIBLE_MIN` = 3 sinon (avant : toujours 3). Constantes inchangées.
|
||
- Registre : lignes `CIBLE_MIN` et `CIBLE_ECART` complétées.
|
||
|
||
## Pourquoi
|
||
|
||
- S1 : une cible rejetée presque chaque jour sortait en une suite de Target obscured (Obstruction), parce qu'un seul jour sous `PART` coupait la suite de jours dégradés avant `SEMAINE` ; relier les suites à un ou deux jours près, sous condition de part de rejets sur la suite reliée, en fait une cible à problème (Target issue), comme le dit la frontière. Le filtre par capteur et la fusion par capteur partagé empêchent qu'un Target obscured reprenne une cible déjà en Target issue ou enchaîne des cibles différentes en un événement de plusieurs jours. Les cibles cachées par moments par un objet qui revient (véhicules garés) n'ont pas de suite reliée assez longue et restent en Target obscured.
|
||
- S3 : un passage devant une ou deux cibles, ou une seule référence, le temps d'une mesure, ne faisait aucun événement (le Brief obstruction demandait trois capteurs hauts, et sa hauteur se mesurait en MAD). La condition « isolé » (pas de rejet avant ni après) écarte les cibles faibles rejetées plusieurs mesures ; ×2 la médiane écarte une cible au ras de son seuil. Les deux retouches de `categories.py` viennent de la vérification : sans elles, les passages proches fusionnaient en une heure entière, et un passage effaçait le long saut d'une autre cible.
|
||
- S6 : à une mesure toutes les 4 h, trois rejets à moins de 6 h sont impossibles ; dire l'écart en pas de mesure et se contenter de deux rejets à cadence lâche rend la règle indépendante de la cadence.
|
||
|
||
## Avant / après sur les stations de la suggestion
|
||
|
||
Commande du journal avec `2>&1`, avant (état 2a0f8cd) et après (dfd87c3) ; aucune ligne `sauté` après. Comptes d'événements, puis les lignes qui comptent.
|
||
|
||
- FLORIDA (2026-10-01 → 2026-11-01) : Target obscured 38 → 1, Degraded target 1 → 2, Brief obstruction 0 → 8.
|
||
- après : `2026-10-03T00:00Z → 2026-10-20T23:45Z Target issue grisé | Degraded target | 2 capteurs` (Sellette 6, Massif 2) ; `2026-10-21T02:15Z → 2026-10-29T23:30Z Degraded target | 1 capteurs` devient `2026-10-21T02:15Z → 2026-10-31T23:45Z Degraded target | 2 capteurs` ; les 35 Target obscured de Sellette 6 et Massif 2 disparaissent.
|
||
- NORDEND (2026-08-10 → 2026-11-01) : Target obscured 40 → 37, Degraded target 1 → 2, Brief obstruction 8 → 140.
|
||
- après : `2026-10-23T00:00Z → 2026-10-31T23:45Z Target issue grisé | Degraded target | 1 capteurs` (CTR01, NORDEND-195) ; les Target obscured fusionnés de cibles différentes sont séparés par capteur (`09-15 08:30 → 09-16 10:45 PR04,PR07,PR09,PR10` en `PR04,PR07` et `PR09,PR10` ; `10-21 07:45 → 19:45 PR04,PR07,PR09` en trois). NORDEND-31 (CTR02, 18.08 18:00) et NORDEND-168 (PR01, 07.10 19:45) restent sans Brief obstruction.
|
||
- SNCF01 (2026-10-04 → 2026-11-01) :
|
||
- avant : `2026-10-04T00:00Z → 2026-10-31T23:45Z Target issue | Degraded target | 4 capteurs` ; après : le même, `5 capteurs` (F4.3 et F4.4 en plus).
|
||
- avant : `2026-10-26T00:00Z → 2026-10-31T23:45Z Obstruction | Target obscured | 8 capteurs` (Target obscured fusionnés) ; après : plus de Target obscured de F4.1, F4.3, F4.4 ; restent ceux de CV.2, CV.4, CV.6 (S5, non traitée), un par capteur.
|
||
- NIEDERHORN (2026-10-01 → 2026-11-01) : Target obscured 23 → 14, Brief obstruction 21 → 46.
|
||
- avant : `10-17T13:00 → 10-17T22:00 Target obscured e01`, de même les 18, 21, 24, 27.10 ; après : disparus (e01 dans le Degraded target de la station, NIEDERHORN-10). Les Target obscured de PWD_RMP_B15_017_C09 (NIEDERHORN-9) aussi.
|
||
- après : `2026-10-03T10:00Z Brief obstruction | 2 capteurs` (NIEDERHORN-22), `2026-10-08T17:00Z Brief obstruction | 2 capteurs` (NIEDERHORN-43), `2026-10-09T16:00Z Brief obstruction | 1 capteurs` (référence, NIEDERHORN-47).
|
||
- JUNGFRAU (2026-09-30 → 2026-11-01) :
|
||
- avant : `2026-10-06T06:00Z → 2026-10-06T06:15Z Displacement gardé | Sudden jump, back to normal | 11 capteurs` ; après : `2026-10-06T06:00Z Obstruction grisé | Brief obstruction | 12 capteurs | absorbés : Sudden jump, back to normal 10-06T06:00` (REF_G derrière le camion, JUNGFRAU-22).
|
||
- les Target obscured des 01.10, 07.10, 20.10 passent de 2 capteurs à 1 (PM_G, en Degraded target, retirée ; PM_C reste : S5).
|
||
- CLARIDEN (2026-10-01 → 2026-11-01) : le Target obscured de P-300-B (31.10 22:20 → 22:40) disparaît ; deux Brief obstruction nouveaux de PR-295 le 31.10 (19:50, 23:10), sans étiquette.
|
||
- WILDSTRUBEL (2026-09-01 → 2026-11-01) : Brief obstruction 4 → 80, Displacement 19 → 15.
|
||
- après : `2026-09-01T16:30Z Brief obstruction | 1 capteurs` (R1, WILDSTRUBEL-7), `2026-09-03T21:45Z … | 1 capteurs` (PA2_2, WILDSTRUBEL-21), `2026-09-26T10:45Z … | 2 capteurs` (PB4, R2, WILDSTRUBEL-100), `2026-10-03T08:45Z` (PB1_2, PB2_2, WILDSTRUBEL-149). WILDSTRUBEL-11 (R1 et R2, deux références) reste sans.
|
||
- LENZSPITZE (2026-10-16 → 2026-11-01) : Brief obstruction 13 → 30 ; après : `2026-10-16T07:35Z Brief obstruction | 2 capteurs` (8003, 8010, LENZSPITZE-5), `2026-10-31T15:01Z … | 2 capteurs` (LENZSPITZE-67), `10-17T09:01` (LENZSPITZE-11), `10-17T10:20` (8014, LENZSPITZE-12).
|
||
- BREITHORN (2026-10-03 → 2026-11-01) : Target obscured 6 → 12, Brief obstruction 3 → 4.
|
||
- après : `2026-10-07T20:00Z → 2026-10-08T00:00Z Target obscured | 1 capteurs` (BREITHORN-6), `2026-10-09T00:00Z → 04:00Z Target obscured | 3 capteurs` (BREITHORN-7), `2026-10-29T20:00Z → 2026-10-30T00:00Z Target obscured | 1 capteurs` (BREITHORN-26), `2026-10-07T12:00Z Brief obstruction | 1 capteurs` (REFI'21, BREITHORN-5) ; `10-26 16:00 → 20:00` et `10-26 20:00 → 10-27 04:00` réunis en un événement de 3 capteurs.
|
||
|
||
## Benchmark
|
||
|
||
Les données de LENZSPITZE ont été repompées après le benchmark avant (fichiers du 24 et du 25.10 réécrits à 11:10 UTC+1) : toutes ses lignes ont bougé sans changement de code. J'ai relancé le benchmark avant sur les données actuelles (`benchmark-avant-relance.txt`, non commité) ; seules les lignes de LENZSPITZE et du Total en diffèrent. Ci-dessous, avant → après, avant = benchmark avant (LENZSPITZE : la relance).
|
||
|
||
| Station | Famille | trouvées | justes |
|
||
|---|---|---|---|
|
||
| BREITHORN | Obstruction | 39/48 (81 %) → 46/48 (96 %) | 39/39 (100 %) → 46/46 (100 %) |
|
||
| CLARIDEN | Obstruction | 1/5 (20 %) → 1/5 (20 %) | 1/7 (14 %) → 1/5 (20 %) |
|
||
| FLORIDA | Obstruction | 2/2 (100 %) → 0/2 (0 %) | 2/1009 (0 %) → 0/13 (0 %) |
|
||
| JUNGFRAU | Displacement | — | 0/21 → 0/19 |
|
||
| JUNGFRAU | Obstruction | 0/1 (0 %) → 1/1 (100 %) | 0/155 (0 %) → 1/158 (1 %) |
|
||
| LENZSPITZE | Obstruction | 15/47 (32 %) → 19/47 (40 %) | 15/68 (22 %) → 19/84 (23 %) |
|
||
| NIEDERHORN | Obstruction | 92/156 (59 %) → 75/156 (48 %) | 92/291 (32 %) → 75/167 (45 %) |
|
||
| NORDEND | Obstruction | 978/2625 (37 %) → 635/2625 (24 %) | 978/2143 (46 %) → 635/1873 (34 %) |
|
||
| NORDEND | Target issue | 1296/7183 (18 %) → 2097/7183 (29 %) | 1296/1296 (100 %) → 2097/2097 (100 %) |
|
||
| SNCF01 | Obstruction | 21/22 (95 %) → 20/22 (91 %) | 21/985 (2 %) → 20/431 (5 %) |
|
||
| WILDSTRUBEL | Displacement | 550/579 (95 %) → 550/579 (95 %) | 550/1836 (30 %) → 550/1833 (30 %) |
|
||
| WILDSTRUBEL | Obstruction | 216/1026 (21 %) → 253/1026 (25 %) | 216/424 (51 %) → 253/482 (52 %) |
|
||
|
||
Total (avant : la relance) :
|
||
- Obstruction : trouvées 1364/3932 (35 %) → 1050/3932 (27 %) ; justes 1364/5121 (27 %) → 1050/3259 (32 %)
|
||
- Target issue : trouvées 14726/22369 (66 %) → 15527/22369 (69 %) ; justes 14731 → 15532 signalés (100 %)
|
||
- Displacement : justes 5707/11792 → 5707/11787 (48 %)
|
||
|
||
Par suggestion : S1 `benchmark-1-S1.txt`, S3 `benchmark-1-S3.txt`, S6 `benchmark-1-S6.txt` (l'état final). La baisse de « trouvées » Obstruction (Total, NORDEND, NIEDERHORN, FLORIDA, SNCF01) vient toute de S1 et de la même cause, ci-dessous.
|
||
|
||
## À trancher par l'utilisateur
|
||
|
||
- Le benchmark compte par instant, sans capteurs : des instants d'étiquettes Obstruction étaient « trouvés » par les Target obscured d'une autre cible, une cible à problème que l'étiquette range en Target issue. S1 range ces cibles en Degraded target (Target issue) : ces instants ne sont plus trouvés, sans qu'un événement de la cible de l'étiquette soit perdu (elle n'était pas détectée). Lecture des détecteurs : la cible à problème est Target issue, comme le disent ses propres étiquettes.
|
||
- NORDEND-169 (PR17, 08.10 02:15 → 01.11, Obstruction, trace sur la vitre) : comptée en partie trouvée par les Target obscured de CTR01 (NORDEND-195, Target issue) et PR04 (NORDEND-152, Target issue) ; 758 → 363 instants. NORDEND Obstruction trouvées 37 → 24 %, Target issue trouvées 18 → 29 %.
|
||
- NIEDERHORN-80, -86, -87, -92, -105 (PWD_IMP_B07_016_C09 derrière la plante, 17.10 → 23.10, Obstruction), -111 (24.10 16:00 → 20:00, camionnette) et -120 (27.10 11:00 → 13:00, passage) : comptées trouvées par les Target obscured de e01 (NIEDERHORN-10, Target issue) et PWD_RMP_B15_017_C09 (NIEDERHORN-9, Target issue). NIEDERHORN Obstruction trouvées 59 → 48 %, justes 32 → 45 %.
|
||
- FLORIDA-43 (Sellette 5, 20.10 05:15 → 06:00, Obstruction, deux mesures) : comptée trouvée par le Target obscured de Sellette 6 (FLORIDA-1, Target issue). FLORIDA Obstruction trouvées 2/2 → 0/2 ; Sellette 5, rejetée deux mesures de suite, n'est pas prise par S3 (la règle demande une mesure isolée).
|
||
- SNCF01-48 (CV.2 et CV.4, 16.10 11:30 → 12:00, Obstruction) : comptée trouvée par le Target obscured de F4.1 (SNCF01-2, Target issue). SNCF01 Obstruction trouvées 95 → 91 % (1 instant sur 22).
|
||
- CLARIDEN Obstruction justes 1/4 → 1/5 entre S1 et S3 (20 % au final, 14 % au benchmark avant) : S3 pose deux Brief obstruction sur PR-295 le 31.10 (19:50, 23:10), rejetée une mesure isolée à plus de ×2 sa médiane, sans étiquette à ces instants.
|
||
|
||
## Pas corrigé
|
||
|
||
- S2 (cible couverte en partie des jours, sans rejets) : un pas de l'error_value d'une seule cible ne se sépare pas simplement des variations ordinaires. Essai (médiane sur l'heure et les 24 h suivantes à ×1,8 la médiane des 24 h d'avant, pas net en une heure, médiane des autres capteurs à leur niveau) : PR17 de NORDEND est trouvée au 08.10 02:00, mais la même règle pose des dizaines d'épisodes sans étiquette à NORDEND (PR04, PR09, CTR01, PR07…) et à LENZSPITZE (presque toutes les cibles), et rien à WILDSTRUBEL, où les pas de PB2_2 et PB1_2 ne font que ×1,2 à ×1,3 la nuit sous un cycle de jour de ×3. Il faudrait une règle bien plus fine (forme du pas, saut de corr du même capteur), ce qui n'est plus simple.
|
||
- S4 (objet devant quelques capteurs dont une référence) : deux essais sur la règle 7 de `visibility.py`. « Au plus un tiers des capteurs, au plus une référence » : NIEDERHORN Visibility trouvées 24 → 3 %, NORDEND 35 → 23 %, LENZSPITZE Obstruction justes 23 → 10 %. « Au plus `QUELQUES` cibles et une référence » (avec ou sans « au moins deux cibles ») : WILDSTRUBEL Obstruction 25 → 28 %, mais FLORIDA Visibility 64 → 49 % (le risque r1_r et Pont Ernen que nommait la critique), JUNGFRAU Visibility 46 → 43 %, WILDSTRUBEL Visibility 36 → 33 %. Reculs : laissée.
|
||
- S5 (Target obscured au milieu d'une gêne de toute la scène) : essai dans `obstruction.py`, un Target obscured retiré quand, la plupart de ses heures, l'error_value médiane des autres capteurs est à au moins `RATIO_ERR` fois leur calme (`visibility.heures`), puis aussi « et ses propres capteurs à moins de ×2 les autres ». au premier essai, JUNGFRAU et LENZSPITZE gagnent (Obstruction justes 1 → 33 %, 23 → 49 %), mais WILDSTRUBEL Obstruction trouvées 25 → 6 % puis 8 % : ses matins de turbulence sont aussi ceux des voitures garées et des passages étiquetés Obstruction (WILDSTRUBEL-15, -144, et une trentaine de passages d'une mesure que seuls ces Target obscured couvraient). Recul : laissée.
|
||
- S3, en partie : les passages devant deux références (WILDSTRUBEL-11) et ceux noyés dans une Poor visibility (NORDEND-31, -168) ne sont pas pris ; la chute du signal des métriques de qualité (LENZSPITZE-49, -50, -59, -63) n'est pas lue.
|
||
- S1, en partie : les Target obscured de CV.6 à SNCF01 (SNCF01-6, Target issue) restent, sa suite reliée de fin de mois n'atteint pas `SEMAINE` jours dans la fenêtre ; ceux de PM_C à JUNGFRAU relèvent de S5.
|
||
|
||
## Difficultés
|
||
|
||
- Les données de LENZSPITZE ont changé pendant la séance (repompage des 24 et 25.10 après le benchmark avant) : le benchmark avant n'était plus reproductible pour cette station. J'ai relancé le benchmark avant sur les données actuelles (`benchmark-avant-relance.txt`, laissé non commité, la consigne ne nommant que `benchmark-K-S<n>.txt`) et comparé LENZSPITZE à cette relance.
|
||
- Mon script de commande du journal, lancé avec la racine du dépôt comme dossier, a écrit ses sorties à la racine du dépôt (`j_*_apres.txt`) au lieu de mon dossier de travail ; je les ai déplacées dans mon dossier temporaire aussitôt.
|
||
- Une suppression de dossier dans mon dossier temporaire a été bloquée par la vérification de sécurité (`rm -rf *` après un `cd`) ; j'ai créé un nouveau dossier avec `mktemp -d` à la place.
|
||
- Le benchmark ne dit pas les capteurs : savoir si une baisse de « trouvées » est une vraie perte demande un script par étiquette et par événement (j'en ai écrit un dans mon dossier de travail) ; la consigne D-135 ne nomme pas ce cas (des instants trouvés par la cible d'une autre famille), je l'ai rangé dans « À trancher ».
|