From 7fcc7264d3976c74c22c2249d48f1d0f5f2bf18d Mon Sep 17 00:00:00 2001 From: maxime Date: Tue, 3 Nov 2026 14:01:32 +0100 Subject: [PATCH] Detector-learner NEBRASKA: modification 1 Co-Authored-By: Claude Opus 5.5 --- .../modification-1.md | 60 +++++++++++++++++++ .../regression-1-global.txt | 58 ++++++++++++++++++ .../regression-1.txt | 48 +++++++++++++++ .../regression-avant-global.txt | 58 ++++++++++++++++++ detectors/categories.py | 5 +- detectors/degradee.py | 55 +++++++++++++---- .../contexte/seuils-du-journal.md | 3 +- 7 files changed, 272 insertions(+), 15 deletions(-) create mode 100644 detector-learner/2026-11-03T1249Z_NEBRASKA/modification-1.md create mode 100644 detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1-global.txt create mode 100644 detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1.txt create mode 100644 detector-learner/2026-11-03T1249Z_NEBRASKA/regression-avant-global.txt diff --git a/detector-learner/2026-11-03T1249Z_NEBRASKA/modification-1.md b/detector-learner/2026-11-03T1249Z_NEBRASKA/modification-1.md new file mode 100644 index 0000000..9bb183c --- /dev/null +++ b/detector-learner/2026-11-03T1249Z_NEBRASKA/modification-1.md @@ -0,0 +1,60 @@ +# Lot 01 : modification 1 + +## Ce qui a changé +- `detectors/degradee.py` : + - constante `MIN_INSTANTS = 12` (instants calmes par jour, « 3 h à 15 min ») remplacée par `MIN_HEURES = 3` (heures d'instants calmes par jour, à la cadence propre de la station : l'écart médian entre deux instants de mesure, comme dans `trous`). On garde 12 instants à 15 min, mais il en faut 1 à 4 h. Les cibles collées (`colles`) prennent le même seuil. + - nouvelle constante `SEMAINE = 7` (jours) et nouvelle règle, le point 4 de la docstring : une suite d'au moins 7 jours dégradés reste « Degraded target » (`cible_a_probleme`), bornée de la première à la dernière mesure rejetée. Une suite plus courte devient « Target obscured », une cible cachée par moments, avec un épisode par suite de mesures rejetées : les heures où la cible est vue n'en font plus partie. + - bornes de la « Degraded target » : de la première à la dernière mesure rejetée de la suite, au lieu de la première à la dernière mesure des jours de la suite. +- `detectors/categories.py` : `LABELS` gagne `("degradee", "Target obscured", None): "cible_masquee"`, une catégorie existante de la famille `obstruction`. La docstring est à jour. +- `vues-deplacements/contexte/seuils-du-journal.md` : la ligne `MIN_INSTANTS` est remplacée par `MIN_HEURES`, et la ligne `SEMAINE` est ajoutée. + +## Pourquoi +Il fallait aligner le classement des catégories du journal sur les familles des étiquettes (suggestion S2 et consigne de l'utilisateur) et rendre `degradee` indépendant de la cadence (S1). Avec un quorum fixé pour 15 min, aucun jour ne comptait à une mesure toutes les 4 h : une référence perdue et rejetée sans cesse pendant des semaines restait invisible. De son côté, `labeling/familles.md` tranche « Target issue ou Obstruction » ainsi : une cible gênée tout le temps relève de Target issue, une cible gênée par moments d'Obstruction. Un `degradee` de quelques jours, par exemple une cible derrière un véhicule garé plusieurs nuits, va donc en `cible_masquee` et ne couvre que ses mesures rejetées. Une semaine ou plus reste une cible à problème. + +## Avant / après sur le lot +Avant (`python3 detectors/categories.py data/NEBRASKA --du 2026-10-07 --au 2026-11-01 2>&1`) : +``` +2026-10-09T12:00Z → 2026-10-09T12:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : — +2026-10-15T20:00Z → 2026-10-16T12:00Z trou gardé | trous | tous les capteurs | absorbés : — +2026-10-28T08:00Z → 2026-10-28T08:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : — +2026-10-29T04:00Z → 2026-10-29T04:00Z saut_bref grisé | sauts | 6 capteurs | absorbés : — +``` +Après (aucune ligne `sauté`) : +``` +2026-10-09T12:00Z → 2026-10-31T20:00Z cible_a_probleme grisé | degradee | 1 capteurs | absorbés : — +2026-10-09T12:00Z → 2026-10-09T12:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : — +2026-10-15T20:00Z → 2026-10-16T12:00Z trou gardé | trous | tous les capteurs | absorbés : — +2026-10-28T08:00Z → 2026-10-28T08:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : — +2026-10-29T04:00Z → 2026-10-29T04:00Z saut_bref grisé | sauts | 6 capteurs | absorbés : — +``` +REFCOLH22 (L2) est maintenant vue en `cible_a_probleme` à partir de l'instant même de sa perte, le 09.10 à 12:00. Les autres événements n'ont pas changé. + +## Score +NEBRASKA, 2026-10-07 → 2026-11-01 : +- `cible_a_probleme` : trouvées 0/133 (0 %) → 132/133 (99 %) ; justes — → 132/132 (100 %). +- Les autres familles n'ont pas changé : `deplacement` 1/53 et 1/2, `deplacement_thermique` 0/91, `trou` 2/2 et 2/2, `visibilite` 1/10 et 1/1. + +## Non-régression +`python3 .claude/skills/detector-learner/regression.py --sauf NEBRASKA` : +- BREITHORN `obstruction` : trouvées 12/71 (17 %) → 41/71 (58 %) ; justes 12/12 (100 %) → 41/41 (100 %). +- MICHIGAN `cible_a_probleme` : trouvées 0/133 (0 %) → 132/133 (99 %) ; justes — → 132/132 (100 %). +- JUNGFRAU, NORDEND, WILDSTRUBEL : aucune ligne n'a changé. +- Total `cible_a_probleme` : 571/704 (81 %) → 703/704 (100 %) ; justes 571/2433 (23 %) → 703/2565 (27 %). +- Total `obstruction` : 119/371 (32 %) → 148/371 (40 %) ; justes 119/479 (25 %) → 148/508 (29 %). +- Les autres lignes du total n'ont pas changé. Aucune famille ne recule sur aucune station. +- `score.py --test` : bon. + +## Pas corrigé +- **Dérives longues (L1, L3 en `deplacement`, L5 en `deplacement_thermique`)** : `derive` à la cadence de la station (`HEURES`) donne une dérive de la fenêtre entière pour presque toutes les cibles de NEBRASKA, MICHIGAN et BREITHORN, toutes rangées en `deplacement`. Or l'étiqueteur range celles de MICHIGAN et L5 en `deplacement_thermique`. Pour trancher par la température de la station, comme le demande la frontière, il faudrait une règle ou un détecteur qui lise les métriques : non fait. +- **`thermique`** : il exige un profil de 24 heures distinctes et ne voit qu'une vague quotidienne. La montée de plusieurs jours qui suit la température n'a aucun détecteur : non fait, pour la même raison. +- **`sauts`, `BASE` à la cadence** : avec `BASE` à 1 ou 2 à 4 h, le pic du 28.10 08:00 (L6) disparaît de NEBRASKA, car il ne touche que 2 cibles, sous `PIC_MIN`. Sur MICHIGAN, il devient un `saut_bref` sous une étiquette thermique, que le score ne range dans aucune famille. Sans gain, je n'ai rien changé : le 28.10 reste en `a_verifier`. +- **Saut commun au moment de la perte de REFCOLH22 (09.10 12:00)** : il reste en `a_verifier`. Rattacher un saut qui dure à une référence perdue au même instant risquerait de cacher un vrai mouvement accompagné de références instables (E-004). +- **Référence gênée sans rejet (L7, L8)** : à 04:00, REFH22 ne dépasse sa médiane que de ×1,2 à ×1,3, sous `FACTEUR = 2` de `visibilite`, une constante réglée sur E-004. L8 reste manquée. +- **`trou` d'une ou deux mesures** : les étiquettes ne sont pas cohérentes entre stations. NORDEND étiquette un trou d'une mesure, JUNGFRAU (une douzaine de trous d'une mesure) et WILDSTRUBEL (trois) ne les étiquettent pas. Baisser `MISSING` signalerait ces trous non étiquetés : laissé à 2. +- **Contradiction pour l'utilisateur** : `familles.md` dit de ne pas étiqueter « la pose qui suit la chaleur » compensée. Pourtant l'étiqueteur étiquette en `deplacement_thermique` les jours où `thermique` ne voit que la caméra (« Camera thermal… »), 316 des 332 instants à NORDEND. Retirer ces épisodes ferait reculer NORDEND et JUNGFRAU : je les ai gardés. De même, « Target stuck » n'a jamais été signalé sur ces lots : rien à trancher ici. +- **`events/carte-des-evenements.md`, section 4** : elle décrit encore `degradee` « Degraded target » sur « 2 jours de suite ». C'est désormais au moins 7 jours, une suite plus courte allant en `cible_masquee`. Ce fichier est hors de ceux que je peux modifier : à mettre à jour. + +## Difficultés +- La consigne de l'utilisateur, « aligner les catégories du journal sur les familles », et l'interdit « pas de nouvelle catégorie » ne disaient pas jusqu'où aller : renommer les douze catégories en six familles, ou seulement changer le classement ? `categories.py` est lu par `score.py`, `status.py`, `explore.py` et `detecteurs.py`, hors de mon périmètre. J'ai donc seulement changé la catégorie que reçoit un épisode, sans renommer ni ajouter de catégorie. +- `score.py` range un `saut_bref` dans la famille de l'étiquette qui le couvre, mais seulement parmi `CAUSES_SAUT = {obstruction, visibilite, deplacement}`. `familles.md` dit pourtant « la famille de sa cause », ce qui inclut le froid (`deplacement_thermique`). Un saut bref sous une étiquette thermique ne compte donc dans aucune famille, et cela a pesé sur l'essai de `BASE`. +- Le gabarit du rendu demande la ligne `total` de la catégorie `toutes`, qui n'existe que dans le benchmark. `regression.py` donne un bloc « Total » par famille : j'ai mis les lignes de ce bloc qui ont changé. diff --git a/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1-global.txt b/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1-global.txt new file mode 100644 index 0000000..5a161b8 --- /dev/null +++ b/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1-global.txt @@ -0,0 +1,58 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes + trouvées justes + deplacement 11/171 (6 %) 11/11 (100 %) + obstruction 41/71 (58 %) 41/41 (100 %) + trou 2/2 (100 %) 2/2 (100 %) + visibilite — 0/34 (0 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes + trouvées justes + cible_a_probleme 571/571 (100 %) 571/2433 (23 %) + deplacement — 0/2433 (0 %) + deplacement_thermique 201/504 (40 %) 201/889 (23 %) + obstruction — 0/191 (0 %) + sans famille 0/576 (0 %) — + saut_bref — 0/14 (0 %) + trou — 0/4 (0 %) + visibilite 25/47 (53 %) 25/287 (9 %) + +MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes + trouvées justes + cible_a_probleme 132/133 (99 %) 132/132 (100 %) + deplacement 0/9 (0 %) 0/1 (0 %) + deplacement_thermique 0/135 (0 %) — + trou 2/2 (100 %) 2/2 (100 %) + +NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes + trouvées justes + cible_a_probleme 132/133 (99 %) 132/132 (100 %) + deplacement 1/53 (2 %) 1/2 (50 %) + deplacement_thermique 0/91 (0 %) — + trou 2/2 (100 %) 2/2 (100 %) + visibilite 1/10 (10 %) 1/1 (100 %) + +NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes + trouvées justes + deplacement_thermique 316/332 (95 %) 316/318 (99 %) + obstruction 0/6 (0 %) 0/83 (0 %) + trou 0/2 (0 %) — + visibilite 11/111 (10 %) 11/13 (85 %) + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes + trouvées justes + deplacement_thermique — 0/126 (0 %) + obstruction 107/294 (36 %) 107/193 (55 %) + visibilite 108/290 (37 %) 108/113 (96 %) + +Total + trouvées justes + cible_a_probleme 835/837 (100 %) 835/2697 (31 %) + deplacement 12/233 (5 %) 12/2447 (0 %) + deplacement_thermique 517/1062 (49 %) 517/1333 (39 %) + obstruction 148/371 (40 %) 148/508 (29 %) + sans famille 0/576 (0 %) — + saut_bref — 0/14 (0 %) + trou 6/8 (75 %) 6/10 (60 %) + visibilite 145/458 (32 %) 145/448 (32 %) + +historique : detector-learner/historique.csv (version f790519+) diff --git a/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1.txt b/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1.txt new file mode 100644 index 0000000..f9d4c04 --- /dev/null +++ b/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-1.txt @@ -0,0 +1,48 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes + trouvées justes + deplacement 11/171 (6 %) 11/11 (100 %) + obstruction 41/71 (58 %) 41/41 (100 %) + trou 2/2 (100 %) 2/2 (100 %) + visibilite — 0/34 (0 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes + trouvées justes + cible_a_probleme 571/571 (100 %) 571/2433 (23 %) + deplacement — 0/2433 (0 %) + deplacement_thermique 201/504 (40 %) 201/889 (23 %) + obstruction — 0/191 (0 %) + sans famille 0/576 (0 %) — + saut_bref — 0/14 (0 %) + trou — 0/4 (0 %) + visibilite 25/47 (53 %) 25/287 (9 %) + +MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes + trouvées justes + cible_a_probleme 132/133 (99 %) 132/132 (100 %) + deplacement 0/9 (0 %) 0/1 (0 %) + deplacement_thermique 0/135 (0 %) — + trou 2/2 (100 %) 2/2 (100 %) + +NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes + trouvées justes + deplacement_thermique 316/332 (95 %) 316/318 (99 %) + obstruction 0/6 (0 %) 0/83 (0 %) + trou 0/2 (0 %) — + visibilite 11/111 (10 %) 11/13 (85 %) + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes + trouvées justes + deplacement_thermique — 0/126 (0 %) + obstruction 107/294 (36 %) 107/193 (55 %) + visibilite 108/290 (37 %) 108/113 (96 %) + +Total + trouvées justes + cible_a_probleme 703/704 (100 %) 703/2565 (27 %) + deplacement 11/180 (6 %) 11/2445 (0 %) + deplacement_thermique 517/971 (53 %) 517/1333 (39 %) + obstruction 148/371 (40 %) 148/508 (29 %) + sans famille 0/576 (0 %) — + saut_bref — 0/14 (0 %) + trou 4/6 (67 %) 4/8 (50 %) + visibilite 144/448 (32 %) 144/447 (32 %) diff --git a/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-avant-global.txt b/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-avant-global.txt new file mode 100644 index 0000000..68751d0 --- /dev/null +++ b/detector-learner/2026-11-03T1249Z_NEBRASKA/regression-avant-global.txt @@ -0,0 +1,58 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes + trouvées justes + deplacement 11/171 (6 %) 11/11 (100 %) + obstruction 12/71 (17 %) 12/12 (100 %) + trou 2/2 (100 %) 2/2 (100 %) + visibilite — 0/34 (0 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes + trouvées justes + cible_a_probleme 571/571 (100 %) 571/2433 (23 %) + deplacement — 0/2433 (0 %) + deplacement_thermique 201/504 (40 %) 201/889 (23 %) + obstruction — 0/191 (0 %) + sans famille 0/576 (0 %) — + saut_bref — 0/14 (0 %) + trou — 0/4 (0 %) + visibilite 25/47 (53 %) 25/287 (9 %) + +MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes + trouvées justes + cible_a_probleme 0/133 (0 %) — + deplacement 0/9 (0 %) 0/1 (0 %) + deplacement_thermique 0/135 (0 %) — + trou 2/2 (100 %) 2/2 (100 %) + +NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes + trouvées justes + cible_a_probleme 0/133 (0 %) — + deplacement 1/53 (2 %) 1/2 (50 %) + deplacement_thermique 0/91 (0 %) — + trou 2/2 (100 %) 2/2 (100 %) + visibilite 1/10 (10 %) 1/1 (100 %) + +NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes + trouvées justes + deplacement_thermique 316/332 (95 %) 316/318 (99 %) + obstruction 0/6 (0 %) 0/83 (0 %) + trou 0/2 (0 %) — + visibilite 11/111 (10 %) 11/13 (85 %) + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes + trouvées justes + deplacement_thermique — 0/126 (0 %) + obstruction 107/294 (36 %) 107/193 (55 %) + visibilite 108/290 (37 %) 108/113 (96 %) + +Total + trouvées justes + cible_a_probleme 571/837 (68 %) 571/2433 (23 %) + deplacement 12/233 (5 %) 12/2447 (0 %) + deplacement_thermique 517/1062 (49 %) 517/1333 (39 %) + obstruction 119/371 (32 %) 119/479 (25 %) + sans famille 0/576 (0 %) — + saut_bref — 0/14 (0 %) + trou 6/8 (75 %) 6/10 (60 %) + visibilite 145/458 (32 %) 145/448 (32 %) + +historique : detector-learner/historique.csv (version 2a8d3da) diff --git a/detectors/categories.py b/detectors/categories.py index 72087ec..30dee1d 100644 --- a/detectors/categories.py +++ b/detectors/categories.py @@ -2,7 +2,8 @@ 2026-10-24 : events/carte-des-evenements.md, section 4). Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) : -Target issue (`cible_a_probleme` : degradee, et sauts « Target flipping »), la dérive lente (derive) et le gros saut +Target issue (`cible_a_probleme` : degradee, sauf ses « Target obscured », cible cachée par moments, et sauts « Target +flipping »), la dérive lente (derive) et le gros saut (sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est absorbé ; un saut qui dure ou trop récent pour savoir ne l'est @@ -48,7 +49,7 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite", ("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee", ("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier", ("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier", - ("sauts", "Target flipping", None): "cible_a_probleme", + ("sauts", "Target flipping", None): "cible_a_probleme", ("degradee", "Target obscured", None): "cible_masquee", ("thermique", "Thermal expansion", None): "dilatation_thermique", ("thermique", "Thermal contraction", None): "contraction_thermique", ("thermique", "Camera thermal expansion", None): "dilatation_thermique", diff --git a/detectors/degradee.py b/detectors/degradee.py index ae1646b..09dbb9b 100644 --- a/detectors/degradee.py +++ b/detectors/degradee.py @@ -5,10 +5,17 @@ paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moi Méthode (seuils provisoires, Claude, 2026-10-27) : 1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et la buée, qui touchent tout le monde, sont ainsi mises de côté. -2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_INSTANTS, sinon le jour ne compte pas) : jour dégradé - si au moins PART d'entre eux sont rejetés. +2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_HEURES heures d'instants à la cadence de la + station, écart médian entre deux instants de mesure ; sinon le jour ne compte pas) : jour dégradé si au moins PART + d'entre eux sont rejetés. Cadence (boucle /detector-learner NEBRASKA, lot 01) : 12 instants fixes, « 3 h à 15 min », + ne comptaient aucun jour à une mesure toutes les 4 h ; REFCOLH22, rejetée sans cesse depuis sa perte, n'était pas vue. 3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première - mesure du premier jour à la dernière du dernier ; ignore = True : la courbe de la cible n'est pas fiable. + mesure rejetée de ces jours à la dernière ; ignore = True : la courbe de la cible n'est pas fiable. +4. Gênée tout le temps ou par moments (frontière « Target issue ou Obstruction » de labeling/familles.md ; boucle + /detector-learner NEBRASKA, lot 01) : une suite d'au moins SEMAINE jours est une cible à problème, « Degraded target » ; + plus courte, une cible cachée par moments, « Target obscured » (catégorie cible_masquee), un épisode par suite de + mesures rejetées (les heures où elle est vue n'en sont pas). BREITHORN : véhicules garés + devant COLI24 et POUI22, 2 à 5 jours ; NEBRASKA et MICHIGAN : une référence perdue, 25 jours ; JUNGFRAU : PM_G, 63. Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images. @@ -27,8 +34,9 @@ from donnees import charger, est_reference, iso # noqa: E402 CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps » -MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas +MIN_HEURES = 3 # heures d'instants calmes, à la cadence de la station : en dessous, le jour ne compte pas MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs) +SEMAINE = 7 # provisoire : jours dégradés de suite pour une cible à problème ; en dessous, une cible cachée par moments COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas) @@ -36,7 +44,14 @@ def rejete(m): return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"] +def cadence(mesures): + """Écart médian entre deux instants de mesure, tous capteurs confondus, en heures (comme trous).""" + ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms}) + return statistics.median((b - a).total_seconds() for a, b in zip(ts, ts[1:])) / 3600 if len(ts) > 1 else 1 + + def detect(mesures): + min_instants = MIN_HEURES / cadence(mesures) par_t = {} for s, ms in mesures.items(): for m in ms: @@ -56,7 +71,7 @@ def detect(mesures): suites, cur = [], [] for j in sorted(js): rej, calmes = js[j][:2] - if calmes < MIN_INSTANTS: + if calmes < min_instants: continue if rej / calmes >= PART: cur.append(js[j]) @@ -68,18 +83,34 @@ def detect(mesures): if len(su) < MIN_JOURS: continue part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su)) - out.append({"start": iso(su[0][2]), "end": iso(su[-1][3]), "kind": "degradee", "label": "Degraded target", - "text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, " - f"{len(su)} days in a row.", - "ignore": True, "sensors": [s]}) - return sorted(out + colles(mesures), key=lambda e: e["start"]) + text = f"{s} was rejected in {part} % of the measurements when the other targets were seen, {len(su)} days in a row." + r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]]) + if len(su) >= SEMAINE: # de la première à la dernière mesure rejetée + bornes, label = [(r[0][0], r[-1][1])], "Degraded target" + else: # par moments : un épisode par suite de mesures rejetées + bornes, label = r, "Target obscured" + out += [{"start": iso(a), "end": iso(b), "kind": "degradee", "label": label, "text": text, "ignore": True, + "sensors": [s]} for a, b in bornes] + return sorted(out + colles(mesures, min_instants), key=lambda e: e["start"]) + + +def _rejets(ms): + """Mesures d'un capteur -> [(début, fin)] de ses suites de mesures rejetées.""" + out, cur = [], [] + for m in ms + [None]: + if m and rejete(m): + cur.append(m["t"]) + elif cur: + out.append((cur[0], cur[-1])) + cur = [] + return out def _bruit(v): return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None -def colles(mesures): +def colles(mesures, min_instants): """Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent.""" jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière) for s, ms in mesures.items(): @@ -90,7 +121,7 @@ def colles(mesures): par_j.setdefault(m["t"].date(), []).append(m) for d, js in par_j.items(): b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")] - if None not in b and len(js) >= MIN_INSTANTS: + if None not in b and len(js) >= min_instants: jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"]) suites = {} # cible -> [[jours collés de suite]] for d in sorted(jours): diff --git a/vues-deplacements/contexte/seuils-du-journal.md b/vues-deplacements/contexte/seuils-du-journal.md index b3e7919..48f91ef 100644 --- a/vues-deplacements/contexte/seuils-du-journal.md +++ b/vues-deplacements/contexte/seuils-du-journal.md @@ -50,8 +50,9 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) | | `degradee` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) | | | `PART` | 0,5 | — | -| | `MIN_INSTANTS` | 12 | 3 h à 15 min | +| | `MIN_HEURES` | 3 h | heures d'instants calmes par jour, à la cadence de la station (écart médian entre deux instants) : 12 instants à 15 min, comme l'ancien `MIN_INSTANTS` ; boucle /detector-learner NEBRASKA, lot 01 (une mesure toutes les 4 h : aucun jour ne comptait, la référence perdue REFCOLH22 n'était pas vue) | | | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs | +| | `SEMAINE` | 7 jours | cible à problème (« Degraded target ») si gênée au moins une semaine de suite, sinon cible cachée par moments (« Target obscured », `cible_masquee`) : frontière « Target issue ou Obstruction » de `labeling/familles.md` ; boucle /detector-learner NEBRASKA, lot 01 (BREITHORN, véhicules garés, 2 à 5 jours ; NEBRASKA et MICHIGAN, référence perdue, 25 jours ; JUNGFRAU, PM_G, 63 jours) | | | `COLLE` | 0,05 | cible collée (D-074) : E-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, E-001 : 0,7 au plus bas | | `derive` | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) | | | `JOURS` | 5 jours | `TREND_DAYS` |