Detector-learner NEBRASKA: modification 1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:01:32 +01:00
1 parent f790519cd1
commit 7fcc7264d3
7 files changed
+272 -15

No files matched your search

@@ -0,0 +1,60 @@
# Lot 01 : modification 1
## Ce qui a changé
- `detectors/degradee.py` :
- constante `MIN_INSTANTS = 12` (instants calmes par jour, « 3 h à 15 min ») remplacée par `MIN_HEURES = 3` (heures d'instants calmes par jour, à la cadence propre de la station : l'écart médian entre deux instants de mesure, comme dans `trous`). On garde 12 instants à 15 min, mais il en faut 1 à 4 h. Les cibles collées (`colles`) prennent le même seuil.
- nouvelle constante `SEMAINE = 7` (jours) et nouvelle règle, le point 4 de la docstring : une suite d'au moins 7 jours dégradés reste « Degraded target » (`cible_a_probleme`), bornée de la première à la dernière mesure rejetée. Une suite plus courte devient « Target obscured », une cible cachée par moments, avec un épisode par suite de mesures rejetées : les heures où la cible est vue n'en font plus partie.
- bornes de la « Degraded target » : de la première à la dernière mesure rejetée de la suite, au lieu de la première à la dernière mesure des jours de la suite.
- `detectors/categories.py` : `LABELS` gagne `("degradee", "Target obscured", None): "cible_masquee"`, une catégorie existante de la famille `obstruction`. La docstring est à jour.
- `vues-deplacements/contexte/seuils-du-journal.md` : la ligne `MIN_INSTANTS` est remplacée par `MIN_HEURES`, et la ligne `SEMAINE` est ajoutée.
## Pourquoi
Il fallait aligner le classement des catégories du journal sur les familles des étiquettes (suggestion S2 et consigne de l'utilisateur) et rendre `degradee` indépendant de la cadence (S1). Avec un quorum fixé pour 15 min, aucun jour ne comptait à une mesure toutes les 4 h : une référence perdue et rejetée sans cesse pendant des semaines restait invisible. De son côté, `labeling/familles.md` tranche « Target issue ou Obstruction » ainsi : une cible gênée tout le temps relève de Target issue, une cible gênée par moments d'Obstruction. Un `degradee` de quelques jours, par exemple une cible derrière un véhicule garé plusieurs nuits, va donc en `cible_masquee` et ne couvre que ses mesures rejetées. Une semaine ou plus reste une cible à problème.
## Avant / après sur le lot
Avant (`python3 detectors/categories.py data/NEBRASKA --du 2026-10-07 --au 2026-11-01 2>&1`) :
```
2026-10-09T12:00Z → 2026-10-09T12:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
2026-10-15T20:00Z → 2026-10-16T12:00Z trou gardé | trous | tous les capteurs | absorbés : —
2026-10-28T08:00Z → 2026-10-28T08:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
2026-10-29T04:00Z → 2026-10-29T04:00Z saut_bref grisé | sauts | 6 capteurs | absorbés : —
```
Après (aucune ligne `sauté`) :
```
2026-10-09T12:00Z → 2026-10-31T20:00Z cible_a_probleme grisé | degradee | 1 capteurs | absorbés : —
2026-10-09T12:00Z → 2026-10-09T12:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
2026-10-15T20:00Z → 2026-10-16T12:00Z trou gardé | trous | tous les capteurs | absorbés : —
2026-10-28T08:00Z → 2026-10-28T08:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
2026-10-29T04:00Z → 2026-10-29T04:00Z saut_bref grisé | sauts | 6 capteurs | absorbés : —
```
REFCOLH22 (L2) est maintenant vue en `cible_a_probleme` à partir de l'instant même de sa perte, le 09.10 à 12:00. Les autres événements n'ont pas changé.
## Score
NEBRASKA, 2026-10-07 → 2026-11-01 :
- `cible_a_probleme` : trouvées 0/133 (0 %) → 132/133 (99 %) ; justes — → 132/132 (100 %).
- Les autres familles n'ont pas changé : `deplacement` 1/53 et 1/2, `deplacement_thermique` 0/91, `trou` 2/2 et 2/2, `visibilite` 1/10 et 1/1.
## Non-régression
`python3 .claude/skills/detector-learner/regression.py --sauf NEBRASKA` :
- BREITHORN `obstruction` : trouvées 12/71 (17 %) → 41/71 (58 %) ; justes 12/12 (100 %) → 41/41 (100 %).
- MICHIGAN `cible_a_probleme` : trouvées 0/133 (0 %) → 132/133 (99 %) ; justes — → 132/132 (100 %).
- JUNGFRAU, NORDEND, WILDSTRUBEL : aucune ligne n'a changé.
- Total `cible_a_probleme` : 571/704 (81 %) → 703/704 (100 %) ; justes 571/2433 (23 %) → 703/2565 (27 %).
- Total `obstruction` : 119/371 (32 %) → 148/371 (40 %) ; justes 119/479 (25 %) → 148/508 (29 %).
- Les autres lignes du total n'ont pas changé. Aucune famille ne recule sur aucune station.
- `score.py --test` : bon.
## Pas corrigé
- **Dérives longues (L1, L3 en `deplacement`, L5 en `deplacement_thermique`)** : `derive` à la cadence de la station (`HEURES`) donne une dérive de la fenêtre entière pour presque toutes les cibles de NEBRASKA, MICHIGAN et BREITHORN, toutes rangées en `deplacement`. Or l'étiqueteur range celles de MICHIGAN et L5 en `deplacement_thermique`. Pour trancher par la température de la station, comme le demande la frontière, il faudrait une règle ou un détecteur qui lise les métriques : non fait.
- **`thermique`** : il exige un profil de 24 heures distinctes et ne voit qu'une vague quotidienne. La montée de plusieurs jours qui suit la température n'a aucun détecteur : non fait, pour la même raison.
- **`sauts`, `BASE` à la cadence** : avec `BASE` à 1 ou 2 à 4 h, le pic du 28.10 08:00 (L6) disparaît de NEBRASKA, car il ne touche que 2 cibles, sous `PIC_MIN`. Sur MICHIGAN, il devient un `saut_bref` sous une étiquette thermique, que le score ne range dans aucune famille. Sans gain, je n'ai rien changé : le 28.10 reste en `a_verifier`.
- **Saut commun au moment de la perte de REFCOLH22 (09.10 12:00)** : il reste en `a_verifier`. Rattacher un saut qui dure à une référence perdue au même instant risquerait de cacher un vrai mouvement accompagné de références instables (E-004).
- **Référence gênée sans rejet (L7, L8)** : à 04:00, REFH22 ne dépasse sa médiane que de ×1,2 à ×1,3, sous `FACTEUR = 2` de `visibilite`, une constante réglée sur E-004. L8 reste manquée.
- **`trou` d'une ou deux mesures** : les étiquettes ne sont pas cohérentes entre stations. NORDEND étiquette un trou d'une mesure, JUNGFRAU (une douzaine de trous d'une mesure) et WILDSTRUBEL (trois) ne les étiquettent pas. Baisser `MISSING` signalerait ces trous non étiquetés : laissé à 2.
- **Contradiction pour l'utilisateur** : `familles.md` dit de ne pas étiqueter « la pose qui suit la chaleur » compensée. Pourtant l'étiqueteur étiquette en `deplacement_thermique` les jours où `thermique` ne voit que la caméra (« Camera thermal… »), 316 des 332 instants à NORDEND. Retirer ces épisodes ferait reculer NORDEND et JUNGFRAU : je les ai gardés. De même, « Target stuck » n'a jamais été signalé sur ces lots : rien à trancher ici.
- **`events/carte-des-evenements.md`, section 4** : elle décrit encore `degradee` « Degraded target » sur « 2 jours de suite ». C'est désormais au moins 7 jours, une suite plus courte allant en `cible_masquee`. Ce fichier est hors de ceux que je peux modifier : à mettre à jour.
## Difficultés
- La consigne de l'utilisateur, « aligner les catégories du journal sur les familles », et l'interdit « pas de nouvelle catégorie » ne disaient pas jusqu'où aller : renommer les douze catégories en six familles, ou seulement changer le classement ? `categories.py` est lu par `score.py`, `status.py`, `explore.py` et `detecteurs.py`, hors de mon périmètre. J'ai donc seulement changé la catégorie que reçoit un épisode, sans renommer ni ajouter de catégorie.
- `score.py` range un `saut_bref` dans la famille de l'étiquette qui le couvre, mais seulement parmi `CAUSES_SAUT = {obstruction, visibilite, deplacement}`. `familles.md` dit pourtant « la famille de sa cause », ce qui inclut le froid (`deplacement_thermique`). Un saut bref sous une étiquette thermique ne compte donc dans aucune famille, et cela a pesé sur l'essai de `BASE`.
- Le gabarit du rendu demande la ligne `total` de la catégorie `toutes`, qui n'existe que dans le benchmark. `regression.py` donne un bloc « Total » par famille : j'ai mis les lignes de ce bloc qui ont changé.
@@ -0,0 +1,58 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
deplacement 11/171 (6 %) 11/11 (100 %)
obstruction 41/71 (58 %) 41/41 (100 %)
trou 2/2 (100 %) 2/2 (100 %)
visibilite — 0/34 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
cible_a_probleme 571/571 (100 %) 571/2433 (23 %)
deplacement — 0/2433 (0 %)
deplacement_thermique 201/504 (40 %) 201/889 (23 %)
obstruction — 0/191 (0 %)
sans famille 0/576 (0 %) —
saut_bref — 0/14 (0 %)
trou — 0/4 (0 %)
visibilite 25/47 (53 %) 25/287 (9 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
cible_a_probleme 132/133 (99 %) 132/132 (100 %)
deplacement 0/9 (0 %) 0/1 (0 %)
deplacement_thermique 0/135 (0 %) —
trou 2/2 (100 %) 2/2 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
cible_a_probleme 132/133 (99 %) 132/132 (100 %)
deplacement 1/53 (2 %) 1/2 (50 %)
deplacement_thermique 0/91 (0 %) —
trou 2/2 (100 %) 2/2 (100 %)
visibilite 1/10 (10 %) 1/1 (100 %)
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
deplacement_thermique 316/332 (95 %) 316/318 (99 %)
obstruction 0/6 (0 %) 0/83 (0 %)
trou 0/2 (0 %) —
visibilite 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
deplacement_thermique — 0/126 (0 %)
obstruction 107/294 (36 %) 107/193 (55 %)
visibilite 108/290 (37 %) 108/113 (96 %)
Total
trouvées justes
cible_a_probleme 835/837 (100 %) 835/2697 (31 %)
deplacement 12/233 (5 %) 12/2447 (0 %)
deplacement_thermique 517/1062 (49 %) 517/1333 (39 %)
obstruction 148/371 (40 %) 148/508 (29 %)
sans famille 0/576 (0 %) —
saut_bref — 0/14 (0 %)
trou 6/8 (75 %) 6/10 (60 %)
visibilite 145/458 (32 %) 145/448 (32 %)
historique : detector-learner/historique.csv (version f790519+)
@@ -0,0 +1,48 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
deplacement 11/171 (6 %) 11/11 (100 %)
obstruction 41/71 (58 %) 41/41 (100 %)
trou 2/2 (100 %) 2/2 (100 %)
visibilite — 0/34 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
cible_a_probleme 571/571 (100 %) 571/2433 (23 %)
deplacement — 0/2433 (0 %)
deplacement_thermique 201/504 (40 %) 201/889 (23 %)
obstruction — 0/191 (0 %)
sans famille 0/576 (0 %) —
saut_bref — 0/14 (0 %)
trou — 0/4 (0 %)
visibilite 25/47 (53 %) 25/287 (9 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
cible_a_probleme 132/133 (99 %) 132/132 (100 %)
deplacement 0/9 (0 %) 0/1 (0 %)
deplacement_thermique 0/135 (0 %) —
trou 2/2 (100 %) 2/2 (100 %)
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
deplacement_thermique 316/332 (95 %) 316/318 (99 %)
obstruction 0/6 (0 %) 0/83 (0 %)
trou 0/2 (0 %) —
visibilite 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
deplacement_thermique — 0/126 (0 %)
obstruction 107/294 (36 %) 107/193 (55 %)
visibilite 108/290 (37 %) 108/113 (96 %)
Total
trouvées justes
cible_a_probleme 703/704 (100 %) 703/2565 (27 %)
deplacement 11/180 (6 %) 11/2445 (0 %)
deplacement_thermique 517/971 (53 %) 517/1333 (39 %)
obstruction 148/371 (40 %) 148/508 (29 %)
sans famille 0/576 (0 %) —
saut_bref — 0/14 (0 %)
trou 4/6 (67 %) 4/8 (50 %)
visibilite 144/448 (32 %) 144/447 (32 %)
@@ -0,0 +1,58 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
deplacement 11/171 (6 %) 11/11 (100 %)
obstruction 12/71 (17 %) 12/12 (100 %)
trou 2/2 (100 %) 2/2 (100 %)
visibilite — 0/34 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
cible_a_probleme 571/571 (100 %) 571/2433 (23 %)
deplacement — 0/2433 (0 %)
deplacement_thermique 201/504 (40 %) 201/889 (23 %)
obstruction — 0/191 (0 %)
sans famille 0/576 (0 %) —
saut_bref — 0/14 (0 %)
trou — 0/4 (0 %)
visibilite 25/47 (53 %) 25/287 (9 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
cible_a_probleme 0/133 (0 %) —
deplacement 0/9 (0 %) 0/1 (0 %)
deplacement_thermique 0/135 (0 %) —
trou 2/2 (100 %) 2/2 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
cible_a_probleme 0/133 (0 %) —
deplacement 1/53 (2 %) 1/2 (50 %)
deplacement_thermique 0/91 (0 %) —
trou 2/2 (100 %) 2/2 (100 %)
visibilite 1/10 (10 %) 1/1 (100 %)
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
deplacement_thermique 316/332 (95 %) 316/318 (99 %)
obstruction 0/6 (0 %) 0/83 (0 %)
trou 0/2 (0 %) —
visibilite 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
deplacement_thermique — 0/126 (0 %)
obstruction 107/294 (36 %) 107/193 (55 %)
visibilite 108/290 (37 %) 108/113 (96 %)
Total
trouvées justes
cible_a_probleme 571/837 (68 %) 571/2433 (23 %)
deplacement 12/233 (5 %) 12/2447 (0 %)
deplacement_thermique 517/1062 (49 %) 517/1333 (39 %)
obstruction 119/371 (32 %) 119/479 (25 %)
sans famille 0/576 (0 %) —
saut_bref — 0/14 (0 %)
trou 6/8 (75 %) 6/10 (60 %)
visibilite 145/458 (32 %) 145/448 (32 %)
historique : detector-learner/historique.csv (version 2a8d3da)
+3 -2
View File
@@ -2,7 +2,8 @@
2026-10-24 : events/carte-des-evenements.md, section 4). 2026-10-24 : events/carte-des-evenements.md, section 4).
Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) : Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) :
Target issue (`cible_a_probleme` : degradee, et sauts « Target flipping »), la dérive lente (derive) et le gros saut Target issue (`cible_a_probleme` : degradee, sauf ses « Target obscured », cible cachée par moments, et sauts « Target
flipping »), la dérive lente (derive) et le gros saut
(sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une (sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une
perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est
absorbé ; un saut qui dure ou trop récent pour savoir ne l'est absorbé ; un saut qui dure ou trop récent pour savoir ne l'est
@@ -48,7 +49,7 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee", ("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee",
("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier", ("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier",
("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier", ("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier",
("sauts", "Target flipping", None): "cible_a_probleme", ("sauts", "Target flipping", None): "cible_a_probleme", ("degradee", "Target obscured", None): "cible_masquee",
("thermique", "Thermal expansion", None): "dilatation_thermique", ("thermique", "Thermal expansion", None): "dilatation_thermique",
("thermique", "Thermal contraction", None): "contraction_thermique", ("thermique", "Thermal contraction", None): "contraction_thermique",
("thermique", "Camera thermal expansion", None): "dilatation_thermique", ("thermique", "Camera thermal expansion", None): "dilatation_thermique",
+43 -12
View File
@@ -5,10 +5,17 @@ paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moi
Méthode (seuils provisoires, Claude, 2026-10-27) : Méthode (seuils provisoires, Claude, 2026-10-27) :
1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et 1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et
la buée, qui touchent tout le monde, sont ainsi mises de côté. la buée, qui touchent tout le monde, sont ainsi mises de côté.
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_INSTANTS, sinon le jour ne compte pas) : jour dégradé 2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_HEURES heures d'instants à la cadence de la
si au moins PART d'entre eux sont rejetés. station, écart médian entre deux instants de mesure ; sinon le jour ne compte pas) : jour dégradé si au moins PART
d'entre eux sont rejetés. Cadence (boucle /detector-learner NEBRASKA, lot 01) : 12 instants fixes, « 3 h à 15 min »,
ne comptaient aucun jour à une mesure toutes les 4 h ; REFCOLH22, rejetée sans cesse depuis sa perte, n'était pas vue.
3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première 3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première
mesure du premier jour à la dernière du dernier ; ignore = True : la courbe de la cible n'est pas fiable. mesure rejetée de ces jours à la dernière ; ignore = True : la courbe de la cible n'est pas fiable.
4. Gênée tout le temps ou par moments (frontière « Target issue ou Obstruction » de labeling/familles.md ; boucle
/detector-learner NEBRASKA, lot 01) : une suite d'au moins SEMAINE jours est une cible à problème, « Degraded target » ;
plus courte, une cible cachée par moments, « Target obscured » (catégorie cible_masquee), un épisode par suite de
mesures rejetées (les heures où elle est vue n'en sont pas). BREITHORN : véhicules garés
devant COLI24 et POUI22, 2 à 5 jours ; NEBRASKA et MICHIGAN : une référence perdue, 25 jours ; JUNGFRAU : PM_G, 63.
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images. sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
@@ -27,8 +34,9 @@ from donnees import charger, est_reference, iso # noqa: E402
CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps » PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas MIN_HEURES = 3 # heures d'instants calmes, à la cadence de la station : en dessous, le jour ne compte pas
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs) MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
SEMAINE = 7 # provisoire : jours dégradés de suite pour une cible à problème ; en dessous, une cible cachée par moments
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas) COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas)
@@ -36,7 +44,14 @@ def rejete(m):
return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"] return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"]
def cadence(mesures):
"""Écart médian entre deux instants de mesure, tous capteurs confondus, en heures (comme trous)."""
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
return statistics.median((b - a).total_seconds() for a, b in zip(ts, ts[1:])) / 3600 if len(ts) > 1 else 1
def detect(mesures): def detect(mesures):
min_instants = MIN_HEURES / cadence(mesures)
par_t = {} par_t = {}
for s, ms in mesures.items(): for s, ms in mesures.items():
for m in ms: for m in ms:
@@ -56,7 +71,7 @@ def detect(mesures):
suites, cur = [], [] suites, cur = [], []
for j in sorted(js): for j in sorted(js):
rej, calmes = js[j][:2] rej, calmes = js[j][:2]
if calmes < MIN_INSTANTS: if calmes < min_instants:
continue continue
if rej / calmes >= PART: if rej / calmes >= PART:
cur.append(js[j]) cur.append(js[j])
@@ -68,18 +83,34 @@ def detect(mesures):
if len(su) < MIN_JOURS: if len(su) < MIN_JOURS:
continue continue
part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su)) part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su))
out.append({"start": iso(su[0][2]), "end": iso(su[-1][3]), "kind": "degradee", "label": "Degraded target", text = f"{s} was rejected in {part} % of the measurements when the other targets were seen, {len(su)} days in a row."
"text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, " r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])
f"{len(su)} days in a row.", if len(su) >= SEMAINE: # de la première à la dernière mesure rejetée
"ignore": True, "sensors": [s]}) bornes, label = [(r[0][0], r[-1][1])], "Degraded target"
return sorted(out + colles(mesures), key=lambda e: e["start"]) else: # par moments : un épisode par suite de mesures rejetées
bornes, label = r, "Target obscured"
out += [{"start": iso(a), "end": iso(b), "kind": "degradee", "label": label, "text": text, "ignore": True,
"sensors": [s]} for a, b in bornes]
return sorted(out + colles(mesures, min_instants), key=lambda e: e["start"])
def _rejets(ms):
"""Mesures d'un capteur -> [(début, fin)] de ses suites de mesures rejetées."""
out, cur = [], []
for m in ms + [None]:
if m and rejete(m):
cur.append(m["t"])
elif cur:
out.append((cur[0], cur[-1]))
cur = []
return out
def _bruit(v): def _bruit(v):
return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None
def colles(mesures): def colles(mesures, min_instants):
"""Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent.""" """Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent."""
jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière) jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière)
for s, ms in mesures.items(): for s, ms in mesures.items():
@@ -90,7 +121,7 @@ def colles(mesures):
par_j.setdefault(m["t"].date(), []).append(m) par_j.setdefault(m["t"].date(), []).append(m)
for d, js in par_j.items(): for d, js in par_j.items():
b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")] b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")]
if None not in b and len(js) >= MIN_INSTANTS: if None not in b and len(js) >= min_instants:
jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"]) jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"])
suites = {} # cible -> [[jours collés de suite]] suites = {} # cible -> [[jours collés de suite]]
for d in sorted(jours): for d in sorted(jours):
@@ -50,8 +50,9 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) | | `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
| `degradee` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) | | `degradee` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) |
| | `PART` | 0,5 | — | | | `PART` | 0,5 | — |
| | `MIN_INSTANTS` | 12 | 3 h à 15 min | | | `MIN_HEURES` | 3 h | heures d'instants calmes par jour, à la cadence de la station (écart médian entre deux instants) : 12 instants à 15 min, comme l'ancien `MIN_INSTANTS` ; boucle /detector-learner NEBRASKA, lot 01 (une mesure toutes les 4 h : aucun jour ne comptait, la référence perdue REFCOLH22 n'était pas vue) |
| | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs | | | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs |
| | `SEMAINE` | 7 jours | cible à problème (« Degraded target ») si gênée au moins une semaine de suite, sinon cible cachée par moments (« Target obscured », `cible_masquee`) : frontière « Target issue ou Obstruction » de `labeling/familles.md` ; boucle /detector-learner NEBRASKA, lot 01 (BREITHORN, véhicules garés, 2 à 5 jours ; NEBRASKA et MICHIGAN, référence perdue, 25 jours ; JUNGFRAU, PM_G, 63 jours) |
| | `COLLE` | 0,05 | cible collée (D-074) : E-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, E-001 : 0,7 au plus bas | | | `COLLE` | 0,05 | cible collée (D-074) : E-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, E-001 : 0,7 au plus bas |
| `derive` | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) | | `derive` | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) |
| | `JOURS` | 5 jours | `TREND_DAYS` | | | `JOURS` | 5 jours | `TREND_DAYS` |