Detector-learner NEBRASKA: modification 1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f790519cd1
commit
7fcc7264d3
7 files changed
+272
-15
No files matched your search
@@ -0,0 +1,60 @@
|
||||
# Lot 01 : modification 1
|
||||
|
||||
## Ce qui a changé
|
||||
- `detectors/degradee.py` :
|
||||
- constante `MIN_INSTANTS = 12` (instants calmes par jour, « 3 h à 15 min ») remplacée par `MIN_HEURES = 3` (heures d'instants calmes par jour, à la cadence propre de la station : l'écart médian entre deux instants de mesure, comme dans `trous`). On garde 12 instants à 15 min, mais il en faut 1 à 4 h. Les cibles collées (`colles`) prennent le même seuil.
|
||||
- nouvelle constante `SEMAINE = 7` (jours) et nouvelle règle, le point 4 de la docstring : une suite d'au moins 7 jours dégradés reste « Degraded target » (`cible_a_probleme`), bornée de la première à la dernière mesure rejetée. Une suite plus courte devient « Target obscured », une cible cachée par moments, avec un épisode par suite de mesures rejetées : les heures où la cible est vue n'en font plus partie.
|
||||
- bornes de la « Degraded target » : de la première à la dernière mesure rejetée de la suite, au lieu de la première à la dernière mesure des jours de la suite.
|
||||
- `detectors/categories.py` : `LABELS` gagne `("degradee", "Target obscured", None): "cible_masquee"`, une catégorie existante de la famille `obstruction`. La docstring est à jour.
|
||||
- `vues-deplacements/contexte/seuils-du-journal.md` : la ligne `MIN_INSTANTS` est remplacée par `MIN_HEURES`, et la ligne `SEMAINE` est ajoutée.
|
||||
|
||||
## Pourquoi
|
||||
Il fallait aligner le classement des catégories du journal sur les familles des étiquettes (suggestion S2 et consigne de l'utilisateur) et rendre `degradee` indépendant de la cadence (S1). Avec un quorum fixé pour 15 min, aucun jour ne comptait à une mesure toutes les 4 h : une référence perdue et rejetée sans cesse pendant des semaines restait invisible. De son côté, `labeling/familles.md` tranche « Target issue ou Obstruction » ainsi : une cible gênée tout le temps relève de Target issue, une cible gênée par moments d'Obstruction. Un `degradee` de quelques jours, par exemple une cible derrière un véhicule garé plusieurs nuits, va donc en `cible_masquee` et ne couvre que ses mesures rejetées. Une semaine ou plus reste une cible à problème.
|
||||
|
||||
## Avant / après sur le lot
|
||||
Avant (`python3 detectors/categories.py data/NEBRASKA --du 2026-10-07 --au 2026-11-01 2>&1`) :
|
||||
```
|
||||
2026-10-09T12:00Z → 2026-10-09T12:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
|
||||
2026-10-15T20:00Z → 2026-10-16T12:00Z trou gardé | trous | tous les capteurs | absorbés : —
|
||||
2026-10-28T08:00Z → 2026-10-28T08:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
|
||||
2026-10-29T04:00Z → 2026-10-29T04:00Z saut_bref grisé | sauts | 6 capteurs | absorbés : —
|
||||
```
|
||||
Après (aucune ligne `sauté`) :
|
||||
```
|
||||
2026-10-09T12:00Z → 2026-10-31T20:00Z cible_a_probleme grisé | degradee | 1 capteurs | absorbés : —
|
||||
2026-10-09T12:00Z → 2026-10-09T12:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
|
||||
2026-10-15T20:00Z → 2026-10-16T12:00Z trou gardé | trous | tous les capteurs | absorbés : —
|
||||
2026-10-28T08:00Z → 2026-10-28T08:00Z a_verifier gardé | sauts | 2 capteurs | absorbés : —
|
||||
2026-10-29T04:00Z → 2026-10-29T04:00Z saut_bref grisé | sauts | 6 capteurs | absorbés : —
|
||||
```
|
||||
REFCOLH22 (L2) est maintenant vue en `cible_a_probleme` à partir de l'instant même de sa perte, le 09.10 à 12:00. Les autres événements n'ont pas changé.
|
||||
|
||||
## Score
|
||||
NEBRASKA, 2026-10-07 → 2026-11-01 :
|
||||
- `cible_a_probleme` : trouvées 0/133 (0 %) → 132/133 (99 %) ; justes — → 132/132 (100 %).
|
||||
- Les autres familles n'ont pas changé : `deplacement` 1/53 et 1/2, `deplacement_thermique` 0/91, `trou` 2/2 et 2/2, `visibilite` 1/10 et 1/1.
|
||||
|
||||
## Non-régression
|
||||
`python3 .claude/skills/detector-learner/regression.py --sauf NEBRASKA` :
|
||||
- BREITHORN `obstruction` : trouvées 12/71 (17 %) → 41/71 (58 %) ; justes 12/12 (100 %) → 41/41 (100 %).
|
||||
- MICHIGAN `cible_a_probleme` : trouvées 0/133 (0 %) → 132/133 (99 %) ; justes — → 132/132 (100 %).
|
||||
- JUNGFRAU, NORDEND, WILDSTRUBEL : aucune ligne n'a changé.
|
||||
- Total `cible_a_probleme` : 571/704 (81 %) → 703/704 (100 %) ; justes 571/2433 (23 %) → 703/2565 (27 %).
|
||||
- Total `obstruction` : 119/371 (32 %) → 148/371 (40 %) ; justes 119/479 (25 %) → 148/508 (29 %).
|
||||
- Les autres lignes du total n'ont pas changé. Aucune famille ne recule sur aucune station.
|
||||
- `score.py --test` : bon.
|
||||
|
||||
## Pas corrigé
|
||||
- **Dérives longues (L1, L3 en `deplacement`, L5 en `deplacement_thermique`)** : `derive` à la cadence de la station (`HEURES`) donne une dérive de la fenêtre entière pour presque toutes les cibles de NEBRASKA, MICHIGAN et BREITHORN, toutes rangées en `deplacement`. Or l'étiqueteur range celles de MICHIGAN et L5 en `deplacement_thermique`. Pour trancher par la température de la station, comme le demande la frontière, il faudrait une règle ou un détecteur qui lise les métriques : non fait.
|
||||
- **`thermique`** : il exige un profil de 24 heures distinctes et ne voit qu'une vague quotidienne. La montée de plusieurs jours qui suit la température n'a aucun détecteur : non fait, pour la même raison.
|
||||
- **`sauts`, `BASE` à la cadence** : avec `BASE` à 1 ou 2 à 4 h, le pic du 28.10 08:00 (L6) disparaît de NEBRASKA, car il ne touche que 2 cibles, sous `PIC_MIN`. Sur MICHIGAN, il devient un `saut_bref` sous une étiquette thermique, que le score ne range dans aucune famille. Sans gain, je n'ai rien changé : le 28.10 reste en `a_verifier`.
|
||||
- **Saut commun au moment de la perte de REFCOLH22 (09.10 12:00)** : il reste en `a_verifier`. Rattacher un saut qui dure à une référence perdue au même instant risquerait de cacher un vrai mouvement accompagné de références instables (E-004).
|
||||
- **Référence gênée sans rejet (L7, L8)** : à 04:00, REFH22 ne dépasse sa médiane que de ×1,2 à ×1,3, sous `FACTEUR = 2` de `visibilite`, une constante réglée sur E-004. L8 reste manquée.
|
||||
- **`trou` d'une ou deux mesures** : les étiquettes ne sont pas cohérentes entre stations. NORDEND étiquette un trou d'une mesure, JUNGFRAU (une douzaine de trous d'une mesure) et WILDSTRUBEL (trois) ne les étiquettent pas. Baisser `MISSING` signalerait ces trous non étiquetés : laissé à 2.
|
||||
- **Contradiction pour l'utilisateur** : `familles.md` dit de ne pas étiqueter « la pose qui suit la chaleur » compensée. Pourtant l'étiqueteur étiquette en `deplacement_thermique` les jours où `thermique` ne voit que la caméra (« Camera thermal… »), 316 des 332 instants à NORDEND. Retirer ces épisodes ferait reculer NORDEND et JUNGFRAU : je les ai gardés. De même, « Target stuck » n'a jamais été signalé sur ces lots : rien à trancher ici.
|
||||
- **`events/carte-des-evenements.md`, section 4** : elle décrit encore `degradee` « Degraded target » sur « 2 jours de suite ». C'est désormais au moins 7 jours, une suite plus courte allant en `cible_masquee`. Ce fichier est hors de ceux que je peux modifier : à mettre à jour.
|
||||
|
||||
## Difficultés
|
||||
- La consigne de l'utilisateur, « aligner les catégories du journal sur les familles », et l'interdit « pas de nouvelle catégorie » ne disaient pas jusqu'où aller : renommer les douze catégories en six familles, ou seulement changer le classement ? `categories.py` est lu par `score.py`, `status.py`, `explore.py` et `detecteurs.py`, hors de mon périmètre. J'ai donc seulement changé la catégorie que reçoit un épisode, sans renommer ni ajouter de catégorie.
|
||||
- `score.py` range un `saut_bref` dans la famille de l'étiquette qui le couvre, mais seulement parmi `CAUSES_SAUT = {obstruction, visibilite, deplacement}`. `familles.md` dit pourtant « la famille de sa cause », ce qui inclut le froid (`deplacement_thermique`). Un saut bref sous une étiquette thermique ne compte donc dans aucune famille, et cela a pesé sur l'essai de `BASE`.
|
||||
- Le gabarit du rendu demande la ligne `total` de la catégorie `toutes`, qui n'existe que dans le benchmark. `regression.py` donne un bloc « Total » par famille : j'ai mis les lignes de ce bloc qui ont changé.
|
||||
@@ -0,0 +1,58 @@
|
||||
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
|
||||
trouvées justes
|
||||
deplacement 11/171 (6 %) 11/11 (100 %)
|
||||
obstruction 41/71 (58 %) 41/41 (100 %)
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
visibilite — 0/34 (0 %)
|
||||
|
||||
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 571/571 (100 %) 571/2433 (23 %)
|
||||
deplacement — 0/2433 (0 %)
|
||||
deplacement_thermique 201/504 (40 %) 201/889 (23 %)
|
||||
obstruction — 0/191 (0 %)
|
||||
sans famille 0/576 (0 %) —
|
||||
saut_bref — 0/14 (0 %)
|
||||
trou — 0/4 (0 %)
|
||||
visibilite 25/47 (53 %) 25/287 (9 %)
|
||||
|
||||
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 132/133 (99 %) 132/132 (100 %)
|
||||
deplacement 0/9 (0 %) 0/1 (0 %)
|
||||
deplacement_thermique 0/135 (0 %) —
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
|
||||
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 132/133 (99 %) 132/132 (100 %)
|
||||
deplacement 1/53 (2 %) 1/2 (50 %)
|
||||
deplacement_thermique 0/91 (0 %) —
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
visibilite 1/10 (10 %) 1/1 (100 %)
|
||||
|
||||
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
|
||||
trouvées justes
|
||||
deplacement_thermique 316/332 (95 %) 316/318 (99 %)
|
||||
obstruction 0/6 (0 %) 0/83 (0 %)
|
||||
trou 0/2 (0 %) —
|
||||
visibilite 11/111 (10 %) 11/13 (85 %)
|
||||
|
||||
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
|
||||
trouvées justes
|
||||
deplacement_thermique — 0/126 (0 %)
|
||||
obstruction 107/294 (36 %) 107/193 (55 %)
|
||||
visibilite 108/290 (37 %) 108/113 (96 %)
|
||||
|
||||
Total
|
||||
trouvées justes
|
||||
cible_a_probleme 835/837 (100 %) 835/2697 (31 %)
|
||||
deplacement 12/233 (5 %) 12/2447 (0 %)
|
||||
deplacement_thermique 517/1062 (49 %) 517/1333 (39 %)
|
||||
obstruction 148/371 (40 %) 148/508 (29 %)
|
||||
sans famille 0/576 (0 %) —
|
||||
saut_bref — 0/14 (0 %)
|
||||
trou 6/8 (75 %) 6/10 (60 %)
|
||||
visibilite 145/458 (32 %) 145/448 (32 %)
|
||||
|
||||
historique : detector-learner/historique.csv (version f790519+)
|
||||
@@ -0,0 +1,48 @@
|
||||
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
|
||||
trouvées justes
|
||||
deplacement 11/171 (6 %) 11/11 (100 %)
|
||||
obstruction 41/71 (58 %) 41/41 (100 %)
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
visibilite — 0/34 (0 %)
|
||||
|
||||
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 571/571 (100 %) 571/2433 (23 %)
|
||||
deplacement — 0/2433 (0 %)
|
||||
deplacement_thermique 201/504 (40 %) 201/889 (23 %)
|
||||
obstruction — 0/191 (0 %)
|
||||
sans famille 0/576 (0 %) —
|
||||
saut_bref — 0/14 (0 %)
|
||||
trou — 0/4 (0 %)
|
||||
visibilite 25/47 (53 %) 25/287 (9 %)
|
||||
|
||||
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 132/133 (99 %) 132/132 (100 %)
|
||||
deplacement 0/9 (0 %) 0/1 (0 %)
|
||||
deplacement_thermique 0/135 (0 %) —
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
|
||||
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
|
||||
trouvées justes
|
||||
deplacement_thermique 316/332 (95 %) 316/318 (99 %)
|
||||
obstruction 0/6 (0 %) 0/83 (0 %)
|
||||
trou 0/2 (0 %) —
|
||||
visibilite 11/111 (10 %) 11/13 (85 %)
|
||||
|
||||
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
|
||||
trouvées justes
|
||||
deplacement_thermique — 0/126 (0 %)
|
||||
obstruction 107/294 (36 %) 107/193 (55 %)
|
||||
visibilite 108/290 (37 %) 108/113 (96 %)
|
||||
|
||||
Total
|
||||
trouvées justes
|
||||
cible_a_probleme 703/704 (100 %) 703/2565 (27 %)
|
||||
deplacement 11/180 (6 %) 11/2445 (0 %)
|
||||
deplacement_thermique 517/971 (53 %) 517/1333 (39 %)
|
||||
obstruction 148/371 (40 %) 148/508 (29 %)
|
||||
sans famille 0/576 (0 %) —
|
||||
saut_bref — 0/14 (0 %)
|
||||
trou 4/6 (67 %) 4/8 (50 %)
|
||||
visibilite 144/448 (32 %) 144/447 (32 %)
|
||||
@@ -0,0 +1,58 @@
|
||||
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
|
||||
trouvées justes
|
||||
deplacement 11/171 (6 %) 11/11 (100 %)
|
||||
obstruction 12/71 (17 %) 12/12 (100 %)
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
visibilite — 0/34 (0 %)
|
||||
|
||||
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 571/571 (100 %) 571/2433 (23 %)
|
||||
deplacement — 0/2433 (0 %)
|
||||
deplacement_thermique 201/504 (40 %) 201/889 (23 %)
|
||||
obstruction — 0/191 (0 %)
|
||||
sans famille 0/576 (0 %) —
|
||||
saut_bref — 0/14 (0 %)
|
||||
trou — 0/4 (0 %)
|
||||
visibilite 25/47 (53 %) 25/287 (9 %)
|
||||
|
||||
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 0/133 (0 %) —
|
||||
deplacement 0/9 (0 %) 0/1 (0 %)
|
||||
deplacement_thermique 0/135 (0 %) —
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
|
||||
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
|
||||
trouvées justes
|
||||
cible_a_probleme 0/133 (0 %) —
|
||||
deplacement 1/53 (2 %) 1/2 (50 %)
|
||||
deplacement_thermique 0/91 (0 %) —
|
||||
trou 2/2 (100 %) 2/2 (100 %)
|
||||
visibilite 1/10 (10 %) 1/1 (100 %)
|
||||
|
||||
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
|
||||
trouvées justes
|
||||
deplacement_thermique 316/332 (95 %) 316/318 (99 %)
|
||||
obstruction 0/6 (0 %) 0/83 (0 %)
|
||||
trou 0/2 (0 %) —
|
||||
visibilite 11/111 (10 %) 11/13 (85 %)
|
||||
|
||||
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
|
||||
trouvées justes
|
||||
deplacement_thermique — 0/126 (0 %)
|
||||
obstruction 107/294 (36 %) 107/193 (55 %)
|
||||
visibilite 108/290 (37 %) 108/113 (96 %)
|
||||
|
||||
Total
|
||||
trouvées justes
|
||||
cible_a_probleme 571/837 (68 %) 571/2433 (23 %)
|
||||
deplacement 12/233 (5 %) 12/2447 (0 %)
|
||||
deplacement_thermique 517/1062 (49 %) 517/1333 (39 %)
|
||||
obstruction 119/371 (32 %) 119/479 (25 %)
|
||||
sans famille 0/576 (0 %) —
|
||||
saut_bref — 0/14 (0 %)
|
||||
trou 6/8 (75 %) 6/10 (60 %)
|
||||
visibilite 145/458 (32 %) 145/448 (32 %)
|
||||
|
||||
historique : detector-learner/historique.csv (version 2a8d3da)
|
||||
@@ -2,7 +2,8 @@
|
||||
2026-10-24 : events/carte-des-evenements.md, section 4).
|
||||
|
||||
Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) :
|
||||
Target issue (`cible_a_probleme` : degradee, et sauts « Target flipping »), la dérive lente (derive) et le gros saut
|
||||
Target issue (`cible_a_probleme` : degradee, sauf ses « Target obscured », cible cachée par moments, et sauts « Target
|
||||
flipping »), la dérive lente (derive) et le gros saut
|
||||
(sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une
|
||||
perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est
|
||||
absorbé ; un saut qui dure ou trop récent pour savoir ne l'est
|
||||
@@ -48,7 +49,7 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
|
||||
("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee",
|
||||
("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier",
|
||||
("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier",
|
||||
("sauts", "Target flipping", None): "cible_a_probleme",
|
||||
("sauts", "Target flipping", None): "cible_a_probleme", ("degradee", "Target obscured", None): "cible_masquee",
|
||||
("thermique", "Thermal expansion", None): "dilatation_thermique",
|
||||
("thermique", "Thermal contraction", None): "contraction_thermique",
|
||||
("thermique", "Camera thermal expansion", None): "dilatation_thermique",
|
||||
|
||||
+43
-12
@@ -5,10 +5,17 @@ paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moi
|
||||
Méthode (seuils provisoires, Claude, 2026-10-27) :
|
||||
1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et
|
||||
la buée, qui touchent tout le monde, sont ainsi mises de côté.
|
||||
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_INSTANTS, sinon le jour ne compte pas) : jour dégradé
|
||||
si au moins PART d'entre eux sont rejetés.
|
||||
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_HEURES heures d'instants à la cadence de la
|
||||
station, écart médian entre deux instants de mesure ; sinon le jour ne compte pas) : jour dégradé si au moins PART
|
||||
d'entre eux sont rejetés. Cadence (boucle /detector-learner NEBRASKA, lot 01) : 12 instants fixes, « 3 h à 15 min »,
|
||||
ne comptaient aucun jour à une mesure toutes les 4 h ; REFCOLH22, rejetée sans cesse depuis sa perte, n'était pas vue.
|
||||
3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première
|
||||
mesure du premier jour à la dernière du dernier ; ignore = True : la courbe de la cible n'est pas fiable.
|
||||
mesure rejetée de ces jours à la dernière ; ignore = True : la courbe de la cible n'est pas fiable.
|
||||
4. Gênée tout le temps ou par moments (frontière « Target issue ou Obstruction » de labeling/familles.md ; boucle
|
||||
/detector-learner NEBRASKA, lot 01) : une suite d'au moins SEMAINE jours est une cible à problème, « Degraded target » ;
|
||||
plus courte, une cible cachée par moments, « Target obscured » (catégorie cible_masquee), un épisode par suite de
|
||||
mesures rejetées (les heures où elle est vue n'en sont pas). BREITHORN : véhicules garés
|
||||
devant COLI24 et POUI22, 2 à 5 jours ; NEBRASKA et MICHIGAN : une référence perdue, 25 jours ; JUNGFRAU : PM_G, 63.
|
||||
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
|
||||
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
|
||||
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
|
||||
@@ -27,8 +34,9 @@ from donnees import charger, est_reference, iso # noqa: E402
|
||||
|
||||
CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
|
||||
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
|
||||
MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas
|
||||
MIN_HEURES = 3 # heures d'instants calmes, à la cadence de la station : en dessous, le jour ne compte pas
|
||||
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
|
||||
SEMAINE = 7 # provisoire : jours dégradés de suite pour une cible à problème ; en dessous, une cible cachée par moments
|
||||
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas)
|
||||
|
||||
|
||||
@@ -36,7 +44,14 @@ def rejete(m):
|
||||
return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"]
|
||||
|
||||
|
||||
def cadence(mesures):
|
||||
"""Écart médian entre deux instants de mesure, tous capteurs confondus, en heures (comme trous)."""
|
||||
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
|
||||
return statistics.median((b - a).total_seconds() for a, b in zip(ts, ts[1:])) / 3600 if len(ts) > 1 else 1
|
||||
|
||||
|
||||
def detect(mesures):
|
||||
min_instants = MIN_HEURES / cadence(mesures)
|
||||
par_t = {}
|
||||
for s, ms in mesures.items():
|
||||
for m in ms:
|
||||
@@ -56,7 +71,7 @@ def detect(mesures):
|
||||
suites, cur = [], []
|
||||
for j in sorted(js):
|
||||
rej, calmes = js[j][:2]
|
||||
if calmes < MIN_INSTANTS:
|
||||
if calmes < min_instants:
|
||||
continue
|
||||
if rej / calmes >= PART:
|
||||
cur.append(js[j])
|
||||
@@ -68,18 +83,34 @@ def detect(mesures):
|
||||
if len(su) < MIN_JOURS:
|
||||
continue
|
||||
part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su))
|
||||
out.append({"start": iso(su[0][2]), "end": iso(su[-1][3]), "kind": "degradee", "label": "Degraded target",
|
||||
"text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, "
|
||||
f"{len(su)} days in a row.",
|
||||
"ignore": True, "sensors": [s]})
|
||||
return sorted(out + colles(mesures), key=lambda e: e["start"])
|
||||
text = f"{s} was rejected in {part} % of the measurements when the other targets were seen, {len(su)} days in a row."
|
||||
r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])
|
||||
if len(su) >= SEMAINE: # de la première à la dernière mesure rejetée
|
||||
bornes, label = [(r[0][0], r[-1][1])], "Degraded target"
|
||||
else: # par moments : un épisode par suite de mesures rejetées
|
||||
bornes, label = r, "Target obscured"
|
||||
out += [{"start": iso(a), "end": iso(b), "kind": "degradee", "label": label, "text": text, "ignore": True,
|
||||
"sensors": [s]} for a, b in bornes]
|
||||
return sorted(out + colles(mesures, min_instants), key=lambda e: e["start"])
|
||||
|
||||
|
||||
def _rejets(ms):
|
||||
"""Mesures d'un capteur -> [(début, fin)] de ses suites de mesures rejetées."""
|
||||
out, cur = [], []
|
||||
for m in ms + [None]:
|
||||
if m and rejete(m):
|
||||
cur.append(m["t"])
|
||||
elif cur:
|
||||
out.append((cur[0], cur[-1]))
|
||||
cur = []
|
||||
return out
|
||||
|
||||
|
||||
def _bruit(v):
|
||||
return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None
|
||||
|
||||
|
||||
def colles(mesures):
|
||||
def colles(mesures, min_instants):
|
||||
"""Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent."""
|
||||
jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière)
|
||||
for s, ms in mesures.items():
|
||||
@@ -90,7 +121,7 @@ def colles(mesures):
|
||||
par_j.setdefault(m["t"].date(), []).append(m)
|
||||
for d, js in par_j.items():
|
||||
b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")]
|
||||
if None not in b and len(js) >= MIN_INSTANTS:
|
||||
if None not in b and len(js) >= min_instants:
|
||||
jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"])
|
||||
suites = {} # cible -> [[jours collés de suite]]
|
||||
for d in sorted(jours):
|
||||
|
||||
@@ -50,8 +50,9 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
||||
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
|
||||
| `degradee` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) |
|
||||
| | `PART` | 0,5 | — |
|
||||
| | `MIN_INSTANTS` | 12 | 3 h à 15 min |
|
||||
| | `MIN_HEURES` | 3 h | heures d'instants calmes par jour, à la cadence de la station (écart médian entre deux instants) : 12 instants à 15 min, comme l'ancien `MIN_INSTANTS` ; boucle /detector-learner NEBRASKA, lot 01 (une mesure toutes les 4 h : aucun jour ne comptait, la référence perdue REFCOLH22 n'était pas vue) |
|
||||
| | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs |
|
||||
| | `SEMAINE` | 7 jours | cible à problème (« Degraded target ») si gênée au moins une semaine de suite, sinon cible cachée par moments (« Target obscured », `cible_masquee`) : frontière « Target issue ou Obstruction » de `labeling/familles.md` ; boucle /detector-learner NEBRASKA, lot 01 (BREITHORN, véhicules garés, 2 à 5 jours ; NEBRASKA et MICHIGAN, référence perdue, 25 jours ; JUNGFRAU, PM_G, 63 jours) |
|
||||
| | `COLLE` | 0,05 | cible collée (D-074) : E-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, E-001 : 0,7 au plus bas |
|
||||
| `derive` | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) |
|
||||
| | `JOURS` | 5 jours | `TREND_DAYS` |
|
||||
|
||||
Reference in new issue
Block a user