Detector-learner Obstruction: modification 1, S3

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 11:43:19 +01:00
1 parent 7516c6da08
commit 99742c55c8
5 files changed
+133 -15

No files matched your search

@@ -0,0 +1,101 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes
trouvées justes
Displacement 168/168 (100 %) 168/171 (98 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 40/48 (83 %) 40/40 (100 %)
Thermal displacement 0/21 (0 %) —
Visibility — 0/25 (0 %)
CLARIDEN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 43 étiquettes
trouvées justes
Displacement 2578/3091 (83 %) 2578/2601 (99 %)
No data 6/20 (30 %) 6/12 (50 %)
Obstruction 1/5 (20 %) 1/5 (20 %)
Target issue 4068/4068 (100 %) 4068/4069 (100 %)
Thermal displacement 13/42 (31 %) 13/204 (6 %)
Visibility 3/87 (3 %) 3/3 (100 %)
FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes
trouvées justes
Displacement 0/41 (0 %) 0/15 (0 %)
No data 4/21 (19 %) 4/4 (100 %)
Obstruction 0/2 (0 %) 0/13 (0 %)
Target issue 2913/2913 (100 %) 2913/2914 (100 %)
Thermal displacement 613/1047 (59 %) 613/737 (83 %)
Visibility 381/598 (64 %) 381/381 (100 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes
trouvées justes
Displacement — 0/19 (0 %)
No data 4/29 (14 %) 4/4 (100 %)
Obstruction 1/1 (100 %) 1/158 (1 %)
Target issue 3005/3005 (100 %) 3005/3006 (100 %)
Thermal displacement 939/2557 (37 %) 939/1091 (86 %)
Visibility 305/669 (46 %) 305/315 (97 %)
LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes
trouvées justes
Displacement — 0/4640 (0 %)
No data 12/615 (2 %) 12/16 (75 %)
Obstruction 19/47 (40 %) 19/84 (23 %)
Thermal displacement 1744/1925 (91 %) 1744/4230 (41 %)
Visibility 915/1886 (49 %) 915/1077 (85 %)
MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes
trouvées justes
Displacement 130/130 (100 %) 130/171 (76 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/147 (90 %) 132/132 (100 %)
Thermal displacement 19/25 (76 %) 19/46 (41 %)
NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes
trouvées justes
Displacement 165/165 (100 %) 165/171 (96 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/132 (100 %) 132/132 (100 %)
Thermal displacement 8/20 (40 %) 8/13 (62 %)
NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes
trouvées justes
Displacement 3/48 (6 %) 3/16 (19 %)
No data 2/26 (8 %) 2/2 (100 %)
Obstruction 75/156 (48 %) 75/167 (45 %)
Target issue 719/719 (100 %) 719/720 (100 %)
Thermal displacement 156/267 (58 %) 156/167 (93 %)
Visibility 25/104 (24 %) 25/28 (89 %)
NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes
trouvées justes
Displacement 2/12 (17 %) 2/38 (5 %)
No data 10/58 (17 %) 10/10 (100 %)
Obstruction 635/2625 (24 %) 635/1873 (34 %)
Target issue 2097/7183 (29 %) 2097/2097 (100 %)
Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %)
Visibility 679/1950 (35 %) 679/1138 (60 %)
SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes
trouvées justes
Displacement 2111/2111 (100 %) 2111/2112 (100 %)
No data 10/30 (33 %) 10/16 (62 %)
Obstruction 20/22 (91 %) 20/431 (5 %)
Target issue 2111/2111 (100 %) 2111/2112 (100 %)
Thermal displacement 891/1726 (52 %) 891/893 (100 %)
Visibility 0/761 (0 %) —
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes
trouvées justes
Displacement 550/579 (95 %) 550/1833 (30 %)
No data 21/31 (68 %) 21/30 (70 %)
Obstruction 253/1026 (25 %) 253/482 (52 %)
Target issue 350/2091 (17 %) 350/350 (100 %)
Thermal displacement 331/845 (39 %) 331/342 (97 %)
Visibility 420/1152 (36 %) 420/429 (98 %)
Total
trouvées justes
Displacement 5707/6345 (90 %) 5707/11787 (48 %)
No data 75/836 (9 %) 75/100 (75 %)
Obstruction 1044/3932 (27 %) 1044/3253 (32 %)
Target issue 15527/22369 (69 %) 15527/15532 (100 %)
Thermal displacement 7920/15887 (50 %) 7920/10951 (72 %)
Visibility 2728/7207 (38 %) 2728/3396 (80 %)
+7 -5
View File
@@ -12,9 +12,10 @@ thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événe
(la courbe d'une cible à problème est à ignorer, familles.md) ;
- un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ;
- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ;
- deux événements de même sorte à moins de MERGE n'en font qu'un ; deux Target obscured, seulement s'ils partagent un
capteur (/detector-learner Obstruction, modification 1, S1 : des cibles différentes enchaînées en un événement de
plusieurs jours).
- deux événements de même sorte à moins de MERGE n'en font qu'un ; deux Obstruction (Target obscured, Brief
obstruction), seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1 : S1, des cibles
différentes enchaînées en un événement de plusieurs jours ; S3, des passages de quelques minutes en une heure entière) ;
un passage n'absorbe que les sauts revenus dans MERGE après son instant (S3 : pas le saut de 30 h d'une autre cible).
Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne
« Pour le client » de familles.md ; la cause n'est dite que si la sorte l'établit, sinon les images la montrent.
Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur.
@@ -165,7 +166,8 @@ def classer(episodes, references=frozenset()):
# plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003)
hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique)
host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h))
and (h["label"] != "Brief obstruction" or e["start"] == h["start"])), None)
and (h["label"] != "Brief obstruction" or e["start"] == h["start"]
and datetime.fromisoformat(e["end"]) - datetime.fromisoformat(h["start"]) <= MERGE)), None)
for e in eps if e["label"] == SAUT}
# une dérive ou un saut revenu dont toutes les cibles sont dans un épisode Target issue qui le chevauche : sa courbe
# est à ignorer, il en prend la famille (/detector-learner Displacement, modification 1, S6)
@@ -178,7 +180,7 @@ def classer(episodes, references=frozenset()):
groupes[id(host[id(e)])].append(e)
merged = []
for g in groupes.values():
prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0]) and (g[0]["label"] != "Target obscured"
prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0]) and (g[0]["kind"] != "Obstruction"
or set(g[0]["sensors"]) & {s for e in m for s in e["sensors"]})), None)
end = max((e["end"] for e in prev if sorte(e) == sorte(g[0])), default=None) if prev else None
if end and datetime.fromisoformat(g[0]["start"]) - datetime.fromisoformat(end) < MERGE:
+7 -8
View File
@@ -3,10 +3,10 @@ cibles, un instant ou longtemps. Il reprend deux calculs partagés avec d'autres
- l'error_value de visibility.py : Brief obstruction (un passage, un instant) et Target obscured (une cible rejetée à
répétition quand les autres restent vues, ou une gêne qui ne touche que quelques cibles, sans référence) ;
- les rejets jour après jour de target_issue.py : une cible rejetée moins d'une semaine, Target obscured.
Un capteur déjà dans un épisode Target issue (Degraded target, Target stuck) qui le chevauche n'est pas rendu en Target
obscured : sa courbe est déjà à ignorer, la famille est Target issue (frontière « Target issue ou épisode d'une autre
famille » de labeling/familles.md ; /detector-learner Obstruction, modification 1, S1 : cibles à problème de FLORIDA,
NORDEND, SNCF01, NIEDERHORN, JUNGFRAU, CLARIDEN découpées en Target obscured).
Un capteur déjà dans un épisode Target issue (Degraded target, Target stuck) qui le chevauche n'est pas rendu en
Obstruction : sa courbe est déjà à ignorer, la famille est Target issue (frontière « Target issue ou épisode d'une autre
famille » de labeling/familles.md ; /detector-learner Obstruction, modification 1 : S1, cibles à problème de FLORIDA,
NORDEND, SNCF01, NIEDERHORN, JUNGFRAU, CLARIDEN découpées en Target obscured ; S3, leurs rejets isolés en Brief obstruction).
Usage : python3 detectors/obstruction.py <dossier de station> (affiche les épisodes)
"""
import os
@@ -26,10 +26,9 @@ def detect(mesures):
for e in visibility.episodes(mesures) + ti:
if e["kind"] != "Obstruction":
continue
if e["label"] == "Target obscured": # sans les capteurs déjà en Target issue à ce moment
pris = {s for h in issues if h["start"] <= e["end"] and h["end"] >= e["start"] for s in h["sensors"]}
if not (e := {**e, "sensors": [s for s in e["sensors"] if s not in pris]})["sensors"]:
continue
pris = {s for h in issues if h["start"] <= e["end"] and h["end"] >= e["start"] for s in h["sensors"]}
if not (e := {**e, "sensors": [s for s in e["sensors"] if s not in pris]})["sensors"]: # sans les capteurs déjà
continue # en Target issue
out.append(e)
return sorted(out, key=lambda e: e["start"])
+16
View File
@@ -13,6 +13,11 @@ Méthode (seuils provisoires ci-dessous) :
BREF_MIN cibles sont rejetées (> error_threshold) à cet instant et ni à l'instant d'avant ni à celui d'après : un
passage devant elles, une référence touchée en plus (/detector-learner Displacement, modification 1, S5 : trains de
NIEDERHORN, 12 et 13 cibles rejetées ; NORDEND le 01.09 11:15 n'a aucun rejet).
Aussi, un passage devant une ou deux cibles, ou une seule référence : à un instant, moins de BREF_MIN capteurs
rejetés à plus de FACTEUR fois leur médiane (sans K_MAD : de jour, la turbulence gonfle la MAD), au plus une
référence, aucun d'eux rejeté à l'instant d'avant ni à celui d'après, et moins de BREF_MIN capteurs hauts
(/detector-learner Obstruction, modification 1, S3 : véhicules, passants, insectes devant une ou deux cibles de
WILDSTRUBEL, NIEDERHORN, LENZSPITZE ; une référence cachée par un camion à JUNGFRAU, BREITHORN).
3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants
où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées.
4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h
@@ -128,6 +133,7 @@ def episodes(mesures):
hautes, rejets = {}, {} # capteur -> [t]
refuses = set() # instants où une cible (pas une global_ref) est au-dessus de son seuil
rejetees = {} # t -> {cibles au-dessus de leur seuil}
forts, refus = {}, {} # t -> {capteurs rejetés à plus de FACTEUR fois leur médiane}, {capteurs rejetés}
for s, v in mesures.items():
e = [m["error_value"] for m in v if m["error_value"] is not None]
if len(e) < 10:
@@ -144,6 +150,10 @@ def episodes(mesures):
rejetees.setdefault(m["t"], set()).add(s)
if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med):
hautes.setdefault(s, []).append(m["t"])
if rejete:
refus.setdefault(m["t"], set()).add(s)
if x > FACTEUR * med:
forts.setdefault(m["t"], set()).add(s)
if s not in refs and rejete and x > med + K_CIBLE * mad:
rejets.setdefault(s, []).append(m["t"])
par_t = {} # t -> {capteurs hauts}
@@ -165,6 +175,12 @@ def episodes(mesures):
continue # pas un obstacle devant des cibles, l'image entière
out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came "
"back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))
elif 0 < len(f := forts.get(t, set())) < BREF_MIN and n(t) < BREF_MIN and len(f & refs) <= 1 and not f & set().union(
*(refus.get(instants[j], set()) for j in (i - 1, i + 1) if 0 <= j < len(instants))):
# une ou deux cibles, ou une référence, rejetées à cette seule mesure, à FACTEUR fois leur médiane
out.append(_episode(t, t, "Brief obstruction", f"{len(f)} point{'s were' if len(f) > 1 else ' was'} poorly seen "
"for a single measurement, then came back: probably something passing; ignore this point on the "
"curves.", f))
# 3. Poor visibility : suites longues par capteur (sans les instants brefs), réunies entre capteurs,
# puis réduites aux instants où au moins FRAC du pic de l'épisode est haut (coupe les queues d'un ou deux capteurs
@@ -9,7 +9,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| Détecteur | Constante | Valeur | Réglée sur |
|---|---|---|---|
| `visibility` | `K_MAD` | 10 | E-001 (buée 11 à 57 MAD), E-005 (10 à 70 MAD) |
| | `FACTEUR` | 2 | écarte les capteurs à MAD quasi nulle (E-004, E-005) |
| | `FACTEUR` | 2 | écarte les capteurs à MAD quasi nulle (E-004, E-005) ; aussi, seul (sans `K_MAD`), le passage devant une ou deux cibles ou une référence, rejetées à une seule mesure (point 2) : /detector-learner Obstruction, modification 1, S3 (WILDSTRUBEL, de jour la turbulence gonfle la MAD : R1 rejetée à ×3,6 sous 10 MAD) |
| | `SUITE_MIN` | 3 | E-001, pluie de E-005 |
| | `BREF_MIN` | 3 | trains de E-005 (5 à 17 capteurs) |
| | `SAILLIE` | 3 | trains (5 à 17) contre toile de E-002 (2 à 9) |
@@ -63,7 +63,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) |
| | `MORCEAU` | 3,5 amplitudes | dérive par morceaux, pour une cible sans dérive sur toute la fenêtre (point 4 bis de `displacement.py`) : /detector-learner Displacement, modification 1, S1 (rangées de CLARIDEN, 3,8 à 8,3 amplitudes ; JUNGFRAU, cycles thermiques sans étiquette Displacement, 3,1 au plus ; à 1, NORDEND et JUNGFRAU débordent) |
| | `TROU` | 2 jours | un morceau de dérive (point 4 bis) ne passe pas d'un jour retenu au suivant à plus de 2 jours : /detector-learner Displacement, modification 2, S1 (CLARIDEN, trou du 10-03 au 10-05 : les morceaux de 09-28 à 11-01 tombent ; à 1, les jours manquants d'un trou d'une demi-journée coupent les dérives de CLARIDEN et de NEBRASKA) |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement; deux Target obscured seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1, S1) |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement; deux Obstruction (Target obscured, Brief obstruction) seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1, S1 et S3) ; un passage n'absorbe que les sauts revenus dans `MERGE` après son instant (S3) |
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
| | `TREND_STEADY` | 0,6 | tau de Kendall des niveaux journaliers |