Detector-learner Displacement: modification 1, S5
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
efd85c643f
commit
4f067a6efb
3 files changed
+116
-5
No files matched your search
@@ -0,0 +1,101 @@
|
|||||||
|
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 168/168 (100 %) 168/171 (98 %)
|
||||||
|
No data 2/2 (100 %) 2/2 (100 %)
|
||||||
|
Obstruction 39/48 (81 %) 39/39 (100 %)
|
||||||
|
Thermal displacement 0/21 (0 %) —
|
||||||
|
Visibility — 0/25 (0 %)
|
||||||
|
|
||||||
|
CLARIDEN : 2026-10-01T00:00Z → 2026-11-02T00:00Z, 43 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 3091/3091 (100 %) 3091/4213 (73 %)
|
||||||
|
No data 6/20 (30 %) 6/12 (50 %)
|
||||||
|
Obstruction 1/5 (20 %) 1/44 (2 %)
|
||||||
|
Target issue 4068/4068 (100 %) 4068/4213 (97 %)
|
||||||
|
Thermal displacement 13/43 (30 %) 13/204 (6 %)
|
||||||
|
Visibility 3/87 (3 %) 3/3 (100 %)
|
||||||
|
|
||||||
|
FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 0/41 (0 %) 0/15 (0 %)
|
||||||
|
No data 4/21 (19 %) 4/4 (100 %)
|
||||||
|
Obstruction 2/2 (100 %) 2/1009 (0 %)
|
||||||
|
Target issue 2913/2913 (100 %) 2913/2914 (100 %)
|
||||||
|
Thermal displacement 613/1047 (59 %) 613/737 (83 %)
|
||||||
|
Visibility 381/598 (64 %) 381/381 (100 %)
|
||||||
|
|
||||||
|
JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement — 0/21 (0 %)
|
||||||
|
No data 4/29 (14 %) 4/4 (100 %)
|
||||||
|
Obstruction 0/1 (0 %) 0/155 (0 %)
|
||||||
|
Target issue 3005/3005 (100 %) 3005/3006 (100 %)
|
||||||
|
Thermal displacement 939/2557 (37 %) 939/1091 (86 %)
|
||||||
|
Visibility 305/669 (46 %) 305/315 (97 %)
|
||||||
|
|
||||||
|
LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement — 0/4047 (0 %)
|
||||||
|
No data 14/24 (58 %) 14/18 (78 %)
|
||||||
|
Obstruction 12/47 (26 %) 12/12 (100 %)
|
||||||
|
Thermal displacement 1758/1925 (91 %) 1758/3652 (48 %)
|
||||||
|
Visibility 954/1886 (51 %) 954/959 (99 %)
|
||||||
|
|
||||||
|
MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 130/130 (100 %) 130/171 (76 %)
|
||||||
|
No data 2/2 (100 %) 2/2 (100 %)
|
||||||
|
Target issue 132/147 (90 %) 132/132 (100 %)
|
||||||
|
Thermal displacement 19/25 (76 %) 19/46 (41 %)
|
||||||
|
|
||||||
|
NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 165/165 (100 %) 165/171 (96 %)
|
||||||
|
No data 2/2 (100 %) 2/2 (100 %)
|
||||||
|
Target issue 132/132 (100 %) 132/132 (100 %)
|
||||||
|
Thermal displacement 8/20 (40 %) 8/13 (62 %)
|
||||||
|
|
||||||
|
NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 3/48 (6 %) 3/604 (0 %)
|
||||||
|
No data 2/26 (8 %) 2/2 (100 %)
|
||||||
|
Obstruction 92/156 (59 %) 92/291 (32 %)
|
||||||
|
Target issue 719/719 (100 %) 719/720 (100 %)
|
||||||
|
Thermal displacement 156/267 (58 %) 156/167 (93 %)
|
||||||
|
Visibility 25/104 (24 %) 25/28 (89 %)
|
||||||
|
|
||||||
|
NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 2/12 (17 %) 2/38 (5 %)
|
||||||
|
No data 10/58 (17 %) 10/10 (100 %)
|
||||||
|
Obstruction 978/2625 (37 %) 978/2143 (46 %)
|
||||||
|
Target issue 1296/7183 (18 %) 1296/1296 (100 %)
|
||||||
|
Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %)
|
||||||
|
Visibility 679/1950 (35 %) 679/1138 (60 %)
|
||||||
|
|
||||||
|
SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 2111/2111 (100 %) 2111/2112 (100 %)
|
||||||
|
No data 10/30 (33 %) 10/16 (62 %)
|
||||||
|
Obstruction 21/22 (95 %) 21/985 (2 %)
|
||||||
|
Target issue 2111/2111 (100 %) 2111/2112 (100 %)
|
||||||
|
Thermal displacement 891/1726 (52 %) 891/893 (100 %)
|
||||||
|
Visibility 0/761 (0 %) —
|
||||||
|
|
||||||
|
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes
|
||||||
|
trouvées justes
|
||||||
|
Displacement 550/579 (95 %) 550/1836 (30 %)
|
||||||
|
No data 21/31 (68 %) 21/30 (70 %)
|
||||||
|
Obstruction 216/1026 (21 %) 216/424 (51 %)
|
||||||
|
Target issue 350/2091 (17 %) 350/350 (100 %)
|
||||||
|
Thermal displacement 331/845 (39 %) 331/342 (97 %)
|
||||||
|
Visibility 420/1152 (36 %) 420/429 (98 %)
|
||||||
|
|
||||||
|
Total
|
||||||
|
trouvées justes
|
||||||
|
Displacement 6220/6345 (98 %) 6220/13399 (46 %)
|
||||||
|
No data 77/245 (31 %) 77/102 (75 %)
|
||||||
|
Obstruction 1361/3932 (35 %) 1361/5102 (27 %)
|
||||||
|
Target issue 14726/22369 (66 %) 14726/14875 (99 %)
|
||||||
|
Thermal displacement 7934/15888 (50 %) 7934/10373 (76 %)
|
||||||
|
Visibility 2767/7207 (38 %) 2767/3278 (84 %)
|
||||||
@@ -5,7 +5,9 @@ thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événe
|
|||||||
épisodes ; leur label en dit la sorte (Poor visibility, Heat shimmer, Brief obstruction, Slow drift…). Règles :
|
épisodes ; leur label en dit la sorte (Poor visibility, Heat shimmer, Brief obstruction, Slow drift…). Règles :
|
||||||
- un saut revenu à la normale (SAUT) qui chevauche un épisode de HOTES (perte de visibilité, passage, turbulence, et en
|
- un saut revenu à la normale (SAUT) qui chevauche un épisode de HOTES (perte de visibilité, passage, turbulence, et en
|
||||||
dernier l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il
|
dernier l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il
|
||||||
reste Displacement, sans cause établie, à vérifier sur les images (familles.md, « Un saut puis le retour ») ;
|
reste Displacement, sans cause établie, à vérifier sur les images (familles.md, « Un saut puis le retour ») ; un passage
|
||||||
|
(Brief obstruction, un seul instant) n'absorbe que les sauts qui commencent à son instant, pas ceux de plusieurs jours
|
||||||
|
qu'il croise (/detector-learner Displacement, modification 1, S5) ;
|
||||||
- un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ;
|
- un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ;
|
||||||
- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ;
|
- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ;
|
||||||
- deux événements de même sorte à moins de MERGE n'en font qu'un.
|
- deux événements de même sorte à moins de MERGE n'en font qu'un.
|
||||||
@@ -147,7 +149,8 @@ def classer(episodes, references=frozenset()):
|
|||||||
# la vague thermique n'absorbe qu'en dernier (un saut d'un passage ou d'une pluie va à eux), et que les sauts de
|
# la vague thermique n'absorbe qu'en dernier (un saut d'un passage ou d'une pluie va à eux), et que les sauts de
|
||||||
# plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003)
|
# plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003)
|
||||||
hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique)
|
hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique)
|
||||||
host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h))), None)
|
host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h))
|
||||||
|
and (h["label"] != "Brief obstruction" or e["start"] == h["start"])), None)
|
||||||
for e in eps if e["label"] == SAUT}
|
for e in eps if e["label"] == SAUT}
|
||||||
groupes = {id(e): [e] for e in eps if not host.get(id(e))}
|
groupes = {id(e): [e] for e in eps if not host.get(id(e))}
|
||||||
for e in eps:
|
for e in eps:
|
||||||
|
|||||||
+10
-3
@@ -9,7 +9,10 @@ Méthode (seuils provisoires ci-dessous) :
|
|||||||
en Target obscured.
|
en Target obscured.
|
||||||
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule),
|
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule),
|
||||||
sans référence (global_ref) parmi eux : un pic d'un pas qui touche les références n'est pas un obstacle devant des
|
sans référence (global_ref) parmi eux : un pic d'un pas qui touche les références n'est pas un obstacle devant des
|
||||||
cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré.
|
cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré. Sauf si au moins
|
||||||
|
BREF_MIN cibles sont rejetées (> error_threshold) à cet instant et ni à l'instant d'avant ni à celui d'après : un
|
||||||
|
passage devant elles, une référence touchée en plus (/detector-learner Displacement, modification 1, S5 : trains de
|
||||||
|
NIEDERHORN, 12 et 13 cibles rejetées ; NORDEND le 01.09 11:15 n'a aucun rejet).
|
||||||
3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants
|
3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants
|
||||||
où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées.
|
où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées.
|
||||||
4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h
|
4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h
|
||||||
@@ -124,6 +127,7 @@ def episodes(mesures):
|
|||||||
instants = sorted({m["t"] for v in mesures.values() for m in v})
|
instants = sorted({m["t"] for v in mesures.values() for m in v})
|
||||||
hautes, rejets = {}, {} # capteur -> [t]
|
hautes, rejets = {}, {} # capteur -> [t]
|
||||||
refuses = set() # instants où une cible (pas une global_ref) est au-dessus de son seuil
|
refuses = set() # instants où une cible (pas une global_ref) est au-dessus de son seuil
|
||||||
|
rejetees = {} # t -> {cibles au-dessus de leur seuil}
|
||||||
for s, v in mesures.items():
|
for s, v in mesures.items():
|
||||||
e = [m["error_value"] for m in v if m["error_value"] is not None]
|
e = [m["error_value"] for m in v if m["error_value"] is not None]
|
||||||
if len(e) < 10:
|
if len(e) < 10:
|
||||||
@@ -137,6 +141,7 @@ def episodes(mesures):
|
|||||||
rejete = m["error_threshold"] and x > m["error_threshold"]
|
rejete = m["error_threshold"] and x > m["error_threshold"]
|
||||||
if rejete and s not in refs:
|
if rejete and s not in refs:
|
||||||
refuses.add(m["t"])
|
refuses.add(m["t"])
|
||||||
|
rejetees.setdefault(m["t"], set()).add(s)
|
||||||
if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med):
|
if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med):
|
||||||
hautes.setdefault(s, []).append(m["t"])
|
hautes.setdefault(s, []).append(m["t"])
|
||||||
if s not in refs and rejete and x > med + K_CIBLE * mad:
|
if s not in refs and rejete and x > med + K_CIBLE * mad:
|
||||||
@@ -154,8 +159,10 @@ def episodes(mesures):
|
|||||||
voisins = [n(instants[j]) for j in (i - 1, i + 1) if 0 <= j < len(instants)]
|
voisins = [n(instants[j]) for j in (i - 1, i + 1) if 0 <= j < len(instants)]
|
||||||
if n(t) >= BREF_MIN and n(t) >= SAILLIE * max(voisins):
|
if n(t) >= BREF_MIN and n(t) >= SAILLIE * max(voisins):
|
||||||
brefs.add(t)
|
brefs.add(t)
|
||||||
if par_t[t] & refs: # références touchées : pas un obstacle devant des cibles (carte : références intactes)
|
seules = rejetees.get(t, set()).difference(*(rejetees.get(instants[j], set()) for j in (i - 1, i + 1)
|
||||||
continue
|
if 0 <= j < len(instants)))
|
||||||
|
if par_t[t] & refs and len(seules) < BREF_MIN: # références touchées sans cibles rejetées à ce seul instant :
|
||||||
|
continue # pas un obstacle devant des cibles, l'image entière
|
||||||
out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came "
|
out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came "
|
||||||
"back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))
|
"back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user