Detector-learner Obstruction: modification 1, S1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 11:27:14 +01:00
1 parent 2a0f8cd3dd
commit 7516c6da08
5 files changed
+164 -25

No files matched your search

@@ -0,0 +1,101 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes
trouvées justes
Displacement 168/168 (100 %) 168/171 (98 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 39/48 (81 %) 39/39 (100 %)
Thermal displacement 0/21 (0 %) —
Visibility — 0/25 (0 %)
CLARIDEN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 43 étiquettes
trouvées justes
Displacement 2578/3091 (83 %) 2578/2601 (99 %)
No data 6/20 (30 %) 6/12 (50 %)
Obstruction 1/5 (20 %) 1/4 (25 %)
Target issue 4068/4068 (100 %) 4068/4069 (100 %)
Thermal displacement 13/42 (31 %) 13/204 (6 %)
Visibility 3/87 (3 %) 3/3 (100 %)
FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes
trouvées justes
Displacement 0/41 (0 %) 0/15 (0 %)
No data 4/21 (19 %) 4/4 (100 %)
Obstruction 0/2 (0 %) 0/5 (0 %)
Target issue 2913/2913 (100 %) 2913/2914 (100 %)
Thermal displacement 613/1047 (59 %) 613/737 (83 %)
Visibility 381/598 (64 %) 381/381 (100 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes
trouvées justes
Displacement — 0/21 (0 %)
No data 4/29 (14 %) 4/4 (100 %)
Obstruction 0/1 (0 %) 0/155 (0 %)
Target issue 3005/3005 (100 %) 3005/3006 (100 %)
Thermal displacement 939/2557 (37 %) 939/1091 (86 %)
Visibility 305/669 (46 %) 305/315 (97 %)
LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes
trouvées justes
Displacement — 0/4640 (0 %)
No data 12/615 (2 %) 12/16 (75 %)
Obstruction 15/47 (32 %) 15/68 (22 %)
Thermal displacement 1744/1925 (91 %) 1744/4230 (41 %)
Visibility 915/1886 (49 %) 915/1077 (85 %)
MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes
trouvées justes
Displacement 130/130 (100 %) 130/171 (76 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/147 (90 %) 132/132 (100 %)
Thermal displacement 19/25 (76 %) 19/46 (41 %)
NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes
trouvées justes
Displacement 165/165 (100 %) 165/171 (96 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/132 (100 %) 132/132 (100 %)
Thermal displacement 8/20 (40 %) 8/13 (62 %)
NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes
trouvées justes
Displacement 3/48 (6 %) 3/16 (19 %)
No data 2/26 (8 %) 2/2 (100 %)
Obstruction 59/156 (38 %) 59/149 (40 %)
Target issue 719/719 (100 %) 719/720 (100 %)
Thermal displacement 156/267 (58 %) 156/167 (93 %)
Visibility 25/104 (24 %) 25/28 (89 %)
NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes
trouvées justes
Displacement 2/12 (17 %) 2/38 (5 %)
No data 10/58 (17 %) 10/10 (100 %)
Obstruction 583/2625 (22 %) 583/1748 (33 %)
Target issue 2097/7183 (29 %) 2097/2097 (100 %)
Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %)
Visibility 679/1950 (35 %) 679/1138 (60 %)
SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes
trouvées justes
Displacement 2111/2111 (100 %) 2111/2112 (100 %)
No data 10/30 (33 %) 10/16 (62 %)
Obstruction 20/22 (91 %) 20/431 (5 %)
Target issue 2111/2111 (100 %) 2111/2112 (100 %)
Thermal displacement 891/1726 (52 %) 891/893 (100 %)
Visibility 0/761 (0 %) —
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes
trouvées justes
Displacement 550/579 (95 %) 550/1836 (30 %)
No data 21/31 (68 %) 21/30 (70 %)
Obstruction 216/1026 (21 %) 216/424 (51 %)
Target issue 350/2091 (17 %) 350/350 (100 %)
Thermal displacement 331/845 (39 %) 331/342 (97 %)
Visibility 420/1152 (36 %) 420/429 (98 %)
Total
trouvées justes
Displacement 5707/6345 (90 %) 5707/11792 (48 %)
No data 75/836 (9 %) 75/100 (75 %)
Obstruction 933/3932 (24 %) 933/3023 (31 %)
Target issue 15527/22369 (69 %) 15527/15532 (100 %)
Thermal displacement 7920/15887 (50 %) 7920/10951 (72 %)
Visibility 2728/7207 (38 %) 2728/3396 (80 %)
+5 -2
View File
@@ -12,7 +12,9 @@ thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événe
(la courbe d'une cible à problème est à ignorer, familles.md) ;
- un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ;
- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ;
- deux événements de même sorte à moins de MERGE n'en font qu'un.
- deux événements de même sorte à moins de MERGE n'en font qu'un ; deux Target obscured, seulement s'ils partagent un
capteur (/detector-learner Obstruction, modification 1, S1 : des cibles différentes enchaînées en un événement de
plusieurs jours).
Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne
« Pour le client » de familles.md ; la cause n'est dite que si la sorte l'établit, sinon les images la montrent.
Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur.
@@ -176,7 +178,8 @@ def classer(episodes, references=frozenset()):
groupes[id(host[id(e)])].append(e)
merged = []
for g in groupes.values():
prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0])), None)
prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0]) and (g[0]["label"] != "Target obscured"
or set(g[0]["sensors"]) & {s for e in m for s in e["sensors"]})), None)
end = max((e["end"] for e in prev if sorte(e) == sorte(g[0])), default=None) if prev else None
if end and datetime.fromisoformat(g[0]["start"]) - datetime.fromisoformat(end) < MERGE:
prev += g
+16 -2
View File
@@ -3,6 +3,10 @@ cibles, un instant ou longtemps. Il reprend deux calculs partagés avec d'autres
- l'error_value de visibility.py : Brief obstruction (un passage, un instant) et Target obscured (une cible rejetée à
répétition quand les autres restent vues, ou une gêne qui ne touche que quelques cibles, sans référence) ;
- les rejets jour après jour de target_issue.py : une cible rejetée moins d'une semaine, Target obscured.
Un capteur déjà dans un épisode Target issue (Degraded target, Target stuck) qui le chevauche n'est pas rendu en Target
obscured : sa courbe est déjà à ignorer, la famille est Target issue (frontière « Target issue ou épisode d'une autre
famille » de labeling/familles.md ; /detector-learner Obstruction, modification 1, S1 : cibles à problème de FLORIDA,
NORDEND, SNCF01, NIEDERHORN, JUNGFRAU, CLARIDEN découpées en Target obscured).
Usage : python3 detectors/obstruction.py <dossier de station> (affiche les épisodes)
"""
import os
@@ -16,8 +20,18 @@ from donnees import charger # noqa: E402
def detect(mesures):
return sorted((e for e in visibility.episodes(mesures) + target_issue.episodes(mesures) if e["kind"] == "Obstruction"),
key=lambda e: e["start"])
ti = target_issue.episodes(mesures)
issues = [e for e in ti if e["kind"] == "Target issue"]
out = []
for e in visibility.episodes(mesures) + ti:
if e["kind"] != "Obstruction":
continue
if e["label"] == "Target obscured": # sans les capteurs déjà en Target issue à ce moment
pris = {s for h in issues if h["start"] <= e["end"] and h["end"] >= e["start"] for s in h["sensors"]}
if not (e := {**e, "sensors": [s for s in e["sensors"] if s not in pris]})["sensors"]:
continue
out.append(e)
return sorted(out, key=lambda e: e["start"])
if __name__ == "__main__":
+40 -20
View File
@@ -20,6 +20,11 @@ Méthode (seuils provisoires, Claude, 2026-10-27) :
plus courte, une cible cachée par moments, « Target obscured » (famille Obstruction), un épisode par suite de
mesures rejetées (les heures où elle est vue n'en sont pas). BREITHORN : véhicules garés
devant COLI24 et POUI22, 2 à 5 jours ; NEBRASKA et MICHIGAN : une référence perdue, 25 jours ; JUNGFRAU : PM_G, 63.
Pour la cible à problème, la suite est reliée : au plus PONT jours non dégradés de suite ne la coupent pas, et elle
demande alors SEMAINE jours de son premier à son dernier jour dégradé, à PART de rejets sur tous ses jours (« des rejets
propres à la cible presque chaque jour de la plage ») ; les Target obscured qu'elle couvre n'existent plus
(/detector-learner Obstruction, modification 1, S1 : FLORIDA Sellette 6 et Massif 2, SNCF01 F4.3 et F4.4, NORDEND
CTR01, NIEDERHORN e01, découpées en Target obscured par un jour sous PART ; BREITHORN, véhicules garés, inchangé).
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
@@ -42,6 +47,7 @@ CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
MIN_HEURES = 3 # heures d'instants calmes, à la cadence de la station : en dessous, le jour ne compte pas
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
PONT = 2 # provisoire : jours non dégradés de suite qui ne coupent pas une suite de jours dégradés (4)
SEMAINE = 7 # provisoire : jours dégradés de suite pour une cible à problème ; en dessous, une cible cachée par moments
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas)
@@ -75,33 +81,47 @@ def episodes(mesures):
c[1] += 1
out = []
for s, js in sorted(jours.items()):
suites, cur = [], []
for j in sorted(js):
rej, calmes = js[j][:2]
if calmes < min_instants:
cache = [] # suites reliées d'au moins SEMAINE jours, à part de rejets PART : une cible à problème
for su in _suites(js, min_instants, PONT):
part = sum(c[0] for c in su) / sum(c[1] for c in su)
if len(su) < SEMAINE or part < PART:
continue
if rej / calmes >= PART:
cur.append(js[j])
elif cur:
suites.append(cur)
cur = []
suites += [cur] if cur else []
for su in suites:
if len(su) < MIN_JOURS:
n = sum(c[0] / c[1] >= PART for c in su)
r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])
cache.append((su[0][2], su[-1][3]))
out.append({"start": iso(r[0][0]), "end": iso(r[-1][1]), "kind": "Target issue", "label": "Degraded target",
"text": f"{s} was rejected in {round(100 * part)} % of the measurements when the other targets were "
f"seen, on {n} of {len(su)} days.", "ignore": True, "sensors": [s]})
for su in _suites(js, min_instants, 0): # par moments : un épisode par suite de mesures rejetées
if len(su) < MIN_JOURS or any(a <= su[0][2] <= b for a, b in cache):
continue
part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su))
text = f"{s} was rejected in {part} % of the measurements when the other targets were seen, {len(su)} days in a row."
r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])
if len(su) >= SEMAINE: # de la première à la dernière mesure rejetée
bornes, label = [(r[0][0], r[-1][1])], "Degraded target"
else: # par moments : un épisode par suite de mesures rejetées
bornes, label = r, "Target obscured"
out += [{"start": iso(a), "end": iso(b), "kind": "Target issue" if label == "Degraded target" else "Obstruction",
"label": label, "text": text, "ignore": True,
"sensors": [s]} for a, b in bornes]
out += [{"start": iso(a), "end": iso(b), "kind": "Obstruction", "label": "Target obscured", "text": text,
"ignore": True, "sensors": [s]}
for a, b in _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])]
return sorted(out + colles(mesures, min_instants), key=lambda e: e["start"])
def _suites(js, min_instants, pont):
"""{jour: [rejetés, calmes, première, dernière]} -> suites de jours dégradés ; au plus pont jours non dégradés de suite
entre deux jours dégradés ne coupent pas la suite (ils en sont) ; un jour qui ne compte pas ne la coupe pas."""
suites, cur, creux = [], [], []
for j in sorted(js):
rej, calmes = js[j][:2]
if calmes < min_instants:
continue
if rej / calmes >= PART:
cur += creux + [js[j]]
creux = []
elif cur:
creux.append(js[j])
if len(creux) > pont:
suites.append(cur)
cur, creux = [], []
return suites + ([cur] if cur else [])
def _rejets(ms):
"""Mesures d'un capteur -> [(début, fin)] de ses suites de mesures rejetées."""
out, cur = [], []
@@ -55,6 +55,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `MIN_HEURES` | 3 h | heures d'instants calmes par jour, à la cadence de la station (écart médian entre deux instants) : 12 instants à 15 min, comme l'ancien `MIN_INSTANTS` ; boucle /detector-learner NEBRASKA, lot 01 (une mesure toutes les 4 h : aucun jour ne comptait, la référence perdue REFCOLH22 n'était pas vue) |
| | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs |
| | `SEMAINE` | 7 jours | cible à problème (« Degraded target ») si gênée au moins une semaine de suite, sinon cible cachée par moments (« Target obscured », `cible_masquee`) : frontière « Target issue ou Obstruction » de `labeling/familles.md` ; boucle /detector-learner NEBRASKA, lot 01 (BREITHORN, véhicules garés, 2 à 5 jours ; NEBRASKA et MICHIGAN, référence perdue, 25 jours ; JUNGFRAU, PM_G, 63 jours) |
| | `PONT` | 2 jours | jours non dégradés de suite qui ne coupent pas la suite d'une cible à problème (« Degraded target » : `SEMAINE` jours du premier au dernier jour dégradé, `PART` de rejets sur la suite reliée) ; /detector-learner Obstruction, modification 1, S1 (FLORIDA, SNCF01, NORDEND, NIEDERHORN : cibles à problème découpées en Target obscured par un jour sous `PART` ; BREITHORN, véhicules garés, inchangé) |
| | `COLLE` | 0,05 | cible collée (D-074) : E-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, E-001 : 0,7 au plus bas |
| `displacement` (dérive lente) | `HEURES` | 20 h sur 24 | comme `TREND_DAYS` de D-055 (ci-dessous) ; en part des heures que la station mesure (boucle /detector-learner MICHIGAN, modification 1 : 5 sur 6 à une mesure toutes les 4 h, aucun jour ne comptait) |
| | `JOURS` | 5 jours | `TREND_DAYS` |
@@ -62,7 +63,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) |
| | `MORCEAU` | 3,5 amplitudes | dérive par morceaux, pour une cible sans dérive sur toute la fenêtre (point 4 bis de `displacement.py`) : /detector-learner Displacement, modification 1, S1 (rangées de CLARIDEN, 3,8 à 8,3 amplitudes ; JUNGFRAU, cycles thermiques sans étiquette Displacement, 3,1 au plus ; à 1, NORDEND et JUNGFRAU débordent) |
| | `TROU` | 2 jours | un morceau de dérive (point 4 bis) ne passe pas d'un jour retenu au suivant à plus de 2 jours : /detector-learner Displacement, modification 2, S1 (CLARIDEN, trou du 10-03 au 10-05 : les morceaux de 09-28 à 11-01 tombent ; à 1, les jours manquants d'un trou d'une demi-journée coupent les dérives de CLARIDEN et de NEBRASKA) |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement; deux Target obscured seulement s'ils partagent un capteur (/detector-learner Obstruction, modification 1, S1) |
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
| | `TREND_STEADY` | 0,6 | tau de Kendall des niveaux journaliers |