Detector-learner NEBRASKA: modification 1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:01:32 +01:00
1 parent f790519cd1
commit 7fcc7264d3
7 files changed
+272 -15

No files matched your search

+3 -2
View File
@@ -2,7 +2,8 @@
2026-10-24 : events/carte-des-evenements.md, section 4).
Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) :
Target issue (`cible_a_probleme` : degradee, et sauts « Target flipping »), la dérive lente (derive) et le gros saut
Target issue (`cible_a_probleme` : degradee, sauf ses « Target obscured », cible cachée par moments, et sauts « Target
flipping »), la dérive lente (derive) et le gros saut
(sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une
perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est
absorbé ; un saut qui dure ou trop récent pour savoir ne l'est
@@ -48,7 +49,7 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee",
("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier",
("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier",
("sauts", "Target flipping", None): "cible_a_probleme",
("sauts", "Target flipping", None): "cible_a_probleme", ("degradee", "Target obscured", None): "cible_masquee",
("thermique", "Thermal expansion", None): "dilatation_thermique",
("thermique", "Thermal contraction", None): "contraction_thermique",
("thermique", "Camera thermal expansion", None): "dilatation_thermique",
+43 -12
View File
@@ -5,10 +5,17 @@ paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moi
Méthode (seuils provisoires, Claude, 2026-10-27) :
1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et
la buée, qui touchent tout le monde, sont ainsi mises de côté.
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_INSTANTS, sinon le jour ne compte pas) : jour dégradé
si au moins PART d'entre eux sont rejetés.
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_HEURES heures d'instants à la cadence de la
station, écart médian entre deux instants de mesure ; sinon le jour ne compte pas) : jour dégradé si au moins PART
d'entre eux sont rejetés. Cadence (boucle /detector-learner NEBRASKA, lot 01) : 12 instants fixes, « 3 h à 15 min »,
ne comptaient aucun jour à une mesure toutes les 4 h ; REFCOLH22, rejetée sans cesse depuis sa perte, n'était pas vue.
3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première
mesure du premier jour à la dernière du dernier ; ignore = True : la courbe de la cible n'est pas fiable.
mesure rejetée de ces jours à la dernière ; ignore = True : la courbe de la cible n'est pas fiable.
4. Gênée tout le temps ou par moments (frontière « Target issue ou Obstruction » de labeling/familles.md ; boucle
/detector-learner NEBRASKA, lot 01) : une suite d'au moins SEMAINE jours est une cible à problème, « Degraded target » ;
plus courte, une cible cachée par moments, « Target obscured » (catégorie cible_masquee), un épisode par suite de
mesures rejetées (les heures où elle est vue n'en sont pas). BREITHORN : véhicules garés
devant COLI24 et POUI22, 2 à 5 jours ; NEBRASKA et MICHIGAN : une référence perdue, 25 jours ; JUNGFRAU : PM_G, 63.
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
@@ -27,8 +34,9 @@ from donnees import charger, est_reference, iso # noqa: E402
CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas
MIN_HEURES = 3 # heures d'instants calmes, à la cadence de la station : en dessous, le jour ne compte pas
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
SEMAINE = 7 # provisoire : jours dégradés de suite pour une cible à problème ; en dessous, une cible cachée par moments
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas)
@@ -36,7 +44,14 @@ def rejete(m):
return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"]
def cadence(mesures):
"""Écart médian entre deux instants de mesure, tous capteurs confondus, en heures (comme trous)."""
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
return statistics.median((b - a).total_seconds() for a, b in zip(ts, ts[1:])) / 3600 if len(ts) > 1 else 1
def detect(mesures):
min_instants = MIN_HEURES / cadence(mesures)
par_t = {}
for s, ms in mesures.items():
for m in ms:
@@ -56,7 +71,7 @@ def detect(mesures):
suites, cur = [], []
for j in sorted(js):
rej, calmes = js[j][:2]
if calmes < MIN_INSTANTS:
if calmes < min_instants:
continue
if rej / calmes >= PART:
cur.append(js[j])
@@ -68,18 +83,34 @@ def detect(mesures):
if len(su) < MIN_JOURS:
continue
part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su))
out.append({"start": iso(su[0][2]), "end": iso(su[-1][3]), "kind": "degradee", "label": "Degraded target",
"text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, "
f"{len(su)} days in a row.",
"ignore": True, "sensors": [s]})
return sorted(out + colles(mesures), key=lambda e: e["start"])
text = f"{s} was rejected in {part} % of the measurements when the other targets were seen, {len(su)} days in a row."
r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])
if len(su) >= SEMAINE: # de la première à la dernière mesure rejetée
bornes, label = [(r[0][0], r[-1][1])], "Degraded target"
else: # par moments : un épisode par suite de mesures rejetées
bornes, label = r, "Target obscured"
out += [{"start": iso(a), "end": iso(b), "kind": "degradee", "label": label, "text": text, "ignore": True,
"sensors": [s]} for a, b in bornes]
return sorted(out + colles(mesures, min_instants), key=lambda e: e["start"])
def _rejets(ms):
"""Mesures d'un capteur -> [(début, fin)] de ses suites de mesures rejetées."""
out, cur = [], []
for m in ms + [None]:
if m and rejete(m):
cur.append(m["t"])
elif cur:
out.append((cur[0], cur[-1]))
cur = []
return out
def _bruit(v):
return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None
def colles(mesures):
def colles(mesures, min_instants):
"""Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent."""
jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière)
for s, ms in mesures.items():
@@ -90,7 +121,7 @@ def colles(mesures):
par_j.setdefault(m["t"].date(), []).append(m)
for d, js in par_j.items():
b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")]
if None not in b and len(js) >= MIN_INSTANTS:
if None not in b and len(js) >= min_instants:
jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"])
suites = {} # cible -> [[jours collés de suite]]
for d in sorted(jours):