Detectors, loop and sharpening sessions moved to the repo root (D-084)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
be8897e38e
commit
4d99585474
691 files changed
+122
-109
No files matched your search
@@ -0,0 +1,120 @@
|
||||
"""Journal du matin : cible rejetée la plupart du temps, jour après jour, quand les autres sont vues (cible dégradée).
|
||||
|
||||
Le détecteur visibilite compare chaque capteur à son propre niveau habituel : une cible presque toujours rejetée lui
|
||||
paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moitié des mesures ou plus, chaque jour).
|
||||
Méthode (seuils provisoires, Claude, 2026-10-27) :
|
||||
1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et
|
||||
la buée, qui touchent tout le monde, sont ainsi mises de côté.
|
||||
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_INSTANTS, sinon le jour ne compte pas) : jour dégradé
|
||||
si au moins PART d'entre eux sont rejetés.
|
||||
3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première
|
||||
mesure du premier jour à la dernière du dernier ; ignore = True : la courbe de la cible n'est pas fiable.
|
||||
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
|
||||
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
|
||||
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
|
||||
Cible collée (Cible défaillante, D-074 ; C-011, FLORIDA : une cible définie sur le prisme d'une référence) : par jour UTC,
|
||||
le bruit de ses corr_x et corr_y (médiane des écarts d'une mesure à la suivante) à moins de COLLE fois le bruit médian
|
||||
des autres cibles, sur les deux axes, un jour suffit (une journée sans bruit n'arrive pas par accident) ; label « Target stuck ». Sur C-011 : C2 à
|
||||
7e-5 px et C3 à 2e-4 contre 0,013 pour les autres ; FLORIDA : les mêmes, Pont Ernen et Sellette 3.
|
||||
Usage : python3 detectors/degradee.py <dossier de station> (affiche les épisodes)
|
||||
"""
|
||||
import os
|
||||
import statistics
|
||||
import sys
|
||||
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
|
||||
from donnees import charger, est_reference, iso # noqa: E402
|
||||
|
||||
CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
|
||||
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
|
||||
MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas
|
||||
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
|
||||
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (C-011 : 0,006 ; NORDEND, C-001 : 0,7 au plus bas)
|
||||
|
||||
|
||||
def rejete(m):
|
||||
return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"]
|
||||
|
||||
|
||||
def detect(mesures):
|
||||
par_t = {}
|
||||
for s, ms in mesures.items():
|
||||
for m in ms:
|
||||
par_t.setdefault(m["t"], {})[s] = rejete(m)
|
||||
jours = {} # capteur -> jour -> [rejetés, calmes, première mesure, dernière]
|
||||
for t in sorted(par_t):
|
||||
d = par_t[t]
|
||||
for s, r in d.items():
|
||||
autres = [v for k, v in d.items() if k != s]
|
||||
c = jours.setdefault(s, {}).setdefault(t.date(), [0, 0, t, t])
|
||||
c[3] = t
|
||||
if autres and sum(autres) / len(autres) <= CALME:
|
||||
c[0] += r
|
||||
c[1] += 1
|
||||
out = []
|
||||
for s, js in sorted(jours.items()):
|
||||
suites, cur = [], []
|
||||
for j in sorted(js):
|
||||
rej, calmes = js[j][:2]
|
||||
if calmes < MIN_INSTANTS:
|
||||
continue
|
||||
if rej / calmes >= PART:
|
||||
cur.append(js[j])
|
||||
elif cur:
|
||||
suites.append(cur)
|
||||
cur = []
|
||||
suites += [cur] if cur else []
|
||||
for su in suites:
|
||||
if len(su) < MIN_JOURS:
|
||||
continue
|
||||
part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su))
|
||||
out.append({"start": iso(su[0][2]), "end": iso(su[-1][3]), "kind": "degradee", "label": "Degraded target",
|
||||
"text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, "
|
||||
f"{len(su)} days in a row.",
|
||||
"ignore": True, "sensors": [s]})
|
||||
return sorted(out + colles(mesures), key=lambda e: e["start"])
|
||||
|
||||
|
||||
def _bruit(v):
|
||||
return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None
|
||||
|
||||
|
||||
def colles(mesures):
|
||||
"""Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent."""
|
||||
jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière)
|
||||
for s, ms in mesures.items():
|
||||
if est_reference(ms):
|
||||
continue
|
||||
par_j = {}
|
||||
for m in ms:
|
||||
par_j.setdefault(m["t"].date(), []).append(m)
|
||||
for d, js in par_j.items():
|
||||
b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")]
|
||||
if None not in b and len(js) >= MIN_INSTANTS:
|
||||
jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"])
|
||||
suites = {} # cible -> [[jours collés de suite]]
|
||||
for d in sorted(jours):
|
||||
cs = jours[d]
|
||||
for s, (bx, by, a, b) in cs.items():
|
||||
autres = [v for k, (x, y, *_) in cs.items() if k != s for v in (x, y)]
|
||||
if len(autres) < 4:
|
||||
continue
|
||||
ref = statistics.median(autres)
|
||||
su = suites.setdefault(s, [[]])
|
||||
if ref and max(bx, by) <= COLLE * ref:
|
||||
su[-1].append((a, b))
|
||||
elif su[-1]:
|
||||
su.append([])
|
||||
out = []
|
||||
for s, su in sorted(suites.items()):
|
||||
for k in su:
|
||||
if k:
|
||||
out.append({"start": iso(k[0][0]), "end": iso(k[-1][1]), "kind": "degradee", "label": "Target stuck",
|
||||
"text": f"{s} barely moved while the other targets did ({len(k)} day{'s' if len(k) > 1 else ''}): it may be "
|
||||
"set on a reference prism.", "ignore": True, "sensors": [s]})
|
||||
return out
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
for e in detect(charger(sys.argv[1])):
|
||||
print(e)
|
||||
Reference in new issue
Block a user