nouvelle planification

This commit is contained in:
maxime committed 2026-10-23 21:52:08 +02:00
1 parent 8d9b927600
commit 23f01d7c23
23 files changed
+1897 -11

No files matched your search

+117
View File
@@ -0,0 +1,117 @@
"""Sauts brutaux du journal du matin : corr_x / corr_y (px) de chaque cible, cadence native de l'export « advanced ».
1. Bruit de la série = médiane des écarts d'une mesure à la suivante ; saut = mesure à K bruits ou plus du niveau
d'avant (médiane des BASE mesures précédentes).
2. Revenu (BASE mesures de suite à moins de la moitié du saut) en moins d'un jour, ou un jour après de retour à sa place
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé (artefact).
3. Sinon « Lasting shift », jamais grisé (peut-être un vrai mouvement) ; moins d'un jour de recul :
« Jump, not back yet », pas grisé non plus.
4. Les sauts qui se suivent à moins d'une heure, toutes cibles confondues, font un seul épisode (mode commun) ;
une seule cible durable (ou trop récente) suffit à ne pas griser l'épisode.
5. Références globales exclues ; mesures rejetées (corr vides) sautées.
Résultats (2026-10-23, K = 20) :
- C-001 PS des Coudres : rien (vérité : rien côté sauts).
- C-002 NORDEND juillet : grisés 28/07 21:00 → 29/07 10:45 (18 cibles) et 30/07 13:30 → 31/07 01:15 (18) ; toile revenue
31/07 20:30 : « not back yet » (13 cibles, 1 h avant la fin des données).
- C-003 WILDSTRUBEL : un saut d'un pas grisé, 04/09 06:45 (le C2 de la fiche) ; les autres sont sur des références
ou rejetés.
- C-004 CLARIDEN : « Lasting shift » 19/09 06:10, 18 cibles, non grisé ; faux positif probable : une cible agitée seule,
18/09 15:40, non grisé ; la dérive de nuit de corr_x (lente) n'est pas un saut.
- C-005 NIEDERHORN : train du 01/10 12:00 grisé (1 cible sur 3 : les deux autres à 17 et 19 bruits) ; train du
30/09 22:00 manqué (première mesure) ; feuilles, pluie : rien (error_value, pas des sauts).
- NORDEND octobre : PR17 seule en « Lasting shift » le 08/10 02:30 ; cinq épisodes communs grisés (07/10 19:45,
08/10 07:15, 09/10 08:45 et 21:15, 14/10 05:15 : 4 à 15 cibles, aller-retour en moins de 5 h) ; PR15 08/10 04:45,
un instant grisé.
"""
import statistics
import sys
from datetime import timedelta
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[2] / "agents" / "diagnostic" / "outils"))
import donnees # noqa: E402
K = 20 # provisoire, réglé sur C-001 : à 15, deux cibles saines y sont grisées (17 et 18 bruits)
BASE = 4 # mesures qui font le niveau d'avant (1 h à 15 min)
GAP = timedelta(hours=1) # deux sauts à moins d'une heure, toutes cibles confondues : un seul épisode
BACK_H = 24 # provisoire : retour en moins d'un jour = artefact (C-002 : paliers jusqu'à 11 h 30)
def _sauts(t, v):
"""Une série (instants, valeurs) -> [(i début, i fin, état)], état 'back', 'lasting' ou 'recent'."""
day = timedelta(hours=BACK_H)
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
# ponytail: place habituelle = premier jour de l'export, faux s'il commence dans un artefact
ref = statistics.median(x for x, u in zip(v, t) if u < t[0] + day)
out, i = [], BASE # ponytail: les BASE premières mesures ne sont pas testées (train du 30/09 22:00 manqué)
while noise and i < len(v):
base = statistics.median(v[i - BASE:i])
if abs(v[i] - base) < K * noise:
i += 1
continue
tol = abs(v[i] - base) / 2 # revenu : BASE mesures de suite à moins de la moitié du saut du niveau d'avant
j = next((k for k in range(i + 1, len(v)) if all(abs(x - base) < tol for x in v[k:k + BASE])), len(v))
before = statistics.median([x for x, u in zip(v, t) if t[i] - day <= u < t[i]] or [base])
after = statistics.median(x for x, u in zip(v, t) if t[i] <= u < t[i] + day)
if j < len(v) and t[j] - t[i] <= day:
state = "back"
elif abs(after - ref) < tol or abs(after - before) < tol: # le jour d'après, la cible est à sa place
state, j = "back", i + 1 # habituelle, ou là où elle était le jour d'avant : le saut finissait un creux
else:
state = "lasting" if t[-1] - t[i] >= day else "recent" # moins d'un jour de recul : on ne sait pas encore
out.append((i, j - 1, state))
i = j + BASE # niveau d'avant refait après le retour
return out
def detect(mesures):
"""{capteur: [mesure]} (donnees.charger) -> épisodes du journal, triés par début."""
found = [] # (début, fin, état, capteur)
for name, ms in mesures.items():
if donnees.est_reference(ms):
continue
for axe in ("corr_x", "corr_y"):
kept = [m for m in ms if m[axe] is not None]
if len(kept) <= BASE:
continue
t, v = [m["t"] for m in kept], [m[axe] for m in kept]
# un saut qui n'est pas revenu finit avec lui-même, pas avec les données (sa barre cachait les autres)
found += [(t[a], t[b] if state == "back" else t[a], state, name) for a, b, state in _sauts(t, v)]
groups = [] # un saut qui n'est pas revenu ne compte que par son instant : sa fin est souvent celle des données
for s, e, state, name in sorted(found):
if groups and s <= groups[-1]["until"] + GAP:
g = groups[-1]
else:
g = {"start": s, "end": e, "until": s, "sensors": {}}
groups.append(g)
g["end"], g["until"] = max(g["end"], e), max(g["until"], e if state == "back" else s)
g["sensors"].setdefault(name, set()).add(state)
return [_episode(g) for g in groups]
def _episode(g):
"""Un groupe -> épisode du journal ; un seul saut durable (ou trop récent) suffit à ne pas griser."""
n = len(g["sensors"])
lasting = sum("lasting" in st for st in g["sensors"].values())
recent = any("recent" in st for st in g["sensors"].values())
who = "One target" if n == 1 else f"{n} targets together (a single event)"
if lasting:
label = "Lasting shift"
some = "" if lasting == n else f", {lasting} of them stayed shifted for more than a day"
text = (f"{who} jumped{some}" if some else f"{who} jumped and stayed shifted for more than a day") + \
": this may be a real movement, please check it."
elif recent:
label = "Jump, not back yet"
text = f"{who} jumped less than a day before the last measurement and has not come back yet: check again later."
else:
label = "Sudden jump, back to normal"
text = f"{who} jumped and came back within a day: most likely a measurement artefact, not a movement."
return {"start": donnees.iso(g["start"]), "end": donnees.iso(g["end"]), "kind": "sauts", "label": label,
"text": text, "ignore": not lasting and not recent, "sensors": sorted(g["sensors"])}
if __name__ == "__main__":
for ep in detect(donnees.charger(sys.argv[1])):
print(ep["start"], ep["end"], "ignore" if ep["ignore"] else "KEEP ", ep["label"], "|", len(ep["sensors"]),
",".join(ep["sensors"][:6]), "|", ep["text"])
+128
View File
@@ -0,0 +1,128 @@
"""Journal du matin : cycle thermique jour / nuit (la vague quotidienne des déplacements corrigés).
Méthode, par cible (hors références globales) et par axe (corr_x, corr_y) :
1. Chaque jour UTC d'au moins 20 h : moyenne de chaque heure moins la médiane du jour (enlève sauts et dérive).
2. Profil = médiane, heure par heure, sur les jours ; « répétabilité » = médiane, sur les jours, de la corrélation
entre le jour et le profil des autres jours. Axe concerné si répétabilité ≥ 0,6.
3. Cycle de la station si au moins la moitié des cibles ont un axe concerné.
4. Heures chaudes : niveau de nuit = médiane des 8 heures consécutives les plus plates du profil ; une heure est
chaude si, en médiane sur les axes concernés, le profil s'en écarte d'au moins 0,3 fois son amplitude.
5. Un épisode par jour complet, de la première à la dernière heure chaude, si ce jour ressemble aux autres
(corrélation médiane ≥ 0,5 sur les axes concernés).
Résultats (2026-10-23 ; « cibles » = part des cibles concernées, amplitude = médiane max − min du profil, en px) :
| Jeu | corr (ce que voit le client) | x, y bruts |
|---|---|---|
| PS_DES_COUDRES | 11/11 cibles, 0,17 px, 08-17 h, 5 épisodes | 12/12, 0,55 px, 08-16 h |
| NORDEND (juillet, C-002) | 2/18, rien | 18/19, 1,8 px, 06-18 h |
| WILDSTRUBEL (C-003) | 3/7, rien | 6/7, 3,2 px, 04-08 h |
| CLARIDEN (C-004) | 1/24, rien | 1/24, aucun cycle |
| NIEDERHORN (C-005, horaire) | 3/11, rien | 19/30, 4,6 px, ~12 h |
| cas 2026-10_NORDEND (11 j) | 9/19, 0,02 px, 08-17 h, sous le seuil (PART = 0,4 : 8 épisodes, sans 08 ni 09/10) | 17/19, 0,78 px, 09-17 h |
Lecture : le cycle est presque partout dans les positions brutes (mode commun) et la compensation l'enlève,
sauf à PS des Coudres où il reste dans corr, de même forme que dans les positions brutes.
"""
import os
import statistics
import sys
from datetime import datetime, timedelta, timezone
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils"))
from donnees import charger, iso # noqa: E402
HEURES_MIN = 20 # provisoire : un jour UTC compte s'il a au moins 20 heures mesurées
REPRO = 0.6 # provisoire : un axe a un cycle si chaque jour ressemble aux autres (bruit pur ≈ 0)
PART = 0.5 # provisoire : part des cibles concernées ; 2026-10_NORDEND est juste dessous (9/19)
CHAUD = 0.3 # provisoire : écart au niveau de nuit, en part de l'amplitude du profil
JOUR = 0.5 # provisoire : ressemblance d'un jour aux autres pour lui donner son épisode
NUIT = 8 # heures consécutives du profil les plus plates = niveau de nuit
def _corr(a, b):
ma, mb = statistics.mean(a), statistics.mean(b)
num = sum((x - ma) * (y - mb) for x, y in zip(a, b))
den = (sum((x - ma) ** 2 for x in a) * sum((y - mb) ** 2 for y in b)) ** 0.5
return num / den if den else 0.0
def _axe(ms, col):
"""-> (profil sur 24 h, {jour: corrélation au profil des autres jours}) ou None."""
jours = {}
for m in ms:
if m[col] is not None:
jours.setdefault(m["t"].date(), {}).setdefault(m["t"].hour, []).append(m[col])
J = {}
for d, hs in jours.items():
if len(hs) >= HEURES_MIN:
med = statistics.median(v for l in hs.values() for v in l)
J[d] = {h: statistics.mean(l) - med for h, l in hs.items()}
if len(J) < 2:
return None
profil = [statistics.median(q[h] for q in J.values() if h in q) for h in range(24) if any(h in q for q in J.values())]
if len(profil) < 24:
return None
ressemblance = {}
for d, p in J.items():
autres = [q for e, q in J.items() if e != d]
hs = [h for h in p if all(h in q for q in autres)]
ressemblance[d] = _corr([p[h] for h in hs], [statistics.median(q[h] for q in autres) for h in hs])
return profil, ressemblance
def cycle(mesures, cols=("corr_x", "corr_y")):
"""-> (axes concernés [(capteur, col, profil, ressemblance)], nombre de cibles évaluées)."""
concernes, cibles = [], set()
for s, ms in mesures.items():
if ms[0]["pattern_type"] == "global_ref":
continue
for col in cols:
r = _axe(ms, col)
if r is None:
continue
cibles.add(s)
if statistics.median(r[1].values()) >= REPRO:
concernes.append((s, col) + r)
return concernes, len(cibles)
def heures_chaudes(concernes):
def score(p, h):
debut = min(range(24), key=lambda i: max(p[(i + k) % 24] for k in range(NUIT)) - min(p[(i + k) % 24] for k in range(NUIT)))
nuit = statistics.median(p[(debut + k) % 24] for k in range(NUIT))
return abs(p[h] - nuit) / (max(p) - min(p))
return [h for h in range(24) if statistics.median(score(c[2], h) for c in concernes) >= CHAUD]
def detect(mesures):
concernes, n = cycle(mesures)
capteurs = sorted({c[0] for c in concernes})
if not n or len(capteurs) < PART * n:
return []
chaudes = heures_chaudes(concernes)
if not chaudes:
return []
jours = sorted({d for c in concernes for d in c[3]})
episodes = []
for d in jours: # ponytail: jours complets seulement, les bouts d'export (22:00 → minuit) n'ont pas d'épisode
if statistics.median(c[3][d] for c in concernes if d in c[3]) < JOUR:
continue
minuit = datetime(d.year, d.month, d.day, tzinfo=timezone.utc)
episodes.append({
"start": iso(minuit + timedelta(hours=chaudes[0])), "end": iso(minuit + timedelta(hours=chaudes[-1] + 1)),
"kind": "thermique", "label": "Daily thermal cycle",
"text": "The structure, the mast and the camera warm up during the day and move very slightly, "
"then cool down in the evening: this wave comes back every day and is normal.",
"ignore": False, "sensors": capteurs,
})
return episodes
if __name__ == "__main__":
mesures = charger(sys.argv[1])
for e in detect(mesures):
print(e["start"], "→", e["end"], e["label"], len(e["sensors"]), "cibles |", e["text"])
for cols in (("corr_x", "corr_y"), ("x", "y")):
concernes, n = cycle(mesures, cols)
k = len({c[0] for c in concernes})
amp = statistics.median(max(c[2]) - min(c[2]) for c in concernes) if concernes else 0
print(f"{cols[0][:-2] or 'brut'} : cibles {k}/{n}, amplitude médiane {amp:.3f} px, heures chaudes (UTC) {heures_chaudes(concernes) if concernes else '-'}")
+37
View File
@@ -0,0 +1,37 @@
"""Journal du matin : moments sans mesure (cadence de l'export « advanced » rompue).
Cadence : écart médian entre deux instants de mesure, tous capteurs confondus. Un trou : plus de 2 pas manquants entre
deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Pas de mesure dans l'export ne
veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien.
Usage : python3 vues-deplacements/journal/trous.py <dossier de station> (affiche les épisodes)
"""
import os
import statistics
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils"))
from donnees import charger, iso # noqa: E402
MISSING = 2 # au-delà de 2 pas manquants, c'est un trou (consigne de l'utilisateur, 2026-10-23)
def duration(s):
h, m = divmod(round(s / 60), 60)
return f"{h} h {m:02d} min" if h else f"{m} min"
def detect(mesures):
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
if len(ts) < 3:
return []
gaps = [(b - a).total_seconds() for a, b in zip(ts, ts[1:])]
step = statistics.median(gaps)
return [{"start": iso(a), "end": iso(b), "kind": "trous", "label": "No data",
"text": f"No measurement in the export for {duration(g)} (usually one every {duration(step)}).",
"ignore": False, "sensors": []}
for a, b, g in zip(ts, ts[1:], gaps) if g > (MISSING + 1) * step]
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e)
+106
View File
@@ -0,0 +1,106 @@
"""Journal du matin : turbulence atmosphérique (bruit rapide sur les déplacements corrigés).
Méthode :
1. Par capteur et par heure H, sur les mesures de [H − 1 h, H + 2 h) : agitation = médiane de |Δcorr_x| + |Δcorr_y|
entre mesures successives (robuste aux sauts d'un seul pas), et médiane de l'error_value.
2. Chacune est rapportée au calme du capteur : le quartile bas de ses valeurs horaires sur l'export (souvent la nuit).
3. Heure turbulente : au moins la moitié des capteurs à ≥ 1,5 fois leur agitation calme, et error_value médiane
des capteurs à ≥ 1,5 fois la calme (l'air chaud brouille les taches : C-003, critère 1).
4. Heures voisines fusionnées (trou d'une heure toléré), épisode d'au moins 3 h, écarté si plus de 15 % des mesures
sont rejetées (c'est alors de la mauvaise visibilité, autre détecteur). Grisé si l'agitation médiane ≥ 2×.
Résultats (2026-10-23, seuils ci-dessous) :
- WILDSTRUBEL (C-003, vérité : chaque jour ~03:30 → 16:00) : 3 épisodes, 02.09 04:00-15:00, 03.09 05:00-15:00,
04.09 04:00-15:00, les 13 capteurs, ×2,3 à ×2,6, tous grisés.
- PS_DES_COUDRES (sain, buée une nuit), NORDEND juillet (toile d'araignée), CLARIDEN (mouvement réel),
NIEDERHORN (trains, pluie), NORDEND octobre (11 jours) : aucun épisode. Écartés en route : midis agités sans
error_value en hausse (PS des Coudres, NORDEND octobre), toile et pluie par les rejets (18 à 43 %), le matin du
mouvement de CLARIDEN (06:00-08:00) par la durée.
"""
import os
import statistics
import sys
from datetime import timedelta
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils"))
from donnees import charger, iso # noqa: E402
RATIO = 1.5 # provisoire, réglé sur C-003 (WILDSTRUBEL : de jour, corr ×1,7 à ×3 la nuit)
PART = 0.5 # provisoire : part des capteurs agités en même temps
RATIO_ERR = 1.5 # provisoire, réglé sur C-003 (error_value ×1,7 à ×3,2 la nuit ; ≈ ×1 à midi ailleurs)
REJET_MAX = 0.15 # provisoire : C-003 ≤ 7 % ; toile d'araignée (C-002) et pluie (C-005) ≥ 18 %
FORT = 2.0 # provisoire : C-003 (×2,3 à ×2,6) est fort ; un épisode entre ×1,5 et ×2 reste visible
DUREE_MIN = timedelta(hours=3) # provisoire : C-003 dure 10-11 h ; écarte le matin du mouvement réel de C-004 (2 h)
HEURE = timedelta(hours=1)
def _heure(t):
return t.replace(minute=0, second=0, microsecond=0)
def _rapports(points):
"""[(t, valeur)] -> {heure H: médiane sur [H − 1 h, H + 2 h) / quartile bas de ces médianes}."""
par = {}
for t, v in points:
for k in (-1, 0, 1):
par.setdefault(_heure(t) + k * HEURE, []).append(v)
med = {h: statistics.median(v) for h, v in par.items() if len(v) >= 3}
if len(med) < 8:
return {}
calme = statistics.quantiles(med.values(), n=4)[0]
return {h: v / calme for h, v in med.items()} if calme > 0 else {}
def heures(mesures):
"""-> {heure: {capteur: (agitation / calme, error_value / calme)}}."""
out = {}
for s, ms in mesures.items():
ag = _rapports([(b["t"], abs(b["corr_x"] - a["corr_x"]) + abs(b["corr_y"] - a["corr_y"]))
for a, b in zip(ms, ms[1:]) if a["corr_x"] is not None and b["corr_x"] is not None])
er = _rapports([(m["t"], m["error_value"]) for m in ms if m["error_value"] is not None])
for h, r in ag.items():
if h in er:
out.setdefault(h, {})[s] = (r, er[h])
return out
def _turbulente(r):
return (sum(a >= RATIO for a, _ in r.values()) >= PART * len(r)
and statistics.median(e for _, e in r.values()) >= RATIO_ERR)
def detect(mesures):
H = heures(mesures)
blocs = []
for h in sorted(h for h, r in H.items() if _turbulente(r)):
if blocs and h - blocs[-1][-1] <= 2 * HEURE:
blocs[-1].append(h)
else:
blocs.append([h])
episodes = []
for b in blocs:
debut, fin = b[0], b[-1] + HEURE
dedans = [m for ms in mesures.values() for m in ms if debut <= m["t"] < fin]
if fin - debut < DUREE_MIN or sum(m["corr_x"] is None for m in dedans) > REJET_MAX * len(dedans):
continue
par_capteur = {}
for h in b:
for s, (a, _) in H[h].items():
par_capteur.setdefault(s, []).append(a)
agit = {s: statistics.median(v) for s, v in par_capteur.items()}
fort = statistics.median(agit.values())
episodes.append({
"start": iso(debut), "end": iso(fin), "kind": "turbulence",
"label": "Heat shimmer",
"text": f"Readings were about {fort:.1f}× noisier than in calm hours because of heat shimmer "
"(warm air trembling in the line of sight); the small fast wiggles are not movement.",
"ignore": fort >= FORT,
"sensors": sorted(s for s, v in agit.items() if v >= RATIO),
})
return episodes
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e["start"], "→", e["end"], e["label"], "(grisé)" if e["ignore"] else "",
f"{len(e['sensors'])} capteurs |", e["text"])
+158
View File
@@ -0,0 +1,158 @@
"""Journal du matin : visibilité / taux d'erreur de reconnaissance (error_value), un épisode grisé par moment douteux.
Méthode (seuils provisoires ci-dessous) :
1. Mesure « haute » : error_value > médiane + 10 MAD et > 2 × médiane du capteur sur l'export (relatif au capteur, pas au seuil).
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule).
3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants
où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées.
4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h
d'écart, la plupart hors des épisodes 2 et 3 (feuilles, neige, reflet sur une cible). Tous les épisodes : ignore = True.
Résultats (2026-10-23 ; vérité : agents/diagnostic/cas/INDEX.md) :
- PS_DES_COUDRES (C-001, buée 13.10 23:45 → 14.10 05:15, 2 références sur 3) : Poor visibility 13.10 23:45 → 14.10 04:45, REF_G et
REF_D ; aussi la nuit d'avant, 13.10 01:15 → 03:30, mêmes références (hors vérité, pas d'image : sans doute la même buée).
- NORDEND juillet (C-002, toile 28.07 20:45 → 31.07 03:00, reprise 31.07 20:30) : Poor visibility 28.07 20:45 → 31.07 02:45 (20 capteurs)
et 31.07 20:30 → fin (18), références comprises.
- WILDSTRUBEL (C-003, turbulence de jour) : pas de Poor visibility (error_value ×1,5 à ×3 seulement : laissé au détecteur turbulence) ;
3 Brief obstruction de jour (02.09 12:00, 03.09 08:15, 04.09 14:00 : un véhicule sur la route à 14:00, image) ; PA_9 en
Target obscured chaque matin dès 04:30, jusqu'à 06:45, 08:15 ou 12:00 (soleil sur la cible, probable).
- CLARIDEN (C-004, mouvement réel) : rien sur le groupe à error_value durablement haute (bon) ; Brief obstruction 18.09 13:40
et 20.09 06:20 (tunnel : taches assombries, non établi) ; Target obscured PR-284 19.09 18:30 → 18:50.
- NIEDERHORN (C-005) : trains 30.09 22:00, 01.10 12:00 et 21:00, 02.10 21:00 (celui du 03.10 10:00, 2 cibles, manqué) ;
pluie 01.10 06:00 → 11:00 et 02.10 03:00 → 11:00 (vérité 05:00 et 03:00 → 11:00), références intactes ; feuilles 02.10 10:00 → 22:00.
- NORDEND octobre (cas/2026-10_NORDEND) : Poor visibility 07.10 17:15 → 08.10 12:15 (buée du 08.10 02:30), 09.10 07:45 → 14:00
(parois ruisselantes), 09.10 20:45 → 23:45 (17 rejets à 23:00, retour à 00:00), 13.10 09:45 → 10:30, 14.10 05:15 → 06:30
(taches pâles à l'aube) ; Brief obstruction 09.10 18:45 et 12.10 14:15 ; Target obscured surtout CTR01, PR04, PR09
(souvent rejetées) : à vérifier.
"""
import os
import statistics
import sys
from datetime import timedelta
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils"))
from donnees import charger, iso # noqa: E402
K_MAD = 10 # provisoire, réglé sur C-001 (buée : 11 à 57 MAD) et C-005 (pluie, trains : 10 à 70 MAD)
FACTEUR = 2 # provisoire : écarte les capteurs à MAD quasi nulle (C-004 : PWD_REF10 ×1,6 à 14 MAD, C-005)
SUITE_MIN = 3 # provisoire : mesures hautes d'affilée pour une mauvaise visibilité (C-001, C-005 pluie)
BREF_MIN = 3 # provisoire, réglé sur C-005 (trains : 5 à 17 capteurs ; celui de 2 cibles est manqué)
K_CIBLE = 5 # provisoire, réglé sur C-005 (feuilles : 6 à 25 MAD, rejetées)
CIBLE_MIN = 3 # provisoire : rejets répétés d'une cible
FRAC = 0.15 # provisoire : coupe les queues de PR09 + CTR01 (NORDEND octobre) sans couper la toile (C-002)
ECART = 2.5 # provisoire : pas tolérés entre deux mesures hautes d'une même suite (un pas manquant, horloge à la seconde près)
COUPURE = timedelta(hours=2) # provisoire : accalmie qui sépare deux épisodes (NORDEND octobre, nuit du 13 au 14.10)
SAILLIE = 3 # provisoire : un train ressort d'au moins 3 fois les instants voisins (C-005 : 5 à 17 contre 0 à 2 ;
# la toile de C-002 varie de 2 à 9 d'un pas à l'autre)
CIBLE_ECART = timedelta(hours=6) # provisoire, réglé sur C-005 (feuilles : 7 rejets en 12 h, jusqu'à 5 h d'écart)
def _pas(mesures):
ts = sorted({m["t"] for v in mesures.values() for m in v})
return statistics.median(b - a for a, b in zip(ts, ts[1:]))
def _grouper(points, ecart):
"""[(t, capteur)] triés par t -> groupes [(début, fin, {capteurs}, [t])] dont les points sont à ≤ ecart les uns des autres."""
groupes = []
for t, s in points:
if groupes and t - groupes[-1][1] <= ecart:
g = groupes[-1]
groupes[-1] = (g[0], t, g[2] | {s}, g[3] + [t])
else:
groupes.append((t, t, {s}, [t]))
return groupes
def _episode(debut, fin, label, text, capteurs):
return {"start": iso(debut), "end": iso(fin), "kind": "visibilite", "label": label, "text": text,
"ignore": True, "sensors": sorted(capteurs)}
def detect(mesures):
ecart = ECART * _pas(mesures)
refs = {s for s, v in mesures.items() if v[0]["pattern_type"] == "global_ref"}
instants = sorted({m["t"] for v in mesures.values() for m in v})
hautes, rejets = {}, {} # capteur -> [t]
for s, v in mesures.items():
e = [m["error_value"] for m in v if m["error_value"] is not None]
if len(e) < 10:
continue
med = statistics.median(e)
mad = statistics.median(abs(x - med) for x in e) or 1e-9
for m in v:
x = m["error_value"]
if x is None:
continue
if x > med + K_MAD * mad and x > FACTEUR * med:
hautes.setdefault(s, []).append(m["t"])
if s not in refs and m["error_threshold"] and x > m["error_threshold"] and x > med + K_CIBLE * mad:
rejets.setdefault(s, []).append(m["t"])
par_t = {} # t -> {capteurs hauts}
for s, ts in hautes.items():
for t in ts:
par_t.setdefault(t, set()).add(s)
n = lambda t: len(par_t.get(t, ())) # noqa: E731
out = []
# 2. Brief obstruction : un instant où beaucoup de capteurs sont hauts, au moins SAILLIE fois plus qu'aux instants voisins.
brefs = set()
for i, t in enumerate(instants):
voisins = [n(instants[j]) for j in (i - 1, i + 1) if 0 <= j < len(instants)]
if n(t) >= BREF_MIN and n(t) >= SAILLIE * max(voisins):
brefs.add(t)
out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came "
"back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))
# 3. Poor visibility : suites longues par capteur (sans les instants brefs), réunies entre capteurs,
# puis réduites aux instants où au moins FRAC du pic de l'épisode est haut (coupe les queues d'un ou deux capteurs
# et les longues accalmies, plus de COUPURE).
suites = []
for s, ts in hautes.items():
pts = [(t, s) for t in ts if t not in brefs]
suites += [(a, b, s) for a, b, _, l in _grouper(pts, ecart) if len(l) >= SUITE_MIN]
zones = [z for z in _grouper_intervalles(sorted(suites), ecart) if len(z[2]) >= 2]
gardees = []
for a, b, _ in zones:
dans = [t for t in instants if a <= t <= b and t not in brefs]
pic = max(n(t) for t in dans)
pts = [(t, s) for t in dans if n(t) >= max(1, FRAC * pic) for s in par_t[t]]
gardees += [(d, f, cs) for d, f, cs, l in _grouper(pts, max(ecart, COUPURE)) if len(cs) >= 2 and len(set(l)) >= SUITE_MIN]
for a, b, cs in gardees:
r = cs & refs
if r:
text = (f"{len(cs)} points, including {len(r)} of the {len(refs)} reference points, were poorly seen: probably rain, "
"fog, condensation or something in front of the camera; all displacements in this period are unreliable.")
else:
text = (f"{len(cs)} targets were poorly seen, the reference points stayed clear: probably rain, fog or condensation; "
"the displacements of these targets in this period are unreliable.")
out.append(_episode(a, b, "Poor visibility", text, cs))
dedans = lambda t: t in brefs or any(a <= t <= b for a, b, _ in gardees) # noqa: E731
# 4. Target obscured : une cible rejetée à répétition, surtout hors des épisodes ci-dessus.
cibles = []
for s, ts in rejets.items():
for a, b, _, l in _grouper([(t, s) for t in ts], CIBLE_ECART):
if len(l) >= CIBLE_MIN and sum(map(dedans, l)) * 2 < len(l):
cibles.append((a, b, s))
for a, b, cs in _grouper_intervalles(sorted(cibles), timedelta(0)):
qui, it, its = ("One target was", "it", "its") if len(cs) == 1 else (f"{len(cs)} targets were", "them", "their")
out.append(_episode(a, b, "Target obscured", f"{qui} repeatedly lost while the targets around stayed clear: probably "
f"something in front of {it} (leaves, snow) or glare; {its} displacements in this period are unreliable.", cs))
return sorted(out, key=lambda e: e["start"])
def _grouper_intervalles(intervalles, ecart):
"""[(début, fin, capteur)] triés -> [(début, fin, {capteurs})] des intervalles qui se chevauchent (à ecart près)."""
out = []
for a, b, s in intervalles:
if out and a - out[-1][1] <= ecart:
out[-1] = (out[-1][0], max(out[-1][1], b), out[-1][2] | {s})
else:
out.append((a, b, {s}))
return out
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e["start"], "→", e["end"], e["label"], f"| {len(e['sensors'])} :", ",".join(e["sensors"][:8]), "|", e["text"])