Detect every jump and the trends in the Displacements page (D-055)
Jumps: a sudden change within 2 h (8 times the target's usual 2-hour change) that lasts 24 h (at least 1.4 times its daily swing); every jump of the range, returns included, so PR17's return on 12/10 now shows. Trends: Theil-Sen slope and Kendall tau of the daily levels, jumps set aside, kept when the drift over the period reaches the daily swing and goes steadily one way. Provisional thresholds; method and results in vues-deplacements/contexte/detection-d-anomalies.md. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
261f8c9038
commit
d07edace60
5 files changed
+152
-58
No files matched your search
@@ -31,13 +31,17 @@ KINDS = ("global_ref", "ref", "target") # ordre des lignes : références de la
|
||||
MARGIN_PX = 150 # marge autour des capteurs, zoom de départ de l'image (spec §1)
|
||||
HOURLY_TZ = ZoneInfo("Europe/Zurich") # horodatage de l'export horaire : heure suisse, sans fuseau (docs/domaine/colonnes-des-deplacements.md)
|
||||
CAPTURES = {"time_series": ("01", "02", "03"), "advanced": ("04", "05")} # captures de cas/<cas>/plateforme/ par onglet
|
||||
# Page Displacements (D-055, vues-deplacements/contexte/detection-d-anomalies.md) : sauts de niveau qui durent.
|
||||
# Page Displacements (D-055, vues-deplacements/contexte/detection-d-anomalies.md) : sauts et tendances. Seuils provisoires,
|
||||
# sans source, réglés sur les jeux de la note ; à revoir avec d'autres cas.
|
||||
WINDOW = 24 # heures de part et d'autre d'un saut : une journée entière absorbe le cycle jour et nuit
|
||||
RATIO = 3 # saut montré s'il dépasse RATIO fois l'amplitude journalière de la cible ; provisoire, sans source :
|
||||
# entre 1,5 (plus grand saut des jeux sains) et 4 (PR17) sur les jeux de la note
|
||||
TOGETHER_S = 6 * 3600 # sauts à moins de 6 h l'un de l'autre (de proche en proche) : un même événement ; le plus grand
|
||||
# écart d'un axe tombe parfois quelques heures après la marche (PR17, marche à 02:30 : 03:00 en
|
||||
# vertical, 07:00 en horizontal)
|
||||
STEP_H = 2 # un saut se fait en 2 h au plus (le pas de PR17 à 02:30 tombe entre deux moyennes horaires)
|
||||
ABRUPT = 8 # brutal : changement sur STEP_H heures ≥ ABRUPT fois le changement habituel de la cible sur STEP_H heures
|
||||
SIZE = 1.4 # notable : ce qui dure (médiane des 24 h après − des 24 h avant) ≥ SIZE fois l'amplitude journalière ;
|
||||
# retour vertical de PR17 le 12/10 à 1,45, PR03 à 1,2 (seuil 3 avant : ce retour n'apparaissait pas)
|
||||
TREND_DAYS = 5 # jours UTC (≥ 20 heures mesurées) au minimum pour une tendance
|
||||
TREND_SIZE = 1 # tendance : dérive sur la période ≥ TREND_SIZE fois l'amplitude journalière…
|
||||
TREND_STEADY = 0.6 # …et régulière : tau de Kendall des niveaux journaliers ≥ 0,6 (en valeur absolue)
|
||||
TOGETHER_S = 6 * 3600 # sauts à moins de 6 h l'un de l'autre (de proche en proche) : un même événement
|
||||
|
||||
|
||||
def hourly(path):
|
||||
@@ -55,35 +59,77 @@ def hourly(path):
|
||||
"v": [num(r[f"{n}_vertical_displacement"]) for r in rows]} for n in names}}
|
||||
|
||||
|
||||
def regime_changes(hr):
|
||||
"""Déplacements horaires (sortie de hourly) -> événements de sauts de niveau qui durent, du plus net au moins net,
|
||||
chacun avec ses sauts (sauts à moins de TOGETHER_S de proche en proche : plusieurs cibles qui sautent ensemble font
|
||||
un seul événement, pas plusieurs anomalies, règle du mode commun dans CLAUDE.md). Pour chaque cible
|
||||
et chaque axe : le plus grand écart entre la médiane des WINDOW heures qui suivent et celle des WINDOW heures qui
|
||||
précèdent, gardé s'il dépasse RATIO fois l'amplitude journalière de la cible (médiane, sur les jours UTC, de max − min).
|
||||
Les données ne sont pas modifiées."""
|
||||
def daily(s):
|
||||
"""[(t, v)…] -> {jour UTC: [v…]}, jours d'au moins 20 heures mesurées."""
|
||||
days = {}
|
||||
for t, v in s:
|
||||
days.setdefault(t[:10], []).append(v)
|
||||
return {d: vs for d, vs in days.items() if len(vs) >= 20}
|
||||
|
||||
|
||||
def find_jumps(s, swing):
|
||||
"""Sauts d'une série [(t, v)…] : un changement brutal sur STEP_H heures qui dure (même sens, au moins sa moitié et
|
||||
SIZE fois l'amplitude journalière, sur WINDOW heures) ; le plus net par ±WINDOW heures. -> [(index du début, saut)]"""
|
||||
d = [s[i + STEP_H][1] - s[i][1] for i in range(len(s) - STEP_H)]
|
||||
usual = statistics.median(abs(x) for x in d)
|
||||
med = lambda a, b: statistics.median(v for _, v in s[a:b]) # noqa: E731
|
||||
c = {}
|
||||
for i in range(WINDOW - 1, len(s) - STEP_H - WINDOW + 1):
|
||||
if not usual or abs(d[i]) < ABRUPT * usual:
|
||||
continue
|
||||
lasting = med(i + STEP_H, i + STEP_H + WINDOW) - med(i - WINDOW + 1, i + 1)
|
||||
if d[i] * lasting > 0 and abs(lasting) >= max(abs(d[i]) / 2, SIZE * swing):
|
||||
c[i] = lasting
|
||||
found = []
|
||||
while c:
|
||||
i = max(c, key=lambda i: abs(c[i]))
|
||||
found.append((i, c[i]))
|
||||
c = {j: x for j, x in c.items() if abs(j - i) >= WINDOW}
|
||||
return sorted(found)
|
||||
|
||||
|
||||
def find_trend(s, jumps):
|
||||
"""Tendance d'une série, sauts retirés pour le calcul seulement : pente de Theil-Sen (mm par jour) et tau de Kendall
|
||||
des médianes journalières. -> (pente, tau, jours entre le premier et le dernier) ou None sous TREND_DAYS jours."""
|
||||
kept = [(t, v - sum(j for i, j in jumps if k >= i + STEP_H)) for k, (t, v) in enumerate(s)
|
||||
if not any(i < k < i + STEP_H for i, _ in jumps)]
|
||||
m = sorted((datetime.fromisoformat(d).toordinal(), statistics.median(vs)) for d, vs in daily(kept).items())
|
||||
if len(m) < TREND_DAYS:
|
||||
return None
|
||||
pairs = [(a, b) for k, a in enumerate(m) for b in m[k + 1:]]
|
||||
slope = statistics.median((b[1] - a[1]) / (b[0] - a[0]) for a, b in pairs)
|
||||
tau = sum((b[1] > a[1]) - (b[1] < a[1]) for a, b in pairs) / len(pairs)
|
||||
return slope, tau, m[-1][0] - m[0][0]
|
||||
|
||||
|
||||
def regime_changes(hr):
|
||||
"""Déplacements horaires (sortie de hourly) -> (événements de sauts, tendances), données inchangées. Pour chaque cible
|
||||
et chaque axe : tous les sauts brutaux qui durent (find_jumps), puis la tendance du reste (find_trend), gardée si la
|
||||
dérive sur la période dépasse TREND_SIZE amplitudes journalières et va régulièrement dans le même sens. Des sauts à
|
||||
moins de TOGETHER_S de proche en proche font un seul événement : plusieurs cibles qui sautent ensemble ne sont pas
|
||||
plusieurs anomalies (règle du mode commun, CLAUDE.md)."""
|
||||
found, trends = [], []
|
||||
for name, axes in hr["sensors"].items():
|
||||
for key, axis in (("h", "horizontal"), ("v", "vertical")):
|
||||
# ponytail: fenêtres comptées en heures mesurées, un trou les allonge ; un seul saut par axe (le plus grand)
|
||||
# ponytail: fenêtres comptées en heures mesurées, un trou les allonge
|
||||
s = [(t, v) for t, v in zip(hr["times"], axes[key]) if v is not None]
|
||||
if len(s) < 3 * WINDOW:
|
||||
continue
|
||||
days = {}
|
||||
for t, v in s:
|
||||
days.setdefault(t[:10], []).append(v)
|
||||
swings = [max(vs) - min(vs) for vs in days.values() if len(vs) >= 20]
|
||||
swings = [max(vs) - min(vs) for vs in daily(s).values()]
|
||||
swing = statistics.median(swings) if swings else 0
|
||||
if not swing:
|
||||
continue
|
||||
med = lambda a, b: statistics.median(v for _, v in s[a:b]) # noqa: E731
|
||||
jump, k = max(((med(k, k + WINDOW) - med(k - WINDOW, k), k) for k in range(WINDOW, len(s) - WINDOW + 1)),
|
||||
key=lambda j: abs(j[0]))
|
||||
if abs(jump) >= RATIO * swing:
|
||||
found.append({"target": name, "axis": axis, "t": s[k][0], "jump": jump, "swing": swing,
|
||||
"left": med(len(s) - WINDOW, len(s)) - med(k - WINDOW, k)})
|
||||
jumps = find_jumps(s, swing)
|
||||
last = statistics.median(v for _, v in s[-WINDOW:])
|
||||
for i, j in jumps:
|
||||
before = statistics.median(v for _, v in s[i - WINDOW + 1:i + 1])
|
||||
found.append({"target": name, "axis": axis, "t": s[i][0], "t2": s[i + STEP_H][0], "jump": j,
|
||||
"swing": swing, "left": last - before})
|
||||
trend = find_trend(s, jumps)
|
||||
if trend and abs(trend[0]) * trend[2] >= TREND_SIZE * swing and abs(trend[1]) >= TREND_STEADY:
|
||||
trends.append({"target": name, "axis": axis, "slope": trend[0], "drift": trend[0] * trend[2],
|
||||
"days": trend[2], "swing": swing, "jumps": len(jumps), "t": s[-1][0]})
|
||||
at = lambda f: datetime.fromisoformat(f["t"]).timestamp() # noqa: E731
|
||||
net = lambda f: abs(f["jump"]) / f["swing"] # noqa: E731
|
||||
events = []
|
||||
for f in sorted(found, key=lambda f: f["t"]):
|
||||
if events and at(f) - at(events[-1]["jumps"][-1]) <= TOGETHER_S:
|
||||
@@ -91,10 +137,10 @@ def regime_changes(hr):
|
||||
else:
|
||||
events.append({"jumps": [f]})
|
||||
for e in events:
|
||||
e["start"], e["end"] = e["jumps"][0]["t"], e["jumps"][-1]["t"]
|
||||
e["start"], e["end"] = e["jumps"][0]["t"], e["jumps"][-1]["t2"]
|
||||
e["targets"] = sorted({f["target"] for f in e["jumps"]})
|
||||
e["jumps"].sort(key=net, reverse=True)
|
||||
return sorted(events, key=lambda e: net(e["jumps"][0]), reverse=True)
|
||||
e["jumps"].sort(key=lambda f: abs(f["jump"]) / f["swing"], reverse=True)
|
||||
return events, sorted(trends, key=lambda f: abs(f["drift"]) / f["swing"], reverse=True)
|
||||
|
||||
|
||||
def url(path):
|
||||
@@ -134,10 +180,12 @@ def build(folder):
|
||||
captures = {tab: [url(p) for n in prefixes for p in sorted(plateforme.glob(f"{n}_*"))[:1]]
|
||||
for tab, prefixes in CAPTURES.items()}
|
||||
hr = hourly(files["horaire"][0]) if files["horaire"] else {"times": [], "sensors": {}}
|
||||
regime, trends = regime_changes(hr)
|
||||
return {"platform": Path(files["advanced"][0]).name.split("_advanced_")[0], "times": [donnees.iso(t) for t in instants],
|
||||
"sensors": sensors, "images": images, "view": view, "captures": captures,
|
||||
"folder": Path(os.path.relpath(Path(folder).resolve(), ROOT)).as_posix(), # pour la demande à l'agent
|
||||
"hourly": hr, "regime": regime_changes(hr), "ratio": RATIO}
|
||||
"hourly": hr, "regime": regime, "trends": trends,
|
||||
"rules": {"abrupt": ABRUPT, "size": SIZE, "trend_size": TREND_SIZE, "trend_days": TREND_DAYS}}
|
||||
|
||||
|
||||
def page(folder):
|
||||
|
||||
Reference in new issue
Block a user