Detect every jump and the trends in the Displacements page (D-055)

Jumps: a sudden change within 2 h (8 times the target's usual 2-hour
change) that lasts 24 h (at least 1.4 times its daily swing); every
jump of the range, returns included, so PR17's return on 12/10 now
shows. Trends: Theil-Sen slope and Kendall tau of the daily levels,
jumps set aside, kept when the drift over the period reaches the daily
swing and goes steadily one way. Provisional thresholds; method and
results in vues-deplacements/contexte/detection-d-anomalies.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-16 18:22:54 +02:00
1 parent 261f8c9038
commit d07edace60
5 files changed
+152 -58

No files matched your search

+77 -29
View File
@@ -31,13 +31,17 @@ KINDS = ("global_ref", "ref", "target") # ordre des lignes : références de la
MARGIN_PX = 150 # marge autour des capteurs, zoom de départ de l'image (spec §1)
HOURLY_TZ = ZoneInfo("Europe/Zurich") # horodatage de l'export horaire : heure suisse, sans fuseau (docs/domaine/colonnes-des-deplacements.md)
CAPTURES = {"time_series": ("01", "02", "03"), "advanced": ("04", "05")} # captures de cas/<cas>/plateforme/ par onglet
# Page Displacements (D-055, vues-deplacements/contexte/detection-d-anomalies.md) : sauts de niveau qui durent.
# Page Displacements (D-055, vues-deplacements/contexte/detection-d-anomalies.md) : sauts et tendances. Seuils provisoires,
# sans source, réglés sur les jeux de la note ; à revoir avec d'autres cas.
WINDOW = 24 # heures de part et d'autre d'un saut : une journée entière absorbe le cycle jour et nuit
RATIO = 3 # saut montré s'il dépasse RATIO fois l'amplitude journalière de la cible ; provisoire, sans source :
# entre 1,5 (plus grand saut des jeux sains) et 4 (PR17) sur les jeux de la note
TOGETHER_S = 6 * 3600 # sauts à moins de 6 h l'un de l'autre (de proche en proche) : un même événement ; le plus grand
# écart d'un axe tombe parfois quelques heures après la marche (PR17, marche à 02:30 : 03:00 en
# vertical, 07:00 en horizontal)
STEP_H = 2 # un saut se fait en 2 h au plus (le pas de PR17 à 02:30 tombe entre deux moyennes horaires)
ABRUPT = 8 # brutal : changement sur STEP_H heures ≥ ABRUPT fois le changement habituel de la cible sur STEP_H heures
SIZE = 1.4 # notable : ce qui dure (médiane des 24 h après − des 24 h avant) ≥ SIZE fois l'amplitude journalière ;
# retour vertical de PR17 le 12/10 à 1,45, PR03 à 1,2 (seuil 3 avant : ce retour n'apparaissait pas)
TREND_DAYS = 5 # jours UTC (≥ 20 heures mesurées) au minimum pour une tendance
TREND_SIZE = 1 # tendance : dérive sur la période ≥ TREND_SIZE fois l'amplitude journalière…
TREND_STEADY = 0.6 # …et régulière : tau de Kendall des niveaux journaliers ≥ 0,6 (en valeur absolue)
TOGETHER_S = 6 * 3600 # sauts à moins de 6 h l'un de l'autre (de proche en proche) : un même événement
def hourly(path):
@@ -55,35 +59,77 @@ def hourly(path):
"v": [num(r[f"{n}_vertical_displacement"]) for r in rows]} for n in names}}
def regime_changes(hr):
"""Déplacements horaires (sortie de hourly) -> événements de sauts de niveau qui durent, du plus net au moins net,
chacun avec ses sauts (sauts à moins de TOGETHER_S de proche en proche : plusieurs cibles qui sautent ensemble font
un seul événement, pas plusieurs anomalies, règle du mode commun dans CLAUDE.md). Pour chaque cible
et chaque axe : le plus grand écart entre la médiane des WINDOW heures qui suivent et celle des WINDOW heures qui
précèdent, gardé s'il dépasse RATIO fois l'amplitude journalière de la cible (médiane, sur les jours UTC, de max − min).
Les données ne sont pas modifiées."""
def daily(s):
"""[(t, v)…] -> {jour UTC: [v…]}, jours d'au moins 20 heures mesurées."""
days = {}
for t, v in s:
days.setdefault(t[:10], []).append(v)
return {d: vs for d, vs in days.items() if len(vs) >= 20}
def find_jumps(s, swing):
"""Sauts d'une série [(t, v)…] : un changement brutal sur STEP_H heures qui dure (même sens, au moins sa moitié et
SIZE fois l'amplitude journalière, sur WINDOW heures) ; le plus net par ±WINDOW heures. -> [(index du début, saut)]"""
d = [s[i + STEP_H][1] - s[i][1] for i in range(len(s) - STEP_H)]
usual = statistics.median(abs(x) for x in d)
med = lambda a, b: statistics.median(v for _, v in s[a:b]) # noqa: E731
c = {}
for i in range(WINDOW - 1, len(s) - STEP_H - WINDOW + 1):
if not usual or abs(d[i]) < ABRUPT * usual:
continue
lasting = med(i + STEP_H, i + STEP_H + WINDOW) - med(i - WINDOW + 1, i + 1)
if d[i] * lasting > 0 and abs(lasting) >= max(abs(d[i]) / 2, SIZE * swing):
c[i] = lasting
found = []
while c:
i = max(c, key=lambda i: abs(c[i]))
found.append((i, c[i]))
c = {j: x for j, x in c.items() if abs(j - i) >= WINDOW}
return sorted(found)
def find_trend(s, jumps):
"""Tendance d'une série, sauts retirés pour le calcul seulement : pente de Theil-Sen (mm par jour) et tau de Kendall
des médianes journalières. -> (pente, tau, jours entre le premier et le dernier) ou None sous TREND_DAYS jours."""
kept = [(t, v - sum(j for i, j in jumps if k >= i + STEP_H)) for k, (t, v) in enumerate(s)
if not any(i < k < i + STEP_H for i, _ in jumps)]
m = sorted((datetime.fromisoformat(d).toordinal(), statistics.median(vs)) for d, vs in daily(kept).items())
if len(m) < TREND_DAYS:
return None
pairs = [(a, b) for k, a in enumerate(m) for b in m[k + 1:]]
slope = statistics.median((b[1] - a[1]) / (b[0] - a[0]) for a, b in pairs)
tau = sum((b[1] > a[1]) - (b[1] < a[1]) for a, b in pairs) / len(pairs)
return slope, tau, m[-1][0] - m[0][0]
def regime_changes(hr):
"""Déplacements horaires (sortie de hourly) -> (événements de sauts, tendances), données inchangées. Pour chaque cible
et chaque axe : tous les sauts brutaux qui durent (find_jumps), puis la tendance du reste (find_trend), gardée si la
dérive sur la période dépasse TREND_SIZE amplitudes journalières et va régulièrement dans le même sens. Des sauts à
moins de TOGETHER_S de proche en proche font un seul événement : plusieurs cibles qui sautent ensemble ne sont pas
plusieurs anomalies (règle du mode commun, CLAUDE.md)."""
found, trends = [], []
for name, axes in hr["sensors"].items():
for key, axis in (("h", "horizontal"), ("v", "vertical")):
# ponytail: fenêtres comptées en heures mesurées, un trou les allonge ; un seul saut par axe (le plus grand)
# ponytail: fenêtres comptées en heures mesurées, un trou les allonge
s = [(t, v) for t, v in zip(hr["times"], axes[key]) if v is not None]
if len(s) < 3 * WINDOW:
continue
days = {}
for t, v in s:
days.setdefault(t[:10], []).append(v)
swings = [max(vs) - min(vs) for vs in days.values() if len(vs) >= 20]
swings = [max(vs) - min(vs) for vs in daily(s).values()]
swing = statistics.median(swings) if swings else 0
if not swing:
continue
med = lambda a, b: statistics.median(v for _, v in s[a:b]) # noqa: E731
jump, k = max(((med(k, k + WINDOW) - med(k - WINDOW, k), k) for k in range(WINDOW, len(s) - WINDOW + 1)),
key=lambda j: abs(j[0]))
if abs(jump) >= RATIO * swing:
found.append({"target": name, "axis": axis, "t": s[k][0], "jump": jump, "swing": swing,
"left": med(len(s) - WINDOW, len(s)) - med(k - WINDOW, k)})
jumps = find_jumps(s, swing)
last = statistics.median(v for _, v in s[-WINDOW:])
for i, j in jumps:
before = statistics.median(v for _, v in s[i - WINDOW + 1:i + 1])
found.append({"target": name, "axis": axis, "t": s[i][0], "t2": s[i + STEP_H][0], "jump": j,
"swing": swing, "left": last - before})
trend = find_trend(s, jumps)
if trend and abs(trend[0]) * trend[2] >= TREND_SIZE * swing and abs(trend[1]) >= TREND_STEADY:
trends.append({"target": name, "axis": axis, "slope": trend[0], "drift": trend[0] * trend[2],
"days": trend[2], "swing": swing, "jumps": len(jumps), "t": s[-1][0]})
at = lambda f: datetime.fromisoformat(f["t"]).timestamp() # noqa: E731
net = lambda f: abs(f["jump"]) / f["swing"] # noqa: E731
events = []
for f in sorted(found, key=lambda f: f["t"]):
if events and at(f) - at(events[-1]["jumps"][-1]) <= TOGETHER_S:
@@ -91,10 +137,10 @@ def regime_changes(hr):
else:
events.append({"jumps": [f]})
for e in events:
e["start"], e["end"] = e["jumps"][0]["t"], e["jumps"][-1]["t"]
e["start"], e["end"] = e["jumps"][0]["t"], e["jumps"][-1]["t2"]
e["targets"] = sorted({f["target"] for f in e["jumps"]})
e["jumps"].sort(key=net, reverse=True)
return sorted(events, key=lambda e: net(e["jumps"][0]), reverse=True)
e["jumps"].sort(key=lambda f: abs(f["jump"]) / f["swing"], reverse=True)
return events, sorted(trends, key=lambda f: abs(f["drift"]) / f["swing"], reverse=True)
def url(path):
@@ -134,10 +180,12 @@ def build(folder):
captures = {tab: [url(p) for n in prefixes for p in sorted(plateforme.glob(f"{n}_*"))[:1]]
for tab, prefixes in CAPTURES.items()}
hr = hourly(files["horaire"][0]) if files["horaire"] else {"times": [], "sensors": {}}
regime, trends = regime_changes(hr)
return {"platform": Path(files["advanced"][0]).name.split("_advanced_")[0], "times": [donnees.iso(t) for t in instants],
"sensors": sensors, "images": images, "view": view, "captures": captures,
"folder": Path(os.path.relpath(Path(folder).resolve(), ROOT)).as_posix(), # pour la demande à l'agent
"hourly": hr, "regime": regime_changes(hr), "ratio": RATIO}
"hourly": hr, "regime": regime, "trends": trends,
"rules": {"abrupt": ABRUPT, "size": SIZE, "trend_size": TREND_SIZE, "trend_days": TREND_DAYS}}
def page(folder):