Files
Support-Agent/labeling/auto/etiqueteur/NORDEND_2026-08-10/outils/vague.py
T
maximeandClaude Opus 5.5 6fbd7510b7 Etiqueteur: October labels for 8 stations; its folder moves to labeling/auto/etiqueteur/, analyses and scripts versioned (D-126)
Labels for CLARIDEN, FLORIDA, JUNGFRAU (gaps 06-20.10, 26.10-01.11), LENZSPITZE,
NIEDERHORN, NORDEND, SNCF01, WILDSTRUBEL. Figures and tool outputs stay out of git.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 16:33:41 +01:00

127 lines
5.7 KiB
Python

"""Vague journalière de NORDEND, lot 10-15/08 : indice composite par pas de 15 min.
Pour chaque série clé (capteur, colonne), écart au niveau de la nuit précédente
(médiane 20:00-03:00) en bruits (médiane des |écarts entre deux mesures|), signé
dans le sens de l'excursion du jour. Indice = médiane des séries. Imprime, par jour,
le premier et le dernier pas au-dessus du seuil, et la table ; une figure par jour.
Lancer depuis la racine du dépôt : .venv/bin/python labeling/auto/etiqueteur/NORDEND_2026-08-10/outils/vague.py
"""
import csv, statistics as st, sys
from datetime import datetime, timedelta, timezone
D = "data/NORDEND"
OUT = "labeling/auto/etiqueteur/NORDEND_2026-08-10"
JOURS = ["20260809", "20260810", "20260811", "20260812", "20260813", "20260814", "20260815"]
# (capteur, colonne, signe attendu de l'excursion du matin)
CLES = [("PR14", "corr_x", -1), ("PR15", "corr_x", -1), ("PR16", "corr_x", -1), ("PR17", "corr_x", -1),
("PR18", "corr_x", -1), ("PR18", "corr_y", +1), ("CTR02", "corr_y", -1), ("PR01", "corr_y", -1),
("PR02", "corr_y", -1), ("PR03", "corr_y", -1)]
SEUIL = float(sys.argv[1]) if len(sys.argv) > 1 else 3.0
def q(t): # arrondi au quart d'heure
t = t.replace(second=0, microsecond=0)
return t - timedelta(minutes=t.minute % 15)
serie = {} # (capteur, col) -> {t: v}
for j in JOURS:
with open(f"{D}/displacement/NORDEND_advanced_{j}.csv") as f:
for r in csv.DictReader(f):
t = q(datetime.fromisoformat(r["time_utc"]))
for c in ("corr_x", "corr_y"):
if r[c] and float(r["error_value"]) <= float(r["error_threshold"]):
serie.setdefault((r["sensor_name"], c), {})[t] = float(r[c])
cam = {}
for j in JOURS:
with open(f"{D}/camera/NORDEND_camera_{j}.csv") as f:
for r in csv.DictReader(f):
cam[q(datetime.fromisoformat(r["time_utc"]))] = (float(r["median_pan"]), float(r["median_tilt"]))
def bruit(s):
ts = sorted(s)
return st.median(abs(s[b] - s[a]) for a, b in zip(ts, ts[1:])) or 1e-9
utc = timezone.utc
res = {}
for jour in JOURS[1:]:
d0 = datetime.strptime(jour, "%Y%m%d").replace(tzinfo=utc)
n0, n1 = d0 - timedelta(hours=4), d0 + timedelta(hours=3) # nuit 20:00 veille -> 03:00
lignes = []
t = d0
while t < d0 + timedelta(days=1):
vals = []
for cap, col, sg in CLES:
s = serie[(cap, col)]
nuit = [v for tt, v in s.items() if n0 <= tt < n1]
if t in s and nuit:
vals.append(sg * (s[t] - st.median(nuit)) / bruit(s))
lignes.append((t, st.median(vals) if vals else None, cam.get(t)))
t += timedelta(minutes=15)
res[jour] = lignes
hors = [l for l in lignes if l[1] is not None and l[1] > SEUIL and l[0].hour >= 4]
print(f"{jour}: premier pas > {SEUIL} bruits : {hors[0][0]:%H:%M} dernier : {hors[-1][0]:%H:%M} max {max(l[1] for l in hors):.1f}" if hors else f"{jour}: rien")
for tt, v, c in lignes:
if 4 <= tt.hour <= 23:
print(f" {tt:%m-%d %H:%M} indice {'' if v is None else f'{v:6.1f}'} pan {c[0] if c else '':.4} tilt {c[1] if c else '':.4}")
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
fig, ax = plt.subplots(len(res), 1, figsize=(12, 2.2 * len(res)), sharex=True)
for a, (jour, lignes) in zip(ax, res.items()):
h = [l[0].hour + l[0].minute / 60 for l in lignes if l[1] is not None]
v = [l[1] for l in lignes if l[1] is not None]
a.plot(h, v, ".-")
a.axhline(SEUIL, color="r", ls=":")
a.axhline(0, color="k", lw=0.5)
a.set_ylabel(jour[4:6] + "/" + jour[6:])
a.grid(alpha=0.3)
ax[-1].set_xticks(range(0, 25, 1))
ax[-1].set_xlabel("heure UTC")
fig.suptitle("Indice de la vague journalière (médiane des écarts signés au niveau de nuit, en bruits)")
fig.tight_layout()
fig.savefig(f"{OUT}/vague-journaliere.png", dpi=80)
print(f"{OUT}/vague-journaliere.png")
# Par série : dernier pas après 12:00 où la médiane glissante (3 pas) dépasse SEUIL bruits dans le sens du matin
print("\nretour au niveau de nuit, par série (dernier pas > seuil après 12:00, médiane glissante 3 pas)")
for cap, col, sg in CLES:
s = serie[(cap, col)]
b = bruit(s)
ligne = f"{cap:6}{col}: "
for jour in JOURS[1:]:
d0 = datetime.strptime(jour, "%Y%m%d").replace(tzinfo=utc)
nuit = [v for tt, v in s.items() if d0 - timedelta(hours=4) <= tt < d0 + timedelta(hours=3)]
niv = st.median(nuit)
ts = [d0 + timedelta(minutes=15 * k) for k in range(96)]
dev = [sg * (s[t] - niv) / b if t in s else None for t in ts]
dern = None
for k in range(1, 95):
fen = [x for x in dev[k - 1:k + 2] if x is not None]
if ts[k].hour >= 12 and fen and st.median(fen) > SEUIL:
dern = ts[k]
ligne += f"{jour[6:]}/08 {dern:%H:%M} " if dern else f"{jour[6:]}/08 --:-- "
print(ligne)
# Même chose face au niveau du soir qui suit (médiane 21:00-24:00 du même jour)
print("\nretour au niveau du soir qui suit (21:00-24:00), par série")
for cap, col, sg in CLES:
s = serie[(cap, col)]
b = bruit(s)
ligne = f"{cap:6}{col}: "
for jour in JOURS[1:]:
d0 = datetime.strptime(jour, "%Y%m%d").replace(tzinfo=utc)
niv = st.median(v for tt, v in s.items() if d0 + timedelta(hours=21) <= tt < d0 + timedelta(hours=24))
ts = [d0 + timedelta(minutes=15 * k) for k in range(96)]
dev = [sg * (s[t] - niv) / b if t in s else None for t in ts]
dern = None
for k in range(1, 95):
fen = [x for x in dev[k - 1:k + 2] if x is not None]
if ts[k].hour >= 12 and fen and st.median(fen) > SEUIL:
dern = ts[k]
ligne += f"{jour[6:]}/08 {dern:%H:%M} " if dern else f"{jour[6:]}/08 --:-- "
print(ligne)