"""Vague journalière de NORDEND, lot 10-15/08 : indice composite par pas de 15 min. Pour chaque série clé (capteur, colonne), écart au niveau de la nuit précédente (médiane 20:00-03:00) en bruits (médiane des |écarts entre deux mesures|), signé dans le sens de l'excursion du jour. Indice = médiane des séries. Imprime, par jour, le premier et le dernier pas au-dessus du seuil, et la table ; une figure par jour. Lancer depuis la racine du dépôt : .venv/bin/python labeling/auto/etiqueteur/NORDEND_2026-08-10/outils/vague.py """ import csv, statistics as st, sys from datetime import datetime, timedelta, timezone D = "data/NORDEND" OUT = "labeling/auto/etiqueteur/NORDEND_2026-08-10" JOURS = ["20260809", "20260810", "20260811", "20260812", "20260813", "20260814", "20260815"] # (capteur, colonne, signe attendu de l'excursion du matin) CLES = [("PR14", "corr_x", -1), ("PR15", "corr_x", -1), ("PR16", "corr_x", -1), ("PR17", "corr_x", -1), ("PR18", "corr_x", -1), ("PR18", "corr_y", +1), ("CTR02", "corr_y", -1), ("PR01", "corr_y", -1), ("PR02", "corr_y", -1), ("PR03", "corr_y", -1)] SEUIL = float(sys.argv[1]) if len(sys.argv) > 1 else 3.0 def q(t): # arrondi au quart d'heure t = t.replace(second=0, microsecond=0) return t - timedelta(minutes=t.minute % 15) serie = {} # (capteur, col) -> {t: v} for j in JOURS: with open(f"{D}/displacement/NORDEND_advanced_{j}.csv") as f: for r in csv.DictReader(f): t = q(datetime.fromisoformat(r["time_utc"])) for c in ("corr_x", "corr_y"): if r[c] and float(r["error_value"]) <= float(r["error_threshold"]): serie.setdefault((r["sensor_name"], c), {})[t] = float(r[c]) cam = {} for j in JOURS: with open(f"{D}/camera/NORDEND_camera_{j}.csv") as f: for r in csv.DictReader(f): cam[q(datetime.fromisoformat(r["time_utc"]))] = (float(r["median_pan"]), float(r["median_tilt"])) def bruit(s): ts = sorted(s) return st.median(abs(s[b] - s[a]) for a, b in zip(ts, ts[1:])) or 1e-9 utc = timezone.utc res = {} for jour in JOURS[1:]: d0 = datetime.strptime(jour, "%Y%m%d").replace(tzinfo=utc) n0, n1 = d0 - timedelta(hours=4), d0 + timedelta(hours=3) # nuit 20:00 veille -> 03:00 lignes = [] t = d0 while t < d0 + timedelta(days=1): vals = [] for cap, col, sg in CLES: s = serie[(cap, col)] nuit = [v for tt, v in s.items() if n0 <= tt < n1] if t in s and nuit: vals.append(sg * (s[t] - st.median(nuit)) / bruit(s)) lignes.append((t, st.median(vals) if vals else None, cam.get(t))) t += timedelta(minutes=15) res[jour] = lignes hors = [l for l in lignes if l[1] is not None and l[1] > SEUIL and l[0].hour >= 4] print(f"{jour}: premier pas > {SEUIL} bruits : {hors[0][0]:%H:%M} dernier : {hors[-1][0]:%H:%M} max {max(l[1] for l in hors):.1f}" if hors else f"{jour}: rien") for tt, v, c in lignes: if 4 <= tt.hour <= 23: print(f" {tt:%m-%d %H:%M} indice {'' if v is None else f'{v:6.1f}'} pan {c[0] if c else '':.4} tilt {c[1] if c else '':.4}") import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt fig, ax = plt.subplots(len(res), 1, figsize=(12, 2.2 * len(res)), sharex=True) for a, (jour, lignes) in zip(ax, res.items()): h = [l[0].hour + l[0].minute / 60 for l in lignes if l[1] is not None] v = [l[1] for l in lignes if l[1] is not None] a.plot(h, v, ".-") a.axhline(SEUIL, color="r", ls=":") a.axhline(0, color="k", lw=0.5) a.set_ylabel(jour[4:6] + "/" + jour[6:]) a.grid(alpha=0.3) ax[-1].set_xticks(range(0, 25, 1)) ax[-1].set_xlabel("heure UTC") fig.suptitle("Indice de la vague journalière (médiane des écarts signés au niveau de nuit, en bruits)") fig.tight_layout() fig.savefig(f"{OUT}/vague-journaliere.png", dpi=80) print(f"{OUT}/vague-journaliere.png") # Par série : dernier pas après 12:00 où la médiane glissante (3 pas) dépasse SEUIL bruits dans le sens du matin print("\nretour au niveau de nuit, par série (dernier pas > seuil après 12:00, médiane glissante 3 pas)") for cap, col, sg in CLES: s = serie[(cap, col)] b = bruit(s) ligne = f"{cap:6}{col}: " for jour in JOURS[1:]: d0 = datetime.strptime(jour, "%Y%m%d").replace(tzinfo=utc) nuit = [v for tt, v in s.items() if d0 - timedelta(hours=4) <= tt < d0 + timedelta(hours=3)] niv = st.median(nuit) ts = [d0 + timedelta(minutes=15 * k) for k in range(96)] dev = [sg * (s[t] - niv) / b if t in s else None for t in ts] dern = None for k in range(1, 95): fen = [x for x in dev[k - 1:k + 2] if x is not None] if ts[k].hour >= 12 and fen and st.median(fen) > SEUIL: dern = ts[k] ligne += f"{jour[6:]}/08 {dern:%H:%M} " if dern else f"{jour[6:]}/08 --:-- " print(ligne) # Même chose face au niveau du soir qui suit (médiane 21:00-24:00 du même jour) print("\nretour au niveau du soir qui suit (21:00-24:00), par série") for cap, col, sg in CLES: s = serie[(cap, col)] b = bruit(s) ligne = f"{cap:6}{col}: " for jour in JOURS[1:]: d0 = datetime.strptime(jour, "%Y%m%d").replace(tzinfo=utc) niv = st.median(v for tt, v in s.items() if d0 + timedelta(hours=21) <= tt < d0 + timedelta(hours=24)) ts = [d0 + timedelta(minutes=15 * k) for k in range(96)] dev = [sg * (s[t] - niv) / b if t in s else None for t in ts] dern = None for k in range(1, 95): fen = [x for x in dev[k - 1:k + 2] if x is not None] if ts[k].hour >= 12 and fen and st.median(fen) > SEUIL: dern = ts[k] ligne += f"{jour[6:]}/08 {dern:%H:%M} " if dern else f"{jour[6:]}/08 --:-- " print(ligne)