"""Métriques système de la station (metrics/ : températures, tension, batterie, lien…), en table et en figure, face à la médiane des cibles de corr_x, corr_y et à la pose de la caméra. Usage : .venv/bin/python tools/metriques.py data/PS_DES_COUDRES/ [--noms sensor_A0_deg_c,BusVoltage] [--pas 1h] [--stat median|min|max] [--contre temperature] [--lissage 24h] [--metriques-seules] [--debut ...] [--fin ...] [--sortie DOSSIER] Colonnes : `temperature` (médiane des composants sensor_*_deg_c à chaque heure, comme la lisent les détecteurs, donnees.charger_temperature), puis chaque métrique de --noms (défaut : les *_deg_c et BusVoltage présents), puis, sauf --metriques-seules, cib_corr_x, cib_corr_y (à chaque mesure, médiane sur les cibles de corr moins le niveau propre de la cible, sa médiane sur la fenêtre ; mesures acceptées seulement) et la pose brute de la caméra (cam_pan, cam_tilt, cam_rotation, cam_scale, cam_sigma0). Une case vide d'un CSV de metrics/ est sautée, pas lue comme zéro. Une métrique texte (BatteryState, link, last_sync…) est rendue telle quelle (la dernière du pas). Jamais d'identifiant : SIM_CCID et ip* ne sont ni lus ni listés. Imprime : les métriques disponibles ; la table, une ligne par pas de --pas (début du pas, UTC ; --stat des valeurs du pas ; « - » : aucune valeur), les pas où aucune métrique n'a de valeur n'y sont pas ; par colonne, le nombre de pas remplis, le minimum et le maximum avec leur instant ; la corrélation r et la pente (moindres carrés, sur les pas où les deux ont une valeur) de chaque colonne numérique sur --contre (défaut temperature ; avec --lissage D, sur sa moyenne glissante centrée sur D, colonne _lisse) ; les suites datées de pas sans aucune métrique. Un PNG, chemin imprimé : températures sur un panneau, chaque autre métrique numérique sur le sien, puis cib_corr_x, cib_corr_y et la pose, aux instants natifs (trait coupé sur un trou). Rend des valeurs, pas de verdict. """ import argparse import csv import glob import os import statistics import sys from datetime import date, timedelta import matplotlib matplotlib.use("Agg") import matplotlib.dates as mdates # noqa: E402 import matplotlib.pyplot as plt # noqa: E402 from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso # noqa: E402 from graphique import borne # noqa: E402 from inventaire import METRIQUE_RE # noqa: E402 from resume import STATS, duree # noqa: E402 def identifiant(nom): """Métrique qui porte un identifiant (carte SIM, adresses IP) : jamais lue.""" return nom == "SIM_CCID" or nom.startswith("ip") def valeur(texte): v = texte.strip().strip("[]").strip("'\"") try: return float(v) except ValueError: return v or None def lire_metriques(dossier, debut, fin): """metrics/ -> {nom: [{'t', 'v'}]} triées, sur la fenêtre ; v float ou texte ; case vide sautée ; nom sans valeur : [].""" prefixe = os.path.basename(os.path.normpath(dossier)) + "_" par = {} for p in glob.glob(os.path.join(dossier, "metrics", "*.csv")): m = METRIQUE_RE.match(os.path.basename(p)) if not m: continue nom = m.group(1) nom = nom[len(prefixe):] if nom.startswith(prefixe) else nom.split("_", 1)[-1] if identifiant(nom): continue jour = date(*map(int, m.group(2, 3, 4))) serie = par.setdefault(nom, {}) if (debut and jour < debut.date() - timedelta(days=1)) or (fin and jour > fin.date()): continue with open(p, newline="") as f: for r in csv.DictReader(f): if (v := valeur(r.get("metric") or "")) is not None: serie[instant(r["time_utc"])] = v return {n: filtrer([{"t": t, "v": s[t]} for t in sorted(s)], debut, fin) for n, s in par.items()} def cibles(par, col, debut, fin): """À chaque mesure, médiane sur les cibles de col moins le niveau propre de la cible (médiane sur la fenêtre).""" ecarts = {} for s, ms in par.items(): if est_reference(ms): continue ms = [m for m in filtrer(ms, debut, fin) if m[col] is not None] if ms: niveau = statistics.median(m[col] for m in ms) for m in ms: ecarts.setdefault(m["t"], []).append(m[col] - niveau) return [{"t": t, "v": statistics.median(v)} for t, v in sorted(ecarts.items())] def lisser(serie, largeur): """Moyenne glissante centrée sur largeur (valeurs numériques).""" pts = [p for p in serie if isinstance(p["v"], float)] # ponytail: O(n²), assez pour des métriques horaires sur quelques semaines return [{"t": p["t"], "v": statistics.fmean(q["v"] for q in pts if abs(q["t"] - p["t"]) <= largeur / 2)} for p in pts] def fmt(v): return "-" if v is None else f"{v:.6g}" if isinstance(v, float) else str(v) def suites(pas_vides, pas): """[t] triés -> [(début, fin, n)] de pas consécutifs.""" out = [] for t in pas_vides: if out and t - out[-1][1] == pas: out[-1] = (out[-1][0], t, out[-1][2] + 1) else: out.append((t, t, 1)) return out def coupe(serie): """Instants et valeurs numériques, NaN inséré sur un écart de plus de 1,5 fois le pas habituel (le trait se coupe).""" pts = [(p["t"], p["v"]) for p in serie if isinstance(p["v"], float)] if len(pts) < 3: return [t for t, _ in pts], [v for _, v in pts] pas = statistics.median(b[0] - a[0] for a, b in zip(pts, pts[1:])) ts, vs = [pts[0][0]], [pts[0][1]] for (a, _), (b, v) in zip(pts, pts[1:]): if b - a > 1.5 * pas: ts.append(a + (b - a) / 2) vs.append(float("nan")) ts.append(b) vs.append(v) return ts, vs def main(): a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) a.add_argument("dossier") a.add_argument("--noms", help="métriques, séparées par des virgules (défaut : les *_deg_c et BusVoltage présents)") a.add_argument("--pas", default="1h") a.add_argument("--stat", default="median", choices=STATS) a.add_argument("--contre", default="temperature", help="colonne sur laquelle r et la pente sont calculés") a.add_argument("--lissage", type=duree, help="moyenne glissante centrée de --contre, ex. 24h") a.add_argument("--metriques-seules", action="store_true", help="sans cib_corr_x, cib_corr_y ni la pose") a.add_argument("--debut", type=instant) a.add_argument("--fin", type=instant) a.add_argument("--sortie", default=os.path.join("out", "diagnostic"), help="dossier du PNG") o = a.parse_args() pas = duree(o.pas) met = lire_metriques(o.dossier, o.debut, o.fin) if not met: print(f"Pas de metrics/ dans {o.dossier}.") else: print("Métriques disponibles (valeurs sur la fenêtre ; identifiants SIM_CCID, ip* exclus) : " + ", ".join(f"{n} ({len(s)})" if s else f"{n} (vide)" for n, s in sorted(met.items()))) if o.noms: noms = o.noms.split(",") if interdits := [n for n in noms if identifiant(n)]: sys.exit(f"Identifiants, jamais lus : {', '.join(interdits)}.") if absents := [n for n in noms if n not in met]: sys.exit(f"Métriques inconnues : {', '.join(absents)}. Connues : {', '.join(sorted(met))}.") else: noms = sorted(n for n in met if n.endswith("_deg_c")) + [n for n in ("BusVoltage",) if n in met] series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(o.dossier)], o.debut, o.fin)} series.update({n: met[n] for n in noms}) if o.lissage: if o.contre not in series: sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).") series[o.contre + "_lisse"] = lisser(series[o.contre], o.lissage) metriques = list(series) if not o.metriques_seules: par = charger(o.dossier) for c in ("corr_x", "corr_y"): series["cib_" + c] = cibles(par, c, o.debut, o.fin) poses = filtrer(charger_camera(o.dossier), o.debut, o.fin) for c in POSE: series["cam_" + c] = [{"t": p["t"], "v": p[c]} for p in poses if p[c] is not None] reference = o.contre + "_lisse" if o.lissage else o.contre if reference not in series: sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).") tous = [p["t"] for s in series.values() for p in s] if not tous: sys.exit("Aucune valeur dans la fenêtre demandée.") t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0) t1 = o.fin or max(tous) cases = {} # colonne -> début du pas -> valeurs for c, s in series.items(): for p in s: cases.setdefault(c, {}).setdefault(t0 + ((p["t"] - t0) // pas) * pas, []).append(p["v"]) stat = STATS[o.stat] table = {c: {k: (stat(v) if all(isinstance(x, float) for x in v) else v[-1]) for k, v in d.items()} for c, d in cases.items()} grille = [t0 + i * pas for i in range(int((t1 - t0) / pas) + 1)] colonnes = list(series) print(f"\n{o.stat} par pas de {o.pas} (début du pas, UTC) ; « - » : aucune valeur ; cib_ : écart au niveau propre des cibles") print("\t".join(["heure"] + colonnes)) for k in grille: ligne = [table.get(c, {}).get(k) for c in colonnes] if any(v is not None for v in ligne): print("\t".join([iso(k)] + [fmt(v) for v in ligne])) print(f"\nPar colonne ({len(grille)} pas) :") for c in colonnes: d = table.get(c, {}) nums = [(v, k) for k, v in d.items() if isinstance(v, float)] if not d: print(f" {c} : vide") elif nums: (vmin, kmin), (vmax, kmax) = min(nums), max(nums) print(f" {c} : {len(d)} pas ; min {fmt(vmin)} ({iso(kmin)}) ; max {fmt(vmax)} ({iso(kmax)})") else: ks = sorted(d) print(f" {c} : {len(d)} pas, texte ; {len(set(d.values()))} valeurs distinctes ; " f"première {d[ks[0]]} ({iso(ks[0])}) ; dernière {d[ks[-1]]} ({iso(ks[-1])})") ref = table.get(reference, {}) print(f"\nCorrélation r et pente sur {reference} (par pas où les deux ont une valeur) :") if not any(isinstance(v, float) for v in ref.values()): print(f" {reference} vide : aucune") for c in colonnes: if c == reference or not ref or not any(isinstance(v, float) for v in table.get(c, {}).values()): continue paires = [(ref[k], v) for k, v in table.get(c, {}).items() if isinstance(v, float) and isinstance(ref.get(k), float)] try: r = statistics.correlation(*zip(*paires)) pente = statistics.linear_regression(*zip(*paires)).slope print(f" {c} : r = {r:+.2f} ; pente = {pente:.4g} par unité de {reference} ; n = {len(paires)}") except (statistics.StatisticsError, TypeError, ValueError): print(f" {c} : - (n = {len(paires)})") vides = [k for k in grille if all(k not in table.get(c, {}) for c in metriques)] print(f"\nPas sans aucune métrique ({', '.join(metriques)}) : {len(vides)} sur {len(grille)}") for d, f, n in suites(vides, pas): print(f" {iso(d)} → {iso(f)} ({n} pas)") panneaux = {} # titre -> colonnes for c in colonnes: if any(isinstance(p["v"], float) for p in series[c]): cle = "°C" if c.startswith("temperature") or "_deg_c" in c else c panneaux.setdefault(cle, []).append(c) if not panneaux: print("\nRien à tracer.") return fig, axes = plt.subplots(len(panneaux), 1, sharex=True, figsize=(14, 2.4 * len(panneaux)), squeeze=False, layout="constrained") for ax, (titre, cols) in zip(axes[:, 0], panneaux.items()): for c in cols: noir = c in ("temperature", reference) ax.plot(*coupe(series[c]), ".-", ms=2, lw=1.4 if noir else 0.7, label=c, zorder=3 if noir else 2, color="k" if c == "temperature" else None) if len(cols) > 1: ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8) ax.set_ylabel(titre if titre == "°C" else titre.replace("_", "_\n", 1), fontsize=8) ax.grid(alpha=0.3) axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ")) station = os.path.basename(os.path.normpath(o.dossier)) fig.suptitle(f"{station} : métriques, cibles et pose (heures UTC)") os.makedirs(o.sortie, exist_ok=True) sortie = os.path.join(o.sortie, f"{station}_metriques_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png") fig.savefig(sortie, dpi=100, bbox_inches="tight") print(f"\n{sortie}") if __name__ == "__main__": main()