Files
aimsight-tools/scripts/metriques.py
T

265 lines
13 KiB
Python

"""Métriques système de la station (metrics/ : températures, tension, batterie, lien…), en table et en figure,
face à la médiane des cibles de corr_x, corr_y et à la pose de la caméra.
Usage : .venv/bin/python tools/scripts/metriques.py data/PS_DES_COUDRES/
[--noms sensor_A0_deg_c,BusVoltage] [--pas 1h] [--stat median|min|max] [--contre temperature] [--lissage 24h]
[--metriques-seules] [--debut ...] [--fin ...] [--sortie DOSSIER]
Colonnes : `temperature` (médiane des composants sensor_*_deg_c à chaque heure, comme la lisent les détecteurs,
donnees.charger_temperature), puis chaque métrique de --noms (défaut : les *_deg_c et BusVoltage présents), puis,
sauf --metriques-seules, cib_corr_x, cib_corr_y (à chaque mesure, médiane sur les cibles de corr moins le niveau
propre de la cible, sa médiane sur la fenêtre ; mesures acceptées seulement) et la pose brute de la caméra (cam_pan,
cam_tilt, cam_rotation, cam_scale, cam_sigma0). Une case vide d'un CSV de metrics/ est sautée, pas lue comme zéro.
Une métrique texte (BatteryState, link, last_sync…) est rendue telle quelle (la dernière du pas).
Jamais d'identifiant : SIM_CCID et ip* ne sont ni lus ni listés.
Imprime : les métriques disponibles ; la table, une ligne par pas de --pas (début du pas, UTC ; --stat des valeurs du
pas ; « - » : aucune valeur), les pas où aucune métrique n'a de valeur n'y sont pas ; par colonne, le nombre de pas
remplis, le minimum et le maximum avec leur instant ; la corrélation r et la pente (moindres carrés, sur les pas où
les deux ont une valeur) de chaque colonne numérique sur --contre (défaut temperature ; avec --lissage D, sur sa
moyenne glissante centrée sur D, colonne <contre>_lisse) ; les suites datées de pas sans aucune métrique.
Un PNG, chemin imprimé : températures sur un panneau, chaque autre métrique numérique sur le sien, puis cib_corr_x,
cib_corr_y et la pose, aux instants natifs (trait coupé sur un trou). Rend des valeurs, pas de verdict.
"""
import argparse
import csv
import glob
import os
import statistics
import sys
from datetime import date, timedelta
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso # noqa: E402
from graphique import borne # noqa: E402
from inventaire import METRIQUE_RE # noqa: E402
from resume import STATS, duree # noqa: E402
def identifiant(nom):
"""Métrique qui porte un identifiant (carte SIM, adresses IP) : jamais lue."""
return nom == "SIM_CCID" or nom.startswith("ip")
def valeur(texte):
v = texte.strip().strip("[]").strip("'\"")
try:
return float(v)
except ValueError:
return v or None
def lire_metriques(dossier, debut, fin):
"""metrics/ -> {nom: [{'t', 'v'}]} triées, sur la fenêtre ; v float ou texte ; case vide sautée ; nom sans valeur : []."""
prefixe = os.path.basename(os.path.normpath(dossier)) + "_"
par = {}
for p in glob.glob(os.path.join(dossier, "metrics", "*.csv")):
m = METRIQUE_RE.match(os.path.basename(p))
if not m:
continue
nom = m.group(1)
nom = nom[len(prefixe):] if nom.startswith(prefixe) else nom.split("_", 1)[-1]
if identifiant(nom):
continue
jour = date(*map(int, m.group(2, 3, 4)))
serie = par.setdefault(nom, {})
if (debut and jour < debut.date() - timedelta(days=1)) or (fin and jour > fin.date()):
continue
with open(p, newline="") as f:
for r in csv.DictReader(f):
if (v := valeur(r.get("metric") or "")) is not None:
serie[instant(r["time_utc"])] = v
return {n: filtrer([{"t": t, "v": s[t]} for t in sorted(s)], debut, fin) for n, s in par.items()}
def cibles(par, col, debut, fin):
"""À chaque mesure, médiane sur les cibles de col moins le niveau propre de la cible (médiane sur la fenêtre)."""
ecarts = {}
for s, ms in par.items():
if est_reference(ms):
continue
ms = [m for m in filtrer(ms, debut, fin) if m[col] is not None]
if ms:
niveau = statistics.median(m[col] for m in ms)
for m in ms:
ecarts.setdefault(m["t"], []).append(m[col] - niveau)
return [{"t": t, "v": statistics.median(v)} for t, v in sorted(ecarts.items())]
def lisser(serie, largeur):
"""Moyenne glissante centrée sur largeur (valeurs numériques)."""
pts = [p for p in serie if isinstance(p["v"], float)]
# ponytail: O(n²), assez pour des métriques horaires sur quelques semaines
return [{"t": p["t"], "v": statistics.fmean(q["v"] for q in pts if abs(q["t"] - p["t"]) <= largeur / 2)} for p in pts]
def fmt(v):
return "-" if v is None else f"{v:.6g}" if isinstance(v, float) else str(v)
def suites(pas_vides, pas):
"""[t] triés -> [(début, fin, n)] de pas consécutifs."""
out = []
for t in pas_vides:
if out and t - out[-1][1] == pas:
out[-1] = (out[-1][0], t, out[-1][2] + 1)
else:
out.append((t, t, 1))
return out
def coupe(serie):
"""Instants et valeurs numériques, NaN inséré sur un écart de plus de 1,5 fois le pas habituel (le trait se coupe)."""
pts = [(p["t"], p["v"]) for p in serie if isinstance(p["v"], float)]
if len(pts) < 3:
return [t for t, _ in pts], [v for _, v in pts]
pas = statistics.median(b[0] - a[0] for a, b in zip(pts, pts[1:]))
ts, vs = [pts[0][0]], [pts[0][1]]
for (a, _), (b, v) in zip(pts, pts[1:]):
if b - a > 1.5 * pas:
ts.append(a + (b - a) / 2)
vs.append(float("nan"))
ts.append(b)
vs.append(v)
return ts, vs
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--noms", help="métriques, séparées par des virgules (défaut : les *_deg_c et BusVoltage présents)")
a.add_argument("--pas", default="1h")
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--contre", default="temperature", help="colonne sur laquelle r et la pente sont calculés")
a.add_argument("--lissage", type=duree, help="moyenne glissante centrée de --contre, ex. 24h")
a.add_argument("--metriques-seules", action="store_true", help="sans cib_corr_x, cib_corr_y ni la pose")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join("out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
pas = duree(o.pas)
met = lire_metriques(o.dossier, o.debut, o.fin)
if not met:
print(f"Pas de metrics/ dans {o.dossier}.")
else:
print("Métriques disponibles (valeurs sur la fenêtre ; identifiants SIM_CCID, ip* exclus) : "
+ ", ".join(f"{n} ({len(s)})" if s else f"{n} (vide)" for n, s in sorted(met.items())))
if o.noms:
noms = o.noms.split(",")
if interdits := [n for n in noms if identifiant(n)]:
sys.exit(f"Identifiants, jamais lus : {', '.join(interdits)}.")
if absents := [n for n in noms if n not in met]:
sys.exit(f"Métriques inconnues : {', '.join(absents)}. Connues : {', '.join(sorted(met))}.")
else:
noms = sorted(n for n in met if n.endswith("_deg_c")) + [n for n in ("BusVoltage",) if n in met]
series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(o.dossier)], o.debut, o.fin)}
series.update({n: met[n] for n in noms})
if o.lissage:
if o.contre not in series:
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
series[o.contre + "_lisse"] = lisser(series[o.contre], o.lissage)
metriques = list(series)
if not o.metriques_seules:
par = charger(o.dossier)
for c in ("corr_x", "corr_y"):
series["cib_" + c] = cibles(par, c, o.debut, o.fin)
poses = filtrer(charger_camera(o.dossier), o.debut, o.fin)
for c in POSE:
series["cam_" + c] = [{"t": p["t"], "v": p[c]} for p in poses if p[c] is not None]
reference = o.contre + "_lisse" if o.lissage else o.contre
if reference not in series:
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
tous = [p["t"] for s in series.values() for p in s]
if not tous:
sys.exit("Aucune valeur dans la fenêtre demandée.")
t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0)
t1 = o.fin or max(tous)
cases = {} # colonne -> début du pas -> valeurs
for c, s in series.items():
for p in s:
cases.setdefault(c, {}).setdefault(t0 + ((p["t"] - t0) // pas) * pas, []).append(p["v"])
stat = STATS[o.stat]
table = {c: {k: (stat(v) if all(isinstance(x, float) for x in v) else v[-1]) for k, v in d.items()}
for c, d in cases.items()}
grille = [t0 + i * pas for i in range(int((t1 - t0) / pas) + 1)]
colonnes = list(series)
print(f"\n{o.stat} par pas de {o.pas} (début du pas, UTC) ; « - » : aucune valeur ; cib_ : écart au niveau propre des cibles")
print("\t".join(["heure"] + colonnes))
for k in grille:
ligne = [table.get(c, {}).get(k) for c in colonnes]
if any(v is not None for v in ligne):
print("\t".join([iso(k)] + [fmt(v) for v in ligne]))
print(f"\nPar colonne ({len(grille)} pas) :")
for c in colonnes:
d = table.get(c, {})
nums = [(v, k) for k, v in d.items() if isinstance(v, float)]
if not d:
print(f" {c} : vide")
elif nums:
(vmin, kmin), (vmax, kmax) = min(nums), max(nums)
print(f" {c} : {len(d)} pas ; min {fmt(vmin)} ({iso(kmin)}) ; max {fmt(vmax)} ({iso(kmax)})")
else:
ks = sorted(d)
print(f" {c} : {len(d)} pas, texte ; {len(set(d.values()))} valeurs distinctes ; "
f"première {d[ks[0]]} ({iso(ks[0])}) ; dernière {d[ks[-1]]} ({iso(ks[-1])})")
ref = table.get(reference, {})
print(f"\nCorrélation r et pente sur {reference} (par pas où les deux ont une valeur) :")
if not any(isinstance(v, float) for v in ref.values()):
print(f" {reference} vide : aucune")
for c in colonnes:
if c == reference or not ref or not any(isinstance(v, float) for v in table.get(c, {}).values()):
continue
paires = [(ref[k], v) for k, v in table.get(c, {}).items()
if isinstance(v, float) and isinstance(ref.get(k), float)]
try:
r = statistics.correlation(*zip(*paires))
pente = statistics.linear_regression(*zip(*paires)).slope
print(f" {c} : r = {r:+.2f} ; pente = {pente:.4g} par unité de {reference} ; n = {len(paires)}")
except (statistics.StatisticsError, TypeError, ValueError):
print(f" {c} : - (n = {len(paires)})")
vides = [k for k in grille if all(k not in table.get(c, {}) for c in metriques)]
print(f"\nPas sans aucune métrique ({', '.join(metriques)}) : {len(vides)} sur {len(grille)}")
for d, f, n in suites(vides, pas):
print(f" {iso(d)} → {iso(f)} ({n} pas)")
panneaux = {} # titre -> colonnes
for c in colonnes:
if any(isinstance(p["v"], float) for p in series[c]):
cle = "°C" if c.startswith("temperature") or "_deg_c" in c else c
panneaux.setdefault(cle, []).append(c)
if not panneaux:
print("\nRien à tracer.")
return
fig, axes = plt.subplots(len(panneaux), 1, sharex=True, figsize=(14, 2.4 * len(panneaux)), squeeze=False,
layout="constrained")
for ax, (titre, cols) in zip(axes[:, 0], panneaux.items()):
for c in cols:
noir = c in ("temperature", reference)
ax.plot(*coupe(series[c]), ".-", ms=2, lw=1.4 if noir else 0.7, label=c, zorder=3 if noir else 2,
color="k" if c == "temperature" else None)
if len(cols) > 1:
ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
ax.set_ylabel(titre if titre == "°C" else titre.replace("_", "_\n", 1), fontsize=8)
ax.grid(alpha=0.3)
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
station = os.path.basename(os.path.normpath(o.dossier))
fig.suptitle(f"{station} : métriques, cibles et pose (heures UTC)")
os.makedirs(o.sortie, exist_ok=True)
sortie = os.path.join(o.sortie, f"{station}_metriques_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(sortie, dpi=100, bbox_inches="tight")
print(f"\n{sortie}")
if __name__ == "__main__":
main()