Les outils dans scripts/ ; guide, README et CLAUDE.md suivent
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f1448bc5cb
commit
67c88625c5
15 files changed
+31
-31
No files matched your search
@@ -0,0 +1,264 @@
|
||||
"""Métriques système de la station (metrics/ : températures, tension, batterie, lien…), en table et en figure,
|
||||
face à la médiane des cibles de corr_x, corr_y et à la pose de la caméra.
|
||||
|
||||
Usage : .venv/bin/python tools/scripts/metriques.py data/PS_DES_COUDRES/
|
||||
[--noms sensor_A0_deg_c,BusVoltage] [--pas 1h] [--stat median|min|max] [--contre temperature] [--lissage 24h]
|
||||
[--metriques-seules] [--debut ...] [--fin ...] [--sortie DOSSIER]
|
||||
|
||||
Colonnes : `temperature` (médiane des composants sensor_*_deg_c à chaque heure, comme la lisent les détecteurs,
|
||||
donnees.charger_temperature), puis chaque métrique de --noms (défaut : les *_deg_c et BusVoltage présents), puis,
|
||||
sauf --metriques-seules, cib_corr_x, cib_corr_y (à chaque mesure, médiane sur les cibles de corr moins le niveau
|
||||
propre de la cible, sa médiane sur la fenêtre ; mesures acceptées seulement) et la pose brute de la caméra (cam_pan,
|
||||
cam_tilt, cam_rotation, cam_scale, cam_sigma0). Une case vide d'un CSV de metrics/ est sautée, pas lue comme zéro.
|
||||
Une métrique texte (BatteryState, link, last_sync…) est rendue telle quelle (la dernière du pas).
|
||||
Jamais d'identifiant : SIM_CCID et ip* ne sont ni lus ni listés.
|
||||
Imprime : les métriques disponibles ; la table, une ligne par pas de --pas (début du pas, UTC ; --stat des valeurs du
|
||||
pas ; « - » : aucune valeur), les pas où aucune métrique n'a de valeur n'y sont pas ; par colonne, le nombre de pas
|
||||
remplis, le minimum et le maximum avec leur instant ; la corrélation r et la pente (moindres carrés, sur les pas où
|
||||
les deux ont une valeur) de chaque colonne numérique sur --contre (défaut temperature ; avec --lissage D, sur sa
|
||||
moyenne glissante centrée sur D, colonne <contre>_lisse) ; les suites datées de pas sans aucune métrique.
|
||||
Un PNG, chemin imprimé : températures sur un panneau, chaque autre métrique numérique sur le sien, puis cib_corr_x,
|
||||
cib_corr_y et la pose, aux instants natifs (trait coupé sur un trou). Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import csv
|
||||
import glob
|
||||
import os
|
||||
import statistics
|
||||
import sys
|
||||
from datetime import date, timedelta
|
||||
|
||||
import matplotlib
|
||||
|
||||
matplotlib.use("Agg")
|
||||
import matplotlib.dates as mdates # noqa: E402
|
||||
import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from graphique import borne # noqa: E402
|
||||
from inventaire import METRIQUE_RE # noqa: E402
|
||||
from resume import STATS, duree # noqa: E402
|
||||
|
||||
|
||||
def identifiant(nom):
|
||||
"""Métrique qui porte un identifiant (carte SIM, adresses IP) : jamais lue."""
|
||||
return nom == "SIM_CCID" or nom.startswith("ip")
|
||||
|
||||
|
||||
def valeur(texte):
|
||||
v = texte.strip().strip("[]").strip("'\"")
|
||||
try:
|
||||
return float(v)
|
||||
except ValueError:
|
||||
return v or None
|
||||
|
||||
|
||||
def lire_metriques(dossier, debut, fin):
|
||||
"""metrics/ -> {nom: [{'t', 'v'}]} triées, sur la fenêtre ; v float ou texte ; case vide sautée ; nom sans valeur : []."""
|
||||
prefixe = os.path.basename(os.path.normpath(dossier)) + "_"
|
||||
par = {}
|
||||
for p in glob.glob(os.path.join(dossier, "metrics", "*.csv")):
|
||||
m = METRIQUE_RE.match(os.path.basename(p))
|
||||
if not m:
|
||||
continue
|
||||
nom = m.group(1)
|
||||
nom = nom[len(prefixe):] if nom.startswith(prefixe) else nom.split("_", 1)[-1]
|
||||
if identifiant(nom):
|
||||
continue
|
||||
jour = date(*map(int, m.group(2, 3, 4)))
|
||||
serie = par.setdefault(nom, {})
|
||||
if (debut and jour < debut.date() - timedelta(days=1)) or (fin and jour > fin.date()):
|
||||
continue
|
||||
with open(p, newline="") as f:
|
||||
for r in csv.DictReader(f):
|
||||
if (v := valeur(r.get("metric") or "")) is not None:
|
||||
serie[instant(r["time_utc"])] = v
|
||||
return {n: filtrer([{"t": t, "v": s[t]} for t in sorted(s)], debut, fin) for n, s in par.items()}
|
||||
|
||||
|
||||
def cibles(par, col, debut, fin):
|
||||
"""À chaque mesure, médiane sur les cibles de col moins le niveau propre de la cible (médiane sur la fenêtre)."""
|
||||
ecarts = {}
|
||||
for s, ms in par.items():
|
||||
if est_reference(ms):
|
||||
continue
|
||||
ms = [m for m in filtrer(ms, debut, fin) if m[col] is not None]
|
||||
if ms:
|
||||
niveau = statistics.median(m[col] for m in ms)
|
||||
for m in ms:
|
||||
ecarts.setdefault(m["t"], []).append(m[col] - niveau)
|
||||
return [{"t": t, "v": statistics.median(v)} for t, v in sorted(ecarts.items())]
|
||||
|
||||
|
||||
def lisser(serie, largeur):
|
||||
"""Moyenne glissante centrée sur largeur (valeurs numériques)."""
|
||||
pts = [p for p in serie if isinstance(p["v"], float)]
|
||||
# ponytail: O(n²), assez pour des métriques horaires sur quelques semaines
|
||||
return [{"t": p["t"], "v": statistics.fmean(q["v"] for q in pts if abs(q["t"] - p["t"]) <= largeur / 2)} for p in pts]
|
||||
|
||||
|
||||
def fmt(v):
|
||||
return "-" if v is None else f"{v:.6g}" if isinstance(v, float) else str(v)
|
||||
|
||||
|
||||
def suites(pas_vides, pas):
|
||||
"""[t] triés -> [(début, fin, n)] de pas consécutifs."""
|
||||
out = []
|
||||
for t in pas_vides:
|
||||
if out and t - out[-1][1] == pas:
|
||||
out[-1] = (out[-1][0], t, out[-1][2] + 1)
|
||||
else:
|
||||
out.append((t, t, 1))
|
||||
return out
|
||||
|
||||
|
||||
def coupe(serie):
|
||||
"""Instants et valeurs numériques, NaN inséré sur un écart de plus de 1,5 fois le pas habituel (le trait se coupe)."""
|
||||
pts = [(p["t"], p["v"]) for p in serie if isinstance(p["v"], float)]
|
||||
if len(pts) < 3:
|
||||
return [t for t, _ in pts], [v for _, v in pts]
|
||||
pas = statistics.median(b[0] - a[0] for a, b in zip(pts, pts[1:]))
|
||||
ts, vs = [pts[0][0]], [pts[0][1]]
|
||||
for (a, _), (b, v) in zip(pts, pts[1:]):
|
||||
if b - a > 1.5 * pas:
|
||||
ts.append(a + (b - a) / 2)
|
||||
vs.append(float("nan"))
|
||||
ts.append(b)
|
||||
vs.append(v)
|
||||
return ts, vs
|
||||
|
||||
|
||||
def main():
|
||||
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
||||
a.add_argument("dossier")
|
||||
a.add_argument("--noms", help="métriques, séparées par des virgules (défaut : les *_deg_c et BusVoltage présents)")
|
||||
a.add_argument("--pas", default="1h")
|
||||
a.add_argument("--stat", default="median", choices=STATS)
|
||||
a.add_argument("--contre", default="temperature", help="colonne sur laquelle r et la pente sont calculés")
|
||||
a.add_argument("--lissage", type=duree, help="moyenne glissante centrée de --contre, ex. 24h")
|
||||
a.add_argument("--metriques-seules", action="store_true", help="sans cib_corr_x, cib_corr_y ni la pose")
|
||||
a.add_argument("--debut", type=instant)
|
||||
a.add_argument("--fin", type=instant)
|
||||
a.add_argument("--sortie", default=os.path.join("out", "diagnostic"), help="dossier du PNG")
|
||||
o = a.parse_args()
|
||||
pas = duree(o.pas)
|
||||
|
||||
met = lire_metriques(o.dossier, o.debut, o.fin)
|
||||
if not met:
|
||||
print(f"Pas de metrics/ dans {o.dossier}.")
|
||||
else:
|
||||
print("Métriques disponibles (valeurs sur la fenêtre ; identifiants SIM_CCID, ip* exclus) : "
|
||||
+ ", ".join(f"{n} ({len(s)})" if s else f"{n} (vide)" for n, s in sorted(met.items())))
|
||||
if o.noms:
|
||||
noms = o.noms.split(",")
|
||||
if interdits := [n for n in noms if identifiant(n)]:
|
||||
sys.exit(f"Identifiants, jamais lus : {', '.join(interdits)}.")
|
||||
if absents := [n for n in noms if n not in met]:
|
||||
sys.exit(f"Métriques inconnues : {', '.join(absents)}. Connues : {', '.join(sorted(met))}.")
|
||||
else:
|
||||
noms = sorted(n for n in met if n.endswith("_deg_c")) + [n for n in ("BusVoltage",) if n in met]
|
||||
series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(o.dossier)], o.debut, o.fin)}
|
||||
series.update({n: met[n] for n in noms})
|
||||
if o.lissage:
|
||||
if o.contre not in series:
|
||||
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
|
||||
series[o.contre + "_lisse"] = lisser(series[o.contre], o.lissage)
|
||||
metriques = list(series)
|
||||
if not o.metriques_seules:
|
||||
par = charger(o.dossier)
|
||||
for c in ("corr_x", "corr_y"):
|
||||
series["cib_" + c] = cibles(par, c, o.debut, o.fin)
|
||||
poses = filtrer(charger_camera(o.dossier), o.debut, o.fin)
|
||||
for c in POSE:
|
||||
series["cam_" + c] = [{"t": p["t"], "v": p[c]} for p in poses if p[c] is not None]
|
||||
reference = o.contre + "_lisse" if o.lissage else o.contre
|
||||
if reference not in series:
|
||||
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
|
||||
tous = [p["t"] for s in series.values() for p in s]
|
||||
if not tous:
|
||||
sys.exit("Aucune valeur dans la fenêtre demandée.")
|
||||
|
||||
t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0)
|
||||
t1 = o.fin or max(tous)
|
||||
cases = {} # colonne -> début du pas -> valeurs
|
||||
for c, s in series.items():
|
||||
for p in s:
|
||||
cases.setdefault(c, {}).setdefault(t0 + ((p["t"] - t0) // pas) * pas, []).append(p["v"])
|
||||
stat = STATS[o.stat]
|
||||
table = {c: {k: (stat(v) if all(isinstance(x, float) for x in v) else v[-1]) for k, v in d.items()}
|
||||
for c, d in cases.items()}
|
||||
grille = [t0 + i * pas for i in range(int((t1 - t0) / pas) + 1)]
|
||||
colonnes = list(series)
|
||||
|
||||
print(f"\n{o.stat} par pas de {o.pas} (début du pas, UTC) ; « - » : aucune valeur ; cib_ : écart au niveau propre des cibles")
|
||||
print("\t".join(["heure"] + colonnes))
|
||||
for k in grille:
|
||||
ligne = [table.get(c, {}).get(k) for c in colonnes]
|
||||
if any(v is not None for v in ligne):
|
||||
print("\t".join([iso(k)] + [fmt(v) for v in ligne]))
|
||||
|
||||
print(f"\nPar colonne ({len(grille)} pas) :")
|
||||
for c in colonnes:
|
||||
d = table.get(c, {})
|
||||
nums = [(v, k) for k, v in d.items() if isinstance(v, float)]
|
||||
if not d:
|
||||
print(f" {c} : vide")
|
||||
elif nums:
|
||||
(vmin, kmin), (vmax, kmax) = min(nums), max(nums)
|
||||
print(f" {c} : {len(d)} pas ; min {fmt(vmin)} ({iso(kmin)}) ; max {fmt(vmax)} ({iso(kmax)})")
|
||||
else:
|
||||
ks = sorted(d)
|
||||
print(f" {c} : {len(d)} pas, texte ; {len(set(d.values()))} valeurs distinctes ; "
|
||||
f"première {d[ks[0]]} ({iso(ks[0])}) ; dernière {d[ks[-1]]} ({iso(ks[-1])})")
|
||||
|
||||
ref = table.get(reference, {})
|
||||
print(f"\nCorrélation r et pente sur {reference} (par pas où les deux ont une valeur) :")
|
||||
if not any(isinstance(v, float) for v in ref.values()):
|
||||
print(f" {reference} vide : aucune")
|
||||
for c in colonnes:
|
||||
if c == reference or not ref or not any(isinstance(v, float) for v in table.get(c, {}).values()):
|
||||
continue
|
||||
paires = [(ref[k], v) for k, v in table.get(c, {}).items()
|
||||
if isinstance(v, float) and isinstance(ref.get(k), float)]
|
||||
try:
|
||||
r = statistics.correlation(*zip(*paires))
|
||||
pente = statistics.linear_regression(*zip(*paires)).slope
|
||||
print(f" {c} : r = {r:+.2f} ; pente = {pente:.4g} par unité de {reference} ; n = {len(paires)}")
|
||||
except (statistics.StatisticsError, TypeError, ValueError):
|
||||
print(f" {c} : - (n = {len(paires)})")
|
||||
|
||||
vides = [k for k in grille if all(k not in table.get(c, {}) for c in metriques)]
|
||||
print(f"\nPas sans aucune métrique ({', '.join(metriques)}) : {len(vides)} sur {len(grille)}")
|
||||
for d, f, n in suites(vides, pas):
|
||||
print(f" {iso(d)} → {iso(f)} ({n} pas)")
|
||||
|
||||
panneaux = {} # titre -> colonnes
|
||||
for c in colonnes:
|
||||
if any(isinstance(p["v"], float) for p in series[c]):
|
||||
cle = "°C" if c.startswith("temperature") or "_deg_c" in c else c
|
||||
panneaux.setdefault(cle, []).append(c)
|
||||
if not panneaux:
|
||||
print("\nRien à tracer.")
|
||||
return
|
||||
fig, axes = plt.subplots(len(panneaux), 1, sharex=True, figsize=(14, 2.4 * len(panneaux)), squeeze=False,
|
||||
layout="constrained")
|
||||
for ax, (titre, cols) in zip(axes[:, 0], panneaux.items()):
|
||||
for c in cols:
|
||||
noir = c in ("temperature", reference)
|
||||
ax.plot(*coupe(series[c]), ".-", ms=2, lw=1.4 if noir else 0.7, label=c, zorder=3 if noir else 2,
|
||||
color="k" if c == "temperature" else None)
|
||||
if len(cols) > 1:
|
||||
ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
|
||||
ax.set_ylabel(titre if titre == "°C" else titre.replace("_", "_\n", 1), fontsize=8)
|
||||
ax.grid(alpha=0.3)
|
||||
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
|
||||
station = os.path.basename(os.path.normpath(o.dossier))
|
||||
fig.suptitle(f"{station} : métriques, cibles et pose (heures UTC)")
|
||||
os.makedirs(o.sortie, exist_ok=True)
|
||||
sortie = os.path.join(o.sortie, f"{station}_metriques_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
|
||||
fig.savefig(sortie, dpi=100, bbox_inches="tight")
|
||||
print(f"\n{sortie}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in new issue
Block a user