Files
aimsight-tools/resume.py
T

125 lines
6.6 KiB
Python

"""Résumé chiffré compact des séries d'un export « advanced », pour l'agent de diagnostic.
Usage : python3 tools/resume.py data/PS_DES_COUDRES/ [--colonne error_value]
[--stat median|min|max] [--pas 1h] [--niveau periode|fenetre] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...]
[--instants T1,T2] [--marque]
1. Niveau habituel de chaque capteur : médiane, MAD (écart absolu médian), min, max, sur toute la période
(défaut) ou, avec --niveau fenetre, sur la fenêtre --debut/--fin seulement (un changement de niveau
dans la fenêtre ne se compare pas à des semaines d'autres mesures).
Colonnes : error_value, corr_x, corr_y, relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; vides sur les
caméras anciennes ; face à une référence calme : qualite.py).
2. Tableau : une ligne par pas de temps (début du pas, UTC), une colonne par capteur, la statistique
choisie sur les mesures du pas. « rej » : toutes les mesures du pas sont rejetées ; « vide » : des mesures,
mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure. L'en-tête des capteurs se répète
toutes les 24 lignes. Avec --instants T1,T2 : seulement les pas qui contiennent ces instants. Avec --marque : « * »
après la valeur quand une mesure du pas est rejetée (x, y, error_value d'une mesure rejetée restent remplis),
« o » quand une mesure du pas a inlier = 0 (référence écartée par la compensation).
Rend des valeurs, pas de verdict.
"""
import argparse
import re
import statistics
import sys
from datetime import timedelta
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
COLONNES = ("error_value", "corr_x", "corr_y", "relative_x", "relative_y", "x", "y", "sigma0", "reproj_err")
QUALITE = ("peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes ; lue par qualite.py
STATS = {"median": statistics.median, "min": min, "max": max}
def duree(texte):
"""'15min', '1h', '6h', '1d' -> timedelta."""
m = re.fullmatch(r"(\d+)(min|h|d)", texte)
if not m:
raise argparse.ArgumentTypeError(f"pas invalide : {texte!r} (ex. 15min, 1h, 1d)")
n, unite = int(m.group(1)), m.group(2)
return {"min": timedelta(minutes=n), "h": timedelta(hours=n), "d": timedelta(days=n)}[unite]
ARRONDI = 1e-9 # en deçà, un écart entre deux mesures est l'arrondi du calcul de la station, pas un bruit
def bruit_propre(vs):
"""Médiane des écarts absolus entre deux valeurs consécutives ; 0 quand elle est sous ARRONDI (valeurs constantes
à l'arrondi près : le corr des références quand la compensation passe exactement par elles, deux références
retenues), pour qu'un écart ne s'écrive pas en milliards de bruits ; 0 aussi avec moins de deux valeurs."""
d = [abs(b - a) for a, b in zip(vs, vs[1:])]
b = statistics.median(d) if d else 0
return b if b >= ARRONDI else 0
def valeurs(ms, col):
return [m[col] for m in ms if m[col] is not None]
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonne", default="error_value", choices=COLONNES + QUALITE)
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--pas", default="1h", type=duree)
a.add_argument("--niveau", default="periode", choices=("periode", "fenetre"),
help="période sur laquelle médiane et MAD sont calculées (défaut : toutes les mesures)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--instants", help="T1,T2 : seulement les pas qui contiennent ces instants")
a.add_argument("--marque", action="store_true", help="* : une mesure du pas rejetée ; o : une mesure du pas avec inlier = 0")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
inconnus = [s for s in noms if s not in par]
if inconnus:
sys.exit(f"Capteurs absents : {', '.join(inconnus)}. Présents : {', '.join(sorted(par))}.")
t0 = min(m["t"] for s in noms for m in par[s]).replace(hour=0, minute=0, second=0, microsecond=0)
cases = {}
for s in noms:
for m in filtrer(par[s], o.debut, o.fin):
debut_du_pas = t0 + ((m["t"] - t0) // o.pas) * o.pas
cases.setdefault(debut_du_pas, {}).setdefault(s, []).append(m)
if not cases:
sys.exit("Aucune mesure dans la fenêtre demandée.")
sur = "la fenêtre --debut/--fin" if o.niveau == "fenetre" else "toute la période"
print(f"Colonne : {o.colonne}. Niveau habituel sur {sur} (mesures non vides) :")
print(f"{'capteur':10} {'n':>5} {'médiane':>10} {'MAD':>10} {'min':>10} {'max':>10}")
for s in noms:
v = valeurs(filtrer(par[s], o.debut, o.fin) if o.niveau == "fenetre" else par[s], o.colonne)
if not v:
print(f"{s:10} {0:5} (aucune valeur)")
continue
med = statistics.median(v)
mad = statistics.median(abs(x - med) for x in v)
print(f"{s:10} {len(v):5} {med:10.5g} {mad:10.5g} {min(v):10.5g} {max(v):10.5g}")
print(f"\n{o.stat} de {o.colonne} par pas de {o.pas} (début du pas, UTC) :")
print("rej : mesures du pas toutes rejetées ; vide : colonne vide ; - : aucune mesure")
if o.marque:
print("* : une mesure du pas au moins est rejetée ; o : une mesure du pas au moins a inlier = 0")
entete = f"{'début':17} " + " ".join(f"{s:>9}" for s in noms)
voulus = {t0 + ((instant(x) - t0) // o.pas) * o.pas for x in o.instants.split(",")} if o.instants else None
for i, k in enumerate(k for k in sorted(cases) if voulus is None or k in voulus):
if i % 24 == 0:
print(entete)
cellules = []
for s in noms:
ms = cases[k].get(s, [])
v = valeurs(ms, o.colonne)
if v:
marque = ("*" if any(map(rejetee, ms)) else "") + ("o" if any(m["inlier"] == 0 for m in ms) else "") if o.marque else ""
cellules.append(f"{STATS[o.stat](v):.5g}{marque}".rjust(9))
else:
cellules.append(f"{'-' if not ms else 'rej' if all(map(rejetee, ms)) else 'vide':>9}")
print(f"{iso(k):17} " + " ".join(cellules))
if __name__ == "__main__":
main()