- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
125 lines
6.6 KiB
Python
125 lines
6.6 KiB
Python
"""Résumé chiffré compact des séries d'un export « advanced », pour l'agent de diagnostic.
|
|
|
|
Usage : python3 agent-tools/resume.py data/PS_DES_COUDRES/ [--colonne error_value]
|
|
[--stat median|min|max] [--pas 1h] [--niveau periode|fenetre] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...]
|
|
[--instants T1,T2] [--marque]
|
|
|
|
1. Niveau habituel de chaque capteur : médiane, MAD (écart absolu médian), min, max, sur toute la période
|
|
(défaut) ou, avec --niveau fenetre, sur la fenêtre --debut/--fin seulement (un changement de niveau
|
|
dans la fenêtre ne se compare pas à des semaines d'autres mesures).
|
|
Colonnes : error_value, corr_x, corr_y, relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; vides sur les
|
|
caméras anciennes ; face à une référence calme : qualite.py).
|
|
2. Tableau : une ligne par pas de temps (début du pas, UTC), une colonne par capteur, la statistique
|
|
choisie sur les mesures du pas. « rej » : toutes les mesures du pas sont rejetées ; « vide » : des mesures,
|
|
mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure. L'en-tête des capteurs se répète
|
|
toutes les 24 lignes. Avec --instants T1,T2 : seulement les pas qui contiennent ces instants. Avec --marque : « * »
|
|
après la valeur quand une mesure du pas est rejetée (x, y, error_value d'une mesure rejetée restent remplis),
|
|
« o » quand une mesure du pas a inlier = 0 (référence écartée par la compensation).
|
|
Rend des valeurs, pas de verdict.
|
|
"""
|
|
import argparse
|
|
import re
|
|
import statistics
|
|
import sys
|
|
from datetime import timedelta
|
|
|
|
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
|
|
|
|
COLONNES = ("error_value", "corr_x", "corr_y", "relative_x", "relative_y", "x", "y", "sigma0", "reproj_err")
|
|
QUALITE = ("peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes ; lue par qualite.py
|
|
STATS = {"median": statistics.median, "min": min, "max": max}
|
|
|
|
|
|
def duree(texte):
|
|
"""'15min', '1h', '6h', '1d' -> timedelta."""
|
|
m = re.fullmatch(r"(\d+)(min|h|d)", texte)
|
|
if not m:
|
|
raise argparse.ArgumentTypeError(f"pas invalide : {texte!r} (ex. 15min, 1h, 1d)")
|
|
n, unite = int(m.group(1)), m.group(2)
|
|
return {"min": timedelta(minutes=n), "h": timedelta(hours=n), "d": timedelta(days=n)}[unite]
|
|
|
|
|
|
ARRONDI = 1e-9 # en deçà, un écart entre deux mesures est l'arrondi du calcul de la station, pas un bruit
|
|
|
|
|
|
def bruit_propre(vs):
|
|
"""Médiane des écarts absolus entre deux valeurs consécutives ; 0 quand elle est sous ARRONDI (valeurs constantes
|
|
à l'arrondi près : le corr des références quand la compensation passe exactement par elles, deux références
|
|
retenues), pour qu'un écart ne s'écrive pas en milliards de bruits ; 0 aussi avec moins de deux valeurs."""
|
|
d = [abs(b - a) for a, b in zip(vs, vs[1:])]
|
|
b = statistics.median(d) if d else 0
|
|
return b if b >= ARRONDI else 0
|
|
|
|
|
|
def valeurs(ms, col):
|
|
return [m[col] for m in ms if m[col] is not None]
|
|
|
|
|
|
def main():
|
|
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
|
a.add_argument("dossier")
|
|
a.add_argument("--colonne", default="error_value", choices=COLONNES + QUALITE)
|
|
a.add_argument("--stat", default="median", choices=STATS)
|
|
a.add_argument("--pas", default="1h", type=duree)
|
|
a.add_argument("--niveau", default="periode", choices=("periode", "fenetre"),
|
|
help="période sur laquelle médiane et MAD sont calculées (défaut : toutes les mesures)")
|
|
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
|
|
a.add_argument("--instants", help="T1,T2 : seulement les pas qui contiennent ces instants")
|
|
a.add_argument("--marque", action="store_true", help="* : une mesure du pas rejetée ; o : une mesure du pas avec inlier = 0")
|
|
a.add_argument("--debut", type=instant)
|
|
a.add_argument("--fin", type=instant)
|
|
o = a.parse_args()
|
|
|
|
par = charger(o.dossier)
|
|
if not par:
|
|
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
|
|
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
|
|
inconnus = [s for s in noms if s not in par]
|
|
if inconnus:
|
|
sys.exit(f"Capteurs absents : {', '.join(inconnus)}. Présents : {', '.join(sorted(par))}.")
|
|
|
|
t0 = min(m["t"] for s in noms for m in par[s]).replace(hour=0, minute=0, second=0, microsecond=0)
|
|
cases = {}
|
|
for s in noms:
|
|
for m in filtrer(par[s], o.debut, o.fin):
|
|
debut_du_pas = t0 + ((m["t"] - t0) // o.pas) * o.pas
|
|
cases.setdefault(debut_du_pas, {}).setdefault(s, []).append(m)
|
|
if not cases:
|
|
sys.exit("Aucune mesure dans la fenêtre demandée.")
|
|
|
|
sur = "la fenêtre --debut/--fin" if o.niveau == "fenetre" else "toute la période"
|
|
print(f"Colonne : {o.colonne}. Niveau habituel sur {sur} (mesures non vides) :")
|
|
print(f"{'capteur':10} {'n':>5} {'médiane':>10} {'MAD':>10} {'min':>10} {'max':>10}")
|
|
for s in noms:
|
|
v = valeurs(filtrer(par[s], o.debut, o.fin) if o.niveau == "fenetre" else par[s], o.colonne)
|
|
if not v:
|
|
print(f"{s:10} {0:5} (aucune valeur)")
|
|
continue
|
|
med = statistics.median(v)
|
|
mad = statistics.median(abs(x - med) for x in v)
|
|
print(f"{s:10} {len(v):5} {med:10.5g} {mad:10.5g} {min(v):10.5g} {max(v):10.5g}")
|
|
|
|
print(f"\n{o.stat} de {o.colonne} par pas de {o.pas} (début du pas, UTC) :")
|
|
print("rej : mesures du pas toutes rejetées ; vide : colonne vide ; - : aucune mesure")
|
|
if o.marque:
|
|
print("* : une mesure du pas au moins est rejetée ; o : une mesure du pas au moins a inlier = 0")
|
|
entete = f"{'début':17} " + " ".join(f"{s:>9}" for s in noms)
|
|
voulus = {t0 + ((instant(x) - t0) // o.pas) * o.pas for x in o.instants.split(",")} if o.instants else None
|
|
for i, k in enumerate(k for k in sorted(cases) if voulus is None or k in voulus):
|
|
if i % 24 == 0:
|
|
print(entete)
|
|
cellules = []
|
|
for s in noms:
|
|
ms = cases[k].get(s, [])
|
|
v = valeurs(ms, o.colonne)
|
|
if v:
|
|
marque = ("*" if any(map(rejetee, ms)) else "") + ("o" if any(m["inlier"] == 0 for m in ms) else "") if o.marque else ""
|
|
cellules.append(f"{STATS[o.stat](v):.5g}{marque}".rjust(9))
|
|
else:
|
|
cellules.append(f"{'-' if not ms else 'rej' if all(map(rejetee, ms)) else 'vide':>9}")
|
|
print(f"{iso(k):17} " + " ".join(cellules))
|
|
|
|
|
|
if __name__ == "__main__":
|
|
main()
|