2026-10-14 15:13:20 +02:00
"""Résumé chiffré compact des séries d'un export « advanced », pour l'agent de diagnostic.
2026-10-28 16:36:45 +01:00
Usage : python3 agent-tools/resume.py data/PS_DES_COUDRES/ [--colonne error_value]
2026-10-26 13:02:03 +01:00
[--stat median|min|max] [--pas 1h] [--niveau periode|fenetre] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...]
2026-11-03 16:56:59 +01:00
[--instants T1,T2] [--marque]
2026-10-14 15:13:20 +02:00
2026-10-26 13:02:03 +01:00
1. Niveau habituel de chaque capteur : médiane, MAD (écart absolu médian), min, max, sur toute la période
(défaut) ou, avec --niveau fenetre, sur la fenêtre --debut/--fin seulement (un changement de niveau
dans la fenêtre ne se compare pas à des semaines d'autres mesures).
2026-11-04 13:34:04 +01:00
Colonnes : error_value, corr_x, corr_y, relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; vides sur les
caméras anciennes ; face à une référence calme : qualite.py).
2026-10-14 15:13:20 +02:00
2. Tableau : une ligne par pas de temps (début du pas, UTC), une colonne par capteur, la statistique
2026-10-14 15:35:44 +02:00
choisie sur les mesures du pas. « rej » : toutes les mesures du pas sont rejetées ; « vide » : des mesures,
2026-11-03 16:56:59 +01:00
mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure. L'en-tête des capteurs se répète
toutes les 24 lignes. Avec --instants T1,T2 : seulement les pas qui contiennent ces instants. Avec --marque : « * »
après la valeur quand une mesure du pas est rejetée (x, y, error_value d'une mesure rejetée restent remplis),
« o » quand une mesure du pas a inlier = 0 (référence écartée par la compensation).
2026-10-14 15:13:20 +02:00
Rend des valeurs, pas de verdict.
"""
import argparse
import re
import statistics
import sys
from datetime import timedelta
from donnees import charger , est_reference , filtrer , instant , iso , rejetee
COLONNES = ( "error_value" , "corr_x" , "corr_y" , "relative_x" , "relative_y" , "x" , "y" , "sigma0" , "reproj_err" )
2026-11-04 13:34:04 +01:00
QUALITE = ( "peak" , "flux" , "sharpness" , "fwhm" , "dominance" , "snr" ) # qualité de l'image : caméras récentes ; lue par qualite.py
2026-10-14 15:13:20 +02:00
STATS = { "median" : statistics . median , "min" : min , "max" : max }
def duree ( texte ):
"""'15min', '1h', '6h', '1d' -> timedelta."""
m = re . fullmatch ( r "(\d+)(min|h|d)" , texte )
if not m :
raise argparse . ArgumentTypeError ( f "pas invalide : { texte !r} (ex. 15min, 1h, 1d)" )
n , unite = int ( m . group ( 1 )), m . group ( 2 )
return { "min" : timedelta ( minutes = n ), "h" : timedelta ( hours = n ), "d" : timedelta ( days = n )}[ unite ]
2026-11-05 08:49:54 +01:00
ARRONDI = 1e-9 # en deçà, un écart entre deux mesures est l'arrondi du calcul de la station, pas un bruit
def bruit_propre ( vs ):
"""Médiane des écarts absolus entre deux valeurs consécutives ; 0 quand elle est sous ARRONDI (valeurs constantes
à l'arrondi près : le corr des références quand la compensation passe exactement par elles, deux références
retenues), pour qu'un écart ne s'écrive pas en milliards de bruits ; 0 aussi avec moins de deux valeurs."""
d = [ abs ( b - a ) for a , b in zip ( vs , vs [ 1 :])]
b = statistics . median ( d ) if d else 0
return b if b >= ARRONDI else 0
2026-10-14 15:13:20 +02:00
def valeurs ( ms , col ):
return [ m [ col ] for m in ms if m [ col ] is not None ]
def main ():
a = argparse . ArgumentParser ( description = __doc__ , formatter_class = argparse . RawDescriptionHelpFormatter )
a . add_argument ( "dossier" )
2026-11-04 13:34:04 +01:00
a . add_argument ( "--colonne" , default = "error_value" , choices = COLONNES + QUALITE )
2026-10-14 15:13:20 +02:00
a . add_argument ( "--stat" , default = "median" , choices = STATS )
a . add_argument ( "--pas" , default = "1h" , type = duree )
2026-10-26 13:02:03 +01:00
a . add_argument ( "--niveau" , default = "periode" , choices = ( "periode" , "fenetre" ),
help = "période sur laquelle médiane et MAD sont calculées (défaut : toutes les mesures)" )
2026-10-14 15:13:20 +02:00
a . add_argument ( "--capteurs" , help = "liste séparée par des virgules (défaut : tous)" )
2026-11-03 16:56:59 +01:00
a . add_argument ( "--instants" , help = "T1,T2 : seulement les pas qui contiennent ces instants" )
a . add_argument ( "--marque" , action = "store_true" , help = "* : une mesure du pas rejetée ; o : une mesure du pas avec inlier = 0" )
2026-10-14 15:13:20 +02:00
a . add_argument ( "--debut" , type = instant )
a . add_argument ( "--fin" , type = instant )
o = a . parse_args ()
par = charger ( o . dossier )
if not par :
sys . exit ( f "Aucun export « advanced » dans { o . dossier } (voir inventaire.py)." )
noms = o . capteurs . split ( "," ) if o . capteurs else sorted ( par , key = lambda s : ( not est_reference ( par [ s ]), s ))
inconnus = [ s for s in noms if s not in par ]
if inconnus :
sys . exit ( f "Capteurs absents : { ', ' . join ( inconnus ) } . Présents : { ', ' . join ( sorted ( par )) } ." )
t0 = min ( m [ "t" ] for s in noms for m in par [ s ]) . replace ( hour = 0 , minute = 0 , second = 0 , microsecond = 0 )
cases = {}
for s in noms :
for m in filtrer ( par [ s ], o . debut , o . fin ):
debut_du_pas = t0 + (( m [ "t" ] - t0 ) // o . pas ) * o . pas
cases . setdefault ( debut_du_pas , {}) . setdefault ( s , []) . append ( m )
if not cases :
sys . exit ( "Aucune mesure dans la fenêtre demandée." )
2026-10-26 13:02:03 +01:00
sur = "la fenêtre --debut/--fin" if o . niveau == "fenetre" else "toute la période"
print ( f "Colonne : { o . colonne } . Niveau habituel sur { sur } (mesures non vides) :" )
2026-10-14 15:35:44 +02:00
print ( f " { 'capteur' : 10 } { 'n' : >5 } { 'médiane' : >10 } { 'MAD' : >10 } { 'min' : >10 } { 'max' : >10 } " )
2026-10-14 15:13:20 +02:00
for s in noms :
2026-10-26 13:02:03 +01:00
v = valeurs ( filtrer ( par [ s ], o . debut , o . fin ) if o . niveau == "fenetre" else par [ s ], o . colonne )
2026-10-14 15:13:20 +02:00
if not v :
print ( f " { s : 10 } { 0 : 5 } (aucune valeur)" )
continue
med = statistics . median ( v )
mad = statistics . median ( abs ( x - med ) for x in v )
2026-10-14 15:35:44 +02:00
print ( f " { s : 10 } { len ( v ) : 5 } { med : 10.5g } { mad : 10.5g } { min ( v ) : 10.5g } { max ( v ) : 10.5g } " )
2026-10-14 15:13:20 +02:00
print ( f " \n { o . stat } de { o . colonne } par pas de { o . pas } (début du pas, UTC) :" )
2026-10-14 15:35:44 +02:00
print ( "rej : mesures du pas toutes rejetées ; vide : colonne vide ; - : aucune mesure" )
2026-11-03 16:56:59 +01:00
if o . marque :
print ( "* : une mesure du pas au moins est rejetée ; o : une mesure du pas au moins a inlier = 0" )
entete = f " { 'début' : 17 } " + " " . join ( f " { s : >9 } " for s in noms )
voulus = { t0 + (( instant ( x ) - t0 ) // o . pas ) * o . pas for x in o . instants . split ( "," )} if o . instants else None
for i , k in enumerate ( k for k in sorted ( cases ) if voulus is None or k in voulus ):
if i % 24 == 0 :
print ( entete )
2026-10-14 15:13:20 +02:00
cellules = []
for s in noms :
ms = cases [ k ] . get ( s , [])
v = valeurs ( ms , o . colonne )
if v :
2026-11-03 16:56:59 +01:00
marque = ( "*" if any ( map ( rejetee , ms )) else "" ) + ( "o" if any ( m [ "inlier" ] == 0 for m in ms ) else "" ) if o . marque else ""
cellules . append ( f " { STATS [ o . stat ]( v ) : .5g }{ marque } " . rjust ( 9 ))
2026-10-14 15:13:20 +02:00
else :
2026-10-14 15:35:44 +02:00
cellules . append ( f " { '-' if not ms else 'rej' if all ( map ( rejetee , ms )) else 'vide' : >9 } " )
2026-10-14 15:13:20 +02:00
print ( f " { iso ( k ) : 17 } " + " " . join ( cellules ))
if __name__ == "__main__" :
main ()