"""Lecture des données d'une station pour l'agent de diagnostic (bibliothèque standard). Formats : labeling/connaissances/colonnes-des-deplacements.md. Toute heure est en UTC. """ import csv import glob import os import re import statistics from datetime import datetime, timezone # Colonnes numériques de l'export « advanced » ; une case vide devient None. NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y", "corr_x", "corr_y", "reproj_err", "inlier", "sigma0", "peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes seulement (LENZSPITZE) # Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage). POSE = ("pan", "tilt", "rotation", "scale", "sigma0") IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_") def _entete(chemin): with open(chemin, newline="") as f: return next(csv.reader(f), []) def trouver(dossier): """Dossier de station -> {'advanced', 'horaire', 'camera', 'images', 'autres'} : chemins triés, sous-dossiers compris.""" out = {"advanced": [], "horaire": [], "camera": [], "images": [], "autres": []} for p in sorted(glob.glob(os.path.join(dossier, "**", "*"), recursive=True)): if os.path.isdir(p) or "images_diff" in p.split(os.sep): # images différentielles du pompage (--diff) : pas des vues de la caméra continue entete = _entete(p) if p.endswith(".csv") else [] if p.lower().endswith((".jpg", ".jpeg", ".png")): out["images"].append(p) elif "sensor_name" in entete and "corr_x" in entete: # quality/ (optical_emulator) a sensor_name, pas corr_x out["advanced"].append(p) elif "timestamp" in entete: out["horaire"].append(p) elif "median_pan" in entete: out["camera"].append(p) else: out["autres"].append(p) return out def _nombre(v): v = v.strip() return float(v) if v else None def charger(dossier): """Exports « advanced » du dossier -> {capteur: [mesure]}, triées par t, un seul relevé par instant. Mesure : dict avec t (datetime UTC), pattern_type, et les colonnes de NUM (float ou None). Une mesure rejetée (voir rejetee) a corr_x, corr_y vides, comme le dit la doc des colonnes : la station les vide pour une cible, mais en laisse de remplis (souvent absurdes) pour une référence ; on les vide ici. """ par = {} for chemin in trouver(dossier)["advanced"]: with open(chemin, newline="") as f: for r in csv.DictReader(f): m = {c: _nombre(r.get(c) or "") for c in NUM} # inlier manque dans les exports anciens m["t"] = instant(r["time_utc"]) m["pattern_type"] = r["pattern_type"] if rejetee(m): m["corr_x"] = m["corr_y"] = None par.setdefault(r["sensor_name"].strip(), {})[m["t"]] = m # certains exports finissent le nom par un saut de ligne return {s: [d[t] for t in sorted(d)] for s, d in par.items()} def charger_temperature(dossier): """Températures de la carte de la station (metrics/, sensor_*_deg_c) -> [(t, °C)] triées : la médiane des composants à chaque heure ; [] sans ces métriques. Les composants montent et descendent ensemble (l'étiqueteur lit « les températures de tous les composants ») ; la médiane écarte la pointe d'un seul, le GPU qui calcule (D-124).""" par = {} for chemin in glob.glob(os.path.join(dossier, "metrics", "*_deg_c_*.csv")): with open(chemin, newline="") as f: for r in csv.DictReader(f): if (v := _nombre(r.get("metric") or "")) is not None: par.setdefault(instant(r["time_utc"]), []).append(v) return [(t, statistics.median(v)) for t, v in sorted(par.items())] def charger_camera(dossier): """Mouvements de la caméra du dossier -> [pose] triées par t ; pose : t et les colonnes de POSE (float ou None). Une ligne par recalage de la caméra ; on lit les médianes (min = max dans les fichiers reçus : une mesure par minute). Un instant de mesure sans pose : la caméra n'a pas été recalée. """ par = {} for chemin in trouver(dossier)["camera"]: with open(chemin, newline="") as f: for r in csv.DictReader(f): p = {c: _nombre(r.get("median_" + c, "")) for c in POSE} p["t"] = instant(r["time_utc"]) par[p["t"]] = p return [par[t] for t in sorted(par)] def est_reference(mesures): """Référence du réseau de compensation (pattern_type global_ref), sinon cible. Certains exports ont pattern_type vide, sur toute la période ou au début : on lit alors le premier pattern_type rempli et, s'il n'y en a aucun, reproj_err ou inlier remplis (références seulement : labeling/connaissances/colonnes-des-deplacements.md).""" t = next((m["pattern_type"] for m in mesures if m["pattern_type"]), None) if t is not None: return t == "global_ref" return any(m["reproj_err"] is not None or m["inlier"] is not None for m in mesures) def rejetee(m): """Mesure rejetée par la station : error_value au-dessus du seuil du capteur (error_threshold) ; sans ces deux valeurs, corr_x vide.""" if m["error_value"] is not None and m["error_threshold"] is not None: return m["error_value"] > m["error_threshold"] return m["corr_x"] is None def filtrer(mesures, debut, fin): """Mesures entre debut et fin inclus, à la minute près (comme iso() les affiche) ; None = pas de borne.""" return [m for m in mesures if (debut is None or m["t"] >= debut) and (fin is None or m["t"].replace(second=0, microsecond=0) <= fin)] def heure_image(chemin): """'20261013T1200Z_10167931.jpg' -> datetime UTC ; None si le nom ne suit pas ce format (D-045).""" m = IMAGE_RE.match(os.path.basename(chemin)) return datetime.strptime(m.group(1), "%Y%m%dT%H%M").replace(tzinfo=timezone.utc) if m else None def instant(texte): """'2026-01-01T00:00Z' ou '2026-01-01 00:00' -> datetime UTC ; une heure sans fuseau est lue en UTC.""" t = datetime.fromisoformat(texte) return t.astimezone(timezone.utc) if t.tzinfo else t.replace(tzinfo=timezone.utc) def iso(t): return t.astimezone(timezone.utc).strftime("%Y-%m-%dT%H:%MZ")