2026-10-14 15:12:28 +02:00
|
|
|
"""Lecture des données d'une station pour l'agent de diagnostic (bibliothèque standard).
|
|
|
|
|
|
|
|
|
|
Formats : docs/domaine/colonnes-des-deplacements.md. Toute heure est en UTC.
|
|
|
|
|
"""
|
|
|
|
|
import csv
|
|
|
|
|
import glob
|
|
|
|
|
import os
|
|
|
|
|
import re
|
|
|
|
|
from datetime import datetime, timezone
|
|
|
|
|
|
|
|
|
|
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
|
|
|
|
|
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
|
2026-10-27 10:02:44 +01:00
|
|
|
"corr_x", "corr_y", "reproj_err", "inlier", "sigma0")
|
2026-10-26 18:30:03 +01:00
|
|
|
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
|
|
|
|
|
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
|
2026-10-14 15:12:28 +02:00
|
|
|
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def _entete(chemin):
|
|
|
|
|
with open(chemin, newline="") as f:
|
|
|
|
|
return next(csv.reader(f), [])
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def trouver(dossier):
|
2026-10-26 18:30:03 +01:00
|
|
|
"""Dossier de station -> {'advanced', 'horaire', 'camera', 'images', 'autres'} : chemins triés, sous-dossiers compris."""
|
|
|
|
|
out = {"advanced": [], "horaire": [], "camera": [], "images": [], "autres": []}
|
2026-10-14 15:12:28 +02:00
|
|
|
for p in sorted(glob.glob(os.path.join(dossier, "**", "*"), recursive=True)):
|
2026-10-24 14:31:42 +02:00
|
|
|
if os.path.isdir(p) or "images_diff" in p.split(os.sep): # images différentielles du pompage (--diff) : pas des vues de la caméra
|
2026-10-14 15:12:28 +02:00
|
|
|
continue
|
|
|
|
|
entete = _entete(p) if p.endswith(".csv") else []
|
|
|
|
|
if p.lower().endswith((".jpg", ".jpeg", ".png")):
|
|
|
|
|
out["images"].append(p)
|
2026-10-29 10:42:21 +01:00
|
|
|
elif "sensor_name" in entete and "corr_x" in entete: # quality/ (optical_emulator) a sensor_name, pas corr_x
|
2026-10-14 15:12:28 +02:00
|
|
|
out["advanced"].append(p)
|
|
|
|
|
elif "timestamp" in entete:
|
|
|
|
|
out["horaire"].append(p)
|
2026-10-26 18:30:03 +01:00
|
|
|
elif "median_pan" in entete:
|
|
|
|
|
out["camera"].append(p)
|
2026-10-14 15:12:28 +02:00
|
|
|
else:
|
|
|
|
|
out["autres"].append(p)
|
|
|
|
|
return out
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def _nombre(v):
|
|
|
|
|
v = v.strip()
|
|
|
|
|
return float(v) if v else None
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def charger(dossier):
|
|
|
|
|
"""Exports « advanced » du dossier -> {capteur: [mesure]}, triées par t, un seul relevé par instant.
|
|
|
|
|
|
|
|
|
|
Mesure : dict avec t (datetime UTC), pattern_type, et les colonnes de NUM (float ou None).
|
2026-10-27 10:02:44 +01:00
|
|
|
Une mesure rejetée (voir rejetee) a corr_x, corr_y vides, comme le dit la doc des colonnes : la station
|
|
|
|
|
les vide pour une cible, mais en laisse de remplis (souvent absurdes) pour une référence ; on les vide ici.
|
2026-10-14 15:12:28 +02:00
|
|
|
"""
|
|
|
|
|
par = {}
|
|
|
|
|
for chemin in trouver(dossier)["advanced"]:
|
|
|
|
|
with open(chemin, newline="") as f:
|
|
|
|
|
for r in csv.DictReader(f):
|
2026-10-27 10:02:44 +01:00
|
|
|
m = {c: _nombre(r.get(c) or "") for c in NUM} # inlier manque dans les exports anciens
|
2026-10-14 15:35:44 +02:00
|
|
|
m["t"] = instant(r["time_utc"])
|
2026-10-14 15:12:28 +02:00
|
|
|
m["pattern_type"] = r["pattern_type"]
|
2026-10-27 10:02:44 +01:00
|
|
|
if rejetee(m):
|
|
|
|
|
m["corr_x"] = m["corr_y"] = None
|
2026-10-15 17:36:19 +02:00
|
|
|
par.setdefault(r["sensor_name"].strip(), {})[m["t"]] = m # certains exports finissent le nom par un saut de ligne
|
2026-10-14 15:12:28 +02:00
|
|
|
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
|
|
|
|
|
|
|
|
|
|
|
2026-10-26 18:30:03 +01:00
|
|
|
def charger_camera(dossier):
|
|
|
|
|
"""Mouvements de la caméra du dossier -> [pose] triées par t ; pose : t et les colonnes de POSE (float ou None).
|
|
|
|
|
|
|
|
|
|
Une ligne par recalage de la caméra ; on lit les médianes (min = max dans les fichiers reçus : une mesure par minute).
|
|
|
|
|
Un instant de mesure sans pose : la caméra n'a pas été recalée.
|
|
|
|
|
"""
|
|
|
|
|
par = {}
|
|
|
|
|
for chemin in trouver(dossier)["camera"]:
|
|
|
|
|
with open(chemin, newline="") as f:
|
|
|
|
|
for r in csv.DictReader(f):
|
|
|
|
|
p = {c: _nombre(r.get("median_" + c, "")) for c in POSE}
|
|
|
|
|
p["t"] = instant(r["time_utc"])
|
|
|
|
|
par[p["t"]] = p
|
|
|
|
|
return [par[t] for t in sorted(par)]
|
|
|
|
|
|
|
|
|
|
|
2026-10-14 15:12:28 +02:00
|
|
|
def est_reference(mesures):
|
|
|
|
|
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible."""
|
|
|
|
|
return mesures[0]["pattern_type"] == "global_ref"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def rejetee(m):
|
2026-10-27 10:02:44 +01:00
|
|
|
"""Mesure rejetée par la station : error_value au-dessus du seuil du capteur (error_threshold) ; sans ces deux valeurs, corr_x vide."""
|
|
|
|
|
if m["error_value"] is not None and m["error_threshold"] is not None:
|
|
|
|
|
return m["error_value"] > m["error_threshold"]
|
2026-10-14 15:12:28 +02:00
|
|
|
return m["corr_x"] is None
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def filtrer(mesures, debut, fin):
|
2026-10-14 15:35:44 +02:00
|
|
|
"""Mesures entre debut et fin inclus, à la minute près (comme iso() les affiche) ; None = pas de borne."""
|
|
|
|
|
return [m for m in mesures if (debut is None or m["t"] >= debut)
|
|
|
|
|
and (fin is None or m["t"].replace(second=0, microsecond=0) <= fin)]
|
2026-10-14 15:12:28 +02:00
|
|
|
|
|
|
|
|
|
|
|
|
|
def heure_image(chemin):
|
|
|
|
|
"""'20261013T1200Z_10167931.jpg' -> datetime UTC ; None si le nom ne suit pas ce format (D-045)."""
|
|
|
|
|
m = IMAGE_RE.match(os.path.basename(chemin))
|
|
|
|
|
return datetime.strptime(m.group(1), "%Y%m%dT%H%M").replace(tzinfo=timezone.utc) if m else None
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def instant(texte):
|
2026-10-14 15:35:44 +02:00
|
|
|
"""'2026-01-01T00:00Z' ou '2026-01-01 00:00' -> datetime UTC ; une heure sans fuseau est lue en UTC."""
|
2026-10-14 15:12:28 +02:00
|
|
|
t = datetime.fromisoformat(texte)
|
|
|
|
|
return t.astimezone(timezone.utc) if t.tzinfo else t.replace(tzinfo=timezone.utc)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def iso(t):
|
|
|
|
|
return t.astimezone(timezone.utc).strftime("%Y-%m-%dT%H:%MZ")
|