Lecture : la pose de la caméra se lit avant les capteurs (D-073)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
9392f2ed8d
commit
b30b781b3b
9 files changed
+118
-24
No files matched your search
@@ -11,6 +11,8 @@ from datetime import datetime, timezone
|
||||
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
|
||||
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
|
||||
"corr_x", "corr_y", "reproj_err", "sigma0")
|
||||
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
|
||||
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
|
||||
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
|
||||
|
||||
|
||||
@@ -20,8 +22,8 @@ def _entete(chemin):
|
||||
|
||||
|
||||
def trouver(dossier):
|
||||
"""Dossier de station -> {'advanced', 'horaire', 'images', 'autres'} : chemins triés, sous-dossiers compris."""
|
||||
out = {"advanced": [], "horaire": [], "images": [], "autres": []}
|
||||
"""Dossier de station -> {'advanced', 'horaire', 'camera', 'images', 'autres'} : chemins triés, sous-dossiers compris."""
|
||||
out = {"advanced": [], "horaire": [], "camera": [], "images": [], "autres": []}
|
||||
for p in sorted(glob.glob(os.path.join(dossier, "**", "*"), recursive=True)):
|
||||
if os.path.isdir(p) or "images_diff" in p.split(os.sep): # images différentielles du pompage (--diff) : pas des vues de la caméra
|
||||
continue
|
||||
@@ -32,6 +34,8 @@ def trouver(dossier):
|
||||
out["advanced"].append(p)
|
||||
elif "timestamp" in entete:
|
||||
out["horaire"].append(p)
|
||||
elif "median_pan" in entete:
|
||||
out["camera"].append(p)
|
||||
else:
|
||||
out["autres"].append(p)
|
||||
return out
|
||||
@@ -58,6 +62,22 @@ def charger(dossier):
|
||||
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
|
||||
|
||||
|
||||
def charger_camera(dossier):
|
||||
"""Mouvements de la caméra du dossier -> [pose] triées par t ; pose : t et les colonnes de POSE (float ou None).
|
||||
|
||||
Une ligne par recalage de la caméra ; on lit les médianes (min = max dans les fichiers reçus : une mesure par minute).
|
||||
Un instant de mesure sans pose : la caméra n'a pas été recalée.
|
||||
"""
|
||||
par = {}
|
||||
for chemin in trouver(dossier)["camera"]:
|
||||
with open(chemin, newline="") as f:
|
||||
for r in csv.DictReader(f):
|
||||
p = {c: _nombre(r.get("median_" + c, "")) for c in POSE}
|
||||
p["t"] = instant(r["time_utc"])
|
||||
par[p["t"]] = p
|
||||
return [par[t] for t in sorted(par)]
|
||||
|
||||
|
||||
def est_reference(mesures):
|
||||
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible."""
|
||||
return mesures[0]["pattern_type"] == "global_ref"
|
||||
|
||||
@@ -6,7 +6,8 @@ Usage : .venv/bin/python agents/diagnostic/outils/ensemble.py data/PS_DES_COUDRE
|
||||
|
||||
Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre).
|
||||
Deux PNG, dont les chemins sont imprimés :
|
||||
1. « commun » : un panneau par colonne de --colonnes (défaut x,y,sigma0 : position brute et sigma0 de la
|
||||
1. « commun » : d'abord, si le dossier a des mouvements de la caméra (camera/), un panneau par grandeur de la pose
|
||||
(pan, tilt, rotation [deg], scale, sigma0 du recalage), valeurs brutes, un point par recalage ; puis un panneau par colonne de --colonnes (défaut x,y,sigma0 : position brute et sigma0 de la
|
||||
caméra) : médiane, sur les capteurs, de l'écart de chaque capteur à sa médiane ; bande grise = 10e à 90e
|
||||
centile entre capteurs (la dispersion) ; dernier panneau : nombre de capteurs dont --colonne
|
||||
(défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas.
|
||||
@@ -25,11 +26,12 @@ Deux PNG, dont les chemins sont imprimés :
|
||||
colonne de --colonnes (médiane commune, ex. y) et la corrélation r : un résidu proportionnel au mouvement commun
|
||||
(même s'il n'est pas partagé par tous) a une pente non nulle et un r élevé.
|
||||
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
|
||||
pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
|
||||
pour chaque colonne de --colonnes, puis la pose brute de la caméra, vide sans recalage) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
|
||||
un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large,
|
||||
1h par ex., aplatit un pic d'un à quatre pas et date à l'heure).
|
||||
Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD,
|
||||
le nombre et les capteurs (--min 1 : aussi les instants où un seul capteur sort de son niveau). Rend des valeurs, pas de verdict.
|
||||
le nombre et les capteurs (--min 1 : aussi les instants où un seul capteur sort de son niveau), et les instants de
|
||||
mesure sans pose de la caméra (pas de recalage). Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import math
|
||||
@@ -43,7 +45,7 @@ matplotlib.use("Agg")
|
||||
import matplotlib.dates as mdates # noqa: E402
|
||||
import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
from donnees import charger, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from graphique import COLONNES, RACINE, borne # noqa: E402
|
||||
from resume import duree # noqa: E402
|
||||
|
||||
@@ -91,6 +93,8 @@ def main():
|
||||
if not any(series.values()):
|
||||
sys.exit("Aucune mesure dans la fenêtre demandée.")
|
||||
temps = sorted({m["t"] for s in noms for m in series[s]})
|
||||
poses = filtrer(charger_camera(o.dossier), temps[0].replace(second=0, microsecond=0), temps[-1]) # poses à la minute, mesures à la seconde
|
||||
pose_cols = POSE if poses else ()
|
||||
station = os.path.basename(os.path.normpath(o.dossier))
|
||||
os.makedirs(o.sortie, exist_ok=True)
|
||||
base = os.path.join(o.sortie, f"{station}_{{}}_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
|
||||
@@ -106,9 +110,17 @@ def main():
|
||||
return e, mad
|
||||
|
||||
# 1. commun
|
||||
fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 3 * (len(colonnes) + 1)), squeeze=False)
|
||||
n_ax = len(pose_cols) + len(colonnes) + 1
|
||||
fig, axes = plt.subplots(n_ax, 1, sharex=True, figsize=(14, 3 * n_ax), squeeze=False)
|
||||
for ax, col in zip(axes[:, 0], pose_cols):
|
||||
pose_t = {p["t"].replace(second=0, microsecond=0): p[col] for p in poses if p[col] is not None}
|
||||
cam_t = sorted(set(pose_t) | {t.replace(second=0, microsecond=0) for t in temps})
|
||||
# trait coupé aux instants de mesure sans recalage : il ne relie pas deux poses par-dessus un trou
|
||||
ax.plot(cam_t, [pose_t.get(t, math.nan) for t in cam_t], ".-", ms=3, lw=0.5, color="C2", label="pose de la caméra (un point par recalage)")
|
||||
ax.set_ylabel(f"caméra : {col}" + (" [deg]" if col in ("pan", "tilt", "rotation") else ""))
|
||||
ax.legend(loc="upper left", fontsize=8)
|
||||
communes = {}
|
||||
for ax, col in zip(axes[:, 0], colonnes):
|
||||
for ax, col in zip(axes[len(pose_cols):, 0], colonnes):
|
||||
e, _ = ecarts(col)
|
||||
med, bas, haut, tt = [], [], [], []
|
||||
for t in temps:
|
||||
@@ -139,6 +151,7 @@ def main():
|
||||
for ax in axes[:, 0]:
|
||||
ax.grid(alpha=0.5, which="major")
|
||||
fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)")
|
||||
fig.tight_layout(rect=(0, 0, 1, 1 - 0.4 / fig.get_figheight())) # place du titre
|
||||
commun = base.format("commun")
|
||||
fig.savefig(commun, dpi=100, bbox_inches="tight")
|
||||
plt.close(fig)
|
||||
@@ -151,14 +164,36 @@ def main():
|
||||
for col in colonnes:
|
||||
for t, v in communes[col].items():
|
||||
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col, []).append(v)
|
||||
print(f"\nMédiane commune (écart à la médiane de la fenêtre), médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
|
||||
print(f"{'instant':17}" + "".join(f"{c:>12}" for c in colonnes))
|
||||
for col in pose_cols:
|
||||
communes["cam_" + col] = {p["t"]: p[col] for p in poses if p[col] is not None}
|
||||
for t, v in communes["cam_" + col].items():
|
||||
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault("cam_" + col, []).append(v)
|
||||
cols_t = colonnes + ["cam_" + c for c in pose_cols]
|
||||
print(f"\nMédiane commune (écart à la médiane de la fenêtre){' et pose brute de la caméra (cam_, vide sans recalage)' if pose_cols else ''}, "
|
||||
f"médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
|
||||
print(f"{'instant':17}" + "".join(f"{c:>13}" for c in cols_t))
|
||||
for t in sorted(lignes_t):
|
||||
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):12.4g}" if c in lignes_t[t] else " " * 12 for c in colonnes))
|
||||
for col in colonnes:
|
||||
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):13.{6 if c.startswith('cam_') else 4}g}" if c in lignes_t[t] else " " * 13 for c in cols_t))
|
||||
for col in cols_t:
|
||||
if communes[col]:
|
||||
lo, hi = min(communes[col].items(), key=lambda x: x[1]), max(communes[col].items(), key=lambda x: x[1])
|
||||
print(f"{col} (mesures) : min {lo[1]:.4g} à {iso(lo[0])}, max {hi[1]:.4g} à {iso(hi[0])}")
|
||||
g = 6 if col.startswith("cam_") else 4
|
||||
print(f"{col} (mesures) : min {lo[1]:.{g}g} à {iso(lo[0])}, max {hi[1]:.{g}g} à {iso(hi[0])}")
|
||||
|
||||
if not pose_cols:
|
||||
print("Pose de la caméra : aucune dans la fenêtre (pas de camera/ dans le dossier, ou pas de recalage).")
|
||||
else:
|
||||
avec = {p["t"].replace(second=0, microsecond=0) for p in poses}
|
||||
suites = [] # suites d'instants de mesure consécutifs sans pose : [début, fin, nombre]
|
||||
for i, t in enumerate(temps):
|
||||
if t.replace(second=0, microsecond=0) in avec:
|
||||
continue
|
||||
if suites and suites[-1][3] == i - 1:
|
||||
suites[-1][1], suites[-1][2], suites[-1][3] = t, suites[-1][2] + 1, i
|
||||
else:
|
||||
suites.append([t, t, 1, i])
|
||||
print(f"Instants de mesure sans pose de la caméra (pas de recalage) : {sum(x[2] for x in suites)} sur {len(temps)}"
|
||||
+ (" : " + "; ".join(iso(a) if n == 1 else f"{iso(a)} → {iso(b)} ({n})" for a, b, n, _ in suites) if suites else ""))
|
||||
|
||||
# 2. petits multiples
|
||||
col = o.colonne
|
||||
|
||||
@@ -3,13 +3,14 @@
|
||||
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] [--fichiers]
|
||||
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
|
||||
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
|
||||
en suites de pas consécutifs). Rend des valeurs, pas de verdict.
|
||||
en suites de pas consécutifs). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import statistics
|
||||
from datetime import timedelta
|
||||
|
||||
from donnees import charger, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
|
||||
from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
|
||||
|
||||
|
||||
def liste(chemins, tout):
|
||||
@@ -29,6 +30,8 @@ def fichiers(f, tout=False):
|
||||
print(f"Exports horaires : {len(f['horaire'])} (non lus par les outils : moyennes horaires, "
|
||||
"heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)")
|
||||
liste(f["horaire"], tout)
|
||||
print(f"Mouvements de la caméra (pose à chaque recalage) : {len(f['camera'])}")
|
||||
liste(f["camera"], tout)
|
||||
print(f"Autres fichiers : {len(f['autres'])}")
|
||||
liste(f["autres"], tout)
|
||||
|
||||
@@ -73,6 +76,30 @@ def mesures(par):
|
||||
f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}")
|
||||
|
||||
|
||||
def camera(dossier, par, debut=None, fin=None):
|
||||
"""Poses de la caméra, et les instants de mesure sans pose (la caméra n'a pas été recalée)."""
|
||||
poses = filtrer(charger_camera(dossier), debut, fin)
|
||||
instants = sorted({m["t"] for ms in par.values() for m in filtrer(ms, debut, fin)})
|
||||
quoi = "dans la fenêtre" if debut or fin else "sur toute la période"
|
||||
if not poses:
|
||||
print(f"\nPose de la caméra {quoi} : aucune")
|
||||
return
|
||||
avec = {p["t"].replace(second=0, microsecond=0) for p in poses}
|
||||
print(f"\nPose de la caméra {quoi} : {len(poses)} recalages, {iso(poses[0]['t'])} → {iso(poses[-1]['t'])}")
|
||||
suites = [] # [début, fin, nombre, rang] des instants de mesure consécutifs sans pose
|
||||
for i, t in enumerate(instants):
|
||||
if t.replace(second=0, microsecond=0) in avec:
|
||||
continue
|
||||
if suites and suites[-1][3] == i - 1:
|
||||
suites[-1][1], suites[-1][2], suites[-1][3] = t, suites[-1][2] + 1, i
|
||||
else:
|
||||
suites.append([t, t, 1, i])
|
||||
print(f"Instants de mesure sans pose (pas de recalage) : {sum(x[2] for x in suites)} sur {len(instants)}")
|
||||
if debut or fin:
|
||||
for a, b, n, _ in suites:
|
||||
print(f" {iso(a)}" + ("" if n == 1 else f" → {iso(b)} ({n})"))
|
||||
|
||||
|
||||
def fenetre(par, debut, fin):
|
||||
"""Pas absents et rejets datés sur la fenêtre debut/fin."""
|
||||
instants = sorted({m["t"] for ms in par.values() for m in ms})
|
||||
@@ -117,8 +144,11 @@ def main(dossier, debut=None, fin=None, tout=False):
|
||||
images(f["images"])
|
||||
par = charger(dossier)
|
||||
mesures(par)
|
||||
if par:
|
||||
camera(dossier, par)
|
||||
if par and (debut or fin):
|
||||
fenetre(par, debut, fin)
|
||||
camera(dossier, par, debut, fin)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
Reference in new issue
Block a user