Pump the camera movements and add run.md with the generic pump command (point 43)

Camera pan, tilt, scale, rotation and sigma0, one row per camera measurement,
read like the platform viewer (cam_movements aggregate), one CSV per day in
camera/. Tried on NORDEND 30/07: 70 poses out of 95 instants, sigma0 on the
same 7 as the advanced export. run.md holds the command to copy into the
app's dev container.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 11:27:06 +01:00
1 parent 2d2d50a8b3
commit 3ec6261b5a
6 files changed
+59 -23

No files matched your search

+1
View File
@@ -3,6 +3,7 @@
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
+39 -21
View File
@@ -8,13 +8,15 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de
fetch_cam_movements_frame (ce que trace le visualiseur), AcquisitionUnit.measurements et
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
@@ -36,7 +38,7 @@ from sqlalchemy.orm import Session
from app.aggregates import AggregateEngine
from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries,
S3client, System)
from app.datapoints import build_advanced_frame
from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame
UTC = timezone.utc
DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"]
@@ -44,8 +46,10 @@ TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} #
class ReadOnlyDB:
"""Le strict nécessaire à build_advanced_frame et à get_measurement_payload (les fonctions de DatabaseEngine)."""
"""Le strict nécessaire à build_advanced_frame, à camera et à get_measurement_payload (les fonctions de
DatabaseEngine)."""
get_sensor_state_aggregate = DatabaseEngine.get_sensor_state_aggregate
get_shifts_aggregate = DatabaseEngine.get_shifts_aggregate
get_common_state_aggregate = DatabaseEngine.get_common_state_aggregate
get_measurement_payload = DatabaseEngine.get_measurement_payload
@@ -111,25 +115,39 @@ def pomper_metriques(session, system, station, debut, fin, out):
f"{time.time() - t0:.0f} s")
def camera(unit, db, a, b):
"""Pan, tilt, scale, rotation et sigma0 de la caméra, en médiane et bornes (median_ / min_ / max_) par minute, donc
une ligne par mesure de la caméra (toutes les 15 min à NORDEND, min = max) :
ce que trace le visualiseur (fetch_cam_movements_frame, app/datapoints.py), sans son except, qui rendrait vide un
jour en échec au lieu de le laisser à relancer."""
df = db.get_shifts_aggregate(unit, f"cam_movements_{AGGREGATE_FALLBACK_RESOLUTION}", a, b)
return df.reset_index().drop(columns="sensor_id", errors="ignore") # sensor_id : l'id interne de l'unité
JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture
def pomper_deplacements(unit, db, station, debut, fin, out):
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai)
"""Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai)."""
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
if path.exists():
continue
t0 = time.time()
try:
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer")
continue
finally:
db._session.rollback() # ferme la transaction de lecture
if len(df):
df = df.drop_duplicates(["sensor_name", "time_utc"])
path.parent.mkdir(parents=True, exist_ok=True)
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
for dossier, nom, lire in JOURS:
path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv"
if path.exists():
continue
t0 = time.time()
try:
df = lire(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
print(f"{station} {a:%Y-%m-%d} {nom} : échec ({raison(e)}), à relancer")
continue
finally:
db._session.rollback() # ferme la transaction de lecture
if "sensor_name" in df:
df = df.drop_duplicates(["sensor_name", "time_utc"])
path.parent.mkdir(parents=True, exist_ok=True)
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
print(f"{station} {a:%Y-%m-%d} {nom}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
@@ -202,7 +220,7 @@ def main():
pomper_metriques(session, system, station, debut, fin, a.out)
unit = acquisition_unit(system)
if unit is None:
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images")
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
continue
pomper_deplacements(unit, db, station, debut, fin, a.out)
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):