Pump the camera movements and add run.md with the generic pump command (point 43)
Camera pan, tilt, scale, rotation and sigma0, one row per camera measurement, read like the platform viewer (cam_movements aggregate), one CSV per day in camera/. Tried on NORDEND 30/07: 70 poses out of 95 instants, sigma0 on the same 7 as the advanced export. run.md holds the command to copy into the app's dev container. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
2d2d50a8b3
commit
3ec6261b5a
6 files changed
+59
-23
No files matched your search
@@ -3,6 +3,7 @@
|
||||
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
||||
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
|
||||
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
||||
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
|
||||
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
||||
|
||||
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
||||
|
||||
+39
-21
@@ -8,13 +8,15 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
|
||||
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
||||
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
<STATION>/images_diff/… images différentielles (--diff)
|
||||
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
|
||||
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
|
||||
|
||||
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
|
||||
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
|
||||
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de
|
||||
fetch_cam_movements_frame (ce que trace le visualiseur), AcquisitionUnit.measurements et
|
||||
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
|
||||
seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
|
||||
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
|
||||
@@ -36,7 +38,7 @@ from sqlalchemy.orm import Session
|
||||
from app.aggregates import AggregateEngine
|
||||
from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries,
|
||||
S3client, System)
|
||||
from app.datapoints import build_advanced_frame
|
||||
from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame
|
||||
|
||||
UTC = timezone.utc
|
||||
DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"]
|
||||
@@ -44,8 +46,10 @@ TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} #
|
||||
|
||||
|
||||
class ReadOnlyDB:
|
||||
"""Le strict nécessaire à build_advanced_frame et à get_measurement_payload (les fonctions de DatabaseEngine)."""
|
||||
"""Le strict nécessaire à build_advanced_frame, à camera et à get_measurement_payload (les fonctions de
|
||||
DatabaseEngine)."""
|
||||
get_sensor_state_aggregate = DatabaseEngine.get_sensor_state_aggregate
|
||||
get_shifts_aggregate = DatabaseEngine.get_shifts_aggregate
|
||||
get_common_state_aggregate = DatabaseEngine.get_common_state_aggregate
|
||||
get_measurement_payload = DatabaseEngine.get_measurement_payload
|
||||
|
||||
@@ -111,25 +115,39 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
||||
f"{time.time() - t0:.0f} s")
|
||||
|
||||
|
||||
def camera(unit, db, a, b):
|
||||
"""Pan, tilt, scale, rotation et sigma0 de la caméra, en médiane et bornes (median_ / min_ / max_) par minute, donc
|
||||
une ligne par mesure de la caméra (toutes les 15 min à NORDEND, min = max) :
|
||||
ce que trace le visualiseur (fetch_cam_movements_frame, app/datapoints.py), sans son except, qui rendrait vide un
|
||||
jour en échec au lieu de le laisser à relancer."""
|
||||
df = db.get_shifts_aggregate(unit, f"cam_movements_{AGGREGATE_FALLBACK_RESOLUTION}", a, b)
|
||||
return df.reset_index().drop(columns="sensor_id", errors="ignore") # sensor_id : l'id interne de l'unité
|
||||
|
||||
|
||||
JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture
|
||||
|
||||
|
||||
def pomper_deplacements(unit, db, station, debut, fin, out):
|
||||
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai)
|
||||
"""Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai)."""
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
|
||||
if path.exists():
|
||||
continue
|
||||
t0 = time.time()
|
||||
try:
|
||||
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
|
||||
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
|
||||
print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer")
|
||||
continue
|
||||
finally:
|
||||
db._session.rollback() # ferme la transaction de lecture
|
||||
if len(df):
|
||||
df = df.drop_duplicates(["sensor_name", "time_utc"])
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
|
||||
print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
|
||||
for dossier, nom, lire in JOURS:
|
||||
path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv"
|
||||
if path.exists():
|
||||
continue
|
||||
t0 = time.time()
|
||||
try:
|
||||
df = lire(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
|
||||
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
|
||||
print(f"{station} {a:%Y-%m-%d} {nom} : échec ({raison(e)}), à relancer")
|
||||
continue
|
||||
finally:
|
||||
db._session.rollback() # ferme la transaction de lecture
|
||||
if "sensor_name" in df:
|
||||
df = df.drop_duplicates(["sensor_name", "time_utc"])
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
|
||||
print(f"{station} {a:%Y-%m-%d} {nom}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
|
||||
|
||||
|
||||
def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
@@ -202,7 +220,7 @@ def main():
|
||||
pomper_metriques(session, system, station, debut, fin, a.out)
|
||||
unit = acquisition_unit(system)
|
||||
if unit is None:
|
||||
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images")
|
||||
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
|
||||
continue
|
||||
pomper_deplacements(unit, db, station, debut, fin, a.out)
|
||||
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
|
||||
|
||||
Reference in new issue
Block a user