Pompage : métriques système dans metrics/, images absentes de S3 sautées

pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit
aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont
écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 16:47:47 +01:00
1 parent c1ba46f2bb
commit 6b3d058a67
5 files changed
+20 -13

No files matched your search

+2 -1
View File
@@ -1,7 +1,7 @@
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
@@ -28,6 +28,7 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
- Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (`measurement_uuid` vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h.
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
+11 -8
View File
@@ -6,11 +6,11 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
@@ -82,8 +82,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour')
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv"
for n in noms}
paths = {n: out / station / "metrics"
/ f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
if all(p.exists() for p in paths.values()):
continue
t0 = time.time()
@@ -157,7 +157,10 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
return
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a,
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
# la tranche prend l'image suivante s'il y en a une
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
Measurement.time_utc >= a,
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
seen, n, octets = set(), 0, 0
for m in q.all():