Pompage : métriques système dans metrics/, images absentes de S3 sautées
pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c1ba46f2bb
commit
6b3d058a67
5 files changed
+20
-13
No files matched your search
+11
-8
@@ -6,11 +6,11 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
|
||||
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||
|
||||
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
||||
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
<STATION>/images_diff/… images différentielles (--diff)
|
||||
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
<STATION>/images_diff/… images différentielles (--diff)
|
||||
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
|
||||
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
|
||||
|
||||
@@ -82,8 +82,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
||||
heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour')
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv"
|
||||
for n in noms}
|
||||
paths = {n: out / station / "metrics"
|
||||
/ f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
|
||||
if all(p.exists() for p in paths.values()):
|
||||
continue
|
||||
t0 = time.time()
|
||||
@@ -157,7 +157,10 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
return
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a,
|
||||
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
|
||||
# la tranche prend l'image suivante s'il y en a une
|
||||
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
|
||||
Measurement.time_utc >= a,
|
||||
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
|
||||
seen, n, octets = set(), 0, 0
|
||||
for m in q.all():
|
||||
|
||||
Reference in new issue
Block a user