Pump: say why a day yields no image (none in base, never reached S3, not returned by S3); LENZSPITZE has no DIFF images

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-28 14:23:54 +01:00
1 parent 55ada2c57b
commit 4bdbab2976
2 files changed
+15 -8

No files matched your search

+14 -7
View File
@@ -157,13 +157,16 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
return
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
# la tranche prend l'image suivante s'il y en a une
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
Measurement.time_utc >= a,
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a,
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
seen, n, octets = set(), 0, 0
for m in q.all():
mesures = q.all()
seen, n, octets, sans_uuid, absentes = set(), 0, 0, 0, 0
for m in mesures:
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ;
# écartée, la tranche prend l'image suivante s'il y en a une
if m.measurement_uuid is None:
sans_uuid += 1
continue
t = m.time_utc.astimezone(UTC)
bucket = (t.hour * 60 + t.minute) // every if every else m.id # une image par tranche de `every` min
path = out / station / dossier / f"{t:%Y%m%dT%H%M}Z_{m.id}.{mt.extension}"
@@ -177,8 +180,12 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
path.parent.mkdir(parents=True, exist_ok=True)
path.write_bytes(data)
n, octets = n + 1, octets + len(data)
else:
absentes += 1
session.rollback()
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo")
# le détail dit pourquoi un jour rend 0 : rien en base, jamais arrivées sur S3, ou S3 qui ne les rend pas
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo "
f"({len(mesures)} en base, {sans_uuid} jamais arrivées sur S3, {absentes} non rendues par S3)")
time.sleep(0.5)