Pump: say why a day yields no image (none in base, never reached S3, not returned by S3); LENZSPITZE has no DIFF images
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
55ada2c57b
commit
4bdbab2976
2 files changed
+15
-8
No files matched your search
+14
-7
@@ -157,13 +157,16 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
return
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
|
||||
# la tranche prend l'image suivante s'il y en a une
|
||||
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
|
||||
Measurement.time_utc >= a,
|
||||
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a,
|
||||
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
|
||||
seen, n, octets = set(), 0, 0
|
||||
for m in q.all():
|
||||
mesures = q.all()
|
||||
seen, n, octets, sans_uuid, absentes = set(), 0, 0, 0, 0
|
||||
for m in mesures:
|
||||
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ;
|
||||
# écartée, la tranche prend l'image suivante s'il y en a une
|
||||
if m.measurement_uuid is None:
|
||||
sans_uuid += 1
|
||||
continue
|
||||
t = m.time_utc.astimezone(UTC)
|
||||
bucket = (t.hour * 60 + t.minute) // every if every else m.id # une image par tranche de `every` min
|
||||
path = out / station / dossier / f"{t:%Y%m%dT%H%M}Z_{m.id}.{mt.extension}"
|
||||
@@ -177,8 +180,12 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
path.write_bytes(data)
|
||||
n, octets = n + 1, octets + len(data)
|
||||
else:
|
||||
absentes += 1
|
||||
session.rollback()
|
||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo")
|
||||
# le détail dit pourquoi un jour rend 0 : rien en base, jamais arrivées sur S3, ou S3 qui ne les rend pas
|
||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo "
|
||||
f"({len(mesures)} en base, {sans_uuid} jamais arrivées sur S3, {absentes} non rendues par S3)")
|
||||
time.sleep(0.5)
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user