Pump: say why a day yields no image (none in base, never reached S3, not returned by S3); LENZSPITZE has no DIFF images
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
55ada2c57b
commit
4bdbab2976
2 files changed
+15
-8
No files matched your search
@@ -13,7 +13,7 @@ La plateforme garde deux types d'images par mesure (type de mesure), que le pomp
|
||||
|
||||
## Ce qu'on en sait
|
||||
|
||||
- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour) ; les autres stations : inconnu.
|
||||
- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour). LENZSPITZE n'en a aucune en base les 26 et 27/10 (pompage du 2026-10-28), seulement des IRON, une par heure : mode d'acquisition sans DIFF, sans doute (non vérifié). Les autres stations : inconnu.
|
||||
- Le 29/07 à NORDEND (C-002, toile d'araignée selon l'expert), l'image DIFF montre de longues traînées claires sur tout le champ et les cibles en points, là où l'image IRON ne montre que de faibles bandes sombres. Ce qui est tout près de l'objectif y ressort peut-être mieux : à confirmer (point 28 du plan du journal du matin).
|
||||
- Les outils de lecture (`agents/diagnostic/outils/donnees.py`), donc `/aiguiser` et `/boucle`, ne regardent que les images IRON et écartent `images_diff/`.
|
||||
- Piste, non vérifiée : si `x`, `y` sont mesurés sur l'image DIFF, un centroïde pris sur l'image IRON peut s'en écarter (écart constant par capteur vu sur NORDEND, `colonnes-des-deplacements.md`).
|
||||
+14
-7
@@ -157,13 +157,16 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
return
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
|
||||
# la tranche prend l'image suivante s'il y en a une
|
||||
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
|
||||
Measurement.time_utc >= a,
|
||||
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a,
|
||||
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
|
||||
seen, n, octets = set(), 0, 0
|
||||
for m in q.all():
|
||||
mesures = q.all()
|
||||
seen, n, octets, sans_uuid, absentes = set(), 0, 0, 0, 0
|
||||
for m in mesures:
|
||||
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ;
|
||||
# écartée, la tranche prend l'image suivante s'il y en a une
|
||||
if m.measurement_uuid is None:
|
||||
sans_uuid += 1
|
||||
continue
|
||||
t = m.time_utc.astimezone(UTC)
|
||||
bucket = (t.hour * 60 + t.minute) // every if every else m.id # une image par tranche de `every` min
|
||||
path = out / station / dossier / f"{t:%Y%m%dT%H%M}Z_{m.id}.{mt.extension}"
|
||||
@@ -177,8 +180,12 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
path.write_bytes(data)
|
||||
n, octets = n + 1, octets + len(data)
|
||||
else:
|
||||
absentes += 1
|
||||
session.rollback()
|
||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo")
|
||||
# le détail dit pourquoi un jour rend 0 : rien en base, jamais arrivées sur S3, ou S3 qui ne les rend pas
|
||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo "
|
||||
f"({len(mesures)} en base, {sans_uuid} jamais arrivées sur S3, {absentes} non rendues par S3)")
|
||||
time.sleep(0.5)
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user