From 4bdbab2976042620c7b1258a7bd531fc86736a0f Mon Sep 17 00:00:00 2001 From: maxime Date: Wed, 28 Oct 2026 14:23:54 +0100 Subject: [PATCH] Pump: say why a day yields no image (none in base, never reached S3, not returned by S3); LENZSPITZE has no DIFF images Co-Authored-By: Claude Opus 5.5 --- docs/domaine/images-de-la-camera.md | 2 +- extraction/pomper.py | 21 ++++++++++++++------- 2 files changed, 15 insertions(+), 8 deletions(-) diff --git a/docs/domaine/images-de-la-camera.md b/docs/domaine/images-de-la-camera.md index b9a6114..6f5fde6 100644 --- a/docs/domaine/images-de-la-camera.md +++ b/docs/domaine/images-de-la-camera.md @@ -13,7 +13,7 @@ La plateforme garde deux types d'images par mesure (type de mesure), que le pomp ## Ce qu'on en sait -- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour) ; les autres stations : inconnu. +- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour). LENZSPITZE n'en a aucune en base les 26 et 27/10 (pompage du 2026-10-28), seulement des IRON, une par heure : mode d'acquisition sans DIFF, sans doute (non vérifié). Les autres stations : inconnu. - Le 29/07 à NORDEND (C-002, toile d'araignée selon l'expert), l'image DIFF montre de longues traînées claires sur tout le champ et les cibles en points, là où l'image IRON ne montre que de faibles bandes sombres. Ce qui est tout près de l'objectif y ressort peut-être mieux : à confirmer (point 28 du plan du journal du matin). - Les outils de lecture (`agents/diagnostic/outils/donnees.py`), donc `/aiguiser` et `/boucle`, ne regardent que les images IRON et écartent `images_diff/`. - Piste, non vérifiée : si `x`, `y` sont mesurés sur l'image DIFF, un centroïde pris sur l'image IRON peut s'en écarter (écart constant par capteur vu sur NORDEND, `colonnes-des-deplacements.md`). diff --git a/extraction/pomper.py b/extraction/pomper.py index 6855531..644fc45 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -157,13 +157,16 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): return for k in range((fin - debut).days): a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) - # measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée, - # la tranche prend l'image suivante s'il y en a une - q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None), - Measurement.time_utc >= a, + q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a, Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc) - seen, n, octets = set(), 0, 0 - for m in q.all(): + mesures = q.all() + seen, n, octets, sans_uuid, absentes = set(), 0, 0, 0, 0 + for m in mesures: + # measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; + # écartée, la tranche prend l'image suivante s'il y en a une + if m.measurement_uuid is None: + sans_uuid += 1 + continue t = m.time_utc.astimezone(UTC) bucket = (t.hour * 60 + t.minute) // every if every else m.id # une image par tranche de `every` min path = out / station / dossier / f"{t:%Y%m%dT%H%M}Z_{m.id}.{mt.extension}" @@ -177,8 +180,12 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): path.parent.mkdir(parents=True, exist_ok=True) path.write_bytes(data) n, octets = n + 1, octets + len(data) + else: + absentes += 1 session.rollback() - print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo") + # le détail dit pourquoi un jour rend 0 : rien en base, jamais arrivées sur S3, ou S3 qui ne les rend pas + print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo " + f"({len(mesures)} en base, {sans_uuid} jamais arrivées sur S3, {absentes} non rendues par S3)") time.sleep(0.5)