Pump: followed stations up to now (D-096); GIF crop with --zone; journal notes on points 57 to 67

Work from another session, committed at the user's request. extraction/README.md also drops the /aiguiser mention (D-097).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-29 17:10:08 +01:00
1 parent 8fdabf4cc1
commit 52de2becbf
5 files changed
+62 -23

No files matched your search

+37 -17
View File
@@ -3,16 +3,21 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images)
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
Sans station : celles de `stations.txt`. Sans `--du` : chaque station repart de son dernier jour de déplacements pompé,
repompé (il était peut-être incomplet), ou des 30 derniers jours si elle n'en a pas ; sans `--au` : jusqu'à maintenant.
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
Reprenable : avec `--du`, un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées ; sans `--du`,
les jours de la plage sont remplacés (images exceptées). Jours en UTC, `--au` exclu ; le jour en cours est pompé tel
qu'il est, ses métriques jusqu'à la dernière heure terminée. Pour reprendre un jour, supprimer son fichier.
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de
@@ -41,6 +46,8 @@ from app.aimsight_database import (DataType, DatabaseEngine, Measurement, Measur
from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame
UTC = timezone.utc
STATIONS = Path(__file__).resolve().parent / "stations.txt" # les stations suivies, une par ligne
JOURS_NOUVELLE = 30 # sans --du, une station sans déplacements pompés : les 30 derniers jours
DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"]
TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} # dossier -> type de mesure
@@ -71,7 +78,13 @@ def acquisition_unit(system):
return pick[0] if pick else None
def pomper_metriques(session, system, station, debut, fin, out):
def dernier_jour(dossier):
"""Jour du dernier fichier de déplacements pompé dans le dossier de la station, ou None."""
jours = [p.stem.rsplit("_", 1)[1] for p in (dossier / "displacement").glob("*_advanced_*.csv")]
return datetime.strptime(max(jours), "%Y%m%d").date() if jours else None
def pomper_metriques(session, system, station, debut, fin, out, remplacer):
"""Comme le téléchargement de la page System (Dashboard/System.py, get_metrics(..., bucketing="1 hour")) : par
heure, moyenne * transform_factor + transform_offset, ou la liste des valeurs d'une métrique texte ; les séries à
labels d'une même métrique confondues ; une ligne vide pour une heure sans mesure. get_metrics compte en heures
@@ -84,7 +97,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
paths = {n: out / station / "metrics"
/ f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
if all(p.exists() for p in paths.values()):
if not remplacer and all(p.exists() for p in paths.values()):
continue
t0 = time.time()
q = (session.query(heure, DataType.name.label("nom"),
@@ -105,6 +118,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
continue
df["heure"] = pd.to_datetime(df["heure"], utc=True)
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
# jour en cours : les heures terminées seulement, sinon les heures à venir seraient lues comme un trou
heures = heures[heures + pd.Timedelta(hours=1) <= pd.Timestamp.now(tz=UTC)]
for n, path in paths.items():
d = df[df["nom"] == n].set_index("heure")
col = d["num"] if d["num"].notna().any() else d["txt"] # métrique texte : la liste de l'heure
@@ -127,13 +142,13 @@ def camera(unit, db, a, b):
JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture
def pomper_deplacements(unit, db, station, debut, fin, out):
def pomper_deplacements(unit, db, station, debut, fin, out, remplacer):
"""Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai)."""
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
for dossier, nom, lire in JOURS:
path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv"
if path.exists():
if path.exists() and not remplacer:
continue
t0 = time.time()
try:
@@ -191,9 +206,11 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
def main():
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("stations", nargs="+", help="numéro de série du système, comme dans l'URL de la page System")
p.add_argument("--du", required=True, help="premier jour UTC, AAAA-MM-JJ")
p.add_argument("--au", required=True, help="dernier jour UTC exclu, AAAA-MM-JJ")
p.add_argument("stations", nargs="*", help="numéro de série du système, comme dans l'URL de la page System ; "
"aucun : ceux de stations.txt")
p.add_argument("--du", help="premier jour UTC, AAAA-MM-JJ ; sans : le dernier jour pompé de chaque station, "
"repompé, ou les 30 derniers jours")
p.add_argument("--au", help="dernier jour UTC exclu, AAAA-MM-JJ ; sans : jusqu'à maintenant")
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
@@ -201,11 +218,10 @@ def main():
"avec la production) ; plus long seulement pour un jour en échec par délai dépassé")
p.add_argument("--out", type=Path, default=Path(__file__).resolve().parent.parent / "data")
a = p.parse_args()
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
aujourdhui = datetime.now(UTC).date()
if fin > aujourdhui: # ponytail : un jour passé, encore en synchronisation, reste figé ; supprimer son fichier
print(f"--au ramené à {aujourdhui} : le jour en cours n'est pas fini")
fin = aujourdhui
demain = datetime.now(UTC).date() + timedelta(days=1)
du = datetime.strptime(a.du, "%Y-%m-%d").date() if a.du else None
fin = min(datetime.strptime(a.au, "%Y-%m-%d").date(), demain) if a.au else demain # pas de jour à venir
stations = a.stations or STATIONS.read_text().split()
missing = [n for n in DB_NAMES if not os.environ.get(n)]
if missing:
@@ -222,17 +238,21 @@ def main():
try:
with Session(engine) as session:
db = ReadOnlyDB(engine, session, s3)
for station in a.stations:
for station in stations:
system = session.query(System).filter_by(serial_number=station).one_or_none()
if system is None:
print(f"{station} : système inconnu")
continue
pomper_metriques(session, system, station, debut, fin, a.out)
# sans --du : du dernier jour pompé, remplacé (pompé en cours de journée, il est incomplet), jusqu'à
# maintenant ; les jours plus anciens manquants restent à la commande avec --du
debut = du or dernier_jour(a.out / station) or demain - timedelta(days=JOURS_NOUVELLE + 1)
print(f"{station} : du {debut} au {fin - timedelta(days=1)} inclus")
pomper_metriques(session, system, station, debut, fin, a.out, du is None)
unit = acquisition_unit(system)
if unit is None:
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
continue
pomper_deplacements(unit, db, station, debut, fin, a.out)
pomper_deplacements(unit, db, station, debut, fin, a.out, du is None)
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
if flag:
pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out)