Pump: followed stations up to now (D-096); GIF crop with --zone; journal notes on points 57 to 67
Work from another session, committed at the user's request. extraction/README.md also drops the /aiguiser mention (D-097). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8fdabf4cc1
commit
52de2becbf
5 files changed
+62
-23
No files matched your search
+37
-17
@@ -3,16 +3,21 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
|
||||
|
||||
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
|
||||
|
||||
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images)
|
||||
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||
|
||||
Sans station : celles de `stations.txt`. Sans `--du` : chaque station repart de son dernier jour de déplacements pompé,
|
||||
repompé (il était peut-être incomplet), ou des 30 derniers jours si elle n'en a pas ; sans `--au` : jusqu'à maintenant.
|
||||
|
||||
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
||||
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
<STATION>/images_diff/… images différentielles (--diff)
|
||||
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
|
||||
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
|
||||
Reprenable : avec `--du`, un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées ; sans `--du`,
|
||||
les jours de la plage sont remplacés (images exceptées). Jours en UTC, `--au` exclu ; le jour en cours est pompé tel
|
||||
qu'il est, ses métriques jusqu'à la dernière heure terminée. Pour reprendre un jour, supprimer son fichier.
|
||||
|
||||
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
|
||||
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de
|
||||
@@ -41,6 +46,8 @@ from app.aimsight_database import (DataType, DatabaseEngine, Measurement, Measur
|
||||
from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame
|
||||
|
||||
UTC = timezone.utc
|
||||
STATIONS = Path(__file__).resolve().parent / "stations.txt" # les stations suivies, une par ligne
|
||||
JOURS_NOUVELLE = 30 # sans --du, une station sans déplacements pompés : les 30 derniers jours
|
||||
DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"]
|
||||
TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} # dossier -> type de mesure
|
||||
|
||||
@@ -71,7 +78,13 @@ def acquisition_unit(system):
|
||||
return pick[0] if pick else None
|
||||
|
||||
|
||||
def pomper_metriques(session, system, station, debut, fin, out):
|
||||
def dernier_jour(dossier):
|
||||
"""Jour du dernier fichier de déplacements pompé dans le dossier de la station, ou None."""
|
||||
jours = [p.stem.rsplit("_", 1)[1] for p in (dossier / "displacement").glob("*_advanced_*.csv")]
|
||||
return datetime.strptime(max(jours), "%Y%m%d").date() if jours else None
|
||||
|
||||
|
||||
def pomper_metriques(session, system, station, debut, fin, out, remplacer):
|
||||
"""Comme le téléchargement de la page System (Dashboard/System.py, get_metrics(..., bucketing="1 hour")) : par
|
||||
heure, moyenne * transform_factor + transform_offset, ou la liste des valeurs d'une métrique texte ; les séries à
|
||||
labels d'une même métrique confondues ; une ligne vide pour une heure sans mesure. get_metrics compte en heures
|
||||
@@ -84,7 +97,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
paths = {n: out / station / "metrics"
|
||||
/ f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
|
||||
if all(p.exists() for p in paths.values()):
|
||||
if not remplacer and all(p.exists() for p in paths.values()):
|
||||
continue
|
||||
t0 = time.time()
|
||||
q = (session.query(heure, DataType.name.label("nom"),
|
||||
@@ -105,6 +118,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
||||
continue
|
||||
df["heure"] = pd.to_datetime(df["heure"], utc=True)
|
||||
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
|
||||
# jour en cours : les heures terminées seulement, sinon les heures à venir seraient lues comme un trou
|
||||
heures = heures[heures + pd.Timedelta(hours=1) <= pd.Timestamp.now(tz=UTC)]
|
||||
for n, path in paths.items():
|
||||
d = df[df["nom"] == n].set_index("heure")
|
||||
col = d["num"] if d["num"].notna().any() else d["txt"] # métrique texte : la liste de l'heure
|
||||
@@ -127,13 +142,13 @@ def camera(unit, db, a, b):
|
||||
JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture
|
||||
|
||||
|
||||
def pomper_deplacements(unit, db, station, debut, fin, out):
|
||||
def pomper_deplacements(unit, db, station, debut, fin, out, remplacer):
|
||||
"""Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai)."""
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
for dossier, nom, lire in JOURS:
|
||||
path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv"
|
||||
if path.exists():
|
||||
if path.exists() and not remplacer:
|
||||
continue
|
||||
t0 = time.time()
|
||||
try:
|
||||
@@ -191,9 +206,11 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
|
||||
def main():
|
||||
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
||||
p.add_argument("stations", nargs="+", help="numéro de série du système, comme dans l'URL de la page System")
|
||||
p.add_argument("--du", required=True, help="premier jour UTC, AAAA-MM-JJ")
|
||||
p.add_argument("--au", required=True, help="dernier jour UTC exclu, AAAA-MM-JJ")
|
||||
p.add_argument("stations", nargs="*", help="numéro de série du système, comme dans l'URL de la page System ; "
|
||||
"aucun : ceux de stations.txt")
|
||||
p.add_argument("--du", help="premier jour UTC, AAAA-MM-JJ ; sans : le dernier jour pompé de chaque station, "
|
||||
"repompé, ou les 30 derniers jours")
|
||||
p.add_argument("--au", help="dernier jour UTC exclu, AAAA-MM-JJ ; sans : jusqu'à maintenant")
|
||||
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
|
||||
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
|
||||
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
|
||||
@@ -201,11 +218,10 @@ def main():
|
||||
"avec la production) ; plus long seulement pour un jour en échec par délai dépassé")
|
||||
p.add_argument("--out", type=Path, default=Path(__file__).resolve().parent.parent / "data")
|
||||
a = p.parse_args()
|
||||
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
|
||||
aujourdhui = datetime.now(UTC).date()
|
||||
if fin > aujourdhui: # ponytail : un jour passé, encore en synchronisation, reste figé ; supprimer son fichier
|
||||
print(f"--au ramené à {aujourdhui} : le jour en cours n'est pas fini")
|
||||
fin = aujourdhui
|
||||
demain = datetime.now(UTC).date() + timedelta(days=1)
|
||||
du = datetime.strptime(a.du, "%Y-%m-%d").date() if a.du else None
|
||||
fin = min(datetime.strptime(a.au, "%Y-%m-%d").date(), demain) if a.au else demain # pas de jour à venir
|
||||
stations = a.stations or STATIONS.read_text().split()
|
||||
|
||||
missing = [n for n in DB_NAMES if not os.environ.get(n)]
|
||||
if missing:
|
||||
@@ -222,17 +238,21 @@ def main():
|
||||
try:
|
||||
with Session(engine) as session:
|
||||
db = ReadOnlyDB(engine, session, s3)
|
||||
for station in a.stations:
|
||||
for station in stations:
|
||||
system = session.query(System).filter_by(serial_number=station).one_or_none()
|
||||
if system is None:
|
||||
print(f"{station} : système inconnu")
|
||||
continue
|
||||
pomper_metriques(session, system, station, debut, fin, a.out)
|
||||
# sans --du : du dernier jour pompé, remplacé (pompé en cours de journée, il est incomplet), jusqu'à
|
||||
# maintenant ; les jours plus anciens manquants restent à la commande avec --du
|
||||
debut = du or dernier_jour(a.out / station) or demain - timedelta(days=JOURS_NOUVELLE + 1)
|
||||
print(f"{station} : du {debut} au {fin - timedelta(days=1)} inclus")
|
||||
pomper_metriques(session, system, station, debut, fin, a.out, du is None)
|
||||
unit = acquisition_unit(system)
|
||||
if unit is None:
|
||||
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
|
||||
continue
|
||||
pomper_deplacements(unit, db, station, debut, fin, a.out)
|
||||
pomper_deplacements(unit, db, station, debut, fin, a.out, du is None)
|
||||
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
|
||||
if flag:
|
||||
pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out)
|
||||
|
||||
Reference in new issue
Block a user