Pump system metrics and resume day by day (point 43)
pomper.py now also pumps every system metric of a station, in the format of the System page download (hourly mean, text lists, empty hour), one CSV per metric and per day; displacements are written one file per day, today is never pumped, and a rerun only fetches missing days. Fix image resume: an image already on disk now counts for its time slot. load_stations merges several files of the same metric instead of failing on a duplicate. Not run against the database: first run by the user, with point 27. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6ed1264ec8
commit
a81cc4c380
7 files changed
+152
-68
No files matched your search
+26
-5
@@ -1,7 +1,28 @@
|
||||
# extraction/ : pomper les données de la plateforme (brouillon, jamais lancé)
|
||||
|
||||
1. Copier ce dossier à la racine du dépôt de l'appli visible dans le dev container (`cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`) : fichier non suivi, ne pas le committer ; le supprimer après.
|
||||
2. Dans le container, depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-03 --images WEISSHORN)`.
|
||||
3. Lecture seule (moteur dédié, `default_transaction_read_only`, délai de 60 s), un jour par requête ; noter le temps par jour avant d'élargir. Plus de détails : `python3 extraction/pomper.py -h`.
|
||||
4. Copier `extraction/sortie/<STATION>/` vers `~/Support-Agent/data/<STATION>/` ; relancer la même commande reprend là où elle s'est arrêtée.
|
||||
5. Le contexte, les blocages et la boucle : `vues-deplacements/contexte/donnees-et-boucle.md`.
|
||||
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
||||
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
|
||||
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
||||
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
||||
|
||||
Reprise : un fichier déjà dans `extraction/sortie/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
||||
|
||||
## Lancer (l'utilisateur, dans le dev container de l'appli)
|
||||
|
||||
1. Copier ce dossier à la racine du dépôt de l'appli visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`. Il n'y est pas suivi : ne pas le committer. **Garder `extraction/sortie/`** entre deux lancements : c'est elle que la relance complète.
|
||||
2. Depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff <SERIE>)`. Noter le temps par jour.
|
||||
3. Puis la plage voulue, par exemple les 3 semaines avant le 26/10 : `--du 2026-10-05 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 extraction/pomper.py -h`.
|
||||
4. Depuis WSL, copier dans Support-Agent : `cp -r ~/monitoring-dashboard/extraction/sortie/<SERIE> ~/Support-Agent/data/`.
|
||||
|
||||
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
||||
|
||||
## Avec Claude
|
||||
|
||||
Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/`, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, `vues-deplacements/journal/categories.py`, les scripts des domaines).
|
||||
|
||||
## À savoir
|
||||
|
||||
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
|
||||
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `extraction/sortie/` et relancer.
|
||||
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
|
||||
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
||||
+95
-41
@@ -1,22 +1,24 @@
|
||||
"""Pompe les déplacements (export « advanced ») et les images de stations de la plateforme AIMsight, dans le
|
||||
format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé.
|
||||
"""Pompe les métriques système, les déplacements (export « advanced ») et les images de stations de la plateforme
|
||||
AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé.
|
||||
|
||||
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
|
||||
|
||||
(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||
|
||||
Sortie (défaut `extraction/sortie/`), à copier ensuite dans Support-Agent/data/ :
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>_<AAAAMMJJ>.csv un fichier par lot de --lot jours
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
<STATION>/images_diff/… images différentielles (--diff)
|
||||
Reprenable : un fichier déjà écrit n'est pas relu. Jours en UTC, `--au` exclu.
|
||||
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
<STATION>/images_diff/… images différentielles (--diff)
|
||||
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
|
||||
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
|
||||
|
||||
Réutilise le code de l'appli : build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet),
|
||||
AcquisitionUnit.measurements et get_measurement_payload (S3). Connexion : même schéma que
|
||||
scripts/domain_diagnostics.py, un moteur dédié en lecture seule, délai de 60 s. Pas DatabaseEngine : son __init__
|
||||
lance du DDL et un écouteur NOTIFY. Variables lues (noms seulement, aucune n'est affichée) :
|
||||
AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images AIMSIGHT_S3_URL / _ACCESS_KEY /
|
||||
_SECRET_KEY / _BUCKET.
|
||||
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
|
||||
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
|
||||
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
|
||||
seule, délai de 60 s. Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
|
||||
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
|
||||
AIMSIGHT_S3_URL / _ACCESS_KEY / _SECRET_KEY / _BUCKET.
|
||||
"""
|
||||
import argparse
|
||||
import os
|
||||
@@ -27,12 +29,13 @@ from pathlib import Path
|
||||
|
||||
sys.path.insert(0, os.getcwd()) # racine de l'appli : le paquet `app`
|
||||
import pandas as pd
|
||||
from sqlalchemy import create_engine
|
||||
from sqlalchemy import create_engine, func, funcfilter
|
||||
from sqlalchemy.engine import URL
|
||||
from sqlalchemy.orm import Session
|
||||
|
||||
from app.aggregates import AggregateEngine
|
||||
from app.aimsight_database import DatabaseEngine, Measurement, MeasurementType, S3client, System
|
||||
from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries,
|
||||
S3client, System)
|
||||
from app.datapoints import build_advanced_frame
|
||||
|
||||
UTC = timezone.utc
|
||||
@@ -50,38 +53,76 @@ class ReadOnlyDB:
|
||||
self._session, self.s3client, self.aggregates = session, s3, AggregateEngine(engine)
|
||||
|
||||
|
||||
def acquisition_unit(session, station):
|
||||
def acquisition_unit(system):
|
||||
"""Même choix que Device.get_acquisition_unit (app/base/models.py:268) : l'unique unité, sinon MER* / ME2S*."""
|
||||
system = session.query(System).filter_by(serial_number=station).one_or_none()
|
||||
if system is None:
|
||||
sys.exit(f"{station} : système inconnu")
|
||||
units = list(system.acquisition_units.values())
|
||||
pick = units if len(units) == 1 else [u for u in units if u.product_number.startswith(("MER", "ME2S"))]
|
||||
if not pick:
|
||||
sys.exit(f"{station} : pas d'unité d'acquisition reconnue")
|
||||
return pick[0]
|
||||
return pick[0] if pick else None
|
||||
|
||||
|
||||
def pomper_deplacements(unit, db, station, debut, fin, lot, out):
|
||||
for lo in range(0, (fin - debut).days, lot):
|
||||
d0, d1 = debut + timedelta(days=lo), min(debut + timedelta(days=lo + lot), fin)
|
||||
path = out / station / "displacement" / f"{station}_advanced_{d0:%Y%m%d}_{d1 - timedelta(days=1):%Y%m%d}.csv"
|
||||
def pomper_metriques(session, system, station, debut, fin, out):
|
||||
"""Comme le téléchargement de la page System (Dashboard/System.py, get_metrics(..., bucketing="1 hour")) : par
|
||||
heure, moyenne * transform_factor + transform_offset, ou la liste des valeurs d'une métrique texte ; les séries à
|
||||
labels d'une même métrique confondues ; une ligne vide pour une heure sans mesure. get_metrics compte en heures
|
||||
avant maintenant : sa requête est refaite ici sur un jour fixe, une requête par jour pour toutes les métriques."""
|
||||
noms = sorted({n for (n,) in session.query(DataType.name).join(MetricSeries, MetricSeries.datatype_id == DataType.id)
|
||||
.filter(MetricSeries.system_id == system.id).distinct()})
|
||||
session.rollback()
|
||||
heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour')
|
||||
for k in range((fin - debut).days):
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv"
|
||||
for n in noms}
|
||||
if all(p.exists() for p in paths.values()):
|
||||
continue
|
||||
t0 = time.time()
|
||||
q = (session.query(heure, DataType.name.label("nom"),
|
||||
(func.avg(MetricSample.value_num) * func.any_value(DataType.transform_factor)
|
||||
+ func.any_value(DataType.transform_offset)).label("num"),
|
||||
funcfilter(func.jsonb_agg(MetricSample.value_text), MetricSample.value_text.isnot(None))
|
||||
.label("txt"))
|
||||
.select_from(MetricSample)
|
||||
.join(MetricSeries, MetricSample.series_id == MetricSeries.id)
|
||||
.join(DataType, MetricSeries.datatype_id == DataType.id)
|
||||
.filter(MetricSeries.system_id == system.id, MetricSample.time_utc >= a,
|
||||
MetricSample.time_utc < a + timedelta(days=1))
|
||||
.group_by(heure, DataType.name))
|
||||
try:
|
||||
df = pd.read_sql(q.statement, session.bind)
|
||||
except Exception as e: # ponytail : comme les déplacements, un jour en échec est sauté, relancer le reprend
|
||||
print(f"{station} {a:%Y-%m-%d} métriques : échec ({type(e).__name__}), à relancer")
|
||||
continue
|
||||
df["heure"] = pd.to_datetime(df["heure"], utc=True)
|
||||
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
|
||||
for n, path in paths.items():
|
||||
d = df[df["nom"] == n].set_index("heure")
|
||||
col = d["num"] if d["num"].notna().any() else d["txt"] # métrique texte : la liste de l'heure
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
# CSV de la page System : ',time_utc,metric', l'index en première colonne ; un jour vide est écrit aussi
|
||||
pd.DataFrame({"time_utc": heures, "metric": col.reindex(heures).to_numpy()}).to_csv(path)
|
||||
print(f"{station} {a:%Y-%m-%d} métriques : {len(noms)} fichiers, {df['nom'].nunique()} avec mesure, "
|
||||
f"{time.time() - t0:.0f} s")
|
||||
|
||||
|
||||
def pomper_deplacements(unit, db, station, debut, fin, out):
|
||||
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai de 60 s
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
|
||||
if path.exists():
|
||||
continue
|
||||
t0, frames = time.time(), []
|
||||
t0 = time.time()
|
||||
try:
|
||||
for k in range((d1 - d0).days): # un jour par requête : bornée, sous le délai de 60 s
|
||||
a = datetime.combine(d0 + timedelta(days=k), datetime.min.time(), UTC)
|
||||
frames.append(build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)))
|
||||
db._session.rollback() # ferme la transaction de lecture
|
||||
except Exception as e: # ponytail : un lot en échec est sauté, relancer le reprend ; pas de nouvel essai
|
||||
db._session.rollback()
|
||||
print(f"{station} {d0} : échec du lot ({type(e).__name__}), à relancer")
|
||||
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
|
||||
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
|
||||
print(f"{station} {a:%Y-%m-%d} : échec ({type(e).__name__}), à relancer")
|
||||
continue
|
||||
df = pd.concat(frames, ignore_index=True).drop_duplicates(["sensor_name", "time_utc"])
|
||||
finally:
|
||||
db._session.rollback() # ferme la transaction de lecture
|
||||
if len(df):
|
||||
df = df.drop_duplicates(["sensor_name", "time_utc"])
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
df.to_csv(path, index=False)
|
||||
print(f"{station} {d0}..{d1}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
|
||||
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
|
||||
print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
|
||||
|
||||
|
||||
def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
@@ -98,9 +139,11 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
t = m.time_utc.astimezone(UTC)
|
||||
bucket = (t.hour * 60 + t.minute) // every if every else m.id # une image par tranche de `every` min
|
||||
path = out / station / dossier / f"{t:%Y%m%dT%H%M}Z_{m.id}.{mt.extension}"
|
||||
if bucket in seen or path.exists():
|
||||
if bucket in seen:
|
||||
continue
|
||||
seen.add(bucket) # même déjà là : sinon la relance prendrait l'image suivante de la tranche
|
||||
if path.exists():
|
||||
continue
|
||||
seen.add(bucket)
|
||||
data = db.get_measurement_payload(m.measurement_uuid) # None si S3 ne répond pas
|
||||
if data:
|
||||
path.parent.mkdir(parents=True, exist_ok=True)
|
||||
@@ -116,13 +159,16 @@ def main():
|
||||
p.add_argument("stations", nargs="+", help="numéro de série du système, comme dans l'URL de la page System")
|
||||
p.add_argument("--du", required=True, help="premier jour UTC, AAAA-MM-JJ")
|
||||
p.add_argument("--au", required=True, help="dernier jour UTC exclu, AAAA-MM-JJ")
|
||||
p.add_argument("--lot", type=int, default=7, help="jours par fichier CSV (défaut 7)")
|
||||
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
|
||||
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
|
||||
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
|
||||
p.add_argument("--out", type=Path, default=Path("extraction/sortie"))
|
||||
a = p.parse_args()
|
||||
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
|
||||
aujourdhui = datetime.now(UTC).date()
|
||||
if fin > aujourdhui: # ponytail : un jour passé, encore en synchronisation, reste figé ; supprimer son fichier
|
||||
print(f"--au ramené à {aujourdhui} : le jour en cours n'est pas fini")
|
||||
fin = aujourdhui
|
||||
|
||||
missing = [n for n in DB_NAMES if not os.environ.get(n)]
|
||||
if missing:
|
||||
@@ -140,8 +186,16 @@ def main():
|
||||
with Session(engine) as session:
|
||||
db = ReadOnlyDB(engine, session, s3)
|
||||
for station in a.stations:
|
||||
unit = acquisition_unit(session, station)
|
||||
pomper_deplacements(unit, db, station, debut, fin, a.lot, a.out)
|
||||
system = session.query(System).filter_by(serial_number=station).one_or_none()
|
||||
if system is None:
|
||||
print(f"{station} : système inconnu")
|
||||
continue
|
||||
pomper_metriques(session, system, station, debut, fin, a.out)
|
||||
unit = acquisition_unit(system)
|
||||
if unit is None:
|
||||
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images")
|
||||
continue
|
||||
pomper_deplacements(unit, db, station, debut, fin, a.out)
|
||||
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
|
||||
if flag:
|
||||
pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out)
|
||||
|
||||
Reference in new issue
Block a user