Run the first pump on NORDEND: identical to the received exports (point 27)
Two days (29-30/07) pumped by the user in the app's dev container: system metrics, displacements and camera images match the received exports, and the journal gives the same events. The container mounts ~ on /workspaces, so the script now writes straight into Support-Agent's data/ (no copies). Add --delai for days that exceed the 60 s query timeout, and report the root database error instead of pandas' wrapper. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7714a55cfa
commit
2d2d50a8b3
5 files changed
+50
-35
No files matched your search
+13
-8
@@ -1,20 +1,22 @@
|
||||
# extraction/ : pomper les données de la plateforme (brouillon, jamais lancé)
|
||||
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
|
||||
|
||||
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
||||
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
|
||||
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
||||
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
||||
|
||||
Reprise : un fichier déjà dans `extraction/sortie/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
||||
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
||||
|
||||
## Lancer (l'utilisateur, dans le dev container de l'appli)
|
||||
|
||||
1. Copier ce dossier à la racine du dépôt de l'appli visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`. Il n'y est pas suivi : ne pas le committer. **Garder `extraction/sortie/`** entre deux lancements : c'est elle que la relance complète.
|
||||
2. Depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff <SERIE>)`. Noter le temps par jour.
|
||||
3. Puis la plage voulue, par exemple les 3 semaines avant le 26/10 : `--du 2026-10-05 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 extraction/pomper.py -h`.
|
||||
4. Depuis WSL, copier dans Support-Agent : `cp -r ~/monitoring-dashboard/extraction/sortie/<SERIE> ~/Support-Agent/data/`.
|
||||
Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier.
|
||||
|
||||
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
||||
1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`.
|
||||
2. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
|
||||
`(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>`. Noter le temps par jour.
|
||||
3. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
|
||||
|
||||
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
||||
|
||||
## Avec Claude
|
||||
|
||||
@@ -22,7 +24,10 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
|
||||
|
||||
## À savoir
|
||||
|
||||
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
|
||||
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
|
||||
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
|
||||
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
|
||||
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `extraction/sortie/` et relancer.
|
||||
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
|
||||
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
|
||||
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
||||
+19
-10
@@ -1,11 +1,11 @@
|
||||
"""Pompe les métriques système, les déplacements (export « advanced ») et les images de stations de la plateforme
|
||||
AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé.
|
||||
AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le 2026-10-26 (NORDEND, 2 jours).
|
||||
|
||||
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
|
||||
|
||||
(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||
|
||||
Sortie (défaut `extraction/sortie/`), à copier ensuite dans Support-Agent/data/ :
|
||||
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
||||
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||
@@ -16,7 +16,7 @@ jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, sup
|
||||
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
|
||||
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
|
||||
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
|
||||
seule, délai de 60 s. Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
|
||||
seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
|
||||
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
|
||||
AIMSIGHT_S3_URL / _ACCESS_KEY / _SECRET_KEY / _BUCKET.
|
||||
"""
|
||||
@@ -53,6 +53,13 @@ class ReadOnlyDB:
|
||||
self._session, self.s3client, self.aggregates = session, s3, AggregateEngine(engine)
|
||||
|
||||
|
||||
def raison(e):
|
||||
"""L'erreur d'origine (celle de la base) : pandas et SQLAlchemy l'enveloppent, la requête SQL d'abord."""
|
||||
while e.__cause__ is not None:
|
||||
e = e.__cause__
|
||||
return f"{type(e).__name__}: {(str(e).splitlines() or [''])[0][:300]}"
|
||||
|
||||
|
||||
def acquisition_unit(system):
|
||||
"""Même choix que Device.get_acquisition_unit (app/base/models.py:268) : l'unique unité, sinon MER* / ME2S*."""
|
||||
units = list(system.acquisition_units.values())
|
||||
@@ -90,7 +97,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
||||
try:
|
||||
df = pd.read_sql(q.statement, session.bind)
|
||||
except Exception as e: # ponytail : comme les déplacements, un jour en échec est sauté, relancer le reprend
|
||||
print(f"{station} {a:%Y-%m-%d} métriques : échec ({type(e).__name__}), à relancer")
|
||||
print(f"{station} {a:%Y-%m-%d} métriques : échec ({raison(e)}), à relancer")
|
||||
continue
|
||||
df["heure"] = pd.to_datetime(df["heure"], utc=True)
|
||||
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
|
||||
@@ -105,7 +112,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
||||
|
||||
|
||||
def pomper_deplacements(unit, db, station, debut, fin, out):
|
||||
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai de 60 s
|
||||
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai)
|
||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
|
||||
if path.exists():
|
||||
@@ -114,7 +121,7 @@ def pomper_deplacements(unit, db, station, debut, fin, out):
|
||||
try:
|
||||
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
|
||||
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
|
||||
print(f"{station} {a:%Y-%m-%d} : échec ({type(e).__name__}), à relancer")
|
||||
print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer")
|
||||
continue
|
||||
finally:
|
||||
db._session.rollback() # ferme la transaction de lecture
|
||||
@@ -150,7 +157,7 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
||||
path.write_bytes(data)
|
||||
n, octets = n + 1, octets + len(data)
|
||||
session.rollback()
|
||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} images, {octets / 1e6:.0f} Mo")
|
||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo")
|
||||
time.sleep(0.5)
|
||||
|
||||
|
||||
@@ -162,7 +169,9 @@ def main():
|
||||
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
|
||||
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
|
||||
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
|
||||
p.add_argument("--out", type=Path, default=Path("extraction/sortie"))
|
||||
p.add_argument("--delai", type=int, default=60, help="délai maximal d'une requête, en s (défaut 60 : base partagée "
|
||||
"avec la production) ; plus long seulement pour un jour en échec par délai dépassé")
|
||||
p.add_argument("--out", type=Path, default=Path(__file__).resolve().parent.parent / "data")
|
||||
a = p.parse_args()
|
||||
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
|
||||
aujourdhui = datetime.now(UTC).date()
|
||||
@@ -178,7 +187,7 @@ def main():
|
||||
port=int(os.environ.get("AIMSIGHT_DATABASE_PORT", "5432")),
|
||||
database=os.environ["AIMSIGHT_DATABASE_NAME"])
|
||||
engine = create_engine(url, connect_args={
|
||||
"options": "-c timezone=utc -c default_transaction_read_only=on -c statement_timeout=60s"})
|
||||
"options": f"-c timezone=utc -c default_transaction_read_only=on -c statement_timeout={a.delai}s"})
|
||||
s3 = S3client(os.environ.get("AIMSIGHT_S3_URL", "http://s3:3900"), os.environ.get("AIMSIGHT_S3_ACCESS_KEY", ""),
|
||||
os.environ.get("AIMSIGHT_S3_SECRET_KEY", ""),
|
||||
os.environ.get("AIMSIGHT_S3_BUCKET", "measurements-assets")) if (a.images or a.diff) else None
|
||||
|
||||
Reference in new issue
Block a user