Pompage : métriques système dans metrics/, images absentes de S3 sautées

pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit
aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont
écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 16:47:47 +01:00
1 parent c1ba46f2bb
commit 6b3d058a67
5 files changed
+20 -13

No files matched your search

+2 -1
View File
@@ -1,7 +1,7 @@
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
@@ -28,6 +28,7 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
- Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (`measurement_uuid` vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h.
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.