Pompage : métriques système dans metrics/, images absentes de S3 sautées

pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit
aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont
écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 16:47:47 +01:00
1 parent c1ba46f2bb
commit 6b3d058a67
5 files changed
+20 -13

No files matched your search

@@ -874,7 +874,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
**L'idée** (l'utilisateur, 2026-10-24). Avant de lancer la boucle sur de nouvelles données, récupérer en local, dans `data/<STATION>/`, tout ce que la base a pour les stations et les périodes qu'il choisit (par exemple une station, les 3 dernières semaines) : toutes les métriques, les déplacements, les images IRON et différentielles. Une relance complète ce qu'on a déjà, sans rien re-télécharger. Pas de vraie base de données : des fichiers (CSV, ou un format plus simple s'il y en a un). Claude pilote : l'utilisateur lui dit quoi pomper (à discuter). Dans le container, ou dehors si possible.
**Fait le 2026-10-24** dans `extraction/pomper.py`, sans rien lancer (mode d'emploi : `extraction/README.md`) :
- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `<SERIE>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv`, à la racine du dossier de la station ;
- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `<SERIE>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv`, dans `metrics/` du dossier de la station ;
- déplacements : un fichier par jour, `displacement/<SERIE>_advanced_<AAAAMMJJ>.csv` ; la relance ne lit que les jours absents, quelles que soient les dates ; le jour en cours n'est jamais pompé ; un jour pompé avant la fin de la synchronisation de la station reste incomplet : supprimer ses fichiers ;
- images : le défaut de reprise corrigé (une image déjà là compte pour sa tranche) ;
- une station sans unité d'acquisition reconnue a quand même ses métriques ;
@@ -1116,3 +1116,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-26 : point 31 : préparer la séance sur NORDEND de septembre (idée de l'utilisateur) : aucun lot à créer, `/boucle` les découpe ; restent l'historique (29 au 31/08), les images, garder `out/pompage/NORDEND/`, choisir les lots sur le tri gratuit du mois.
- 2026-10-26 : point 42 : l'utilisateur fait passer `/aiguiser` avant `/boucle`, sur NORDEND du 01 au 04/09 (données nombreuses) ; constats des outils actuels sur ces jours (graphique illisible à 22 capteurs, inventaire de 880 lignes sur un dossier pompé) ; séance à lancer par l'utilisateur quand les images seront là.
- 2026-10-26 : point 28 : sens des images DIFF et IRON lu dans le manuel de la station (DIFF : les réflecteurs, contraste renforcé, l'image mesurée ; IRON : la scène), noté dans `docs/domaine/images-de-la-camera.md` ; l'utilisateur les juge peu utiles pour `/boucle` et `/aiguiser` : `--diff` sorti de la commande de `run.md`, gardé en option.
- 2026-10-26 : point 43 : métriques système dans `data/<SERIE>/metrics/` (demande de l'utilisateur) ; `pomper.py` y écrit, `load_stations` y lit aussi ; fichiers de CLARIDEN et NIEDERHORN déplacés.
+2 -1
View File
@@ -1,7 +1,7 @@
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
@@ -28,6 +28,7 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
- Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (`measurement_uuid` vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h.
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
+11 -8
View File
@@ -6,11 +6,11 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
@@ -82,8 +82,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour')
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv"
for n in noms}
paths = {n: out / station / "metrics"
/ f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
if all(p.exists() for p in paths.values()):
continue
t0 = time.time()
@@ -157,7 +157,10 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
return
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a,
# measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
# la tranche prend l'image suivante s'il y en a une
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
Measurement.time_utc >= a,
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
seen, n, octets = set(), 0, 0
for m in q.all():
+4 -2
View File
@@ -41,11 +41,13 @@ def load_stations(paths):
"""Fichiers et/ou dossiers -> {station: {metric: série}}.
Plusieurs fichiers d'une même métrique (un par jour du pompage, exports qui se chevauchent, copies « (1) ») sont
fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte.
fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. Dans un dossier de
station, les CSV sont lus à sa racine et dans `metrics/` (sortie du pompage).
"""
files = []
for p in paths:
files += sorted(glob.glob(os.path.join(p, "*.csv"))) if os.path.isdir(p) else [p]
files += sorted(glob.glob(os.path.join(p, "*.csv")) + glob.glob(os.path.join(p, "metrics", "*.csv"))) \
if os.path.isdir(p) else [p]
stations, seen = {}, set()
for path in files:
real = os.path.realpath(path)
@@ -4,7 +4,7 @@
## Recommandation
**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/metrics/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
## Ce que j'ai trouvé