Pompage : métriques système dans metrics/, images absentes de S3 sautées

pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit
aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont
écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 16:47:47 +01:00
1 parent c1ba46f2bb
commit 6b3d058a67
5 files changed
+20 -13

No files matched your search

@@ -874,7 +874,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
**L'idée** (l'utilisateur, 2026-10-24). Avant de lancer la boucle sur de nouvelles données, récupérer en local, dans `data/<STATION>/`, tout ce que la base a pour les stations et les périodes qu'il choisit (par exemple une station, les 3 dernières semaines) : toutes les métriques, les déplacements, les images IRON et différentielles. Une relance complète ce qu'on a déjà, sans rien re-télécharger. Pas de vraie base de données : des fichiers (CSV, ou un format plus simple s'il y en a un). Claude pilote : l'utilisateur lui dit quoi pomper (à discuter). Dans le container, ou dehors si possible. **L'idée** (l'utilisateur, 2026-10-24). Avant de lancer la boucle sur de nouvelles données, récupérer en local, dans `data/<STATION>/`, tout ce que la base a pour les stations et les périodes qu'il choisit (par exemple une station, les 3 dernières semaines) : toutes les métriques, les déplacements, les images IRON et différentielles. Une relance complète ce qu'on a déjà, sans rien re-télécharger. Pas de vraie base de données : des fichiers (CSV, ou un format plus simple s'il y en a un). Claude pilote : l'utilisateur lui dit quoi pomper (à discuter). Dans le container, ou dehors si possible.
**Fait le 2026-10-24** dans `extraction/pomper.py`, sans rien lancer (mode d'emploi : `extraction/README.md`) : **Fait le 2026-10-24** dans `extraction/pomper.py`, sans rien lancer (mode d'emploi : `extraction/README.md`) :
- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `<SERIE>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv`, à la racine du dossier de la station ; - métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `<SERIE>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv`, dans `metrics/` du dossier de la station ;
- déplacements : un fichier par jour, `displacement/<SERIE>_advanced_<AAAAMMJJ>.csv` ; la relance ne lit que les jours absents, quelles que soient les dates ; le jour en cours n'est jamais pompé ; un jour pompé avant la fin de la synchronisation de la station reste incomplet : supprimer ses fichiers ; - déplacements : un fichier par jour, `displacement/<SERIE>_advanced_<AAAAMMJJ>.csv` ; la relance ne lit que les jours absents, quelles que soient les dates ; le jour en cours n'est jamais pompé ; un jour pompé avant la fin de la synchronisation de la station reste incomplet : supprimer ses fichiers ;
- images : le défaut de reprise corrigé (une image déjà là compte pour sa tranche) ; - images : le défaut de reprise corrigé (une image déjà là compte pour sa tranche) ;
- une station sans unité d'acquisition reconnue a quand même ses métriques ; - une station sans unité d'acquisition reconnue a quand même ses métriques ;
@@ -1116,3 +1116,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-26 : point 31 : préparer la séance sur NORDEND de septembre (idée de l'utilisateur) : aucun lot à créer, `/boucle` les découpe ; restent l'historique (29 au 31/08), les images, garder `out/pompage/NORDEND/`, choisir les lots sur le tri gratuit du mois. - 2026-10-26 : point 31 : préparer la séance sur NORDEND de septembre (idée de l'utilisateur) : aucun lot à créer, `/boucle` les découpe ; restent l'historique (29 au 31/08), les images, garder `out/pompage/NORDEND/`, choisir les lots sur le tri gratuit du mois.
- 2026-10-26 : point 42 : l'utilisateur fait passer `/aiguiser` avant `/boucle`, sur NORDEND du 01 au 04/09 (données nombreuses) ; constats des outils actuels sur ces jours (graphique illisible à 22 capteurs, inventaire de 880 lignes sur un dossier pompé) ; séance à lancer par l'utilisateur quand les images seront là. - 2026-10-26 : point 42 : l'utilisateur fait passer `/aiguiser` avant `/boucle`, sur NORDEND du 01 au 04/09 (données nombreuses) ; constats des outils actuels sur ces jours (graphique illisible à 22 capteurs, inventaire de 880 lignes sur un dossier pompé) ; séance à lancer par l'utilisateur quand les images seront là.
- 2026-10-26 : point 28 : sens des images DIFF et IRON lu dans le manuel de la station (DIFF : les réflecteurs, contraste renforcé, l'image mesurée ; IRON : la scène), noté dans `docs/domaine/images-de-la-camera.md` ; l'utilisateur les juge peu utiles pour `/boucle` et `/aiguiser` : `--diff` sorti de la commande de `run.md`, gardé en option. - 2026-10-26 : point 28 : sens des images DIFF et IRON lu dans le manuel de la station (DIFF : les réflecteurs, contraste renforcé, l'image mesurée ; IRON : la scène), noté dans `docs/domaine/images-de-la-camera.md` ; l'utilisateur les juge peu utiles pour `/boucle` et `/aiguiser` : `--diff` sorti de la commande de `run.md`, gardé en option.
- 2026-10-26 : point 43 : métriques système dans `data/<SERIE>/metrics/` (demande de l'utilisateur) ; `pomper.py` y écrit, `load_stations` y lit aussi ; fichiers de CLARIDEN et NIEDERHORN déplacés.
+2 -1
View File
@@ -1,7 +1,7 @@
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26) # extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent : `pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ; - les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ; - les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ; - les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`. - les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
@@ -28,6 +28,7 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`). - `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports. - Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume. - Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
- Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (`measurement_uuid` vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h.
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide. - Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer. - Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer. - `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
+11 -8
View File
@@ -6,11 +6,11 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN) (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) : Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour <STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour <STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour <STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images) <STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff) <STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu, Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier. jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
@@ -82,8 +82,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour') heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour')
for k in range((fin - debut).days): for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" paths = {n: out / station / "metrics"
for n in noms} / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
if all(p.exists() for p in paths.values()): if all(p.exists() for p in paths.values()):
continue continue
t0 = time.time() t0 = time.time()
@@ -157,7 +157,10 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
return return
for k in range((fin - debut).days): for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a, # measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée,
# la tranche prend l'image suivante s'il y en a une
q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None),
Measurement.time_utc >= a,
Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc) Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc)
seen, n, octets = set(), 0, 0 seen, n, octets = set(), 0, 0
for m in q.all(): for m in q.all():
+4 -2
View File
@@ -41,11 +41,13 @@ def load_stations(paths):
"""Fichiers et/ou dossiers -> {station: {metric: série}}. """Fichiers et/ou dossiers -> {station: {metric: série}}.
Plusieurs fichiers d'une même métrique (un par jour du pompage, exports qui se chevauchent, copies « (1) ») sont Plusieurs fichiers d'une même métrique (un par jour du pompage, exports qui se chevauchent, copies « (1) ») sont
fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. Dans un dossier de
station, les CSV sont lus à sa racine et dans `metrics/` (sortie du pompage).
""" """
files = [] files = []
for p in paths: for p in paths:
files += sorted(glob.glob(os.path.join(p, "*.csv"))) if os.path.isdir(p) else [p] files += sorted(glob.glob(os.path.join(p, "*.csv")) + glob.glob(os.path.join(p, "metrics", "*.csv"))) \
if os.path.isdir(p) else [p]
stations, seen = {}, set() stations, seen = {}, set()
for path in files: for path in files:
real = os.path.realpath(path) real = os.path.realpath(path)
@@ -4,7 +4,7 @@
## Recommandation ## Recommandation
**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. **Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/metrics/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
## Ce que j'ai trouvé ## Ce que j'ai trouvé