diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index 42b86a3..05d68fe 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -874,7 +874,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **L'idée** (l'utilisateur, 2026-10-24). Avant de lancer la boucle sur de nouvelles données, récupérer en local, dans `data//`, tout ce que la base a pour les stations et les périodes qu'il choisit (par exemple une station, les 3 dernières semaines) : toutes les métriques, les déplacements, les images IRON et différentielles. Une relance complète ce qu'on a déjà, sans rien re-télécharger. Pas de vraie base de données : des fichiers (CSV, ou un format plus simple s'il y en a un). Claude pilote : l'utilisateur lui dit quoi pomper (à discuter). Dans le container, ou dehors si possible. **Fait le 2026-10-24** dans `extraction/pomper.py`, sans rien lancer (mode d'emploi : `extraction/README.md`) : -- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `___00_00 to _23_00.csv`, à la racine du dossier de la station ; +- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `___00_00 to _23_00.csv`, dans `metrics/` du dossier de la station ; - déplacements : un fichier par jour, `displacement/_advanced_.csv` ; la relance ne lit que les jours absents, quelles que soient les dates ; le jour en cours n'est jamais pompé ; un jour pompé avant la fin de la synchronisation de la station reste incomplet : supprimer ses fichiers ; - images : le défaut de reprise corrigé (une image déjà là compte pour sa tranche) ; - une station sans unité d'acquisition reconnue a quand même ses métriques ; @@ -1116,3 +1116,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-26 : point 31 : préparer la séance sur NORDEND de septembre (idée de l'utilisateur) : aucun lot à créer, `/boucle` les découpe ; restent l'historique (29 au 31/08), les images, garder `out/pompage/NORDEND/`, choisir les lots sur le tri gratuit du mois. - 2026-10-26 : point 42 : l'utilisateur fait passer `/aiguiser` avant `/boucle`, sur NORDEND du 01 au 04/09 (données nombreuses) ; constats des outils actuels sur ces jours (graphique illisible à 22 capteurs, inventaire de 880 lignes sur un dossier pompé) ; séance à lancer par l'utilisateur quand les images seront là. - 2026-10-26 : point 28 : sens des images DIFF et IRON lu dans le manuel de la station (DIFF : les réflecteurs, contraste renforcé, l'image mesurée ; IRON : la scène), noté dans `docs/domaine/images-de-la-camera.md` ; l'utilisateur les juge peu utiles pour `/boucle` et `/aiguiser` : `--diff` sorti de la commande de `run.md`, gardé en option. +- 2026-10-26 : point 43 : métriques système dans `data//metrics/` (demande de l'utilisateur) ; `pomper.py` y écrit, `load_stations` y lit aussi ; fichiers de CLARIDEN et NIEDERHORN déplacés. diff --git a/extraction/README.md b/extraction/README.md index 4bd8c48..66d4dff 100644 --- a/extraction/README.md +++ b/extraction/README.md @@ -1,7 +1,7 @@ # extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26) `pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent : -- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src//` et les maquettes ; +- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src//` et les maquettes ; - les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ; - les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ; - les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`. @@ -28,6 +28,7 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data// - `` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`). - Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports. - Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume. +- Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (`measurement_uuid` vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h. - Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide. - Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data//` et relancer. - `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer. diff --git a/extraction/pomper.py b/extraction/pomper.py index c90d7de..6855531 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -6,11 +6,11 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN) Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) : - /___00_00 to _23_00.csv métriques système, par jour - /displacement/_advanced_.csv déplacements, un fichier par jour - /camera/_camera_.csv mouvements de la caméra, par jour - /images/TZ_. images OPTICAL_SHIFT-IRON (--images) - /images_diff/… images différentielles (--diff) + /metrics/___00_00 to _23_00.csv métriques système, par jour + /displacement/_advanced_.csv déplacements, un fichier par jour + /camera/_camera_.csv mouvements de la caméra, par jour + /images/TZ_. images OPTICAL_SHIFT-IRON (--images) + /images_diff/… images différentielles (--diff) Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu, jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier. @@ -82,8 +82,8 @@ def pomper_metriques(session, system, station, debut, fin, out): heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour') for k in range((fin - debut).days): a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) - paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" - for n in noms} + paths = {n: out / station / "metrics" + / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms} if all(p.exists() for p in paths.values()): continue t0 = time.time() @@ -157,7 +157,10 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): return for k in range((fin - debut).days): a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) - q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.time_utc >= a, + # measurement_uuid vide : l'image n'est jamais arrivée sur S3 (envoi en plusieurs parties inachevé) ; écartée, + # la tranche prend l'image suivante s'il y en a une + q = unit.measurements.filter(Measurement.measurement_type_id == mt.id, Measurement.measurement_uuid.isnot(None), + Measurement.time_utc >= a, Measurement.time_utc < a + timedelta(days=1)).order_by(Measurement.time_utc) seen, n, octets = set(), 0, 0 for m in q.all(): diff --git a/src/common/stations.py b/src/common/stations.py index cea6dcd..ceed527 100644 --- a/src/common/stations.py +++ b/src/common/stations.py @@ -41,11 +41,13 @@ def load_stations(paths): """Fichiers et/ou dossiers -> {station: {metric: série}}. Plusieurs fichiers d'une même métrique (un par jour du pompage, exports qui se chevauchent, copies « (1) ») sont - fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. + fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. Dans un dossier de + station, les CSV sont lus à sa racine et dans `metrics/` (sortie du pompage). """ files = [] for p in paths: - files += sorted(glob.glob(os.path.join(p, "*.csv"))) if os.path.isdir(p) else [p] + files += sorted(glob.glob(os.path.join(p, "*.csv")) + glob.glob(os.path.join(p, "metrics", "*.csv"))) \ + if os.path.isdir(p) else [p] stations, seen = {}, set() for path in files: real = os.path.realpath(path) diff --git a/vues-deplacements/contexte/donnees-et-boucle.md b/vues-deplacements/contexte/donnees-et-boucle.md index cfc4c75..f508a3d 100644 --- a/vues-deplacements/contexte/donnees-et-boucle.md +++ b/vues-deplacements/contexte/donnees-et-boucle.md @@ -4,7 +4,7 @@ ## Recommandation -**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data//__….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. +**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data//metrics/__….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. ## Ce que j'ai trouvé