From a81cc4c38088618276b28ccd1dd548348676043e Mon Sep 17 00:00:00 2001 From: maxime Date: Sat, 24 Oct 2026 19:14:59 +0200 Subject: [PATCH] Pump system metrics and resume day by day (point 43) pomper.py now also pumps every system metric of a station, in the format of the System page download (hourly mean, text lists, empty hour), one CSV per metric and per day; displacements are written one file per day, today is never pumped, and a rerun only fetches missing days. Fix image resume: an image already on disk now counts for its time slot. load_stations merges several files of the same metric instead of failing on a duplicate. Not run against the database: first run by the user, with point 27. Co-Authored-By: Claude Opus 5.5 --- CLAUDE.md | 2 +- docs/domaine/ce-que-mesure-la-station.md | 2 +- .../plans/2026-10-23-journal-du-matin.md | 25 ++-- extraction/README.md | 31 +++- extraction/pomper.py | 136 ++++++++++++------ src/common/stations.py | 20 +-- .../contexte/donnees-et-boucle.md | 4 +- 7 files changed, 152 insertions(+), 68 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index ed0face..1c90ae6 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -17,7 +17,7 @@ Agent de diagnostic proactif pour **AIMsight**, un système de surveillance opti - **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`. - **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`. - **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST. -- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (lecture seule, jamais lancé ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. +- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. - **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande. ## Analyses (domaine Energy) diff --git a/docs/domaine/ce-que-mesure-la-station.md b/docs/domaine/ce-que-mesure-la-station.md index 95a2739..02412ac 100644 --- a/docs/domaine/ce-que-mesure-la-station.md +++ b/docs/domaine/ce-que-mesure-la-station.md @@ -2,7 +2,7 @@ ## Format des exports CSV -- Un CSV par station et par métrique : `__ to .csv`. +- Un CSV par station et par métrique : `__ to .csv`. Le pompage (`extraction/pomper.py`) en écrit un par jour ; `common.stations.load_stations` fusionne les fichiers d'une même métrique. - Colonnes `,time_utc,metric` : un index sans nom, l'horodatage UTC (pas d'une heure), la valeur. - Une valeur `metric` vide signifie qu'il n'y a pas de mesure. - Les valeurs exportées sont des **moyennes horaires**. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index 09f63a7..61cd876 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -91,7 +91,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard | | 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) | | 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur | -| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | à discuter | +| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 | | | **VII. Idées gardées pour plus tard** | | | | | 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente | | 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente | @@ -753,7 +753,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **En attente depuis le 2026-10-24.** L'utilisateur n'a pas accès aux données pour l'instant ; le script sera essayé plus tard, quand le harnais qui exploite les données pompées existera (points 30 et 31). Mis en place sans rien lancer : - l'application de référence est `~/monitoring-dashboard` (l'utilisateur) ; les dossiers `-displacement` et `-metrics` ne sont que des branches, à ignorer ; README, script, plan et `donnees-et-boucle.md` corrigés ; - le script relu contre ce code : `build_advanced_frame` y est (`app/datapoints.py:285`) et rend les colonnes de l'export reçu (`time_utc`, `sensor_name` … `pattern_type`, puis les métriques de qualité) ; les trois fonctions reprises de `DatabaseEngine` n'utilisent que `_session`, `aggregates` et `s3client`, que `ReadOnlyDB` fournit ; -- la sortie se branche telle quelle sur le journal : `donnees.charger` lit tous les CSV « advanced » d'un dossier (un par lot de 7 jours, doublons écartés) ; les images pompées portent le nom attendu (`TZ_`, D-045) ; les images différentielles (`images_diff/`) sont maintenant laissées de côté par `donnees.trouver`, pour ne pas passer pour des vues de la caméra ; +- la sortie se branche telle quelle sur le journal : `donnees.charger` lit tous les CSV « advanced » d'un dossier (un par jour, doublons écartés) ; les images pompées portent le nom attendu (`TZ_`, D-045) ; les images différentielles (`images_diff/`) sont maintenant laissées de côté par `donnees.trouver`, pour ne pas passer pour des vues de la caméra ; - à savoir : un dossier pompé n'a pas d'export horaire, donc le Journal s'ouvre en px, et l'onglet Displacements (et la dérive lente) reste vide. ### Point 28 : Images différentielles @@ -870,16 +870,20 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **L'idée** (l'utilisateur, 2026-10-24). Avant de lancer la boucle sur de nouvelles données, récupérer en local, dans `data//`, tout ce que la base a pour les stations et les périodes qu'il choisit (par exemple une station, les 3 dernières semaines) : toutes les métriques, les déplacements, les images IRON et différentielles. Une relance complète ce qu'on a déjà, sans rien re-télécharger. Pas de vraie base de données : des fichiers (CSV, ou un format plus simple s'il y en a un). Claude pilote : l'utilisateur lui dit quoi pomper (à discuter). Dans le container, ou dehors si possible. -**Écart avec `extraction/pomper.py`** (relu le 2026-10-24) : -- fait : déplacements « advanced », images IRON (`--images`, une par heure par défaut, `--every 0` pour toutes) et différentielles (`--diff`), par numéro de série du système, plusieurs stations par commande, reprise ; -- ne fait pas : les métriques système (batterie, disque, 4G, températures ; dans l'appli `System.get_metrics(..., bucketing="1 hour")` et `get_metrics_by_datatype_ids`), l'export horaire en mm (il exige SQLite et Flask : le Journal s'ouvre en px), l'inventaire des types de mesure (point 33) ; -- reprise imparfaite : un fichier par lot de 7 jours calé sur `--du`, donc une autre date de début refait les requêtes ; images : à la relance, l'image déjà là n'est pas comptée pour son heure et la suivante de la même heure est téléchargée (défaut lu dans le code) ; -- sortie dans `~/monitoring-dashboard/extraction/sortie/`, copiée à la main dans `data/` ; -- pilotage : dans l'appli, Claude tourne sur WSL sans identifiants et l'utilisateur lance tout ce qui touche la base (`.claude/rules/diagnostics.md` de l'appli) ; Claude peut lire `data/` et donner la commande des jours manquants. +**Fait le 2026-10-24** dans `extraction/pomper.py`, sans rien lancer (mode d'emploi : `extraction/README.md`) : +- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `___00_00 to _23_00.csv`, à la racine du dossier de la station ; +- déplacements : un fichier par jour, `displacement/_advanced_.csv` ; la relance ne lit que les jours absents, quelles que soient les dates ; le jour en cours n'est jamais pompé ; un jour pompé avant la fin de la synchronisation de la station reste incomplet : supprimer ses fichiers ; +- images : le défaut de reprise corrigé (une image déjà là compte pour sa tranche) ; +- une station sans unité d'acquisition reconnue a quand même ses métriques ; +- `common.stations.load_stations` fusionne plusieurs fichiers d'une même métrique (avant : erreur « doublon ») ; vérifié sur WEISSHORN découpé en 1 782 fichiers d'un jour : les 27 séries identiques ; format du CSV des métriques vérifié hors base sur un jour réel de WEISSHORN (numérique, texte, heure vide). +- pilotage : Claude ne se connecte pas (règle de l'appli, `.claude/rules/diagnostics.md`) ; il lit `data/`, donne la commande des jours manquants, l'utilisateur lance. +- reste hors du script : l'export horaire en mm (il exige SQLite et Flask : le Journal s'ouvre en px) ; `data/` est suivi par git, décider avant de committer un dossier pompé avec ses images. **Étapes.** -- [ ] L'utilisateur choisit : étendre le script avant le premier essai, ou l'essayer d'abord tel quel (point 27). -- [ ] Si étendu : métriques système dans le format de `data/` (`,time_utc,metric`, moyennes horaires UTC), un fichier par jour, défaut des images corrigé, liste des types de mesure d'une station. +- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24). +- [x] Métriques système, un fichier par jour, défaut des images corrigé. +- [ ] Liste des types de mesure d'une station : non demandée, au point 33. +- [ ] Premier lancement par l'utilisateur, avec le point 27 ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage). **Fini quand.** Une commande donnée par Claude remplit `data//` sur la période choisie, et sa relance ne télécharge que ce qui manque. @@ -1031,4 +1035,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-24 : point 42 ajouté (aiguiser la lecture : un skill de lecture, un lecteur, un correcteur qui lit à fond sans les outils, un optimiseur) ; conception écrite dans `vues-deplacements/contexte/aiguiser-la-lecture.md`, à approuver. - 2026-10-24 : point 42 : conception approuvée par l'utilisateur ; plan de construction écrit, `docs/superpowers/plans/2026-10-24-aiguiser-la-lecture.md` (6 tâches) ; rien construit. - 2026-10-24 : point 43 ajouté (idée de l'utilisateur : base locale complète et incrémentale, pilotée par Claude) ; écart avec `pomper.py` noté ; rien codé. +- 2026-10-24 : point 43 codé sans lancement : métriques système, un fichier par jour, reprise des images corrigée, `load_stations` fusionne les fichiers d'une même métrique ; essai par l'utilisateur avec le point 27. - 2026-10-24 : point 42 : `/aiguiser` construit (D-059), avec le releveur (D-060) ; essai du lecteur et du correcteur sur le lot 1 de NORDEND : écart « à reprendre », deux défauts ; reste la première séance, par l'utilisateur. diff --git a/extraction/README.md b/extraction/README.md index c6a017f..8233e88 100644 --- a/extraction/README.md +++ b/extraction/README.md @@ -1,7 +1,28 @@ # extraction/ : pomper les données de la plateforme (brouillon, jamais lancé) -1. Copier ce dossier à la racine du dépôt de l'appli visible dans le dev container (`cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`) : fichier non suivi, ne pas le committer ; le supprimer après. -2. Dans le container, depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-03 --images WEISSHORN)`. -3. Lecture seule (moteur dédié, `default_transaction_read_only`, délai de 60 s), un jour par requête ; noter le temps par jour avant d'élargir. Plus de détails : `python3 extraction/pomper.py -h`. -4. Copier `extraction/sortie//` vers `~/Support-Agent/data//` ; relancer la même commande reprend là où elle s'est arrêtée. -5. Le contexte, les blocages et la boucle : `vues-deplacements/contexte/donnees-et-boucle.md`. +`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent : +- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src//` et les maquettes ; +- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ; +- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`. + +Reprise : un fichier déjà dans `extraction/sortie/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé. + +## Lancer (l'utilisateur, dans le dev container de l'appli) + +1. Copier ce dossier à la racine du dépôt de l'appli visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`. Il n'y est pas suivi : ne pas le committer. **Garder `extraction/sortie/`** entre deux lancements : c'est elle que la relance complète. +2. Depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff )`. Noter le temps par jour. +3. Puis la plage voulue, par exemple les 3 semaines avant le 26/10 : `--du 2026-10-05 --au 2026-10-26` (`--au` exclu). Plusieurs stations : ` `. Aide : `python3 extraction/pomper.py -h`. +4. Depuis WSL, copier dans Support-Agent : `cp -r ~/monitoring-dashboard/extraction/sortie/ ~/Support-Agent/data/`. + +Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production). + +## Avec Claude + +Claude ne se connecte pas à la base (règle de l'appli) : il lit `data//`, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, `vues-deplacements/journal/categories.py`, les scripts des domaines). + +## À savoir + +- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide. +- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `extraction/sortie/` et relancer. +- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer. +- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. diff --git a/extraction/pomper.py b/extraction/pomper.py index d9657b6..dd60905 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -1,22 +1,24 @@ -"""Pompe les déplacements (export « advanced ») et les images de stations de la plateforme AIMsight, dans le -format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé. +"""Pompe les métriques système, les déplacements (export « advanced ») et les images de stations de la plateforme +AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé. À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) : (set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN) Sortie (défaut `extraction/sortie/`), à copier ensuite dans Support-Agent/data/ : - /displacement/_advanced__.csv un fichier par lot de --lot jours - /images/TZ_. images OPTICAL_SHIFT-IRON (--images) - /images_diff/… images différentielles (--diff) -Reprenable : un fichier déjà écrit n'est pas relu. Jours en UTC, `--au` exclu. + /___00_00 to _23_00.csv métriques système, par jour + /displacement/_advanced_.csv déplacements, un fichier par jour + /images/TZ_. images OPTICAL_SHIFT-IRON (--images) + /images_diff/… images différentielles (--diff) +Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu, +jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier. -Réutilise le code de l'appli : build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), -AcquisitionUnit.measurements et get_measurement_payload (S3). Connexion : même schéma que -scripts/domain_diagnostics.py, un moteur dédié en lecture seule, délai de 60 s. Pas DatabaseEngine : son __init__ -lance du DDL et un écouteur NOTIFY. Variables lues (noms seulement, aucune n'est affichée) : -AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images AIMSIGHT_S3_URL / _ACCESS_KEY / -_SECRET_KEY / _BUCKET. +Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System), +build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et +get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture +seule, délai de 60 s. Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms +seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images +AIMSIGHT_S3_URL / _ACCESS_KEY / _SECRET_KEY / _BUCKET. """ import argparse import os @@ -27,12 +29,13 @@ from pathlib import Path sys.path.insert(0, os.getcwd()) # racine de l'appli : le paquet `app` import pandas as pd -from sqlalchemy import create_engine +from sqlalchemy import create_engine, func, funcfilter from sqlalchemy.engine import URL from sqlalchemy.orm import Session from app.aggregates import AggregateEngine -from app.aimsight_database import DatabaseEngine, Measurement, MeasurementType, S3client, System +from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries, + S3client, System) from app.datapoints import build_advanced_frame UTC = timezone.utc @@ -50,38 +53,76 @@ class ReadOnlyDB: self._session, self.s3client, self.aggregates = session, s3, AggregateEngine(engine) -def acquisition_unit(session, station): +def acquisition_unit(system): """Même choix que Device.get_acquisition_unit (app/base/models.py:268) : l'unique unité, sinon MER* / ME2S*.""" - system = session.query(System).filter_by(serial_number=station).one_or_none() - if system is None: - sys.exit(f"{station} : système inconnu") units = list(system.acquisition_units.values()) pick = units if len(units) == 1 else [u for u in units if u.product_number.startswith(("MER", "ME2S"))] - if not pick: - sys.exit(f"{station} : pas d'unité d'acquisition reconnue") - return pick[0] + return pick[0] if pick else None -def pomper_deplacements(unit, db, station, debut, fin, lot, out): - for lo in range(0, (fin - debut).days, lot): - d0, d1 = debut + timedelta(days=lo), min(debut + timedelta(days=lo + lot), fin) - path = out / station / "displacement" / f"{station}_advanced_{d0:%Y%m%d}_{d1 - timedelta(days=1):%Y%m%d}.csv" +def pomper_metriques(session, system, station, debut, fin, out): + """Comme le téléchargement de la page System (Dashboard/System.py, get_metrics(..., bucketing="1 hour")) : par + heure, moyenne * transform_factor + transform_offset, ou la liste des valeurs d'une métrique texte ; les séries à + labels d'une même métrique confondues ; une ligne vide pour une heure sans mesure. get_metrics compte en heures + avant maintenant : sa requête est refaite ici sur un jour fixe, une requête par jour pour toutes les métriques.""" + noms = sorted({n for (n,) in session.query(DataType.name).join(MetricSeries, MetricSeries.datatype_id == DataType.id) + .filter(MetricSeries.system_id == system.id).distinct()}) + session.rollback() + heure = func.date_trunc("hour", MetricSample.time_utc).label("heure") # même découpage que time_bucket('1 hour') + for k in range((fin - debut).days): + a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) + paths = {n: out / station / f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" + for n in noms} + if all(p.exists() for p in paths.values()): + continue + t0 = time.time() + q = (session.query(heure, DataType.name.label("nom"), + (func.avg(MetricSample.value_num) * func.any_value(DataType.transform_factor) + + func.any_value(DataType.transform_offset)).label("num"), + funcfilter(func.jsonb_agg(MetricSample.value_text), MetricSample.value_text.isnot(None)) + .label("txt")) + .select_from(MetricSample) + .join(MetricSeries, MetricSample.series_id == MetricSeries.id) + .join(DataType, MetricSeries.datatype_id == DataType.id) + .filter(MetricSeries.system_id == system.id, MetricSample.time_utc >= a, + MetricSample.time_utc < a + timedelta(days=1)) + .group_by(heure, DataType.name)) + try: + df = pd.read_sql(q.statement, session.bind) + except Exception as e: # ponytail : comme les déplacements, un jour en échec est sauté, relancer le reprend + print(f"{station} {a:%Y-%m-%d} métriques : échec ({type(e).__name__}), à relancer") + continue + df["heure"] = pd.to_datetime(df["heure"], utc=True) + heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex + for n, path in paths.items(): + d = df[df["nom"] == n].set_index("heure") + col = d["num"] if d["num"].notna().any() else d["txt"] # métrique texte : la liste de l'heure + path.parent.mkdir(parents=True, exist_ok=True) + # CSV de la page System : ',time_utc,metric', l'index en première colonne ; un jour vide est écrit aussi + pd.DataFrame({"time_utc": heures, "metric": col.reindex(heures).to_numpy()}).to_csv(path) + print(f"{station} {a:%Y-%m-%d} métriques : {len(noms)} fichiers, {df['nom'].nunique()} avec mesure, " + f"{time.time() - t0:.0f} s") + + +def pomper_deplacements(unit, db, station, debut, fin, out): + for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai de 60 s + a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) + path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv" if path.exists(): continue - t0, frames = time.time(), [] + t0 = time.time() try: - for k in range((d1 - d0).days): # un jour par requête : bornée, sous le délai de 60 s - a = datetime.combine(d0 + timedelta(days=k), datetime.min.time(), UTC) - frames.append(build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))) - db._session.rollback() # ferme la transaction de lecture - except Exception as e: # ponytail : un lot en échec est sauté, relancer le reprend ; pas de nouvel essai - db._session.rollback() - print(f"{station} {d0} : échec du lot ({type(e).__name__}), à relancer") + df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)) + except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai + print(f"{station} {a:%Y-%m-%d} : échec ({type(e).__name__}), à relancer") continue - df = pd.concat(frames, ignore_index=True).drop_duplicates(["sensor_name", "time_utc"]) + finally: + db._session.rollback() # ferme la transaction de lecture + if len(df): + df = df.drop_duplicates(["sensor_name", "time_utc"]) path.parent.mkdir(parents=True, exist_ok=True) - df.to_csv(path, index=False) - print(f"{station} {d0}..{d1}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}") + df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas + print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}") def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): @@ -98,9 +139,11 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): t = m.time_utc.astimezone(UTC) bucket = (t.hour * 60 + t.minute) // every if every else m.id # une image par tranche de `every` min path = out / station / dossier / f"{t:%Y%m%dT%H%M}Z_{m.id}.{mt.extension}" - if bucket in seen or path.exists(): + if bucket in seen: + continue + seen.add(bucket) # même déjà là : sinon la relance prendrait l'image suivante de la tranche + if path.exists(): continue - seen.add(bucket) data = db.get_measurement_payload(m.measurement_uuid) # None si S3 ne répond pas if data: path.parent.mkdir(parents=True, exist_ok=True) @@ -116,13 +159,16 @@ def main(): p.add_argument("stations", nargs="+", help="numéro de série du système, comme dans l'URL de la page System") p.add_argument("--du", required=True, help="premier jour UTC, AAAA-MM-JJ") p.add_argument("--au", required=True, help="dernier jour UTC exclu, AAAA-MM-JJ") - p.add_argument("--lot", type=int, default=7, help="jours par fichier CSV (défaut 7)") p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON") p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF") p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)") p.add_argument("--out", type=Path, default=Path("extraction/sortie")) a = p.parse_args() debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au)) + aujourdhui = datetime.now(UTC).date() + if fin > aujourdhui: # ponytail : un jour passé, encore en synchronisation, reste figé ; supprimer son fichier + print(f"--au ramené à {aujourdhui} : le jour en cours n'est pas fini") + fin = aujourdhui missing = [n for n in DB_NAMES if not os.environ.get(n)] if missing: @@ -140,8 +186,16 @@ def main(): with Session(engine) as session: db = ReadOnlyDB(engine, session, s3) for station in a.stations: - unit = acquisition_unit(session, station) - pomper_deplacements(unit, db, station, debut, fin, a.lot, a.out) + system = session.query(System).filter_by(serial_number=station).one_or_none() + if system is None: + print(f"{station} : système inconnu") + continue + pomper_metriques(session, system, station, debut, fin, a.out) + unit = acquisition_unit(system) + if unit is None: + print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images") + continue + pomper_deplacements(unit, db, station, debut, fin, a.out) for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")): if flag: pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out) diff --git a/src/common/stations.py b/src/common/stations.py index a4e06e0..cea6dcd 100644 --- a/src/common/stations.py +++ b/src/common/stations.py @@ -38,27 +38,31 @@ def load_csv(path): def load_stations(paths): - """Fichiers et/ou dossiers -> {station: {metric: série}}.""" + """Fichiers et/ou dossiers -> {station: {metric: série}}. + + Plusieurs fichiers d'une même métrique (un par jour du pompage, exports qui se chevauchent, copies « (1) ») sont + fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. + """ files = [] for p in paths: files += sorted(glob.glob(os.path.join(p, "*.csv"))) if os.path.isdir(p) else [p] - stations, seen = {}, {} + stations, seen = {}, set() for path in files: real = os.path.realpath(path) - if real in seen.values(): + if real in seen: continue + seen.add(real) key = parse_name(path) if key is None: print(f"ignoré (nom non reconnu) : {path}", file=sys.stderr) continue - if key in seen: - raise ValueError(f"doublon {key[0]}/{key[1]} : {seen[key]} et {path}") - seen[key] = real try: - stations.setdefault(key[0], {})[key[1]] = load_csv(path) + serie = load_csv(path) except ValueError as e: print(f"ignoré : {e}", file=sys.stderr) - return stations + continue + stations.setdefault(key[0], {}).setdefault(key[1], {}).update(serie) + return {s: {m: dict(sorted(v.items())) for m, v in ms.items()} for s, ms in stations.items()} def gaps(v): diff --git a/vues-deplacements/contexte/donnees-et-boucle.md b/vues-deplacements/contexte/donnees-et-boucle.md index 66f9d0f..e1afa06 100644 --- a/vues-deplacements/contexte/donnees-et-boucle.md +++ b/vues-deplacements/contexte/donnees-et-boucle.md @@ -4,7 +4,7 @@ ## Recommandation -**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà. B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. +**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data//__….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. ## Ce que j'ai trouvé @@ -52,7 +52,7 @@ Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaqu ## Ce qui reste à vérifier avant de s'y fier -- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes). +- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes), et une métrique pompée contre un export de la page System (mêmes heures, mêmes valeurs). - Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire. - Combien de stations ont des images `DIFF`, et à quelle cadence. - Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).