Pump system metrics and resume day by day (point 43)
pomper.py now also pumps every system metric of a station, in the format of the System page download (hourly mean, text lists, empty hour), one CSV per metric and per day; displacements are written one file per day, today is never pumped, and a rerun only fetches missing days. Fix image resume: an image already on disk now counts for its time slot. load_stations merges several files of the same metric instead of failing on a duplicate. Not run against the database: first run by the user, with point 27. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6ed1264ec8
commit
a81cc4c380
7 files changed
+152
-68
No files matched your search
@@ -2,7 +2,7 @@
|
||||
|
||||
## Format des exports CSV
|
||||
|
||||
- Un CSV par station et par métrique : `<STATION>_<Metric>_<début> to <fin>.csv`.
|
||||
- Un CSV par station et par métrique : `<STATION>_<Metric>_<début> to <fin>.csv`. Le pompage (`extraction/pomper.py`) en écrit un par jour ; `common.stations.load_stations` fusionne les fichiers d'une même métrique.
|
||||
- Colonnes `,time_utc,metric` : un index sans nom, l'horodatage UTC (pas d'une heure), la valeur.
|
||||
- Une valeur `metric` vide signifie qu'il n'y a pas de mesure.
|
||||
- Les valeurs exportées sont des **moyennes horaires**.
|
||||
|
||||
@@ -91,7 +91,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard |
|
||||
| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) |
|
||||
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | à discuter |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 |
|
||||
| | **VII. Idées gardées pour plus tard** | | | |
|
||||
| 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente |
|
||||
| 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente |
|
||||
@@ -753,7 +753,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
**En attente depuis le 2026-10-24.** L'utilisateur n'a pas accès aux données pour l'instant ; le script sera essayé plus tard, quand le harnais qui exploite les données pompées existera (points 30 et 31). Mis en place sans rien lancer :
|
||||
- l'application de référence est `~/monitoring-dashboard` (l'utilisateur) ; les dossiers `-displacement` et `-metrics` ne sont que des branches, à ignorer ; README, script, plan et `donnees-et-boucle.md` corrigés ;
|
||||
- le script relu contre ce code : `build_advanced_frame` y est (`app/datapoints.py:285`) et rend les colonnes de l'export reçu (`time_utc`, `sensor_name` … `pattern_type`, puis les métriques de qualité) ; les trois fonctions reprises de `DatabaseEngine` n'utilisent que `_session`, `aggregates` et `s3client`, que `ReadOnlyDB` fournit ;
|
||||
- la sortie se branche telle quelle sur le journal : `donnees.charger` lit tous les CSV « advanced » d'un dossier (un par lot de 7 jours, doublons écartés) ; les images pompées portent le nom attendu (`<AAAAMMJJ>T<HHMM>Z_<id>`, D-045) ; les images différentielles (`images_diff/`) sont maintenant laissées de côté par `donnees.trouver`, pour ne pas passer pour des vues de la caméra ;
|
||||
- la sortie se branche telle quelle sur le journal : `donnees.charger` lit tous les CSV « advanced » d'un dossier (un par jour, doublons écartés) ; les images pompées portent le nom attendu (`<AAAAMMJJ>T<HHMM>Z_<id>`, D-045) ; les images différentielles (`images_diff/`) sont maintenant laissées de côté par `donnees.trouver`, pour ne pas passer pour des vues de la caméra ;
|
||||
- à savoir : un dossier pompé n'a pas d'export horaire, donc le Journal s'ouvre en px, et l'onglet Displacements (et la dérive lente) reste vide.
|
||||
|
||||
### Point 28 : Images différentielles
|
||||
@@ -870,16 +870,20 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-24). Avant de lancer la boucle sur de nouvelles données, récupérer en local, dans `data/<STATION>/`, tout ce que la base a pour les stations et les périodes qu'il choisit (par exemple une station, les 3 dernières semaines) : toutes les métriques, les déplacements, les images IRON et différentielles. Une relance complète ce qu'on a déjà, sans rien re-télécharger. Pas de vraie base de données : des fichiers (CSV, ou un format plus simple s'il y en a un). Claude pilote : l'utilisateur lui dit quoi pomper (à discuter). Dans le container, ou dehors si possible.
|
||||
|
||||
**Écart avec `extraction/pomper.py`** (relu le 2026-10-24) :
|
||||
- fait : déplacements « advanced », images IRON (`--images`, une par heure par défaut, `--every 0` pour toutes) et différentielles (`--diff`), par numéro de série du système, plusieurs stations par commande, reprise ;
|
||||
- ne fait pas : les métriques système (batterie, disque, 4G, températures ; dans l'appli `System.get_metrics(..., bucketing="1 hour")` et `get_metrics_by_datatype_ids`), l'export horaire en mm (il exige SQLite et Flask : le Journal s'ouvre en px), l'inventaire des types de mesure (point 33) ;
|
||||
- reprise imparfaite : un fichier par lot de 7 jours calé sur `--du`, donc une autre date de début refait les requêtes ; images : à la relance, l'image déjà là n'est pas comptée pour son heure et la suivante de la même heure est téléchargée (défaut lu dans le code) ;
|
||||
- sortie dans `~/monitoring-dashboard/extraction/sortie/`, copiée à la main dans `data/` ;
|
||||
- pilotage : dans l'appli, Claude tourne sur WSL sans identifiants et l'utilisateur lance tout ce qui touche la base (`.claude/rules/diagnostics.md` de l'appli) ; Claude peut lire `data/` et donner la commande des jours manquants.
|
||||
**Fait le 2026-10-24** dans `extraction/pomper.py`, sans rien lancer (mode d'emploi : `extraction/README.md`) :
|
||||
- métriques système : toutes celles de la station, une requête par jour, au format du téléchargement de la page System de l'appli (la requête de `System.get_metrics(..., bucketing="1 hour")`, qui compte en heures avant maintenant, refaite sur un jour fixe : moyenne horaire × `transform_factor` + `transform_offset`, ou la liste des valeurs d'une métrique texte, une ligne vide pour une heure sans mesure) ; un CSV par métrique et par jour, `<SERIE>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv`, à la racine du dossier de la station ;
|
||||
- déplacements : un fichier par jour, `displacement/<SERIE>_advanced_<AAAAMMJJ>.csv` ; la relance ne lit que les jours absents, quelles que soient les dates ; le jour en cours n'est jamais pompé ; un jour pompé avant la fin de la synchronisation de la station reste incomplet : supprimer ses fichiers ;
|
||||
- images : le défaut de reprise corrigé (une image déjà là compte pour sa tranche) ;
|
||||
- une station sans unité d'acquisition reconnue a quand même ses métriques ;
|
||||
- `common.stations.load_stations` fusionne plusieurs fichiers d'une même métrique (avant : erreur « doublon ») ; vérifié sur WEISSHORN découpé en 1 782 fichiers d'un jour : les 27 séries identiques ; format du CSV des métriques vérifié hors base sur un jour réel de WEISSHORN (numérique, texte, heure vide).
|
||||
- pilotage : Claude ne se connecte pas (règle de l'appli, `.claude/rules/diagnostics.md`) ; il lit `data/`, donne la commande des jours manquants, l'utilisateur lance.
|
||||
- reste hors du script : l'export horaire en mm (il exige SQLite et Flask : le Journal s'ouvre en px) ; `data/` est suivi par git, décider avant de committer un dossier pompé avec ses images.
|
||||
|
||||
**Étapes.**
|
||||
- [ ] L'utilisateur choisit : étendre le script avant le premier essai, ou l'essayer d'abord tel quel (point 27).
|
||||
- [ ] Si étendu : métriques système dans le format de `data/` (`,time_utc,metric`, moyennes horaires UTC), un fichier par jour, défaut des images corrigé, liste des types de mesure d'une station.
|
||||
- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24).
|
||||
- [x] Métriques système, un fichier par jour, défaut des images corrigé.
|
||||
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
|
||||
- [ ] Premier lancement par l'utilisateur, avec le point 27 ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
||||
|
||||
**Fini quand.** Une commande donnée par Claude remplit `data/<STATION>/` sur la période choisie, et sa relance ne télécharge que ce qui manque.
|
||||
|
||||
@@ -1031,4 +1035,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-24 : point 42 ajouté (aiguiser la lecture : un skill de lecture, un lecteur, un correcteur qui lit à fond sans les outils, un optimiseur) ; conception écrite dans `vues-deplacements/contexte/aiguiser-la-lecture.md`, à approuver.
|
||||
- 2026-10-24 : point 42 : conception approuvée par l'utilisateur ; plan de construction écrit, `docs/superpowers/plans/2026-10-24-aiguiser-la-lecture.md` (6 tâches) ; rien construit.
|
||||
- 2026-10-24 : point 43 ajouté (idée de l'utilisateur : base locale complète et incrémentale, pilotée par Claude) ; écart avec `pomper.py` noté ; rien codé.
|
||||
- 2026-10-24 : point 43 codé sans lancement : métriques système, un fichier par jour, reprise des images corrigée, `load_stations` fusionne les fichiers d'une même métrique ; essai par l'utilisateur avec le point 27.
|
||||
- 2026-10-24 : point 42 : `/aiguiser` construit (D-059), avec le releveur (D-060) ; essai du lecteur et du correcteur sur le lot 1 de NORDEND : écart « à reprendre », deux défauts ; reste la première séance, par l'utilisateur.
|
||||
Reference in new issue
Block a user