Pump system metrics and resume day by day (point 43)
pomper.py now also pumps every system metric of a station, in the format of the System page download (hourly mean, text lists, empty hour), one CSV per metric and per day; displacements are written one file per day, today is never pumped, and a rerun only fetches missing days. Fix image resume: an image already on disk now counts for its time slot. load_stations merges several files of the same metric instead of failing on a duplicate. Not run against the database: first run by the user, with point 27. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6ed1264ec8
commit
a81cc4c380
7 files changed
+152
-68
No files matched your search
@@ -4,7 +4,7 @@
|
||||
|
||||
## Recommandation
|
||||
|
||||
**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà. B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
|
||||
**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
|
||||
|
||||
## Ce que j'ai trouvé
|
||||
|
||||
@@ -52,7 +52,7 @@ Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaqu
|
||||
|
||||
## Ce qui reste à vérifier avant de s'y fier
|
||||
|
||||
- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes).
|
||||
- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes), et une métrique pompée contre un export de la page System (mêmes heures, mêmes valeurs).
|
||||
- Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire.
|
||||
- Combien de stations ont des images `DIFF`, et à quelle cadence.
|
||||
- Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).
|
||||
Reference in new issue
Block a user