40 lines
5.8 KiB
Markdown
40 lines
5.8 KiB
Markdown
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
|
|
|
|
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
|
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
|
|
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/events-learner` et l'agent de diagnostic ;
|
|
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
|
|
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
|
|
|
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096). Avant, les jours sans fichier de déplacements entre le premier et le dernier pompé (plages pompées à part, jour en échec) sont pompés, sans toucher aux autres (D-125).
|
|
|
|
Reprise : avec `--du`, un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans `--du` le remplace.
|
|
|
|
## Lancer (l'utilisateur, dans le dev container de l'appli)
|
|
|
|
Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier.
|
|
|
|
1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`.
|
|
2. **Mettre à jour les stations suivies** : `(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images); chown -R 1000:1000 /workspaces/Support-Agent/data`. Le script dit, pour chaque station, la plage qu'il pompe. Les points suivants servent à une plage choisie (historique, jour en échec).
|
|
3. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
|
|
`(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>`. Noter le temps par jour.
|
|
4. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
|
|
|
|
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
|
|
|
## Avec Claude
|
|
|
|
Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/`, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, `detectors/categories.py`, les scripts des domaines).
|
|
|
|
## À savoir
|
|
|
|
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
|
|
- `data/` ne contient que des dossiers pompés (D-065) : les exports reçus à la main en ont été retirés le 2026-10-26 et leurs plages repompées ; leurs copies codées restent dans les events (`events/`).
|
|
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
|
|
- Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (`measurement_uuid` vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h.
|
|
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
|
|
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
|
|
- `data/` est hors de git (D-065) : le poids ne compte plus, seul le temps de lecture de la base ; un dossier perdu se repompe.
|
|
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
|
- LENZSPITZE : ses exports ont `x` / `y` relatifs et `pattern_type` vide ; après un pompage, lancer `python3 extraction/lenzspitze_absolu.py` (provisoire, détail dans `labeling/connaissances/colonnes-des-deplacements.md`).
|