Two days (29-30/07) pumped by the user in the app's dev container: system metrics, displacements and camera images match the received exports, and the journal gives the same events. The container mounts ~ on /workspaces, so the script now writes straight into Support-Agent's data/ (no copies). Add --delai for days that exceed the 60 s query timeout, and report the root database error instead of pandas' wrapper. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
34 lines
3.9 KiB
Markdown
34 lines
3.9 KiB
Markdown
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
|
|
|
|
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
|
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
|
|
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
|
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
|
|
|
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
|
|
|
## Lancer (l'utilisateur, dans le dev container de l'appli)
|
|
|
|
Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier.
|
|
|
|
1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`.
|
|
2. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
|
|
`(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>`. Noter le temps par jour.
|
|
3. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
|
|
|
|
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
|
|
|
## Avec Claude
|
|
|
|
Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/`, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, `vues-deplacements/journal/categories.py`, les scripts des domaines).
|
|
|
|
## À savoir
|
|
|
|
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
|
|
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
|
|
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
|
|
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
|
|
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
|
|
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
|
|
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|