pomper.py now also pumps every system metric of a station, in the format of the System page download (hourly mean, text lists, empty hour), one CSV per metric and per day; displacements are written one file per day, today is never pumped, and a rerun only fetches missing days. Fix image resume: an image already on disk now counts for its time slot. load_stations merges several files of the same metric instead of failing on a duplicate. Not run against the database: first run by the user, with point 27. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
extraction/ : pomper les données de la plateforme (brouillon, jamais lancé)
pomper.py récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les métriques système (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent
src/<domaine>/et les maquettes ; - les déplacements (export « advanced »), un CSV par jour dans
displacement/: ce que lisent le journal,/boucle,/aiguiseret l'agent de diagnostic ; - les images IRON (
--images, une par heure par défaut,--every 10ou--every 0pour plus) dansimages/, et différentielles (--diff) dansimages_diff/.
Reprise : un fichier déjà dans extraction/sortie/ n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
Lancer (l'utilisateur, dans le dev container de l'appli)
- Copier ce dossier à la racine du dépôt de l'appli visible dans le container :
cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/. Il n'y est pas suivi : ne pas le committer. Garderextraction/sortie/entre deux lancements : c'est elle que la relance complète. - Depuis cette racine, un essai d'abord (1 station, 2 jours) :
(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff <SERIE>). Noter le temps par jour. - Puis la plage voulue, par exemple les 3 semaines avant le 26/10 :
--du 2026-10-05 --au 2026-10-26(--auexclu). Plusieurs stations :<SERIE1> <SERIE2>. Aide :python3 extraction/pomper.py -h. - Depuis WSL, copier dans Support-Agent :
cp -r ~/monitoring-dashboard/extraction/sortie/<SERIE> ~/Support-Agent/data/.
Lecture seule : moteur dédié, default_transaction_read_only, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production).
Avec Claude
Claude ne se connecte pas à la base (règle de l'appli) : il lit data/<SERIE>/, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, vues-deplacements/journal/categories.py, les scripts des domaines).
À savoir
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans
extraction/sortie/et relancer. data/est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.- Contexte, blocages, options :
vues-deplacements/contexte/donnees-et-boucle.md; suivi : points 27, 28 et 43 du plandocs/superpowers/plans/2026-10-23-journal-du-matin.md.