Files
Support-Agent/extraction/README.md
T
maximeandClaude Opus 5.5 a81cc4c380 Pump system metrics and resume day by day (point 43)
pomper.py now also pumps every system metric of a station, in the format of
the System page download (hourly mean, text lists, empty hour), one CSV per
metric and per day; displacements are written one file per day, today is
never pumped, and a rerun only fetches missing days. Fix image resume: an
image already on disk now counts for its time slot. load_stations merges
several files of the same metric instead of failing on a duplicate.

Not run against the database: first run by the user, with point 27.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-24 19:14:59 +02:00

2.9 KiB

extraction/ : pomper les données de la plateforme (brouillon, jamais lancé)

pomper.py récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :

  • les métriques système (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent src/<domaine>/ et les maquettes ;
  • les déplacements (export « advanced »), un CSV par jour dans displacement/ : ce que lisent le journal, /boucle, /aiguiser et l'agent de diagnostic ;
  • les images IRON (--images, une par heure par défaut, --every 10 ou --every 0 pour plus) dans images/, et différentielles (--diff) dans images_diff/.

Reprise : un fichier déjà dans extraction/sortie/ n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.

Lancer (l'utilisateur, dans le dev container de l'appli)

  1. Copier ce dossier à la racine du dépôt de l'appli visible dans le container : cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/. Il n'y est pas suivi : ne pas le committer. Garder extraction/sortie/ entre deux lancements : c'est elle que la relance complète.
  2. Depuis cette racine, un essai d'abord (1 station, 2 jours) : (set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff <SERIE>). Noter le temps par jour.
  3. Puis la plage voulue, par exemple les 3 semaines avant le 26/10 : --du 2026-10-05 --au 2026-10-26 (--au exclu). Plusieurs stations : <SERIE1> <SERIE2>. Aide : python3 extraction/pomper.py -h.
  4. Depuis WSL, copier dans Support-Agent : cp -r ~/monitoring-dashboard/extraction/sortie/<SERIE> ~/Support-Agent/data/.

Lecture seule : moteur dédié, default_transaction_read_only, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production).

Avec Claude

Claude ne se connecte pas à la base (règle de l'appli) : il lit data/<SERIE>/, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, vues-deplacements/journal/categories.py, les scripts des domaines).

À savoir

  • Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
  • Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans extraction/sortie/ et relancer.
  • data/ est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
  • Contexte, blocages, options : vues-deplacements/contexte/donnees-et-boucle.md ; suivi : points 27, 28 et 43 du plan docs/superpowers/plans/2026-10-23-journal-du-matin.md.