Files
Support-Agent/extraction
maximeandClaude Opus 5.5 6b3d058a67 Pompage : métriques système dans metrics/, images absentes de S3 sautées
pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit
aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont
écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-26 16:47:47 +01:00
..

extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)

pomper.py récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :

  • les métriques système (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans metrics/ : ce que lisent src/<domaine>/ et les maquettes ;
  • les déplacements (export « advanced »), un CSV par jour dans displacement/ : ce que lisent le journal, /boucle, /aiguiser et l'agent de diagnostic ;
  • les mouvements de la caméra (pan, tilt, scale, rotation, sigma0), en médiane et bornes (median_, min_, max_) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans camera/ : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
  • les images IRON (--images, une par heure par défaut, --every 10 ou --every 0 pour plus) dans images/, et différentielles (--diff) dans images_diff/.

Reprise : un fichier déjà dans data/<SERIE>/ n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.

Lancer (l'utilisateur, dans le dev container de l'appli)

Le container monte tout ~ sur /workspaces (.devcontainer/docker-compose.yml de l'appli) : le script et data/ de Support-Agent y sont visibles, rien à copier.

  1. VS Code sur ~/monitoring-dashboard, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, /workspaces/monitoring-dashboard.
  2. Un essai d'abord (1 station, 2 jours), écrit directement dans ~/Support-Agent/data/<SERIE>/ (défaut de --out) ; le container tourne en root, chown rend les fichiers à l'utilisateur de WSL : (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>. Noter le temps par jour.
  3. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : --du 2026-10-02 --au 2026-10-26 (--au exclu). Plusieurs stations : <SERIE1> <SERIE2>. Aide : python3 /workspaces/Support-Agent/extraction/pomper.py -h.

Lecture seule : moteur dédié, default_transaction_read_only, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).

Avec Claude

Claude ne se connecte pas à la base (règle de l'appli) : il lit data/<SERIE>/, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, vues-deplacements/journal/categories.py, les scripts des domaines).

À savoir

  • <SERIE> est le numéro de série du système, celui de l'URL de la page System (/explore/system/<SERIE>) et du début des CSV qu'on y télécharge (NORDEND_BusVoltage_… : NORDEND) ; pas le nom de l'appareil de la page Explore (/explore/Carrière TROYDO (B)).
  • Station déjà dans data/ avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, --out /workspaces/Support-Agent/out/pompage (et le même chemin pour chown), sinon les fichiers pompés se mêlent aux exports.
  • Un jour en échec par délai dépassé (QueryCanceled: … statement timeout) : le relancer seul avec un délai plus long, --delai 300. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
  • Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (measurement_uuid vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. NIEDERHORN, du 25/09 au 08/10 : 4 heures dans ce cas, le 28/09 à 07h, le 01/10 à 01h et à 13h, le 02/10 à 12h.
  • Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
  • Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans data/<SERIE>/ et relancer.
  • data/ est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
  • Contexte, blocages, options : vues-deplacements/contexte/donnees-et-boucle.md ; suivi : points 27, 28 et 43 du plan docs/superpowers/plans/2026-10-23-journal-du-matin.md.