Pompage : autonome sous WSL, sans monitoring-dashboard (D-146)

- pomper.py : les lectures de l'appli recopiées en SQL, plus d'import de app/ ;
  le rattrapage reprend aussi les jours de métriques en échec
- pomper.sh : .env du projet, environnement uv jetable, log, verrou,
  post-traitement LENZSPITZE ; tâche Windows nocturne documentée
- vérifié contre l'ancien code sur NORDEND, SUSTENHORN, NADELHORN
- db/ (copie de la SQLite de l'appli) hors de git

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-12 15:55:43 +01:00
1 parent d4fea5d290
commit f62071c83f
7 files changed
+287 -99

No files matched your search

+26 -10
View File
@@ -1,4 +1,4 @@
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26 ; sous WSL depuis D-146)
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
@@ -6,25 +6,41 @@
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096). Avant, les jours sans fichier de déplacements entre le premier et le dernier pompé (plages pompées à part, jour en échec) sont pompés, sans toucher aux autres (D-125).
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096). Avant, les jours sans fichier de déplacements entre le premier et le dernier pompé (plages pompées à part, jour en échec), ou sans aucun fichier de métriques (métriques seules en échec), sont pompés, sans toucher aux autres (D-125, D-146).
Reprise : avec `--du`, un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans `--du` le remplace.
## Lancer (l'utilisateur, dans le dev container de l'appli)
## Lancer (sous WSL, sans l'appli, D-146)
Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier.
`pomper.sh` lit les identifiants dans le `.env` de Support-Agent (base PostgreSQL et S3, sans les afficher ; jamais versionné, interdit en lecture à Claude), installe les 4 paquets nécessaires (`sqlalchemy`, `psycopg2-binary`, `pandas`, `boto3`) dans un environnement `uv` jetable (Python 3.12, téléchargé au premier lancement), lance `pomper.py`, puis `lenzspitze_absolu.py`. Sa sortie s'ajoute à `out/pompage.log` ; un second lancement pendant un pompage s'arrête aussitôt. Plus de `chown` : les fichiers sont à l'utilisateur.
1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`.
2. **Mettre à jour les stations suivies** : `(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images); chown -R 1000:1000 /workspaces/Support-Agent/data`. Le script dit, pour chaque station, la plage qu'il pompe. Les points suivants servent à une plage choisie (historique, jour en échec).
3. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
`(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>`. Noter le temps par jour.
4. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
Plus de dépendance à `~/monitoring-dashboard` : les lectures de l'appli sont recopiées dans `pomper.py`, en SQL (sa docstring dit lesquelles, et de quel commit). Vérifié le 2026-11-12 contre les fichiers pompés le matin même par l'ancien code : NORDEND (déplacements bruts, 2 jours, images comprises), SUSTENHORN (agrégés), NADELHORN (bruts et agrégés fusionnés), mêmes fichiers à l'octet, sauf l'heure des lignes agrégées de NADELHORN, écrite `00:00:00.000000+00:00` au lieu de `00:00:00+00:00` (mêmes valeurs ; `fromisoformat` lit les deux). Si l'appli change ses lectures, le script ne suit pas : comparer à nouveau.
1. **Un essai** (1 station, 2 jours, dans un dossier jetable) ; noter le temps par jour :
`extraction/pomper.sh --du 2026-11-09 --au 2026-11-11 --images --out /tmp/essai-pompage NORDEND` (6 s le 2026-11-12, base et S3 joints depuis WSL).
2. **Mettre à jour les stations suivies** : `extraction/pomper.sh` (sans argument : `--images --delai 300`). Le script dit, pour chaque station, la plage qu'il pompe.
3. **Une plage choisie** (historique, jour en échec), avec 3 jours de plus avant (l'historique du journal) : `extraction/pomper.sh --du 2026-10-02 --au 2026-10-26 --images <SERIE>` (`--au` exclu ; plusieurs stations : `<SERIE1> <SERIE2>`). Aide : `extraction/pomper.sh -h`.
**Chaque nuit, automatiquement** : une tâche du Planificateur de tâches de Windows, à créer une fois dans PowerShell (pas en administrateur). Elle démarre WSL au besoin et, PC éteint ou en veille à l'heure dite, part dès qu'il se rallume ; un jour manqué est rattrapé au lancement suivant.
```powershell
$a = New-ScheduledTaskAction -Execute "wsl.exe" -Argument "-d Ubuntu -e bash -lc /home/maxime/Support-Agent/extraction/pomper.sh"
$t = New-ScheduledTaskTrigger -Daily -At 04:00
$s = New-ScheduledTaskSettingsSet -StartWhenAvailable -ExecutionTimeLimit (New-TimeSpan -Hours 6)
Register-ScheduledTask -TaskName "AIMsight pompage" -Action $a -Trigger $t -Settings $s
```
Essayer la tâche tout de suite : `Start-ScheduledTask "AIMsight pompage"`, puis lire `out/pompage.log`. La retirer : `Unregister-ScheduledTask "AIMsight pompage"`.
Le dev container de l'appli ne sert plus.
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
## Avec Claude
Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/`, donne la commande des jours manquants, puis vérifie ce qui arrive (comparaison à un export reçu, `detectors/categories.py`, les scripts des domaines).
Claude peut lancer `pomper.sh` lui-même (accord de l'utilisateur, 2026-11-12, D-146) : lecture seule, petites plages ; une longue plage ou un historique, hors des heures chargées. Il ne lit jamais le `.env`. Puis il vérifie ce qui arrive (comparaison à un export reçu, `detectors/categories.py`, les scripts des domaines).
**La base de l'appli** (SQLite : appareils et leur nom chez le client, sorties, alarmes, utilisateurs) : une copie dans `db/database.db`, hors de git, du 2026-11-12 ; le pompage ne s'en sert pas. Elle servira au nom du site client → numéro de série et aux déplacements en mm ; ne lire que les tables utiles (pas `User`).
## À savoir