Files
aimsight-data/extraction

extraction/ : pomper les données de la plateforme (lecture seule)

pomper.py récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans data/<SERIE>/ :

  • les métriques système (énergie, disque, 4G, températures…), moyennes horaires, un CSV par métrique et par jour dans metrics/ ;
  • les déplacements (export « advanced »), un CSV par jour dans displacement/ ;
  • les mouvements de la caméra (pan, tilt, scale, rotation, sigma0), en médiane et bornes (median_, min_, max_) par minute, aux seuls instants où la caméra a été recalée, un CSV par jour dans camera/ ;
  • les images IRON (--images, une par heure par défaut, --every 10 ou --every 0 pour plus) dans images/, et différentielles (--diff) dans images_diff/.

Formats : ~/labeling/connaissances/colonnes-des-deplacements.md.

Stations suivies : stations.txt, un numéro de série par ligne. Sans station ni dates, le script les met toutes à jour jusqu'à maintenant : chaque station comble d'abord ses jours manquants entre le premier et le dernier jour pompé (sans déplacements, ou sans aucune métrique), puis repart de son dernier jour, repompé (il était peut-être incomplet) ; une station sans dossier dans data/ reçoit les 30 derniers jours.

Reprise : avec --du, un fichier déjà dans data/<SERIE>/ n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans --du le remplace.

Lancer (sous WSL)

pomper.sh lit les identifiants dans le .env à la racine du dépôt (base PostgreSQL et S3 ; jamais versionné, interdit en lecture à Claude), installe les 4 paquets nécessaires (sqlalchemy, psycopg2-binary, pandas, boto3) dans un environnement uv jetable (Python 3.12), lance pomper.py, puis lenzspitze_absolu.py. Sa sortie s'ajoute à out/pompage.log ; un second lancement pendant un pompage s'arrête aussitôt (verrou out/pompage.lock). Le verrou ne vaut que pour ce dossier : les autres dépôts lisent data/ par un lien, ils ne pompent pas.

Variables du .env : AIMSIGHT_DATABASE_USER, _PSWD, _TURL, _NAME, _PORT ; pour les images, AIMSIGHT_S3_URL, _ACCESS_KEY, _SECRET_KEY, _BUCKET.

  1. Un essai (1 station, 2 jours, dans un dossier jetable) : extraction/pomper.sh --du 2026-11-09 --au 2026-11-11 --images --out /tmp/essai-pompage NORDEND (6 s le 2026-11-12). lenzspitze_absolu.py convertit ensuite data/LENZSPITZE, pas le dossier --out : sans effet si data/LENZSPITZE est déjà converti.
  2. Mettre à jour les stations suivies : extraction/pomper.sh (sans argument : --images --delai 300), ou la tâche VS Code pomper. Le script dit, pour chaque station, la plage qu'il pompe.
  3. Une plage choisie (historique, jour en échec), avec 3 jours de plus avant (l'historique des détecteurs) : extraction/pomper.sh --du 2026-10-02 --au 2026-10-26 --images <SERIE> (--au exclu ; plusieurs stations : <SERIE1> <SERIE2>). Aide : extraction/pomper.sh -h.

Chaque nuit, automatiquement : une tâche du Planificateur de tâches de Windows, à créer une fois dans PowerShell (pas en administrateur). Elle démarre WSL au besoin et, PC éteint ou en veille à l'heure dite, part dès qu'il se rallume ; un jour manqué est rattrapé au lancement suivant.

$a = New-ScheduledTaskAction -Execute "wsl.exe" -Argument "-d Ubuntu -e bash -lc /home/maxime/aimsight-data/extraction/pomper.sh"
$t = New-ScheduledTaskTrigger -Daily -At 04:00
$s = New-ScheduledTaskSettingsSet -StartWhenAvailable -ExecutionTimeLimit (New-TimeSpan -Hours 6)
Register-ScheduledTask -TaskName "AIMsight pompage" -Action $a -Trigger $t -Settings $s

Essayer la tâche tout de suite : Start-ScheduledTask "AIMsight pompage", puis lire out/pompage.log. La retirer : Unregister-ScheduledTask "AIMsight pompage".

Lecture seule : moteur dédié, default_transaction_read_only, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).

Sans dépendance à l'appli monitoring-dashboard : ses lectures sont recopiées dans pomper.py, en SQL (sa docstring dit lesquelles, et de quel commit). Si l'appli change ses lectures, le script ne suit pas : comparer à nouveau des fichiers pompés aux deux.

Avec Claude

Claude peut lancer pomper.sh lui-même (accord de l'utilisateur, 2026-11-12) : lecture seule, petites plages ; une longue plage ou un historique, hors des heures chargées. Il ne lit jamais le .env.

À savoir

  • <SERIE> est le numéro de série du système, celui de l'URL de la page System (/explore/system/<SERIE>) et du début des CSV qu'on y télécharge (NORDEND_BusVoltage_… : NORDEND) ; pas le nom de l'appareil de la page Explore.
  • data/ est hors de git : un dossier perdu se repompe.
  • Un jour en échec par délai dépassé (QueryCanceled: … statement timeout) : le relancer seul avec --delai 300. La lenteur vient de la base, pas du volume.
  • Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (measurement_uuid vide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une.
  • Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans data/<SERIE>/ et relancer.
  • LENZSPITZE : ses exports ont x / y relatifs et pattern_type vide ; pomper.sh lance ensuite lenzspitze_absolu.py (provisoire ; détail dans ~/labeling/connaissances/colonnes-des-deplacements.md).