- extraction/ : pomper.sh, pomper.py, stations.txt, lenzspitze_absolu.py repris de Support-Agent (code inchangé), README adapté ; .env à la racine, sortie dans out/ - README, CLAUDE.md, app/README réécrits : contrat avec detectors, pompage, vérifications - app/requirements.txt, seule liste des paquets Python (sans plotly ; matplotlib, pillow) - commentaires de l'app et nom du paquet npm sans renvois à Support-Agent ; familles.md : detectors/scripts/ Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
5.7 KiB
extraction/ : pomper les données de la plateforme (lecture seule)
pomper.py récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans data/<SERIE>/ :
- les métriques système (énergie, disque, 4G, températures…), moyennes horaires, un CSV par métrique et par jour dans
metrics/; - les déplacements (export « advanced »), un CSV par jour dans
displacement/; - les mouvements de la caméra (
pan,tilt,scale,rotation,sigma0), en médiane et bornes (median_,min_,max_) par minute, aux seuls instants où la caméra a été recalée, un CSV par jour danscamera/; - les images IRON (
--images, une par heure par défaut,--every 10ou--every 0pour plus) dansimages/, et différentielles (--diff) dansimages_diff/.
Formats : labeling/connaissances/colonnes-des-deplacements.md.
Stations suivies : stations.txt, un numéro de série par ligne. Sans station ni dates, le script les met toutes à jour jusqu'à maintenant : chaque station comble d'abord ses jours manquants entre le premier et le dernier jour pompé (sans déplacements, ou sans aucune métrique), puis repart de son dernier jour, repompé (il était peut-être incomplet) ; une station sans dossier dans data/ reçoit les 30 derniers jours.
Reprise : avec --du, un fichier déjà dans data/<SERIE>/ n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans --du le remplace.
Lancer (sous WSL)
pomper.sh lit les identifiants dans le .env à la racine du dépôt (base PostgreSQL et S3 ; jamais versionné, interdit en lecture à Claude), installe les 4 paquets nécessaires (sqlalchemy, psycopg2-binary, pandas, boto3) dans un environnement uv jetable (Python 3.12), lance pomper.py, puis lenzspitze_absolu.py. Sa sortie s'ajoute à out/pompage.log ; un second lancement pendant un pompage s'arrête aussitôt (verrou out/pompage.lock). Le verrou ne vaut que pour ce dépôt : data/ étant un lien vers celui de Support-Agent, ne pomper que depuis un seul des deux dépôts.
Variables du .env : AIMSIGHT_DATABASE_USER, _PSWD, _TURL, _NAME, _PORT ; pour les images, AIMSIGHT_S3_URL, _ACCESS_KEY, _SECRET_KEY, _BUCKET.
- Un essai (1 station, 2 jours, dans un dossier jetable) :
extraction/pomper.sh --du 2026-11-09 --au 2026-11-11 --images --out /tmp/essai-pompage NORDEND(6 s le 2026-11-12).lenzspitze_absolu.pyconvertit ensuitedata/LENZSPITZE, pas le dossier--out: sans effet sidata/LENZSPITZEest déjà converti. - Mettre à jour les stations suivies :
extraction/pomper.sh(sans argument :--images --delai 300), ou la tâche VS Code pomper. Le script dit, pour chaque station, la plage qu'il pompe. - Une plage choisie (historique, jour en échec), avec 3 jours de plus avant (l'historique des détecteurs) :
extraction/pomper.sh --du 2026-10-02 --au 2026-10-26 --images <SERIE>(--auexclu ; plusieurs stations :<SERIE1> <SERIE2>). Aide :extraction/pomper.sh -h.
Chaque nuit, automatiquement : une tâche du Planificateur de tâches de Windows, à créer une fois dans PowerShell (pas en administrateur). Elle démarre WSL au besoin et, PC éteint ou en veille à l'heure dite, part dès qu'il se rallume ; un jour manqué est rattrapé au lancement suivant.
$a = New-ScheduledTaskAction -Execute "wsl.exe" -Argument "-d Ubuntu -e bash -lc /home/maxime/Diagnostic-App/extraction/pomper.sh"
$t = New-ScheduledTaskTrigger -Daily -At 04:00
$s = New-ScheduledTaskSettingsSet -StartWhenAvailable -ExecutionTimeLimit (New-TimeSpan -Hours 6)
Register-ScheduledTask -TaskName "AIMsight pompage" -Action $a -Trigger $t -Settings $s
Essayer la tâche tout de suite : Start-ScheduledTask "AIMsight pompage", puis lire out/pompage.log. La retirer : Unregister-ScheduledTask "AIMsight pompage".
Lecture seule : moteur dédié, default_transaction_read_only, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
Sans dépendance à l'appli monitoring-dashboard : ses lectures sont recopiées dans pomper.py, en SQL (sa docstring dit lesquelles, et de quel commit). Si l'appli change ses lectures, le script ne suit pas : comparer à nouveau des fichiers pompés aux deux.
Avec Claude
Claude peut lancer pomper.sh lui-même (accord de l'utilisateur, 2026-11-12) : lecture seule, petites plages ; une longue plage ou un historique, hors des heures chargées. Il ne lit jamais le .env.
À savoir
<SERIE>est le numéro de série du système, celui de l'URL de la page System (/explore/system/<SERIE>) et du début des CSV qu'on y télécharge (NORDEND_BusVoltage_…:NORDEND) ; pas le nom de l'appareil de la page Explore.data/est hors de git : un dossier perdu se repompe.- Un jour en échec par délai dépassé (
QueryCanceled: … statement timeout) : le relancer seul avec--delai 300. La lenteur vient de la base, pas du volume. - Une heure sans image peut avoir sa mesure : l'image n'est jamais arrivée sur S3 (
measurement_uuidvide, envoi inachevé). Le script la saute et prend l'image suivante de la tranche s'il y en a une. - Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans
data/<SERIE>/et relancer. - LENZSPITZE : ses exports ont
x/yrelatifs etpattern_typevide ;pomper.shlance ensuitelenzspitze_absolu.py(provisoire ; détail danslabeling/connaissances/colonnes-des-deplacements.md).