From 3ec6261b5aa2701abac6cf22ec2611ce3e665d60 Mon Sep 17 00:00:00 2001 From: maxime Date: Mon, 26 Oct 2026 11:27:06 +0100 Subject: [PATCH] Pump the camera movements and add run.md with the generic pump command (point 43) Camera pan, tilt, scale, rotation and sigma0, one row per camera measurement, read like the platform viewer (cam_movements aggregate), one CSV per day in camera/. Tried on NORDEND 30/07: 70 poses out of 95 instants, sigma0 on the same 7 as the advanced export. run.md holds the command to copy into the app's dev container. Co-Authored-By: Claude Opus 5.5 --- CLAUDE.md | 2 +- .../plans/2026-10-23-journal-du-matin.md | 2 + extraction/README.md | 1 + extraction/pomper.py | 60 ++++++++++++------- run.md | 15 +++++ vues-deplacements/CLAUDE.md | 2 +- 6 files changed, 59 insertions(+), 23 deletions(-) create mode 100644 run.md diff --git a/CLAUDE.md b/CLAUDE.md index 047c859..b3a9d6f 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -106,7 +106,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Fichiers -- `README.md` (40 l) : point d'entrée pour un humain. +- `README.md` (40 l) : point d'entrée pour un humain. `run.md` : la commande générique de pompage, à copier dans le dev container de l'appli. - `docs/decisions.md` (708 l, D-001 à D-062) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée. - `docs/domaine/` : savoir métier commun, une note courte (< 50 l) par question. - `ce-que-mesure-la-station.md` : format CSV, métriques et unités, consommation mesurée mais pas l'apport. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index f93b60a..7495678 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -884,6 +884,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24). - [x] Métriques système, un fichier par jour, défaut des images corrigé. - [ ] Liste des types de mesure d'une station : non demandée, au point 33. +- [ ] Mouvements de la caméra (demande de l'utilisateur, 2026-10-26) : `pan`, `tilt`, `scale`, `rotation`, `sigma0` à la minute, médiane et bornes, par la lecture du visualiseur de la plateforme (`get_shifts_aggregate(..., "cam_movements_1min")`, comme `fetch_cam_movements_frame`), un CSV par jour dans `camera/` ; aucun outil du projet ne les lit encore. Essayé le 2026-10-26 sur le 30/07 de NORDEND (C-002) : 2 s, 70 lignes, une par mesure (toutes les 15 min, min = max) ; sur les 95 instants des déplacements, 70 ont une pose de la caméra (pan de −0,059 à −0,010, tilt de −0,089 à −0,020), dont 7 seulement un `sigma0`, les mêmes que l'export « advanced » ; les 25 autres, surtout de 15:15 à 22:45, n'ont ni pose ni `sigma0` : pas de recalage de la caméra. La pose existe donc là où l'export n'a pas de `sigma0`. Reste le 29/07. - [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage). **Fini quand.** Une commande donnée par Claude remplit `data//` sur la période choisie, et sa relance ne télécharge que ce qui manque. @@ -1109,3 +1110,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance. - 2026-10-26 : points 27, 28 et 43 : premier pompage par l'utilisateur (NORDEND, 29 et 30/07) : métriques, déplacements du 29/07 et images identiques aux exports reçus ; déplacements du 30/07 en échec (`DatabaseError`), cause affichée à la relance ; images différentielles : traînées claires pendant C-002, à confirmer ; mode d'emploi simplifié (le container monte `~` : sortie directe dans `data/`, ou `out/pompage/` pour une station déjà reçue). - 2026-10-26 : point 27 fait, à valider : le 30/07, en échec par délai dépassé (60 s) alors qu'il n'est pas plus lourd que le 29/07, relancé avec la nouvelle option `--delai 300` (93 s) : identique à l'export reçu ; `categories.py` donne les mêmes événements sur le dossier pompé que sur l'export reçu aux mêmes jours ; pomper 3 jours d'historique en plus. +- 2026-10-26 : point 43 : mouvements de la caméra ajoutés au pompage (demande de l'utilisateur) : `camera/`, un CSV par jour, une ligne par mesure ; essayé sur le 30/07 de NORDEND (70 poses sur 95 instants, `sigma0` sur 7 seulement, comme l'export). diff --git a/extraction/README.md b/extraction/README.md index cd591ac..4bd8c48 100644 --- a/extraction/README.md +++ b/extraction/README.md @@ -3,6 +3,7 @@ `pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent : - les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src//` et les maquettes ; - les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ; +- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ; - les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`. Reprise : un fichier déjà dans `data//` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé. diff --git a/extraction/pomper.py b/extraction/pomper.py index e241d19..c90d7de 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -8,13 +8,15 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) : /___00_00 to _23_00.csv métriques système, par jour /displacement/_advanced_.csv déplacements, un fichier par jour + /camera/_camera_.csv mouvements de la caméra, par jour /images/TZ_. images OPTICAL_SHIFT-IRON (--images) /images_diff/… images différentielles (--diff) Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu, jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier. Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System), -build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et +build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de +fetch_cam_movements_frame (ce que trace le visualiseur), AcquisitionUnit.measurements et get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images @@ -36,7 +38,7 @@ from sqlalchemy.orm import Session from app.aggregates import AggregateEngine from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries, S3client, System) -from app.datapoints import build_advanced_frame +from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame UTC = timezone.utc DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"] @@ -44,8 +46,10 @@ TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} # class ReadOnlyDB: - """Le strict nécessaire à build_advanced_frame et à get_measurement_payload (les fonctions de DatabaseEngine).""" + """Le strict nécessaire à build_advanced_frame, à camera et à get_measurement_payload (les fonctions de + DatabaseEngine).""" get_sensor_state_aggregate = DatabaseEngine.get_sensor_state_aggregate + get_shifts_aggregate = DatabaseEngine.get_shifts_aggregate get_common_state_aggregate = DatabaseEngine.get_common_state_aggregate get_measurement_payload = DatabaseEngine.get_measurement_payload @@ -111,25 +115,39 @@ def pomper_metriques(session, system, station, debut, fin, out): f"{time.time() - t0:.0f} s") +def camera(unit, db, a, b): + """Pan, tilt, scale, rotation et sigma0 de la caméra, en médiane et bornes (median_ / min_ / max_) par minute, donc + une ligne par mesure de la caméra (toutes les 15 min à NORDEND, min = max) : + ce que trace le visualiseur (fetch_cam_movements_frame, app/datapoints.py), sans son except, qui rendrait vide un + jour en échec au lieu de le laisser à relancer.""" + df = db.get_shifts_aggregate(unit, f"cam_movements_{AGGREGATE_FALLBACK_RESOLUTION}", a, b) + return df.reset_index().drop(columns="sensor_id", errors="ignore") # sensor_id : l'id interne de l'unité + + +JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture + + def pomper_deplacements(unit, db, station, debut, fin, out): - for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai) + """Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai).""" + for k in range((fin - debut).days): a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) - path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv" - if path.exists(): - continue - t0 = time.time() - try: - df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)) - except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai - print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer") - continue - finally: - db._session.rollback() # ferme la transaction de lecture - if len(df): - df = df.drop_duplicates(["sensor_name", "time_utc"]) - path.parent.mkdir(parents=True, exist_ok=True) - df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas - print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}") + for dossier, nom, lire in JOURS: + path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv" + if path.exists(): + continue + t0 = time.time() + try: + df = lire(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)) + except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai + print(f"{station} {a:%Y-%m-%d} {nom} : échec ({raison(e)}), à relancer") + continue + finally: + db._session.rollback() # ferme la transaction de lecture + if "sensor_name" in df: + df = df.drop_duplicates(["sensor_name", "time_utc"]) + path.parent.mkdir(parents=True, exist_ok=True) + df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas + print(f"{station} {a:%Y-%m-%d} {nom}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}") def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): @@ -202,7 +220,7 @@ def main(): pomper_metriques(session, system, station, debut, fin, a.out) unit = acquisition_unit(system) if unit is None: - print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images") + print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images") continue pomper_deplacements(unit, db, station, debut, fin, a.out) for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")): diff --git a/run.md b/run.md new file mode 100644 index 0000000..90f612d --- /dev/null +++ b/run.md @@ -0,0 +1,15 @@ +# Pomper les données d'une station + +Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container ») : + +```bash +(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --out /workspaces/Support-Agent/out/pompage --du --au --images --delai 300 ); chown -R 1000:1000 /workspaces/Support-Agent/out/pompage +``` + +- `` : numéro de série du système, celui de l'URL de la page System (`/explore/system/`), par exemple `NORDEND` ; plusieurs stations : ` `. +- ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours n'est jamais pompé. +- Sortie : `out/pompage//` (métriques, `displacement/`, `camera/`, `images/`). +- Options : `--diff` ajoute les images différentielles (~160 Mo par jour) ; `--every 10` une image toutes les 10 min (`0` : toutes) ; sans `--images`, pas d'images. +- Relancer la même commande ne récupère que ce qui manque (jour en échec, plage élargie, option ajoutée). + +Détails : `extraction/README.md`. diff --git a/vues-deplacements/CLAUDE.md b/vues-deplacements/CLAUDE.md index 72f0488..25b83a6 100644 --- a/vues-deplacements/CLAUDE.md +++ b/vues-deplacements/CLAUDE.md @@ -27,7 +27,7 @@ Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il c ## Règles - Les données restent seules dans `/` : les outils de l'agent lisent tout le dossier qu'on leur donne, et une capture PNG y passerait pour une image de la caméra. Le verdict de l'utilisateur, dans `parcours.md`, reste hors de la vue de l'agent. -- Les exports reçus (« advanced », horaire) n'ont pas tout ce que montrent les graphiques de la plateforme : par exemple, le tilt de la caméra n'y est pas (constaté sur NORDEND, octobre 2026). À terme, le projet aura accès à la base de données de la plateforme : les vues pourront alors s'appuyer sur tous ses champs. +- Les exports reçus (« advanced », horaire) n'ont pas tout ce que montrent les graphiques de la plateforme : par exemple, le tilt de la caméra n'y est pas (constaté sur NORDEND, octobre 2026). Le pompage (`extraction/`) le récupère : `camera/` du dossier pompé, pan, tilt, scale, rotation et sigma0 à chaque mesure. - Chantier très expérimental (utilisateur, 2026-10-16) : essayer des choses et converger pas à pas vers une solution qui marche ; pas de revue ni de haute qualité exigée ; vérifier par un lancement et une capture. - Agent sur un cas, seulement si l'utilisateur le demande : `@agent-diagnostic vues-deplacements/cas/// [question]`. - Les règles du projet (`CLAUDE.md` à la racine) s'appliquent : heures en UTC, documents en français, texte du site en anglais (D-023), pas de données synthétiques, identifiants (`SIM_CCID`, `ip`) jamais recopiés, décisions dans `docs/decisions.md`.