diff --git a/CLAUDE.md b/CLAUDE.md index 047c859..b3a9d6f 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -106,7 +106,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Fichiers -- `README.md` (40 l) : point d'entrée pour un humain. +- `README.md` (40 l) : point d'entrée pour un humain. `run.md` : la commande générique de pompage, à copier dans le dev container de l'appli. - `docs/decisions.md` (708 l, D-001 à D-062) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée. - `docs/domaine/` : savoir métier commun, une note courte (< 50 l) par question. - `ce-que-mesure-la-station.md` : format CSV, métriques et unités, consommation mesurée mais pas l'apport. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index f93b60a..7495678 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -884,6 +884,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24). - [x] Métriques système, un fichier par jour, défaut des images corrigé. - [ ] Liste des types de mesure d'une station : non demandée, au point 33. +- [ ] Mouvements de la caméra (demande de l'utilisateur, 2026-10-26) : `pan`, `tilt`, `scale`, `rotation`, `sigma0` à la minute, médiane et bornes, par la lecture du visualiseur de la plateforme (`get_shifts_aggregate(..., "cam_movements_1min")`, comme `fetch_cam_movements_frame`), un CSV par jour dans `camera/` ; aucun outil du projet ne les lit encore. Essayé le 2026-10-26 sur le 30/07 de NORDEND (C-002) : 2 s, 70 lignes, une par mesure (toutes les 15 min, min = max) ; sur les 95 instants des déplacements, 70 ont une pose de la caméra (pan de −0,059 à −0,010, tilt de −0,089 à −0,020), dont 7 seulement un `sigma0`, les mêmes que l'export « advanced » ; les 25 autres, surtout de 15:15 à 22:45, n'ont ni pose ni `sigma0` : pas de recalage de la caméra. La pose existe donc là où l'export n'a pas de `sigma0`. Reste le 29/07. - [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage). **Fini quand.** Une commande donnée par Claude remplit `data//` sur la période choisie, et sa relance ne télécharge que ce qui manque. @@ -1109,3 +1110,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance. - 2026-10-26 : points 27, 28 et 43 : premier pompage par l'utilisateur (NORDEND, 29 et 30/07) : métriques, déplacements du 29/07 et images identiques aux exports reçus ; déplacements du 30/07 en échec (`DatabaseError`), cause affichée à la relance ; images différentielles : traînées claires pendant C-002, à confirmer ; mode d'emploi simplifié (le container monte `~` : sortie directe dans `data/`, ou `out/pompage/` pour une station déjà reçue). - 2026-10-26 : point 27 fait, à valider : le 30/07, en échec par délai dépassé (60 s) alors qu'il n'est pas plus lourd que le 29/07, relancé avec la nouvelle option `--delai 300` (93 s) : identique à l'export reçu ; `categories.py` donne les mêmes événements sur le dossier pompé que sur l'export reçu aux mêmes jours ; pomper 3 jours d'historique en plus. +- 2026-10-26 : point 43 : mouvements de la caméra ajoutés au pompage (demande de l'utilisateur) : `camera/`, un CSV par jour, une ligne par mesure ; essayé sur le 30/07 de NORDEND (70 poses sur 95 instants, `sigma0` sur 7 seulement, comme l'export). diff --git a/extraction/README.md b/extraction/README.md index cd591ac..4bd8c48 100644 --- a/extraction/README.md +++ b/extraction/README.md @@ -3,6 +3,7 @@ `pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent : - les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src//` et les maquettes ; - les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ; +- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ; - les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`. Reprise : un fichier déjà dans `data//` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé. diff --git a/extraction/pomper.py b/extraction/pomper.py index e241d19..c90d7de 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -8,13 +8,15 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) : /___00_00 to _23_00.csv métriques système, par jour /displacement/_advanced_.csv déplacements, un fichier par jour + /camera/_camera_.csv mouvements de la caméra, par jour /images/TZ_. images OPTICAL_SHIFT-IRON (--images) /images_diff/… images différentielles (--diff) Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu, jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier. Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System), -build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et +build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de +fetch_cam_movements_frame (ce que trace le visualiseur), AcquisitionUnit.measurements et get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images @@ -36,7 +38,7 @@ from sqlalchemy.orm import Session from app.aggregates import AggregateEngine from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries, S3client, System) -from app.datapoints import build_advanced_frame +from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame UTC = timezone.utc DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"] @@ -44,8 +46,10 @@ TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} # class ReadOnlyDB: - """Le strict nécessaire à build_advanced_frame et à get_measurement_payload (les fonctions de DatabaseEngine).""" + """Le strict nécessaire à build_advanced_frame, à camera et à get_measurement_payload (les fonctions de + DatabaseEngine).""" get_sensor_state_aggregate = DatabaseEngine.get_sensor_state_aggregate + get_shifts_aggregate = DatabaseEngine.get_shifts_aggregate get_common_state_aggregate = DatabaseEngine.get_common_state_aggregate get_measurement_payload = DatabaseEngine.get_measurement_payload @@ -111,25 +115,39 @@ def pomper_metriques(session, system, station, debut, fin, out): f"{time.time() - t0:.0f} s") +def camera(unit, db, a, b): + """Pan, tilt, scale, rotation et sigma0 de la caméra, en médiane et bornes (median_ / min_ / max_) par minute, donc + une ligne par mesure de la caméra (toutes les 15 min à NORDEND, min = max) : + ce que trace le visualiseur (fetch_cam_movements_frame, app/datapoints.py), sans son except, qui rendrait vide un + jour en échec au lieu de le laisser à relancer.""" + df = db.get_shifts_aggregate(unit, f"cam_movements_{AGGREGATE_FALLBACK_RESOLUTION}", a, b) + return df.reset_index().drop(columns="sensor_id", errors="ignore") # sensor_id : l'id interne de l'unité + + +JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture + + def pomper_deplacements(unit, db, station, debut, fin, out): - for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai) + """Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai).""" + for k in range((fin - debut).days): a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) - path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv" - if path.exists(): - continue - t0 = time.time() - try: - df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)) - except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai - print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer") - continue - finally: - db._session.rollback() # ferme la transaction de lecture - if len(df): - df = df.drop_duplicates(["sensor_name", "time_utc"]) - path.parent.mkdir(parents=True, exist_ok=True) - df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas - print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}") + for dossier, nom, lire in JOURS: + path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv" + if path.exists(): + continue + t0 = time.time() + try: + df = lire(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)) + except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai + print(f"{station} {a:%Y-%m-%d} {nom} : échec ({raison(e)}), à relancer") + continue + finally: + db._session.rollback() # ferme la transaction de lecture + if "sensor_name" in df: + df = df.drop_duplicates(["sensor_name", "time_utc"]) + path.parent.mkdir(parents=True, exist_ok=True) + df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas + print(f"{station} {a:%Y-%m-%d} {nom}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}") def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): @@ -202,7 +220,7 @@ def main(): pomper_metriques(session, system, station, debut, fin, a.out) unit = acquisition_unit(system) if unit is None: - print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images") + print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images") continue pomper_deplacements(unit, db, station, debut, fin, a.out) for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")): diff --git a/run.md b/run.md new file mode 100644 index 0000000..90f612d --- /dev/null +++ b/run.md @@ -0,0 +1,15 @@ +# Pomper les données d'une station + +Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container ») : + +```bash +(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --out /workspaces/Support-Agent/out/pompage --du --au --images --delai 300 ); chown -R 1000:1000 /workspaces/Support-Agent/out/pompage +``` + +- `` : numéro de série du système, celui de l'URL de la page System (`/explore/system/`), par exemple `NORDEND` ; plusieurs stations : ` `. +- ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours n'est jamais pompé. +- Sortie : `out/pompage//` (métriques, `displacement/`, `camera/`, `images/`). +- Options : `--diff` ajoute les images différentielles (~160 Mo par jour) ; `--every 10` une image toutes les 10 min (`0` : toutes) ; sans `--images`, pas d'images. +- Relancer la même commande ne récupère que ce qui manque (jour en échec, plage élargie, option ajoutée). + +Détails : `extraction/README.md`. diff --git a/vues-deplacements/CLAUDE.md b/vues-deplacements/CLAUDE.md index 72f0488..25b83a6 100644 --- a/vues-deplacements/CLAUDE.md +++ b/vues-deplacements/CLAUDE.md @@ -27,7 +27,7 @@ Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il c ## Règles - Les données restent seules dans `/` : les outils de l'agent lisent tout le dossier qu'on leur donne, et une capture PNG y passerait pour une image de la caméra. Le verdict de l'utilisateur, dans `parcours.md`, reste hors de la vue de l'agent. -- Les exports reçus (« advanced », horaire) n'ont pas tout ce que montrent les graphiques de la plateforme : par exemple, le tilt de la caméra n'y est pas (constaté sur NORDEND, octobre 2026). À terme, le projet aura accès à la base de données de la plateforme : les vues pourront alors s'appuyer sur tous ses champs. +- Les exports reçus (« advanced », horaire) n'ont pas tout ce que montrent les graphiques de la plateforme : par exemple, le tilt de la caméra n'y est pas (constaté sur NORDEND, octobre 2026). Le pompage (`extraction/`) le récupère : `camera/` du dossier pompé, pan, tilt, scale, rotation et sigma0 à chaque mesure. - Chantier très expérimental (utilisateur, 2026-10-16) : essayer des choses et converger pas à pas vers une solution qui marche ; pas de revue ni de haute qualité exigée ; vérifier par un lancement et une capture. - Agent sur un cas, seulement si l'utilisateur le demande : `@agent-diagnostic vues-deplacements/cas/// [question]`. - Les règles du projet (`CLAUDE.md` à la racine) s'appliquent : heures en UTC, documents en français, texte du site en anglais (D-023), pas de données synthétiques, identifiants (`SIM_CCID`, `ip`) jamais recopiés, décisions dans `docs/decisions.md`.