Pump the camera movements and add run.md with the generic pump command (point 43)

Camera pan, tilt, scale, rotation and sigma0, one row per camera measurement,
read like the platform viewer (cam_movements aggregate), one CSV per day in
camera/. Tried on NORDEND 30/07: 70 poses out of 95 instants, sigma0 on the
same 7 as the advanced export. run.md holds the command to copy into the
app's dev container.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 11:27:06 +01:00
1 parent 2d2d50a8b3
commit 3ec6261b5a
6 files changed
+59 -23

No files matched your search

+1 -1
View File
@@ -106,7 +106,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
### Fichiers
- `README.md` (40 l) : point d'entrée pour un humain.
- `README.md` (40 l) : point d'entrée pour un humain. `run.md` : la commande générique de pompage, à copier dans le dev container de l'appli.
- `docs/decisions.md` (708 l, D-001 à D-062) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée.
- `docs/domaine/` : savoir métier commun, une note courte (< 50 l) par question.
- `ce-que-mesure-la-station.md` : format CSV, métriques et unités, consommation mesurée mais pas l'apport.
@@ -884,6 +884,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24).
- [x] Métriques système, un fichier par jour, défaut des images corrigé.
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
- [ ] Mouvements de la caméra (demande de l'utilisateur, 2026-10-26) : `pan`, `tilt`, `scale`, `rotation`, `sigma0` à la minute, médiane et bornes, par la lecture du visualiseur de la plateforme (`get_shifts_aggregate(..., "cam_movements_1min")`, comme `fetch_cam_movements_frame`), un CSV par jour dans `camera/` ; aucun outil du projet ne les lit encore. Essayé le 2026-10-26 sur le 30/07 de NORDEND (C-002) : 2 s, 70 lignes, une par mesure (toutes les 15 min, min = max) ; sur les 95 instants des déplacements, 70 ont une pose de la caméra (pan de −0,059 à −0,010, tilt de −0,089 à −0,020), dont 7 seulement un `sigma0`, les mêmes que l'export « advanced » ; les 25 autres, surtout de 15:15 à 22:45, n'ont ni pose ni `sigma0` : pas de recalage de la caméra. La pose existe donc là où l'export n'a pas de `sigma0`. Reste le 29/07.
- [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
**Fini quand.** Une commande donnée par Claude remplit `data/<STATION>/` sur la période choisie, et sa relance ne télécharge que ce qui manque.
@@ -1109,3 +1110,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance.
- 2026-10-26 : points 27, 28 et 43 : premier pompage par l'utilisateur (NORDEND, 29 et 30/07) : métriques, déplacements du 29/07 et images identiques aux exports reçus ; déplacements du 30/07 en échec (`DatabaseError`), cause affichée à la relance ; images différentielles : traînées claires pendant C-002, à confirmer ; mode d'emploi simplifié (le container monte `~` : sortie directe dans `data/`, ou `out/pompage/` pour une station déjà reçue).
- 2026-10-26 : point 27 fait, à valider : le 30/07, en échec par délai dépassé (60 s) alors qu'il n'est pas plus lourd que le 29/07, relancé avec la nouvelle option `--delai 300` (93 s) : identique à l'export reçu ; `categories.py` donne les mêmes événements sur le dossier pompé que sur l'export reçu aux mêmes jours ; pomper 3 jours d'historique en plus.
- 2026-10-26 : point 43 : mouvements de la caméra ajoutés au pompage (demande de l'utilisateur) : `camera/`, un CSV par jour, une ligne par mesure ; essayé sur le 30/07 de NORDEND (70 poses sur 95 instants, `sigma0` sur 7 seulement, comme l'export).
+1
View File
@@ -3,6 +3,7 @@
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
+39 -21
View File
@@ -8,13 +8,15 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de
fetch_cam_movements_frame (ce que trace le visualiseur), AcquisitionUnit.measurements et
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
@@ -36,7 +38,7 @@ from sqlalchemy.orm import Session
from app.aggregates import AggregateEngine
from app.aimsight_database import (DataType, DatabaseEngine, Measurement, MeasurementType, MetricSample, MetricSeries,
S3client, System)
from app.datapoints import build_advanced_frame
from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame
UTC = timezone.utc
DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"]
@@ -44,8 +46,10 @@ TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} #
class ReadOnlyDB:
"""Le strict nécessaire à build_advanced_frame et à get_measurement_payload (les fonctions de DatabaseEngine)."""
"""Le strict nécessaire à build_advanced_frame, à camera et à get_measurement_payload (les fonctions de
DatabaseEngine)."""
get_sensor_state_aggregate = DatabaseEngine.get_sensor_state_aggregate
get_shifts_aggregate = DatabaseEngine.get_shifts_aggregate
get_common_state_aggregate = DatabaseEngine.get_common_state_aggregate
get_measurement_payload = DatabaseEngine.get_measurement_payload
@@ -111,25 +115,39 @@ def pomper_metriques(session, system, station, debut, fin, out):
f"{time.time() - t0:.0f} s")
def camera(unit, db, a, b):
"""Pan, tilt, scale, rotation et sigma0 de la caméra, en médiane et bornes (median_ / min_ / max_) par minute, donc
une ligne par mesure de la caméra (toutes les 15 min à NORDEND, min = max) :
ce que trace le visualiseur (fetch_cam_movements_frame, app/datapoints.py), sans son except, qui rendrait vide un
jour en échec au lieu de le laisser à relancer."""
df = db.get_shifts_aggregate(unit, f"cam_movements_{AGGREGATE_FALLBACK_RESOLUTION}", a, b)
return df.reset_index().drop(columns="sensor_id", errors="ignore") # sensor_id : l'id interne de l'unité
JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture
def pomper_deplacements(unit, db, station, debut, fin, out):
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai)
"""Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai)."""
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
if path.exists():
continue
t0 = time.time()
try:
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer")
continue
finally:
db._session.rollback() # ferme la transaction de lecture
if len(df):
df = df.drop_duplicates(["sensor_name", "time_utc"])
path.parent.mkdir(parents=True, exist_ok=True)
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
print(f"{station} {a:%Y-%m-%d}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
for dossier, nom, lire in JOURS:
path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv"
if path.exists():
continue
t0 = time.time()
try:
df = lire(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
print(f"{station} {a:%Y-%m-%d} {nom} : échec ({raison(e)}), à relancer")
continue
finally:
db._session.rollback() # ferme la transaction de lecture
if "sensor_name" in df:
df = df.drop_duplicates(["sensor_name", "time_utc"])
path.parent.mkdir(parents=True, exist_ok=True)
df.to_csv(path, index=False) # un jour vide est écrit aussi : la relance ne le redemande pas
print(f"{station} {a:%Y-%m-%d} {nom}: {len(df)} lignes, {time.time() - t0:.0f} s -> {path.name}")
def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
@@ -202,7 +220,7 @@ def main():
pomper_metriques(session, system, station, debut, fin, a.out)
unit = acquisition_unit(system)
if unit is None:
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements ni images")
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
continue
pomper_deplacements(unit, db, station, debut, fin, a.out)
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
+15
View File
@@ -0,0 +1,15 @@
# Pomper les données d'une station
Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container ») :
```bash
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --out /workspaces/Support-Agent/out/pompage --du <DEBUT> --au <FIN> --images --delai 300 <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/out/pompage
```
- `<SERIE>` : numéro de série du système, celui de l'URL de la page System (`/explore/system/<SERIE>`), par exemple `NORDEND` ; plusieurs stations : `<SERIE1> <SERIE2>`.
- `<DEBUT>`, `<FIN>` : jours UTC, `AAAA-MM-JJ`, `<FIN>` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours n'est jamais pompé.
- Sortie : `out/pompage/<SERIE>/` (métriques, `displacement/`, `camera/`, `images/`).
- Options : `--diff` ajoute les images différentielles (~160 Mo par jour) ; `--every 10` une image toutes les 10 min (`0` : toutes) ; sans `--images`, pas d'images.
- Relancer la même commande ne récupère que ce qui manque (jour en échec, plage élargie, option ajoutée).
Détails : `extraction/README.md`.
+1 -1
View File
@@ -27,7 +27,7 @@ Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il c
## Règles
- Les données restent seules dans `<STATION>/` : les outils de l'agent lisent tout le dossier qu'on leur donne, et une capture PNG y passerait pour une image de la caméra. Le verdict de l'utilisateur, dans `parcours.md`, reste hors de la vue de l'agent.
- Les exports reçus (« advanced », horaire) n'ont pas tout ce que montrent les graphiques de la plateforme : par exemple, le tilt de la caméra n'y est pas (constaté sur NORDEND, octobre 2026). À terme, le projet aura accès à la base de données de la plateforme : les vues pourront alors s'appuyer sur tous ses champs.
- Les exports reçus (« advanced », horaire) n'ont pas tout ce que montrent les graphiques de la plateforme : par exemple, le tilt de la caméra n'y est pas (constaté sur NORDEND, octobre 2026). Le pompage (`extraction/`) le récupère : `camera/` du dossier pompé, pan, tilt, scale, rotation et sigma0 à chaque mesure.
- Chantier très expérimental (utilisateur, 2026-10-16) : essayer des choses et converger pas à pas vers une solution qui marche ; pas de revue ni de haute qualité exigée ; vérifier par un lancement et une capture.
- Agent sur un cas, seulement si l'utilisateur le demande : `@agent-diagnostic vues-deplacements/cas/<cas>/<STATION>/ [question]`.
- Les règles du projet (`CLAUDE.md` à la racine) s'appliquent : heures en UTC, documents en français, texte du site en anglais (D-023), pas de données synthétiques, identifiants (`SIM_CCID`, `ip`) jamais recopiés, décisions dans `docs/decisions.md`.