Pump: followed stations up to now (D-096); GIF crop with --zone; journal notes on points 57 to 67

Work from another session, committed at the user's request. extraction/README.md also drops the /aiguiser mention (D-097).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-29 17:10:08 +01:00
1 parent 8fdabf4cc1
commit 52de2becbf
5 files changed
+62 -23

No files matched your search

+7 -2
View File
@@ -1,9 +1,10 @@
"""GIF des images de la caméra sur une plage, pour joindre à une réponse au client (skill /support).
Usage : .venv/bin/python agent-tools/gif.py data/LENZSPITZE/
--debut 2026-10-26T18:00Z --fin 2026-10-27T08:00Z [--largeur 720] [--duree 700] [--max 150] [--sortie DOSSIER]
--debut 2026-10-26T18:00Z --fin 2026-10-27T08:00Z [--largeur 720] [--duree 700] [--max 150] [--zone X,Y,L,H] [--sortie DOSSIER]
Prend les images du dossier dont l'heure (nom du fichier, UTC) est entre --debut et --fin inclus, dans l'ordre, les
réduit à --largeur px, écrit la date et l'heure UTC en bas à droite de chacune et les ramène à 64 teintes sans tramage
recadre au besoin sur --zone (pixels de l'image d'origine : coin haut gauche, largeur, hauteur), les met à --largeur px,
écrit la date et l'heure UTC en bas à droite de chacune et les ramène à 64 teintes sans tramage
(le bruit des JPEG gonfle un GIF : ~3 Mo pour une nuit d'images horaires à 720 px). Au-delà de --max images, en garde
--max à intervalle régulier. Imprime l'heure de chaque image retenue, puis le chemin du GIF et sa taille.
"""
@@ -26,6 +27,7 @@ def main():
a.add_argument("--largeur", type=int, default=720, help="largeur du GIF en pixels (défaut 720)")
a.add_argument("--duree", type=int, default=700, help="durée de chaque image en ms (défaut 700)")
a.add_argument("--max", type=int, default=150, help="nombre maximal d'images (défaut 150)")
a.add_argument("--zone", help="X,Y,L,H : recadrage en pixels de l'image d'origine (défaut : image entière)")
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du GIF")
o = a.parse_args()
@@ -43,6 +45,9 @@ def main():
vues = []
for h, p in choisies:
im = Image.open(p).convert("RGB")
if o.zone:
x, y, l, h_ = map(int, o.zone.split(","))
im = im.crop((x, y, x + l, y + h_))
im = im.resize((o.largeur, round(im.height * o.largeur / im.width)), Image.LANCZOS)
d = ImageDraw.Draw(im)
texte = h.strftime("%Y-%m-%d %H:%M UTC")
+7 -4
View File
@@ -2,20 +2,23 @@
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/events-learner`, `/aiguiser` et l'agent de diagnostic ;
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/events-learner` et l'agent de diagnostic ;
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096).
Reprise : avec `--du`, un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans `--du` le remplace.
## Lancer (l'utilisateur, dans le dev container de l'appli)
Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier.
1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`.
2. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
2. **Mettre à jour les stations suivies** : `(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images); chown -R 1000:1000 /workspaces/Support-Agent/data`. Le script dit, pour chaque station, la plage qu'il pompe. Les points suivants servent à une plage choisie (historique, jour en échec).
3. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
`(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>`. Noter le temps par jour.
3. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
4. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
+37 -17
View File
@@ -3,16 +3,21 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images)
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
Sans station : celles de `stations.txt`. Sans `--du` : chaque station repart de son dernier jour de déplacements pompé,
repompé (il était peut-être incomplet), ou des 30 derniers jours si elle n'en a pas ; sans `--au` : jusqu'à maintenant.
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
<STATION>/camera/<STATION>_camera_<AAAAMMJJ>.csv mouvements de la caméra, par jour
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
<STATION>/images_diff/… images différentielles (--diff)
Reprenable : un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées. Jours en UTC, `--au` exclu,
jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, supprimer son fichier.
Reprenable : avec `--du`, un fichier déjà écrit n'est pas relu, quelles que soient les dates demandées ; sans `--du`,
les jours de la plage sont remplacés (images exceptées). Jours en UTC, `--au` exclu ; le jour en cours est pompé tel
qu'il est, ses métriques jusqu'à la dernière heure terminée. Pour reprendre un jour, supprimer son fichier.
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), les mouvements de la caméra de
@@ -41,6 +46,8 @@ from app.aimsight_database import (DataType, DatabaseEngine, Measurement, Measur
from app.datapoints import AGGREGATE_FALLBACK_RESOLUTION, build_advanced_frame
UTC = timezone.utc
STATIONS = Path(__file__).resolve().parent / "stations.txt" # les stations suivies, une par ligne
JOURS_NOUVELLE = 30 # sans --du, une station sans déplacements pompés : les 30 derniers jours
DB_NAMES = ["AIMSIGHT_DATABASE_USER", "AIMSIGHT_DATABASE_PSWD", "AIMSIGHT_DATABASE_TURL", "AIMSIGHT_DATABASE_NAME"]
TYPES = {"images": "OPTICAL_SHIFT-IRON", "images_diff": "OPTICAL_SHIFT-DIFF"} # dossier -> type de mesure
@@ -71,7 +78,13 @@ def acquisition_unit(system):
return pick[0] if pick else None
def pomper_metriques(session, system, station, debut, fin, out):
def dernier_jour(dossier):
"""Jour du dernier fichier de déplacements pompé dans le dossier de la station, ou None."""
jours = [p.stem.rsplit("_", 1)[1] for p in (dossier / "displacement").glob("*_advanced_*.csv")]
return datetime.strptime(max(jours), "%Y%m%d").date() if jours else None
def pomper_metriques(session, system, station, debut, fin, out, remplacer):
"""Comme le téléchargement de la page System (Dashboard/System.py, get_metrics(..., bucketing="1 hour")) : par
heure, moyenne * transform_factor + transform_offset, ou la liste des valeurs d'une métrique texte ; les séries à
labels d'une même métrique confondues ; une ligne vide pour une heure sans mesure. get_metrics compte en heures
@@ -84,7 +97,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
paths = {n: out / station / "metrics"
/ f"{station}_{n.replace(os.sep, '-')}_{a:%Y_%m_%d}_00_00 to {a:%Y_%m_%d}_23_00.csv" for n in noms}
if all(p.exists() for p in paths.values()):
if not remplacer and all(p.exists() for p in paths.values()):
continue
t0 = time.time()
q = (session.query(heure, DataType.name.label("nom"),
@@ -105,6 +118,8 @@ def pomper_metriques(session, system, station, debut, fin, out):
continue
df["heure"] = pd.to_datetime(df["heure"], utc=True)
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
# jour en cours : les heures terminées seulement, sinon les heures à venir seraient lues comme un trou
heures = heures[heures + pd.Timedelta(hours=1) <= pd.Timestamp.now(tz=UTC)]
for n, path in paths.items():
d = df[df["nom"] == n].set_index("heure")
col = d["num"] if d["num"].notna().any() else d["txt"] # métrique texte : la liste de l'heure
@@ -127,13 +142,13 @@ def camera(unit, db, a, b):
JOURS = (("displacement", "advanced", build_advanced_frame), ("camera", "camera", camera)) # dossier, fichier, lecture
def pomper_deplacements(unit, db, station, debut, fin, out):
def pomper_deplacements(unit, db, station, debut, fin, out, remplacer):
"""Déplacements et mouvements de la caméra : un fichier et une requête par jour, bornée, sous le délai (--delai)."""
for k in range((fin - debut).days):
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
for dossier, nom, lire in JOURS:
path = out / station / dossier / f"{station}_{nom}_{a:%Y%m%d}.csv"
if path.exists():
if path.exists() and not remplacer:
continue
t0 = time.time()
try:
@@ -191,9 +206,11 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
def main():
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("stations", nargs="+", help="numéro de série du système, comme dans l'URL de la page System")
p.add_argument("--du", required=True, help="premier jour UTC, AAAA-MM-JJ")
p.add_argument("--au", required=True, help="dernier jour UTC exclu, AAAA-MM-JJ")
p.add_argument("stations", nargs="*", help="numéro de série du système, comme dans l'URL de la page System ; "
"aucun : ceux de stations.txt")
p.add_argument("--du", help="premier jour UTC, AAAA-MM-JJ ; sans : le dernier jour pompé de chaque station, "
"repompé, ou les 30 derniers jours")
p.add_argument("--au", help="dernier jour UTC exclu, AAAA-MM-JJ ; sans : jusqu'à maintenant")
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
@@ -201,11 +218,10 @@ def main():
"avec la production) ; plus long seulement pour un jour en échec par délai dépassé")
p.add_argument("--out", type=Path, default=Path(__file__).resolve().parent.parent / "data")
a = p.parse_args()
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
aujourdhui = datetime.now(UTC).date()
if fin > aujourdhui: # ponytail : un jour passé, encore en synchronisation, reste figé ; supprimer son fichier
print(f"--au ramené à {aujourdhui} : le jour en cours n'est pas fini")
fin = aujourdhui
demain = datetime.now(UTC).date() + timedelta(days=1)
du = datetime.strptime(a.du, "%Y-%m-%d").date() if a.du else None
fin = min(datetime.strptime(a.au, "%Y-%m-%d").date(), demain) if a.au else demain # pas de jour à venir
stations = a.stations or STATIONS.read_text().split()
missing = [n for n in DB_NAMES if not os.environ.get(n)]
if missing:
@@ -222,17 +238,21 @@ def main():
try:
with Session(engine) as session:
db = ReadOnlyDB(engine, session, s3)
for station in a.stations:
for station in stations:
system = session.query(System).filter_by(serial_number=station).one_or_none()
if system is None:
print(f"{station} : système inconnu")
continue
pomper_metriques(session, system, station, debut, fin, a.out)
# sans --du : du dernier jour pompé, remplacé (pompé en cours de journée, il est incomplet), jusqu'à
# maintenant ; les jours plus anciens manquants restent à la commande avec --du
debut = du or dernier_jour(a.out / station) or demain - timedelta(days=JOURS_NOUVELLE + 1)
print(f"{station} : du {debut} au {fin - timedelta(days=1)} inclus")
pomper_metriques(session, system, station, debut, fin, a.out, du is None)
unit = acquisition_unit(system)
if unit is None:
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
continue
pomper_deplacements(unit, db, station, debut, fin, a.out)
pomper_deplacements(unit, db, station, debut, fin, a.out, du is None)
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
if flag:
pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out)
+8
View File
@@ -0,0 +1,8 @@
CLARIDEN
FLORIDA
JUNGFRAU
LENZSPITZE
NADELHORN
NIEDERHORN
NORDEND
WILDSTRUBEL
@@ -132,3 +132,6 @@ Un orchestrateur (la conversation principale) et un agent par piste, qui rapport
Ce qui peut arriver sur le terrain, relié aux catégories du journal, sans le détail des données : `events/eventualites-et-categories.drawio`. Catégories définies par l'utilisateur le 2026-10-27 (D-074) : tout ce qui reste inexpliqué va dans À vérifier (sous-groupes : saut qui dure, gros saut, dérive lente), pour ne pas alarmer le client ; Cible défaillante (une cible constamment problématique) est nouvelle ; après vérification, un À vérifier peut devenir Cible déplacée. Pas encore reportées dans le journal.
- Idée de l'utilisateur (2026-10-28) : l'analyste de `/boucle` doit progresser de séance en séance (son jugement, pas seulement sa lecture). Proposition de Claude et questions au point 51 du plan.
- Retour de l'utilisateur (2026-10-29) sur les détecteurs : dire la cause, pas seulement l'événement ; rendre l'analyste plus savant d'abord (trois effets thermiques, températures, métriques de qualité, cause des sauts), les détecteurs ensuite. Points 57 à 66 du plan.
- Idée de l'utilisateur (2026-10-29) : le savoir métier de l'analyste, suffisant sans l'alourdir ? Proposition de Claude au point 67 du plan : une note d'une page sur la chaîne de mesure (où chaque cause entre), la carte lue à la demande.