This commit is contained in:
maxime committed 2026-11-05 09:00:41 +01:00
1 parent 4084cada20
commit 9b90fcac0c
4 files changed
+80 -22

No files matched your search

+2 -1
View File
@@ -6,7 +6,7 @@
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096).
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096). Avant, les jours sans fichier de déplacements entre le premier et le dernier pompé (plages pompées à part, jour en échec) sont pompés, sans toucher aux autres (D-125).
Reprise : avec `--du`, un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans `--du` le remplace.
@@ -36,3 +36,4 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
- `data/` est hors de git (D-065) : le poids ne compte plus, seul le temps de lecture de la base ; un dossier perdu se repompe.
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
- LENZSPITZE : ses exports ont `x` / `y` relatifs et `pattern_type` vide ; après un pompage, lancer `python3 extraction/lenzspitze_absolu.py` (provisoire, détail dans `labeling/connaissances/colonnes-des-deplacements.md`).
+49
View File
@@ -0,0 +1,49 @@
"""Provisoire, LENZSPITZE seulement : x / y des exports advanced en position absolue dans l'image, comme sur les autres stations.
Sur LENZSPITZE, x / y sont relatifs à la position de référence du motif (médianes ~0 px). Ce script réécrit en place
data/LENZSPITZE/displacement/*.csv :
x = x_motif + DX + x_csv, y = y_motif + DY + y_csv, où (x_motif, y_motif) est le centre du motif dans
data/LENZSPITZE/lentzpitze_patterns.json et (DX, DY) le décalage entre le repère du JSON et les images IRON ;
pattern_type, vide dans ces exports, est rempli depuis le JSON.
Les capteurs absents du JSON (1023, 8019) : x / y vidés (position inconnue) ; 8019 reçoit global_ref (il a des reproj_err).
Un fichier dont pattern_type est déjà rempli est laissé tel quel (déjà converti). Un repompage rend les originaux.
Usage : python3 extraction/lenzspitze_absolu.py
"""
import csv
import glob
import json
import os
STATION = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "data", "LENZSPITZE")
# Mesuré le 2026-11-04 : médiane (tache − motif du JSON) sur 9 images de nuit du 17.10 au 03.11, 25 à 34 cibles appariées
# chacune, stable à 0,5 px près. Comprend l'écart constant tache − (x, y) déjà vu sur NORDEND (colonnes-des-deplacements.md).
DX, DY = 330.5, 15.8
TYPE_SANS_MOTIF = {"8019": "global_ref"} # reproj_err et inlier remplis : référence de la compensation
motifs = {str(v["sensor_name"]): v for v in json.load(open(os.path.join(STATION, "lentzpitze_patterns.json"))).values()}
for chemin in sorted(glob.glob(os.path.join(STATION, "displacement", "*.csv"))):
with open(chemin, newline="") as f:
lecteur = csv.DictReader(f)
champs, lignes = lecteur.fieldnames, list(lecteur)
if any(r["pattern_type"] for r in lignes):
print(f"{os.path.basename(chemin)} : déjà converti")
continue
for r in lignes:
s = r["sensor_name"].strip()
m = motifs.get(s)
if m is None:
r["x"] = r["y"] = ""
r["pattern_type"] = TYPE_SANS_MOTIF.get(s, "")
continue
r["pattern_type"] = m["pattern_type"]
if r["x"]:
r["x"] = repr(m["x"] + DX + float(r["x"]))
if r["y"]:
r["y"] = repr(m["y"] + DY + float(r["y"]))
with open(chemin, "w", newline="") as f:
w = csv.DictWriter(f, fieldnames=champs)
w.writeheader()
w.writerows(lignes)
print(f"{os.path.basename(chemin)} : {len(lignes)} lignes converties")
+28 -18
View File
@@ -6,8 +6,9 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images)
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
Sans station : celles de `stations.txt`. Sans `--du` : chaque station repart de son dernier jour de déplacements pompé,
repompé (il était peut-être incomplet), ou des 30 derniers jours si elle n'en a pas ; sans `--au` : jusqu'à maintenant.
Sans station : celles de `stations.txt`. Sans `--du` : chaque station comble ses jours de déplacements manquants avant
le dernier pompé, puis repart de ce dernier jour, repompé (il était peut-être incomplet), ou des 30 derniers jours si
elle n'en a pas ; sans `--au` : jusqu'à maintenant.
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
@@ -78,10 +79,19 @@ def acquisition_unit(system):
return pick[0] if pick else None
def dernier_jour(dossier):
"""Jour du dernier fichier de déplacements pompé dans le dossier de la station, ou None."""
jours = [p.stem.rsplit("_", 1)[1] for p in (dossier / "displacement").glob("*_advanced_*.csv")]
return datetime.strptime(max(jours), "%Y%m%d").date() if jours else None
def plages_suivi(dossier, fin, demain):
"""Sans --du : (début, fin, remplacer) à pomper, d'après les jours de déplacements déjà pompés. Les jours manquants
entre le premier et le dernier (plages pompées à part, jour en échec) sont comblés sans toucher aux autres ; le
dernier jour est repompé (pompé en cours de journée, il était incomplet) jusqu'à maintenant ; une station sans
déplacements pompés reçoit les 30 derniers jours."""
jours = {datetime.strptime(p.stem.rsplit("_", 1)[1], "%Y%m%d").date()
for p in (dossier / "displacement").glob(f"{dossier.name}_advanced_*.csv")}
if not jours:
return [(demain - timedelta(days=JOURS_NOUVELLE + 1), fin, True)]
premier, dernier = min(jours), max(jours)
trous = [premier + timedelta(days=k) for k in range((dernier - premier).days)
if premier + timedelta(days=k) not in jours]
return ([(trous[0], dernier, False)] if trous else []) + [(dernier, fin, True)]
def pomper_metriques(session, system, station, debut, fin, out, remplacer):
@@ -243,19 +253,19 @@ def main():
if system is None:
print(f"{station} : système inconnu")
continue
# sans --du : du dernier jour pompé, remplacé (pompé en cours de journée, il est incomplet), jusqu'à
# maintenant ; les jours plus anciens manquants restent à la commande avec --du
debut = du or dernier_jour(a.out / station) or demain - timedelta(days=JOURS_NOUVELLE + 1)
print(f"{station} : du {debut} au {fin - timedelta(days=1)} inclus")
pomper_metriques(session, system, station, debut, fin, a.out, du is None)
plages = [(du, fin, False)] if du else plages_suivi(a.out / station, fin, demain)
unit = acquisition_unit(system)
if unit is None:
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
continue
pomper_deplacements(unit, db, station, debut, fin, a.out, du is None)
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
if flag:
pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out)
for debut, fin_plage, remplacer in plages:
print(f"{station} : du {debut} au {fin_plage - timedelta(days=1)} inclus"
+ ("" if remplacer else ", jours manquants seulement"))
pomper_metriques(session, system, station, debut, fin_plage, a.out, remplacer)
if unit is None:
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
continue
pomper_deplacements(unit, db, station, debut, fin_plage, a.out, remplacer)
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
if flag:
pomper_images(unit, db, session, station, debut, fin_plage, dossier, a.every, a.out)
finally:
engine.dispose()
+1 -3
View File
@@ -10,6 +10,4 @@ NIEDERHORN
NORDEND
WILDSTRUBEL
SUSTENHORN
SNCF01
WEISSHORN
DENTHERENS
SNCF01