.
This commit is contained in:
1 parent
4084cada20
commit
9b90fcac0c
4 files changed
+80
-22
No files matched your search
@@ -6,7 +6,7 @@
|
|||||||
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
|
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
|
||||||
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
||||||
|
|
||||||
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096).
|
**Stations suivies** : `stations.txt`, un numéro de série par ligne. Lancé sans station ni dates, le script les met toutes à jour, jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est repompé (pompé en cours de journée, il était incomplet) ; une station sans dossier dans `data/` reçoit les 30 derniers jours (D-096). Avant, les jours sans fichier de déplacements entre le premier et le dernier pompé (plages pompées à part, jour en échec) sont pompés, sans toucher aux autres (D-125).
|
||||||
|
|
||||||
Reprise : avec `--du`, un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans `--du` le remplace.
|
Reprise : avec `--du`, un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée ; le lancement suivant sans `--du` le remplace.
|
||||||
|
|
||||||
@@ -36,3 +36,4 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
|
|||||||
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
|
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
|
||||||
- `data/` est hors de git (D-065) : le poids ne compte plus, seul le temps de lecture de la base ; un dossier perdu se repompe.
|
- `data/` est hors de git (D-065) : le poids ne compte plus, seul le temps de lecture de la base ; un dossier perdu se repompe.
|
||||||
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
||||||
|
- LENZSPITZE : ses exports ont `x` / `y` relatifs et `pattern_type` vide ; après un pompage, lancer `python3 extraction/lenzspitze_absolu.py` (provisoire, détail dans `labeling/connaissances/colonnes-des-deplacements.md`).
|
||||||
@@ -0,0 +1,49 @@
|
|||||||
|
"""Provisoire, LENZSPITZE seulement : x / y des exports advanced en position absolue dans l'image, comme sur les autres stations.
|
||||||
|
|
||||||
|
Sur LENZSPITZE, x / y sont relatifs à la position de référence du motif (médianes ~0 px). Ce script réécrit en place
|
||||||
|
data/LENZSPITZE/displacement/*.csv :
|
||||||
|
x = x_motif + DX + x_csv, y = y_motif + DY + y_csv, où (x_motif, y_motif) est le centre du motif dans
|
||||||
|
data/LENZSPITZE/lentzpitze_patterns.json et (DX, DY) le décalage entre le repère du JSON et les images IRON ;
|
||||||
|
pattern_type, vide dans ces exports, est rempli depuis le JSON.
|
||||||
|
Les capteurs absents du JSON (1023, 8019) : x / y vidés (position inconnue) ; 8019 reçoit global_ref (il a des reproj_err).
|
||||||
|
Un fichier dont pattern_type est déjà rempli est laissé tel quel (déjà converti). Un repompage rend les originaux.
|
||||||
|
|
||||||
|
Usage : python3 extraction/lenzspitze_absolu.py
|
||||||
|
"""
|
||||||
|
import csv
|
||||||
|
import glob
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
|
||||||
|
STATION = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "data", "LENZSPITZE")
|
||||||
|
# Mesuré le 2026-11-04 : médiane (tache − motif du JSON) sur 9 images de nuit du 17.10 au 03.11, 25 à 34 cibles appariées
|
||||||
|
# chacune, stable à 0,5 px près. Comprend l'écart constant tache − (x, y) déjà vu sur NORDEND (colonnes-des-deplacements.md).
|
||||||
|
DX, DY = 330.5, 15.8
|
||||||
|
TYPE_SANS_MOTIF = {"8019": "global_ref"} # reproj_err et inlier remplis : référence de la compensation
|
||||||
|
|
||||||
|
motifs = {str(v["sensor_name"]): v for v in json.load(open(os.path.join(STATION, "lentzpitze_patterns.json"))).values()}
|
||||||
|
|
||||||
|
for chemin in sorted(glob.glob(os.path.join(STATION, "displacement", "*.csv"))):
|
||||||
|
with open(chemin, newline="") as f:
|
||||||
|
lecteur = csv.DictReader(f)
|
||||||
|
champs, lignes = lecteur.fieldnames, list(lecteur)
|
||||||
|
if any(r["pattern_type"] for r in lignes):
|
||||||
|
print(f"{os.path.basename(chemin)} : déjà converti")
|
||||||
|
continue
|
||||||
|
for r in lignes:
|
||||||
|
s = r["sensor_name"].strip()
|
||||||
|
m = motifs.get(s)
|
||||||
|
if m is None:
|
||||||
|
r["x"] = r["y"] = ""
|
||||||
|
r["pattern_type"] = TYPE_SANS_MOTIF.get(s, "")
|
||||||
|
continue
|
||||||
|
r["pattern_type"] = m["pattern_type"]
|
||||||
|
if r["x"]:
|
||||||
|
r["x"] = repr(m["x"] + DX + float(r["x"]))
|
||||||
|
if r["y"]:
|
||||||
|
r["y"] = repr(m["y"] + DY + float(r["y"]))
|
||||||
|
with open(chemin, "w", newline="") as f:
|
||||||
|
w = csv.DictWriter(f, fieldnames=champs)
|
||||||
|
w.writeheader()
|
||||||
|
w.writerows(lignes)
|
||||||
|
print(f"{os.path.basename(chemin)} : {len(lignes)} lignes converties")
|
||||||
+28
-18
@@ -6,8 +6,9 @@ AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le
|
|||||||
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images)
|
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images)
|
||||||
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||||
|
|
||||||
Sans station : celles de `stations.txt`. Sans `--du` : chaque station repart de son dernier jour de déplacements pompé,
|
Sans station : celles de `stations.txt`. Sans `--du` : chaque station comble ses jours de déplacements manquants avant
|
||||||
repompé (il était peut-être incomplet), ou des 30 derniers jours si elle n'en a pas ; sans `--au` : jusqu'à maintenant.
|
le dernier pompé, puis repart de ce dernier jour, repompé (il était peut-être incomplet), ou des 30 derniers jours si
|
||||||
|
elle n'en a pas ; sans `--au` : jusqu'à maintenant.
|
||||||
|
|
||||||
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
||||||
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
<STATION>/metrics/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||||
@@ -78,10 +79,19 @@ def acquisition_unit(system):
|
|||||||
return pick[0] if pick else None
|
return pick[0] if pick else None
|
||||||
|
|
||||||
|
|
||||||
def dernier_jour(dossier):
|
def plages_suivi(dossier, fin, demain):
|
||||||
"""Jour du dernier fichier de déplacements pompé dans le dossier de la station, ou None."""
|
"""Sans --du : (début, fin, remplacer) à pomper, d'après les jours de déplacements déjà pompés. Les jours manquants
|
||||||
jours = [p.stem.rsplit("_", 1)[1] for p in (dossier / "displacement").glob("*_advanced_*.csv")]
|
entre le premier et le dernier (plages pompées à part, jour en échec) sont comblés sans toucher aux autres ; le
|
||||||
return datetime.strptime(max(jours), "%Y%m%d").date() if jours else None
|
dernier jour est repompé (pompé en cours de journée, il était incomplet) jusqu'à maintenant ; une station sans
|
||||||
|
déplacements pompés reçoit les 30 derniers jours."""
|
||||||
|
jours = {datetime.strptime(p.stem.rsplit("_", 1)[1], "%Y%m%d").date()
|
||||||
|
for p in (dossier / "displacement").glob(f"{dossier.name}_advanced_*.csv")}
|
||||||
|
if not jours:
|
||||||
|
return [(demain - timedelta(days=JOURS_NOUVELLE + 1), fin, True)]
|
||||||
|
premier, dernier = min(jours), max(jours)
|
||||||
|
trous = [premier + timedelta(days=k) for k in range((dernier - premier).days)
|
||||||
|
if premier + timedelta(days=k) not in jours]
|
||||||
|
return ([(trous[0], dernier, False)] if trous else []) + [(dernier, fin, True)]
|
||||||
|
|
||||||
|
|
||||||
def pomper_metriques(session, system, station, debut, fin, out, remplacer):
|
def pomper_metriques(session, system, station, debut, fin, out, remplacer):
|
||||||
@@ -243,19 +253,19 @@ def main():
|
|||||||
if system is None:
|
if system is None:
|
||||||
print(f"{station} : système inconnu")
|
print(f"{station} : système inconnu")
|
||||||
continue
|
continue
|
||||||
# sans --du : du dernier jour pompé, remplacé (pompé en cours de journée, il est incomplet), jusqu'à
|
plages = [(du, fin, False)] if du else plages_suivi(a.out / station, fin, demain)
|
||||||
# maintenant ; les jours plus anciens manquants restent à la commande avec --du
|
|
||||||
debut = du or dernier_jour(a.out / station) or demain - timedelta(days=JOURS_NOUVELLE + 1)
|
|
||||||
print(f"{station} : du {debut} au {fin - timedelta(days=1)} inclus")
|
|
||||||
pomper_metriques(session, system, station, debut, fin, a.out, du is None)
|
|
||||||
unit = acquisition_unit(system)
|
unit = acquisition_unit(system)
|
||||||
if unit is None:
|
for debut, fin_plage, remplacer in plages:
|
||||||
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
|
print(f"{station} : du {debut} au {fin_plage - timedelta(days=1)} inclus"
|
||||||
continue
|
+ ("" if remplacer else ", jours manquants seulement"))
|
||||||
pomper_deplacements(unit, db, station, debut, fin, a.out, du is None)
|
pomper_metriques(session, system, station, debut, fin_plage, a.out, remplacer)
|
||||||
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
|
if unit is None:
|
||||||
if flag:
|
print(f"{station} : pas d'unité d'acquisition reconnue, ni déplacements, ni caméra, ni images")
|
||||||
pomper_images(unit, db, session, station, debut, fin, dossier, a.every, a.out)
|
continue
|
||||||
|
pomper_deplacements(unit, db, station, debut, fin_plage, a.out, remplacer)
|
||||||
|
for flag, dossier in ((a.images, "images"), (a.diff, "images_diff")):
|
||||||
|
if flag:
|
||||||
|
pomper_images(unit, db, session, station, debut, fin_plage, dossier, a.every, a.out)
|
||||||
finally:
|
finally:
|
||||||
engine.dispose()
|
engine.dispose()
|
||||||
|
|
||||||
|
|||||||
@@ -10,6 +10,4 @@ NIEDERHORN
|
|||||||
NORDEND
|
NORDEND
|
||||||
WILDSTRUBEL
|
WILDSTRUBEL
|
||||||
SUSTENHORN
|
SUSTENHORN
|
||||||
SNCF01
|
SNCF01
|
||||||
WEISSHORN
|
|
||||||
DENTHERENS
|
|
||||||
Reference in new issue
Block a user