Sharpen WILDSTRUBEL lot 01: modification 1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
ab5bda355e
commit
a55280056d
11 files changed
+106
-18
No files matched your search
@@ -10,7 +10,7 @@ from datetime import datetime, timezone
|
||||
|
||||
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
|
||||
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
|
||||
"corr_x", "corr_y", "reproj_err", "sigma0")
|
||||
"corr_x", "corr_y", "reproj_err", "inlier", "sigma0")
|
||||
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
|
||||
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
|
||||
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
|
||||
@@ -50,14 +50,18 @@ def charger(dossier):
|
||||
"""Exports « advanced » du dossier -> {capteur: [mesure]}, triées par t, un seul relevé par instant.
|
||||
|
||||
Mesure : dict avec t (datetime UTC), pattern_type, et les colonnes de NUM (float ou None).
|
||||
Une mesure rejetée (voir rejetee) a corr_x, corr_y vides, comme le dit la doc des colonnes : la station
|
||||
les vide pour une cible, mais en laisse de remplis (souvent absurdes) pour une référence ; on les vide ici.
|
||||
"""
|
||||
par = {}
|
||||
for chemin in trouver(dossier)["advanced"]:
|
||||
with open(chemin, newline="") as f:
|
||||
for r in csv.DictReader(f):
|
||||
m = {c: _nombre(r[c]) for c in NUM}
|
||||
m = {c: _nombre(r.get(c) or "") for c in NUM} # inlier manque dans les exports anciens
|
||||
m["t"] = instant(r["time_utc"])
|
||||
m["pattern_type"] = r["pattern_type"]
|
||||
if rejetee(m):
|
||||
m["corr_x"] = m["corr_y"] = None
|
||||
par.setdefault(r["sensor_name"].strip(), {})[m["t"]] = m # certains exports finissent le nom par un saut de ligne
|
||||
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
|
||||
|
||||
@@ -84,7 +88,9 @@ def est_reference(mesures):
|
||||
|
||||
|
||||
def rejetee(m):
|
||||
"""Mesure rejetée par la station (error_value au-dessus du seuil du capteur) : corr_x et corr_y vides."""
|
||||
"""Mesure rejetée par la station : error_value au-dessus du seuil du capteur (error_threshold) ; sans ces deux valeurs, corr_x vide."""
|
||||
if m["error_value"] is not None and m["error_threshold"] is not None:
|
||||
return m["error_value"] > m["error_threshold"]
|
||||
return m["corr_x"] is None
|
||||
|
||||
|
||||
|
||||
@@ -54,7 +54,7 @@ matplotlib.use("Agg")
|
||||
import matplotlib.dates as mdates # noqa: E402
|
||||
import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
|
||||
from graphique import COLONNES, RACINE, borne # noqa: E402
|
||||
from resume import duree # noqa: E402
|
||||
|
||||
@@ -315,7 +315,10 @@ def main():
|
||||
for s in refs:
|
||||
d = ref_ecarts[col][s]
|
||||
lo, hi = min(d.items(), key=lambda x: x[1]), max(d.items(), key=lambda x: x[1])
|
||||
print(f"{s:9} min {lo[1]:+.3g} à {iso(lo[0])}, max {hi[1]:+.3g} à {iso(hi[0])}")
|
||||
rej = {m["t"] for m in series[s] if rejetee(m)}
|
||||
r = lambda t: " (rejetée)" if t in rej else ""
|
||||
print(f"{s:9} min {lo[1]:+.3g} à {iso(lo[0])}{r(lo[0])}, max {hi[1]:+.3g} à {iso(hi[0])}{r(hi[0])}"
|
||||
+ (f" ; {len(rej)} mesures rejetées dans la fenêtre" if rej else ""))
|
||||
if not pose_cols:
|
||||
print("Pose de la caméra : aucune dans la fenêtre (pas de camera/ dans le dossier, ou pas de recalage).")
|
||||
else:
|
||||
|
||||
@@ -3,10 +3,13 @@
|
||||
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] [--fichiers]
|
||||
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
|
||||
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
|
||||
en suites de pas consécutifs). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
|
||||
références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des
|
||||
références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import collections
|
||||
import statistics
|
||||
from datetime import timedelta
|
||||
|
||||
@@ -135,6 +138,30 @@ def fenetre(par, debut, fin):
|
||||
print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites))
|
||||
if not any(rejetee(m) for d in series.values() for m in d.values()):
|
||||
print(" (aucune)")
|
||||
refs = [s for s in noms if est_reference(par[s])]
|
||||
if not any(m["inlier"] is not None for s in refs for m in series[s].values()):
|
||||
print("Références retenues par la compensation : colonne inlier absente ou vide.")
|
||||
return
|
||||
def marque(s, t):
|
||||
m = series[s].get(t)
|
||||
return "absente" if m is None else "r" if rejetee(m) else "0" if m["inlier"] == 0 else "vide"
|
||||
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or series[s][t]["inlier"] != 1)) for t in dans]
|
||||
compte = collections.Counter(len(refs) - len(h) for _, h in hors)
|
||||
print(f"Références retenues par la compensation (inlier = 1) sur {len(refs)}, nombre d'instants : "
|
||||
+ ", ".join(f"{k} : {compte[k]}" for k in sorted(compte, reverse=True)))
|
||||
print("Instants où des références ne sont pas retenues (suites de pas consécutifs avec les mêmes références hors ; "
|
||||
"r = rejetée, 0 = inlier 0, vide = inlier vide) :")
|
||||
suites = []
|
||||
for i, (t, h) in enumerate(hors):
|
||||
if h and suites and suites[-1][3] == h and suites[-1][4] == i - 1:
|
||||
suites[-1][1], suites[-1][2], suites[-1][4] = t, suites[-1][2] + 1, i
|
||||
elif h:
|
||||
suites.append([t, t, 1, h, i])
|
||||
for a, b, n, h, _ in suites:
|
||||
print(f" {iso(a) if n == 1 else f'{iso(a)} → {iso(b)} ({n})'} : {len(refs) - len(h)} retenues ; hors : "
|
||||
+ ", ".join(f"{s} ({q})" for s, q in h))
|
||||
if not suites:
|
||||
print(" (aucun)")
|
||||
|
||||
|
||||
def main(dossier, debut=None, fin=None, tout=False):
|
||||
|
||||
@@ -12,7 +12,9 @@ long fausse la médiane) et à son bruit propre (médiane des écarts entre deux
|
||||
mesure hors niveau), nombre de mesures hors niveau, valeur extrême (écart signé au niveau, en unités et en
|
||||
bruits) et son instant. Deux plages du même sens séparées de moins de --fusion (défaut 1h) n'en font qu'une
|
||||
(un écart vers le bas puis vers le haut font deux plages) ; les mesures rejetées (colonne vide) ne coupent pas
|
||||
une plage. Une plage qui touche le bord de la fenêtre est datée au
|
||||
une plage. Colonne « rejetées » : combien des mesures de la plage sont rejetées par la station (error_value
|
||||
au-dessus du seuil), et « extrême rejetée » si l'extrême l'est ; un saut dont un bout est rejeté le dit.
|
||||
corr_x, corr_y d'une mesure rejetée sont vides, références comprises (donnees.charger). Une plage qui touche le bord de la fenêtre est datée au
|
||||
bord (le niveau est celui de la fenêtre : un palier durable peut faire de l'autre moitié la « plage »).
|
||||
Chaque colonne est lue aux mesures, jamais moyennée par pas. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
@@ -20,7 +22,7 @@ import argparse
|
||||
import statistics
|
||||
import sys
|
||||
|
||||
from donnees import charger, est_reference, filtrer, instant, iso
|
||||
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
|
||||
from resume import COLONNES, duree
|
||||
|
||||
|
||||
@@ -58,6 +60,7 @@ def main():
|
||||
plages = []
|
||||
for s in noms:
|
||||
ms = [(m["t"], m[col]) for m in series[s] if m[col] is not None]
|
||||
rej = {m["t"] for m in series[s] if rejetee(m)}
|
||||
if len(ms) < 2:
|
||||
print(f"{s:9}{len(ms):5} (moins de 2 valeurs)")
|
||||
continue
|
||||
@@ -70,23 +73,26 @@ def main():
|
||||
bruit = statistics.median(abs(b[1] - a_[1]) for a_, b in zip(ref, ref[1:]))
|
||||
d, t1, t2 = max(sauts, key=lambda x: abs(x[0]))
|
||||
bru = f"{d / bruit:9.1f}" if bruit else f"{'-':>9}"
|
||||
print(f"{s:9}{len(ms):5}{niv:10.4g}{bruit:10.3g}{d:+10.4g}{bru} {iso(t1)} et {iso(t2)}")
|
||||
marque = [iso(x) for x in (t1, t2) if x in rej]
|
||||
print(f"{s:9}{len(ms):5}{niv:10.4g}{bruit:10.3g}{d:+10.4g}{bru} {iso(t1)} et {iso(t2)}"
|
||||
+ (f" (rejetée : {', '.join(marque)})" if marque else ""))
|
||||
if not bruit:
|
||||
continue
|
||||
groupe = []
|
||||
for t, v in ms + [(None, 0)]:
|
||||
if t is not None and abs(v - niv) > o.k * bruit:
|
||||
if groupe and (t - groupe[-1][0] > o.fusion or (v > niv) != (groupe[-1][1] > niv)): # même sens seul
|
||||
plages.append((s, groupe, niv, bruit))
|
||||
plages.append((s, groupe, niv, bruit, rej))
|
||||
groupe = []
|
||||
groupe.append((t, v))
|
||||
elif t is None and groupe:
|
||||
plages.append((s, groupe, niv, bruit))
|
||||
plages.append((s, groupe, niv, bruit, rej))
|
||||
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' (niveau hors ' + o.hors + ')' if hors else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)")
|
||||
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} à")
|
||||
for s, g, niv, bruit in plages:
|
||||
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} {'à':<17}{'rejetées':>9}")
|
||||
for s, g, niv, bruit, rej in plages:
|
||||
t, v = max(g, key=lambda x: abs(x[1] - niv))
|
||||
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{v - niv:+10.4g}{(v - niv) / bruit:9.1f} {iso(t)}")
|
||||
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{v - niv:+10.4g}{(v - niv) / bruit:9.1f} {iso(t):<17}"
|
||||
f"{sum(x[0] in rej for x in g):9}{' extrême rejetée' if t in rej else ''}")
|
||||
if not plages:
|
||||
print("(aucune)")
|
||||
|
||||
|
||||
Reference in new issue
Block a user