Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d55de98746
commit
c6e9df0e46
41 files changed
+1596
-1075
No files matched your search
+52
-26
@@ -2,7 +2,7 @@
|
||||
|
||||
Usage : .venv/bin/python agent-tools/ensemble.py data/PS_DES_COUDRES/
|
||||
[--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5]
|
||||
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B]] [--table T1/T2|non] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
|
||||
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B] [--suivre A,B]] [--table T1/T2|non] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
|
||||
|
||||
Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre).
|
||||
Deux PNG, dont les chemins sont imprimés :
|
||||
@@ -20,7 +20,8 @@ Deux PNG, dont les chemins sont imprimés :
|
||||
donné : le niveau est alors celui du reste de la fenêtre, pas celui du moment lu), une échelle par capteur, zéro en
|
||||
pointillé ; un écart de quelques centièmes sur une colonne `corr` que les bandes parallèles de `graphique.py` cachent
|
||||
s'y voit. Imprime, par capteur, le niveau, le bruit propre (médiane des écarts entre deux mesures consécutives) et
|
||||
l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits.
|
||||
l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits
|
||||
(bruit 0 et « - » en bruits : valeurs constantes à l'arrondi près, 1e-9 ; --residus non : aucun PNG de résidus).
|
||||
Avec --autres, chaque capteur est de plus ramené à l'écart à la médiane des AUTRES capteurs au même instant (on
|
||||
retranche, à chaque mesure, la médiane des autres capteurs de la même colonne moins leur niveau propre) : ce qui est
|
||||
partagé par tous (le reste de la compensation d'un mouvement commun) s'annule, ce qui est propre au capteur reste.
|
||||
@@ -32,8 +33,11 @@ Deux PNG, dont les chemins sont imprimés :
|
||||
capteur, le résidu dx, dy = position brute moins sa position à BASE transportée par ce mouvement [px]. Panneaux :
|
||||
dx et dy de chaque référence globale (un trait chacune) face à la médiane et au 10e-90e centile des cibles ;
|
||||
médiane et 90e centile de |résidu| des cibles ; rotation et échelle ajustées ; reproj_err des références. Imprime
|
||||
la table par pas de --pas (rot_deg, echelle, tx, ty, cib_med, cib_max, puis dx, dy de chaque référence), puis par
|
||||
capteur le min et le max de dx, dy avec leur instant et la valeur au dernier instant.
|
||||
la table par pas de --pas (rot_deg, echelle, tx, ty, cib_med, cib_max, puis dx, dy de chaque référence et de chaque
|
||||
capteur de --suivre A,B), puis par capteur le min et le max de dx, dy avec leur instant et la valeur au dernier
|
||||
instant. Les mesures rejetées n'entrent ni dans l'ajustement, ni dans la bande et la médiane des cibles, cib_med,
|
||||
cib_max, ni dans les colonnes de la table ; sur le PNG, celles des références sont des croix, qui ne fixent pas l'échelle ; dans le résumé par
|
||||
capteur, elles viennent à part (nombre, min et max).
|
||||
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
|
||||
pour chaque colonne de --colonnes, puis <colonne>_cibles, la médiane des cibles seules, puis la pose brute de la caméra, vide sans recalage) puis le minimum et le maximum de chaque colonne avec leur instant, et ceux de chaque référence globale ; pour dater
|
||||
un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large,
|
||||
@@ -60,7 +64,7 @@ import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
|
||||
from graphique import COLONNES, RACINE, borne # noqa: E402
|
||||
from resume import duree # noqa: E402
|
||||
from resume import bruit_propre, duree # noqa: E402
|
||||
|
||||
|
||||
def niveau(ms, col):
|
||||
@@ -90,12 +94,14 @@ def rigide(o, noms, series, temps, base, station):
|
||||
t_b = min(temps, key=lambda t: abs(t - o.rigide))
|
||||
pos = {s: {m["t"]: (m["x"], m["y"]) for m in series[s] if m["x"] is not None and m["y"] is not None} for s in noms}
|
||||
sans = set(o.sans.split(",")) - {""}
|
||||
acc = {s: {m["t"] for m in series[s] if not rejetee(m)} for s in noms} # mesures acceptées : seules à entrer dans l'ajustement et les statistiques des cibles
|
||||
refs = [s for s in noms if series[s] and est_reference(series[s])]
|
||||
cib = [s for s in noms if s not in refs and t_b in pos[s]]
|
||||
ajust = [s for s in cib if s not in sans]
|
||||
ajust = [s for s in cib if s not in sans and t_b in acc[s]]
|
||||
suivis = [s for s in o.suivre.split(",") if s and s not in refs]
|
||||
res, fit = {s: {} for s in noms}, {} # res : {capteur: {t: (dx, dy)}} ; fit : {t: (rotation deg, échelle, tx, ty, |r| médiane, max des cibles)}
|
||||
for t in temps:
|
||||
ok = [s for s in ajust if t in pos[s]]
|
||||
ok = [s for s in ajust if t in pos[s] and t in acc[s]]
|
||||
if len(ok) < 2:
|
||||
continue
|
||||
a, b, tx, ty = similitude([pos[s][t_b] for s in ok], [pos[s][t] for s in ok])
|
||||
@@ -103,7 +109,7 @@ def rigide(o, noms, series, temps, base, station):
|
||||
if t in pos[s] and t_b in pos[s]:
|
||||
(x0, y0), (x, y) = pos[s][t_b], pos[s][t]
|
||||
res[s][t] = (x - (a * x0 - b * y0 + tx), y - (b * x0 + a * y0 + ty))
|
||||
r = [math.hypot(*res[s][t]) for s in cib if t in res[s]]
|
||||
r = [math.hypot(*res[s][t]) for s in cib if t in res[s] and t in acc[s]]
|
||||
fit[t] = (math.degrees(math.atan2(b, a)), math.hypot(a, b), tx, ty, statistics.median(r), max(r))
|
||||
if not fit:
|
||||
print(f"\n--rigide : moins de deux cibles avec x, y à {iso(t_b)} et ensuite.")
|
||||
@@ -113,16 +119,23 @@ def rigide(o, noms, series, temps, base, station):
|
||||
panneaux = [("dx", 0), ("dy", 1)]
|
||||
fig, axes = plt.subplots(6, 1, sharex=True, figsize=(14, 18), squeeze=False)
|
||||
for ax, (nom, k) in zip(axes[:2, 0], panneaux):
|
||||
band = [sorted(res[s][t][k] for s in cib if t in res[s]) for t in tf]
|
||||
band = [sorted(res[s][t][k] for s in cib if t in res[s] and t in acc[s]) for t in tf]
|
||||
q = [statistics.quantiles(v, n=10, method="inclusive") if len(v) >= 2 else [v[0]] * 9 for v in band]
|
||||
ax.fill_between(tf, [x[0] for x in q], [x[-1] for x in q], color="0.85", label="cibles : 10e-90e centile")
|
||||
ax.plot(tf, [statistics.median(v) for v in band], "-", lw=1.2, color="k", label="cibles : médiane")
|
||||
for i, s in enumerate(refs):
|
||||
ax.plot(list(res[s]), [v[k] for v in res[s].values()], "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
|
||||
ta = [t for t in res[s] if t in acc[s]]
|
||||
ax.plot(ta, [res[s][t][k] for t in ta], "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
|
||||
cadre = ax.get_ylim() # l'échelle des mesures acceptées : une référence rejetée loin est hors cadre
|
||||
for i, s in enumerate(refs):
|
||||
tr = [t for t in res[s] if t not in acc[s]]
|
||||
if tr: # mesures rejetées : à part, une croix chacune, hors du trait
|
||||
ax.plot(tr, [res[s][t][k] for t in tr], "x", ms=3, color=f"C{(i + 1) % 10}", label=f"{s} rejetée")
|
||||
ax.set_ylim(cadre)
|
||||
ax.set_ylabel(f"{nom} [px]\nposition brute moins\nle mouvement des cibles")
|
||||
ax.legend(loc="upper left", fontsize=8, ncol=1 + len(refs) // 4)
|
||||
axes[2, 0].plot(tf, [fit[t][4] for t in tf], "-", lw=1, color="k", label="cibles : médiane de |résidu|")
|
||||
p90 = {t: statistics.quantiles([math.hypot(*res[s][t]) for s in cib if t in res[s]], n=10, method="inclusive")[-1] for t in tf}
|
||||
p90 = {t: statistics.quantiles([math.hypot(*res[s][t]) for s in cib if t in res[s] and t in acc[s]], n=10, method="inclusive")[-1] for t in tf}
|
||||
axes[2, 0].plot(tf, [p90[t] for t in tf], "-", lw=0.8, color="C3", label="cibles : 90e centile de |résidu| (le max est dans la table)")
|
||||
axes[2, 0].set_ylabel("|résidu| des cibles [px]")
|
||||
axes[2, 0].legend(loc="upper left", fontsize=8)
|
||||
@@ -141,7 +154,7 @@ def rigide(o, noms, series, temps, base, station):
|
||||
axes[-1, 0].set_xlim(tf[0], tf[-1])
|
||||
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
|
||||
fig.suptitle(f"{station} : mouvement d'ensemble (translation, rotation, échelle) ajusté sur {len(ajust)} cibles depuis {iso(t_b)} (pointillé), "
|
||||
"résidu de chaque capteur (heures UTC)")
|
||||
"résidu de chaque capteur, mesures acceptées (croix : référence rejetée) (heures UTC)")
|
||||
fig.tight_layout(rect=(0, 0, 1, 1 - 0.4 / fig.get_figheight()))
|
||||
chemin = base.format("rigide")
|
||||
fig.savefig(chemin, dpi=100, bbox_inches="tight")
|
||||
@@ -150,8 +163,9 @@ def rigide(o, noms, series, temps, base, station):
|
||||
|
||||
print(f"\nMouvement d'ensemble ajusté sur les cibles depuis {iso(t_b)} : {', '.join(ajust)}"
|
||||
+ (f" (hors ajustement : {', '.join(sorted(sans & set(cib)))})" if sans & set(cib) else "")
|
||||
+ f".\nRésidu = position brute moins la position de {iso(t_b)} transportée par ce mouvement [px] ; médiane par pas de {int(o.pas.total_seconds() // 60)} min{' (table : ' + o.table + ')' if o.table else ''} :")
|
||||
cols = ["rot_deg", "echelle", "tx", "ty", "cib_med", "cib_max"] + [f"{s}_{c}" for s in refs for c in ("dx", "dy")]
|
||||
+ f".\nRésidu = position brute moins la position de {iso(t_b)} transportée par ce mouvement [px] ; mesures rejetées hors de l'ajustement, "
|
||||
f"de cib_med, cib_max et des colonnes des capteurs (à part dans le résumé par capteur) ; médiane par pas de {int(o.pas.total_seconds() // 60)} min{' (table : ' + o.table + ')' if o.table else ''} :")
|
||||
cols = ["rot_deg", "echelle", "tx", "ty", "cib_med", "cib_max"] + [f"{s}_{c}" for s in refs + suivis for c in ("dx", "dy")]
|
||||
minuit = tf[0].replace(hour=0, minute=0, second=0, microsecond=0)
|
||||
t0 = minuit + ((tf[0] - minuit) // o.pas) * o.pas
|
||||
par_pas = {}
|
||||
@@ -159,8 +173,8 @@ def rigide(o, noms, series, temps, base, station):
|
||||
ligne = par_pas.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {})
|
||||
for c, v in zip(cols, fit[t]):
|
||||
ligne.setdefault(c, []).append(v)
|
||||
for s in refs:
|
||||
if t in res[s]:
|
||||
for s in refs + suivis:
|
||||
if t in res[s] and t in acc[s]:
|
||||
ligne.setdefault(f"{s}_dx", []).append(res[s][t][0]), ligne.setdefault(f"{s}_dy", []).append(res[s][t][1])
|
||||
w = max(10, max(len(c) for c in cols) + 1)
|
||||
entete = f"{'instant':17}" + "".join(f"{c:>{w}}" for c in cols)
|
||||
@@ -168,12 +182,24 @@ def rigide(o, noms, series, temps, base, station):
|
||||
if i % 24 == 0:
|
||||
print(entete)
|
||||
print(f"{iso(t):17}" + "".join(f"{statistics.median(par_pas[t][c]):{w}.{7 if c == 'echelle' else 3}g}" if c in par_pas[t] else " " * w for c in cols))
|
||||
print("\nPar capteur, mesures acceptées : min et max de dx, dy, valeur au dernier instant ; puis les rejetées à part :")
|
||||
for s in noms:
|
||||
if res[s]:
|
||||
for k, c in ((0, "dx"), (1, "dy")):
|
||||
lo = min(res[s].items(), key=lambda x: x[1][k])
|
||||
hi = max(res[s].items(), key=lambda x: x[1][k])
|
||||
print(f"{s:9}{' (réf.)' if s in refs else ' '} {c} min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}, au dernier instant {res[s][tf[-1]][k] if tf[-1] in res[s] else math.nan:+.3g}")
|
||||
bons = {t: v for t, v in res[s].items() if t in acc[s]}
|
||||
rej = {t: v for t, v in res[s].items() if t not in acc[s]}
|
||||
for k, c in ((0, "dx"), (1, "dy")):
|
||||
ligne = f"{s:9}{' (réf.)' if s in refs else ' '} {c}"
|
||||
if bons:
|
||||
lo, hi = min(bons.items(), key=lambda x: x[1][k]), max(bons.items(), key=lambda x: x[1][k])
|
||||
der = res[s].get(tf[-1])
|
||||
ligne += (f" min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}, au dernier instant "
|
||||
f"{der[k] if der else math.nan:+.3g}{' (rejetée)' if der and tf[-1] not in acc[s] else ''}")
|
||||
else:
|
||||
ligne += " aucune mesure acceptée"
|
||||
if rej:
|
||||
lo, hi = min(rej.items(), key=lambda x: x[1][k]), max(rej.items(), key=lambda x: x[1][k])
|
||||
ligne += f" ; {len(rej)} rejetées : min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}"
|
||||
if bons or rej:
|
||||
print(ligne)
|
||||
|
||||
|
||||
def main():
|
||||
@@ -184,11 +210,12 @@ def main():
|
||||
a.add_argument("--pas", default="15min", type=duree, help="pas des tables et des courbes en bleu (défaut 15min, la cadence des mesures : un pas plus large aplatit et décale les événements courts)")
|
||||
a.add_argument("--k", type=float, default=5, help="écart compté, en MAD de la fenêtre")
|
||||
a.add_argument("--min", type=int, default=5, help="nombre de capteurs à partir duquel un instant est imprimé")
|
||||
a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur ('' : aucune)")
|
||||
a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur (« non » ou '' : aucune)")
|
||||
a.add_argument("--hors", help="T1/T2 : le niveau propre des résidus se calcule hors de ce moment")
|
||||
a.add_argument("--autres", action="store_true", help="résidus de plus ramenés à la médiane des autres capteurs au même instant, avec pente et corrélation sur le mouvement commun")
|
||||
a.add_argument("--rigide", type=instant, metavar="BASE", help="résidus face au mouvement d'ensemble des cibles (translation, rotation, échelle) depuis l'instant BASE")
|
||||
a.add_argument("--sans", default="", help="A,B : cibles laissées hors de l'ajustement de --rigide (leur résidu reste tracé)")
|
||||
a.add_argument("--suivre", default="", help="A,B : avec --rigide, dx, dy de ces capteurs ajoutés à la table au pas (les références y sont déjà)")
|
||||
a.add_argument("--table", default="", metavar="T1/T2|non",
|
||||
help="tables par pas imprimées seulement entre T1 et T2 (« non » : pas du tout) ; le reste sur toute la fenêtre")
|
||||
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
|
||||
@@ -202,7 +229,7 @@ def main():
|
||||
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
|
||||
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
|
||||
colonnes = o.colonnes.split(",")
|
||||
residus = [c for c in o.residus.split(",") if c]
|
||||
residus = [c for c in o.residus.split(",") if c and c != "non"] # '' ou « non » : aucune, comme --table
|
||||
hors = tuple(instant(x) for x in o.hors.split("/")) if o.hors else None
|
||||
if hors and len(hors) != 2:
|
||||
sys.exit("--hors attend T1/T2.")
|
||||
@@ -213,7 +240,7 @@ def main():
|
||||
if len(bornes) != 2:
|
||||
sys.exit("--table attend T1/T2 ou non.")
|
||||
o.dans_table = lambda t: bornes[0] <= t <= bornes[1]
|
||||
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes + residus + [o.colonne], COLONNES, "Colonnes")):
|
||||
for demandes, connus, quoi in ((noms, par, "Capteurs"), ([s for s in o.suivre.split(",") if s], noms, "Capteurs de --suivre (pris parmi --capteurs)"), (colonnes + residus + [o.colonne], COLONNES, "Colonnes")):
|
||||
absents = [x for x in demandes if x not in connus]
|
||||
if absents:
|
||||
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
|
||||
@@ -404,8 +431,7 @@ def main():
|
||||
if not lv:
|
||||
ax.axis("off")
|
||||
continue
|
||||
d = [abs(b[col] - a_[col]) for a_, b in zip(ms, ms[1:])]
|
||||
bruit = statistics.median(d) if d else 0
|
||||
bruit = bruit_propre([m[col] for m in ms])
|
||||
if autres:
|
||||
res = {}
|
||||
for m in ms:
|
||||
|
||||
Reference in new issue
Block a user