Sharpen NORDEND lot 01: modification 2
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
1ff6da05bd
commit
09cd4638a5
14 files changed
+183
-22
No files matched your search
@@ -2,7 +2,7 @@
|
||||
|
||||
Usage : .venv/bin/python agents/diagnostic/outils/ensemble.py data/PS_DES_COUDRES/
|
||||
[--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5]
|
||||
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
|
||||
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
|
||||
|
||||
Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre).
|
||||
Deux PNG, dont les chemins sont imprimés :
|
||||
@@ -18,6 +18,12 @@ Deux PNG, dont les chemins sont imprimés :
|
||||
pointillé ; un écart de quelques centièmes sur une colonne `corr` que les bandes parallèles de `graphique.py` cachent
|
||||
s'y voit. Imprime, par capteur, le niveau, le bruit propre (médiane des écarts entre deux mesures consécutives) et
|
||||
l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits.
|
||||
Avec --autres, chaque capteur est de plus ramené à l'écart à la médiane des AUTRES capteurs au même instant (on
|
||||
retranche, à chaque mesure, la médiane des autres capteurs de la même colonne moins leur niveau propre) : ce qui est
|
||||
partagé par tous (le reste de la compensation d'un mouvement commun) s'annule, ce qui est propre au capteur reste.
|
||||
PNG « residus-<colonne>-autres » ; la table imprime en plus, par capteur, la pente de ce résidu sur chaque
|
||||
colonne de --colonnes (médiane commune, ex. y) et la corrélation r : un résidu proportionnel au mouvement commun
|
||||
(même s'il n'est pas partagé par tous) a une pente non nulle et un r élevé.
|
||||
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
|
||||
pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
|
||||
un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large,
|
||||
@@ -61,6 +67,7 @@ def main():
|
||||
a.add_argument("--min", type=int, default=5, help="nombre de capteurs à partir duquel un instant est imprimé")
|
||||
a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur ('' : aucune)")
|
||||
a.add_argument("--hors", help="T1/T2 : le niveau propre des résidus se calcule hors de ce moment")
|
||||
a.add_argument("--autres", action="store_true", help="résidus de plus ramenés à la médiane des autres capteurs au même instant, avec pente et corrélation sur le mouvement commun")
|
||||
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
|
||||
a.add_argument("--debut", type=instant)
|
||||
a.add_argument("--fin", type=instant)
|
||||
@@ -182,10 +189,19 @@ def main():
|
||||
print(multiples)
|
||||
|
||||
# 3. résidus : chaque capteur moins son propre niveau
|
||||
for col in residus:
|
||||
for col, autres in [(c, False) for c in residus] + [(c, True) for c in residus if o.autres]:
|
||||
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
|
||||
print(f"\n{col} moins le niveau propre ({'hors ' + o.hors if hors else 'médiane de la fenêtre'}), médiane par pas de "
|
||||
dev = {}
|
||||
if autres: # {capteur: {t: valeur - niveau propre}} pour la médiane des autres
|
||||
for q in noms:
|
||||
mq = [m for m in series[q] if m[col] is not None]
|
||||
rq = [m for m in mq if not hors or not hors[0] <= m["t"] <= hors[1]] or mq
|
||||
nq = niveau(rq, col)
|
||||
if nq:
|
||||
dev[q] = {m["t"]: m[col] - nq[0] for m in mq}
|
||||
print(f"\n{col} moins le niveau propre{' et moins la médiane des autres capteurs au même instant' if autres else ''} ({'hors ' + o.hors if hors else 'médiane de la fenêtre'}), médiane par pas de "
|
||||
f"{int(o.pas.total_seconds() // 60)} min :")
|
||||
pentes = []
|
||||
print(f"{'capteur':9}{'niveau':>10}{'bruit':>10}{'écart min':>11} {'à':<17}{'(bruits)':>9}{'écart max':>11} {'à':<17}{'(bruits)':>9}")
|
||||
for ax, s in zip(axes.flat, noms):
|
||||
ms = [m for m in series[s] if m[col] is not None]
|
||||
@@ -196,11 +212,22 @@ def main():
|
||||
continue
|
||||
d = [abs(b[col] - a_[col]) for a_, b in zip(ms, ms[1:])]
|
||||
bruit = statistics.median(d) if d else 0
|
||||
if autres:
|
||||
res = {}
|
||||
for m in ms:
|
||||
v = [dev[q][m["t"]] for q in dev if q != s and m["t"] in dev[q]]
|
||||
if len(v) >= 2:
|
||||
res[m["t"]] = m[col] - lv[0] - statistics.median(v)
|
||||
if len(res) < 2:
|
||||
ax.axis("off")
|
||||
continue
|
||||
else:
|
||||
res = {m["t"]: m[col] - lv[0] for m in ms}
|
||||
pas = {}
|
||||
for m in ms:
|
||||
pas.setdefault(t0 + ((m["t"] - t0) // o.pas) * o.pas, []).append(m[col] - lv[0])
|
||||
for t, v in res.items():
|
||||
pas.setdefault(t0 + ((t - t0) // o.pas) * o.pas, []).append(v)
|
||||
pm = {t: statistics.median(v) for t, v in pas.items()}
|
||||
ax.plot([m["t"] for m in ms], [m[col] - lv[0] for m in ms], "-", lw=0.4, color="0.7")
|
||||
ax.plot(list(res), list(res.values()), "-", lw=0.4, color="0.7")
|
||||
ax.plot(list(pm), list(pm.values()), "-", lw=1.1, color="C0")
|
||||
ax.axhline(0, color="C3", ls=":", lw=0.8)
|
||||
ax.set_title(s + (" (réf.)" if est_reference(ms) else "") + f" bruit {bruit:.2g}", fontsize=9)
|
||||
@@ -211,12 +238,21 @@ def main():
|
||||
lo, hi = min(pm.items(), key=lambda x: x[1]), max(pm.items(), key=lambda x: x[1])
|
||||
f = lambda v: f"{v / bruit:9.1f}" if bruit else f"{'-':>9}"
|
||||
print(f"{s:9}{lv[0]:10.4g}{bruit:10.3g}{lo[1]:11.3g} {iso(lo[0]):<17}{f(lo[1])}{hi[1]:11.3g} {iso(hi[0]):<17}{f(hi[1])}")
|
||||
if autres:
|
||||
for c in colonnes:
|
||||
tt = [t for t in res if t in communes[c]]
|
||||
if len(tt) > 2 and len({communes[c][t] for t in tt}) > 1:
|
||||
xs, ys = [communes[c][t] for t in tt], [res[t] for t in tt]
|
||||
pente = statistics.linear_regression(xs, ys).slope
|
||||
pentes.append(f"{s:9}pente sur {c} commun {pente:+.4g} par unité, r = {statistics.correlation(xs, ys):+.2f}")
|
||||
for ax in list(axes.flat)[n:]:
|
||||
ax.axis("off")
|
||||
fig.suptitle(f"{station} : {col} moins le niveau propre de chaque capteur, médiane par pas de "
|
||||
if pentes:
|
||||
print("\n".join(pentes))
|
||||
fig.suptitle(f"{station} : {col} moins le niveau propre{' et la médiane des autres' if autres else ''} de chaque capteur, médiane par pas de "
|
||||
f"{int(o.pas.total_seconds() // 60)} min (bleu), mesures (gris) ; une échelle par capteur (heures UTC)")
|
||||
fig.tight_layout()
|
||||
chemin = base.format(f"residus-{col}")
|
||||
chemin = base.format(f"residus-{col}" + ("-autres" if autres else ""))
|
||||
fig.savefig(chemin, dpi=100, bbox_inches="tight")
|
||||
plt.close(fig)
|
||||
print(chemin)
|
||||
|
||||
Reference in new issue
Block a user