Sharpen NORDEND lot 01: modification 2
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
3a189e5500
commit
53eaf45e9d
8 files changed
+106
-14
No files matched your search
@@ -12,6 +12,9 @@ Deux PNG, dont les chemins sont imprimés :
|
||||
(défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas.
|
||||
2. « multiples » : un petit graphique par capteur (références d'abord) de --colonne, médiane par pas de --pas,
|
||||
trait pointillé = médiane de la fenêtre ; chaque graphique a son échelle, un palier se voit.
|
||||
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
|
||||
pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
|
||||
un début ou une fin à 15 min, relancer sur la fenêtre utile avec --pas 15min.
|
||||
Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD,
|
||||
le nombre et les capteurs. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
@@ -84,6 +87,7 @@ def main():
|
||||
|
||||
# 1. commun
|
||||
fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 3 * (len(colonnes) + 1)), squeeze=False)
|
||||
communes = {}
|
||||
for ax, col in zip(axes[:, 0], colonnes):
|
||||
e, _ = ecarts(col)
|
||||
med, bas, haut, tt = [], [], [], []
|
||||
@@ -92,6 +96,7 @@ def main():
|
||||
if len(v) >= 2:
|
||||
q = statistics.quantiles(v, n=10, method="inclusive")
|
||||
tt.append(t), med.append(statistics.median(v)), bas.append(q[0]), haut.append(q[-1])
|
||||
communes[col] = dict(zip(tt, med))
|
||||
ax.fill_between(tt, bas, haut, color="0.85", label="10e-90e centile entre capteurs")
|
||||
ax.plot(tt, med, ".-", ms=2, lw=0.8, label="médiane des capteurs")
|
||||
ax.set_ylabel(f"{col}\nécart à sa médiane")
|
||||
@@ -107,19 +112,38 @@ def main():
|
||||
axes[-1, 0].step(temps, compte, where="mid", lw=0.8)
|
||||
axes[-1, 0].set_ylabel(f"capteurs au-dessus\nde médiane + {o.k:g} MAD\n({o.colonne})")
|
||||
axes[-1, 0].grid(alpha=0.3)
|
||||
h = next((h for h in (1, 2, 3, 6, 12) if (temps[-1] - temps[0]).total_seconds() / 3600 / h <= 20), 24)
|
||||
axes[-1, 0].xaxis.set_major_locator(mdates.HourLocator(byhour=range(0, 24, h)))
|
||||
axes[-1, 0].set_xlim(temps[0], temps[-1])
|
||||
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
|
||||
for ax in axes[:, 0]:
|
||||
ax.grid(alpha=0.5, which="major")
|
||||
fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)")
|
||||
commun = base.format("commun")
|
||||
fig.savefig(commun, dpi=100, bbox_inches="tight")
|
||||
plt.close(fig)
|
||||
print(commun)
|
||||
|
||||
# table de la médiane commune, par pas
|
||||
t0 = temps[0]
|
||||
lignes_t = {}
|
||||
for col in colonnes:
|
||||
for t, v in communes[col].items():
|
||||
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col, []).append(v)
|
||||
print(f"\nMédiane commune (écart à la médiane de la fenêtre), médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
|
||||
print(f"{'instant':17}" + "".join(f"{c:>12}" for c in colonnes))
|
||||
for t in sorted(lignes_t):
|
||||
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):12.4g}" if c in lignes_t[t] else " " * 12 for c in colonnes))
|
||||
for col in colonnes:
|
||||
if communes[col]:
|
||||
lo, hi = min(communes[col].items(), key=lambda x: x[1]), max(communes[col].items(), key=lambda x: x[1])
|
||||
print(f"{col} (mesures) : min {lo[1]:.4g} à {iso(lo[0])}, max {hi[1]:.4g} à {iso(hi[0])}")
|
||||
|
||||
# 2. petits multiples
|
||||
col = o.colonne
|
||||
n = len(noms)
|
||||
lignes = math.ceil(n / 5)
|
||||
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
|
||||
t0 = temps[0]
|
||||
for ax, s in zip(axes.flat, noms):
|
||||
ms = [m for m in series[s] if m[col] is not None]
|
||||
ax.plot([m["t"] for m in ms], [m[col] for m in ms], "-", lw=0.4, color="0.7")
|
||||
|
||||
@@ -1,13 +1,15 @@
|
||||
"""Inventaire d'un dossier de station : ce qui est disponible, ce qui manque.
|
||||
|
||||
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/
|
||||
Rend des valeurs, pas de verdict.
|
||||
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T]
|
||||
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
|
||||
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
|
||||
en suites de pas consécutifs). Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import statistics
|
||||
import sys
|
||||
from datetime import timedelta
|
||||
|
||||
from donnees import charger, est_reference, heure_image, iso, rejetee, trouver
|
||||
from donnees import charger, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
|
||||
|
||||
|
||||
def fichiers(f):
|
||||
@@ -63,15 +65,58 @@ def mesures(par):
|
||||
f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}")
|
||||
|
||||
|
||||
def main(dossier):
|
||||
def fenetre(par, debut, fin):
|
||||
"""Pas absents et rejets datés sur la fenêtre debut/fin."""
|
||||
instants = sorted({m["t"] for ms in par.values() for m in ms})
|
||||
cadence = statistics.median(b - a for a, b in zip(instants, instants[1:]))
|
||||
series = {s: {m["t"]: m for m in filtrer(ms, debut, fin)} for s, ms in par.items()}
|
||||
dans = sorted({t for d in series.values() for t in d})
|
||||
print(f"\nFenêtre {iso(dans[0])} → {iso(dans[-1])} : {len(dans)} instants présents")
|
||||
noms = sorted(par, key=lambda s: (not est_reference(par[s]), s))
|
||||
print(f"Pas absents pour tous les capteurs, entre deux instants présents (cadence de {cadence.total_seconds() / 60:.0f} min) :")
|
||||
trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(dans, dans[1:])]
|
||||
trous = [x for x in trous if x[2] > 0]
|
||||
for a, b, n in trous:
|
||||
print(f" entre {iso(a)} et {iso(b)} : {n}")
|
||||
if not trous:
|
||||
print(" (aucun)")
|
||||
print("Instants présents où des capteurs n'ont pas de mesure :")
|
||||
partiels = [(t, [s for s in noms if t not in series[s]]) for t in dans]
|
||||
for t, manque in partiels:
|
||||
if manque:
|
||||
print(f" {iso(t)} : {len(manque)} capteurs : {','.join(manque)}")
|
||||
if not any(m for _, m in partiels):
|
||||
print(" (aucun)")
|
||||
print("Mesures rejetées dans la fenêtre, par capteur (début → fin de chaque suite de pas consécutifs, nombre) :")
|
||||
for s in noms:
|
||||
rej = [t for t in sorted(series[s]) if rejetee(series[s][t])]
|
||||
suites = []
|
||||
for t in rej:
|
||||
if suites and t - suites[-1][1] <= cadence * 1.5:
|
||||
suites[-1][1], suites[-1][2] = t, suites[-1][2] + 1
|
||||
else:
|
||||
suites.append([t, t, 1])
|
||||
if rej:
|
||||
print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites))
|
||||
if not any(rejetee(m) for d in series.values() for m in d.values()):
|
||||
print(" (aucune)")
|
||||
|
||||
|
||||
def main(dossier, debut=None, fin=None):
|
||||
print(f"Dossier : {dossier}")
|
||||
f = trouver(dossier)
|
||||
fichiers(f)
|
||||
images(f["images"])
|
||||
mesures(charger(dossier))
|
||||
par = charger(dossier)
|
||||
mesures(par)
|
||||
if par and (debut or fin):
|
||||
fenetre(par, debut, fin)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 2:
|
||||
sys.exit(__doc__)
|
||||
main(sys.argv[1])
|
||||
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
||||
a.add_argument("dossier")
|
||||
a.add_argument("--debut", type=instant)
|
||||
a.add_argument("--fin", type=instant)
|
||||
o = a.parse_args()
|
||||
main(o.dossier, o.debut, o.fin)
|
||||
Reference in new issue
Block a user