Sharpen NORDEND lot 01: modification 2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 13:09:24 +01:00
1 parent 3a189e5500
commit 53eaf45e9d
8 files changed
+106 -14

No files matched your search

+25 -1
View File
@@ -12,6 +12,9 @@ Deux PNG, dont les chemins sont imprimés :
(défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas.
2. « multiples » : un petit graphique par capteur (références d'abord) de --colonne, médiane par pas de --pas,
trait pointillé = médiane de la fenêtre ; chaque graphique a son échelle, un palier se voit.
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
un début ou une fin à 15 min, relancer sur la fenêtre utile avec --pas 15min.
Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD,
le nombre et les capteurs. Rend des valeurs, pas de verdict.
"""
@@ -84,6 +87,7 @@ def main():
# 1. commun
fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 3 * (len(colonnes) + 1)), squeeze=False)
communes = {}
for ax, col in zip(axes[:, 0], colonnes):
e, _ = ecarts(col)
med, bas, haut, tt = [], [], [], []
@@ -92,6 +96,7 @@ def main():
if len(v) >= 2:
q = statistics.quantiles(v, n=10, method="inclusive")
tt.append(t), med.append(statistics.median(v)), bas.append(q[0]), haut.append(q[-1])
communes[col] = dict(zip(tt, med))
ax.fill_between(tt, bas, haut, color="0.85", label="10e-90e centile entre capteurs")
ax.plot(tt, med, ".-", ms=2, lw=0.8, label="médiane des capteurs")
ax.set_ylabel(f"{col}\nécart à sa médiane")
@@ -107,19 +112,38 @@ def main():
axes[-1, 0].step(temps, compte, where="mid", lw=0.8)
axes[-1, 0].set_ylabel(f"capteurs au-dessus\nde médiane + {o.k:g} MAD\n({o.colonne})")
axes[-1, 0].grid(alpha=0.3)
h = next((h for h in (1, 2, 3, 6, 12) if (temps[-1] - temps[0]).total_seconds() / 3600 / h <= 20), 24)
axes[-1, 0].xaxis.set_major_locator(mdates.HourLocator(byhour=range(0, 24, h)))
axes[-1, 0].set_xlim(temps[0], temps[-1])
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
for ax in axes[:, 0]:
ax.grid(alpha=0.5, which="major")
fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)")
commun = base.format("commun")
fig.savefig(commun, dpi=100, bbox_inches="tight")
plt.close(fig)
print(commun)
# table de la médiane commune, par pas
t0 = temps[0]
lignes_t = {}
for col in colonnes:
for t, v in communes[col].items():
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col, []).append(v)
print(f"\nMédiane commune (écart à la médiane de la fenêtre), médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
print(f"{'instant':17}" + "".join(f"{c:>12}" for c in colonnes))
for t in sorted(lignes_t):
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):12.4g}" if c in lignes_t[t] else " " * 12 for c in colonnes))
for col in colonnes:
if communes[col]:
lo, hi = min(communes[col].items(), key=lambda x: x[1]), max(communes[col].items(), key=lambda x: x[1])
print(f"{col} (mesures) : min {lo[1]:.4g} à {iso(lo[0])}, max {hi[1]:.4g} à {iso(hi[0])}")
# 2. petits multiples
col = o.colonne
n = len(noms)
lignes = math.ceil(n / 5)
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
t0 = temps[0]
for ax, s in zip(axes.flat, noms):
ms = [m for m in series[s] if m[col] is not None]
ax.plot([m["t"] for m in ms], [m[col] for m in ms], "-", lw=0.4, color="0.7")
+54 -9
View File
@@ -1,13 +1,15 @@
"""Inventaire d'un dossier de station : ce qui est disponible, ce qui manque.
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/
Rend des valeurs, pas de verdict.
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T]
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
en suites de pas consécutifs). Rend des valeurs, pas de verdict.
"""
import argparse
import statistics
import sys
from datetime import timedelta
from donnees import charger, est_reference, heure_image, iso, rejetee, trouver
from donnees import charger, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
def fichiers(f):
@@ -63,15 +65,58 @@ def mesures(par):
f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}")
def main(dossier):
def fenetre(par, debut, fin):
"""Pas absents et rejets datés sur la fenêtre debut/fin."""
instants = sorted({m["t"] for ms in par.values() for m in ms})
cadence = statistics.median(b - a for a, b in zip(instants, instants[1:]))
series = {s: {m["t"]: m for m in filtrer(ms, debut, fin)} for s, ms in par.items()}
dans = sorted({t for d in series.values() for t in d})
print(f"\nFenêtre {iso(dans[0])} → {iso(dans[-1])} : {len(dans)} instants présents")
noms = sorted(par, key=lambda s: (not est_reference(par[s]), s))
print(f"Pas absents pour tous les capteurs, entre deux instants présents (cadence de {cadence.total_seconds() / 60:.0f} min) :")
trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(dans, dans[1:])]
trous = [x for x in trous if x[2] > 0]
for a, b, n in trous:
print(f" entre {iso(a)} et {iso(b)} : {n}")
if not trous:
print(" (aucun)")
print("Instants présents où des capteurs n'ont pas de mesure :")
partiels = [(t, [s for s in noms if t not in series[s]]) for t in dans]
for t, manque in partiels:
if manque:
print(f" {iso(t)} : {len(manque)} capteurs : {','.join(manque)}")
if not any(m for _, m in partiels):
print(" (aucun)")
print("Mesures rejetées dans la fenêtre, par capteur (début → fin de chaque suite de pas consécutifs, nombre) :")
for s in noms:
rej = [t for t in sorted(series[s]) if rejetee(series[s][t])]
suites = []
for t in rej:
if suites and t - suites[-1][1] <= cadence * 1.5:
suites[-1][1], suites[-1][2] = t, suites[-1][2] + 1
else:
suites.append([t, t, 1])
if rej:
print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites))
if not any(rejetee(m) for d in series.values() for m in d.values()):
print(" (aucune)")
def main(dossier, debut=None, fin=None):
print(f"Dossier : {dossier}")
f = trouver(dossier)
fichiers(f)
images(f["images"])
mesures(charger(dossier))
par = charger(dossier)
mesures(par)
if par and (debut or fin):
fenetre(par, debut, fin)
if __name__ == "__main__":
if len(sys.argv) != 2:
sys.exit(__doc__)
main(sys.argv[1])
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
o = a.parse_args()
main(o.dossier, o.debut, o.fin)