Sharpen WILDSTRUBEL lot 01: modification 2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-27 10:19:05 +01:00
1 parent 0ea1bc2184
commit 1057aadd2b
9 files changed
+259 -5

No files matched your search

+194
View File
@@ -0,0 +1,194 @@
"""Ce qui revient d'un jour à l'autre : niveau de chaque nuit, et jours superposés par heure du jour, pour l'agent de diagnostic.
Usage : .venv/bin/python agents/diagnostic/outils/jours.py data/PS_DES_COUDRES/ [--colonnes corr_x,corr_y,error_value]
[--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
Mesures acceptées seulement : une mesure rejetée (error_value au-dessus du seuil) n'entre nulle part. Une « nuit » :
les heures --nuit H1-H2 (UTC, H1 inclus, H2 exclu, à cheval sur minuit si H1 > H2), datée du jour où elle commence ;
la nuit en cours au début de la fenêtre compte aussi (ses heures après minuit). Bruit propre du capteur : médiane des
écarts entre deux mesures consécutives sur la fenêtre. Pour chaque colonne de --colonnes :
1. Niveau de chaque nuit, par capteur : médiane, MAD et nombre de mesures ; puis, d'une nuit à la suivante, la
marche (différence des médianes, en unités et en bruits) et où elle se place : la suite des mesures de nuit des
deux nuits est coupée là où la somme des écarts absolus au niveau de la première nuit (avant) et de la seconde
(après) est la plus petite ; « entre A et B » : dernière mesure de nuit avant la coupure et première après (B en
début de nuit : la coupure tombe entre deux nuits, de jour).
2. Jours superposés : chaque mesure moins le niveau de la dernière nuit commencée à son instant (la précédente, ou
celle en cours ; sans elle, la nuit la plus proche). PNG « parheure-<colonne> » : un petit graphique par capteur,
en abscisse l'heure du jour (UTC), une courbe par jour, heures de nuit grisées, une échelle par capteur, cadrée du 1er au 99e centile élargi de moitié (le titre dit
combien de mesures sortent du cadre : un pic isolé n'écrase pas l'échelle ; sa valeur est dans les tables).
Table : par créneau de --pas de l'heure du jour, les capteurs dont l'écart dépasse --k bruits à ce créneau, du
même côté, au moins --jours jours différents, avec le nombre de ces jours sur le nombre de jours mesurés et la
médiane de ces écarts (signée, en unités et en bruits) ; un capteur au-dessus certains jours et au-dessous
d'autres est cité deux fois.
Rend des valeurs, pas de verdict.
"""
import argparse
import math
import os
import statistics
import sys
from datetime import timedelta
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import COLONNES, RACINE, borne # noqa: E402
from resume import duree # noqa: E402
def heures(texte):
"""'20-3' -> (20, 3)."""
try:
h1, h2 = (int(x) for x in texte.split("-"))
except ValueError:
raise argparse.ArgumentTypeError(f"heures invalides : {texte!r} (ex. 20-3)")
return h1, h2
def de_nuit(t, h1, h2):
return (h1 <= t.hour or t.hour < h2) if h1 > h2 else h1 <= t.hour < h2
def coupure(pts, la, lb):
"""Indice j (1..n-1) où sum|v-la| avant j + sum|v-lb| à partir de j est le plus petit."""
avant, apres = 0.0, sum(abs(v - lb) for _, v in pts)
meilleur = None
for j in range(1, len(pts)):
v = pts[j - 1][1]
avant += abs(v - la)
apres -= abs(v - lb)
if meilleur is None or avant + apres < meilleur[0]:
meilleur = (avant + apres, j)
return meilleur[1]
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonnes", default="corr_x,corr_y,error_value")
a.add_argument("--nuit", default="20-3", type=heures, help="heures de nuit H1-H2, UTC (défaut 20-3)")
a.add_argument("--k", type=float, default=5, help="écart au niveau de la nuit compté, en bruits propres du capteur")
a.add_argument("--jours", type=int, default=2, help="nombre de jours à partir duquel un capteur est cité à un créneau")
a.add_argument("--pas", default="15min", type=duree, help="largeur des créneaux de l'heure du jour (défaut 15min)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG")
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
series = {s: [m for m in filtrer(par[s], o.debut, o.fin) if not rejetee(m)] for s in noms}
if not any(series.values()):
sys.exit("Aucune mesure acceptée dans la fenêtre demandée.")
h1, h2 = o.nuit
pas = int(o.pas.total_seconds() // 60)
station = os.path.basename(os.path.normpath(o.dossier))
os.makedirs(o.sortie, exist_ok=True)
lignes = math.ceil(len(noms) / 5)
for col in colonnes:
print(f"\n== {col} : niveau de chaque nuit ({h1} h → {h2} h UTC), médiane ±MAD (mesures) ; marches d'une nuit à la suivante ==")
creneaux = {} # minute du jour -> {(capteur, au-dessus): {jour: écart}}
bruits = {}
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
for ax, s in zip(axes.flat, noms):
ms = [(m["t"], m[col]) for m in series[s] if m[col] is not None]
if len(ms) < 2:
print(f"{s:9}(moins de 2 valeurs acceptées)")
ax.axis("off")
continue
bruit = bruits[s] = statistics.median(abs(b[1] - a_[1]) for a_, b in zip(ms, ms[1:]))
nuits = {}
for t, v in ms:
if de_nuit(t, h1, h2):
nuits.setdefault((t - timedelta(hours=h1)).date(), []).append((t, v))
niv = {d: statistics.median(v for _, v in p) for d, p in nuits.items()}
cases = []
for d in sorted(nuits):
vs = [v for _, v in nuits[d]]
cases.append(f"{d:%d/%m} {niv[d]:+.6g} ±{statistics.median(abs(v - niv[d]) for v in vs):.2g} ({len(vs)})")
print(f"{s:9}bruit {bruit:.3g} | " + (" | ".join(cases) if cases else "aucune mesure de nuit"))
jours = sorted(nuits)
for da, db in zip(jours, jours[1:]):
pts = nuits[da] + nuits[db]
j = coupure(pts, niv[da], niv[db])
d = niv[db] - niv[da]
enb = f"{d / bruit:+.1f}" if bruit else "-"
print(f"{'':9}{da:%d/%m} → {db:%d/%m} : {d:+.4g} ({enb} bruits), entre {iso(pts[j - 1][0])} et {iso(pts[j][0])}")
def niveau_de(t):
d = (t - timedelta(hours=h1)).date()
if d in niv:
return niv[d]
return niv[min(niv, key=lambda x: abs((x - d).days))] if niv else statistics.median(v for _, v in ms)
par_jour = {}
for t, v in ms:
e = v - niveau_de(t)
par_jour.setdefault(t.date(), []).append((t.hour + t.minute / 60, e))
if bruit and abs(e) > o.k * bruit:
c = (t.hour * 60 + t.minute) // pas * pas
creneaux.setdefault(c, {}).setdefault((s, e > 0), {})[t.date()] = e
for i, (d, p) in enumerate(sorted(par_jour.items())):
ax.plot([x for x, _ in p], [e for _, e in p], "-", lw=0.8, color=f"C{i % 10}", label=f"{d:%d/%m}")
ax.axhline(0, color="0.3", ls=":", lw=0.8)
tous = sorted(e for p in par_jour.values() for _, e in p)
q1, q2 = tous[len(tous) // 100], tous[-1 - len(tous) // 100] # cadre du 1er au 99e centile : un pic isolé n'écrase pas l'échelle
marge = (q2 - q1) * 0.5 or 1
ax.set_ylim(q1 - marge, q2 + marge)
hors_cadre = sum(not q1 - marge <= e <= q2 + marge for e in tous)
for x0, x1 in ((h1, 24), (0, h2)) if h1 > h2 else ((h1, h2),):
ax.axvspan(x0, x1, color="0.9", lw=0)
ax.set_title(s + (" (réf.)" if est_reference(series[s]) else "") + f" bruit {bruit:.2g}"
+ (f" ({hors_cadre} hors cadre)" if hors_cadre else ""), fontsize=9)
ax.set_xlim(0, 24)
ax.set_xticks(range(0, 25, 3))
ax.grid(alpha=0.3)
ax.tick_params(labelsize=7)
if ax is axes.flat[0]:
ax.legend(fontsize=6, ncol=2)
for ax in list(axes.flat)[len(noms):]:
ax.axis("off")
fig.suptitle(f"{station} : {col} moins le niveau de la dernière nuit ({h1} h → {h2} h, grisée), "
"une courbe par jour, en abscisse l'heure du jour (UTC) ; une échelle par capteur")
fig.tight_layout()
chemin = os.path.join(o.sortie, f"{station}_parheure-{col}_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
plt.close(fig)
print(chemin)
nb_jours = {s: {} for s in noms} # capteur -> créneau -> jours mesurés
for s in noms:
for m in series[s]:
if m[col] is not None:
nb_jours[s].setdefault((m["t"].hour * 60 + m["t"].minute) // pas * pas, set()).add(m["t"].date())
print(f"\n{col} : par créneau de {pas} min de l'heure du jour, capteurs à plus de {o.k:g} bruits du niveau de la nuit "
f"au moins {o.jours} jours (jours / jours mesurés, médiane de ces écarts, en bruits)")
vide = True
for c in sorted(creneaux):
cites = []
for s, haut in ((s, h) for s in noms for h in (True, False)):
ec = creneaux[c].get((s, haut), {})
if len(ec) >= o.jours:
med = statistics.median(ec.values())
cites.append(f"{s} {len(ec)}/{len(nb_jours[s].get(c, ()))} {med:+.3g} ({med / bruits[s]:+.1f})")
if cites:
vide = False
print(f"{c // 60:02d}:{c % 60:02d} {len(cites):2} capteurs : " + ", ".join(cites))
if vide:
print("(aucun)")
if __name__ == "__main__":
main()
+7 -2
View File
@@ -1,7 +1,7 @@
"""Plages datées par capteur et par colonne, au pas natif des mesures, pour l'agent de diagnostic.
Usage : python3 agents/diagnostic/outils/plages.py data/PS_DES_COUDRES/ [--colonnes error_value,corr_x,corr_y]
[--k 5] [--fusion 1h] [--hors T1/T2] [--capteurs A,B] [--debut ...] [--fin ...]
[--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--capteurs A,B] [--debut ...] [--fin ...]
Pour chaque colonne, chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane des
valeurs non vides ; avec --hors T1/T2, celle du reste de la fenêtre, hors du moment lu : utile quand un épisode
@@ -16,6 +16,7 @@ long fausse la médiane) et à son bruit propre (médiane des écarts entre deux
au-dessus du seuil), et « extrême rejetée » si l'extrême l'est ; un saut dont un bout est rejeté le dit.
corr_x, corr_y d'une mesure rejetée sont vides, références comprises (donnees.charger). Une plage qui touche le bord de la fenêtre est datée au
bord (le niveau est celui de la fenêtre : un palier durable peut faire de l'autre moitié la « plage »).
Avec --min-mesures N, seules les plages d'au moins N mesures hors niveau sont imprimées (leur nombre total aussi).
Chaque colonne est lue aux mesures, jamais moyennée par pas. Rend des valeurs, pas de verdict.
"""
import argparse
@@ -32,6 +33,7 @@ def main():
a.add_argument("--colonnes", default="error_value,corr_x,corr_y")
a.add_argument("--k", type=float, default=5, help="écart au niveau compté, en bruits propres du capteur")
a.add_argument("--fusion", default="1h", type=duree, help="deux plages séparées de moins que cela n'en font qu'une")
a.add_argument("--min-mesures", type=int, default=1, help="n'imprime que les plages d'au moins N mesures hors niveau")
a.add_argument("--hors", help="T1/T2 : niveau et bruit se calculent hors de ce moment (les plages se cherchent partout)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--debut", type=instant)
@@ -87,7 +89,10 @@ def main():
groupe.append((t, v))
elif t is None and groupe:
plages.append((s, groupe, niv, bruit, rej))
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' (niveau hors ' + o.hors + ')' if hors else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)")
toutes = len(plages)
plages = [p for p in plages if len(p[1]) >= o.min_mesures]
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' (niveau hors ' + o.hors + ')' if hors else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)"
+ (f" ; {len(plages)} d'au moins {o.min_mesures} mesures sur {toutes}" if o.min_mesures > 1 else ""))
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} {'à':<17}{'rejetées':>9}")
for s, g, niv, bruit, rej in plages:
t, v = max(g, key=lambda x: abs(x[1] - niv))