Détecteur degradee : une cible rejetée la plupart du temps, jour après jour, quand les autres sont vues (catégorie cible_degradee, grisée, comptée par la boucle). Page detecteurs.py : error_value moyenne de tous les capteurs à chaque instant, du vert au rouge, sous les barres. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
103 lines
6.5 KiB
Python
103 lines
6.5 KiB
Python
"""Les détecteurs du journal seuls, sur une plage d'un dossier de station : la page de comparaison.py sans l'analyste.
|
|
|
|
En haut, corr_x et corr_y de chaque capteur (px) ; dessous, une ligne par catégorie, les événements des détecteurs dans
|
|
leur état actuel (la plage classée avec ses 3 jours d'historique, comme un lot de /boucle), et la ligne « Error rate » :
|
|
à chaque instant, l'error_value moyenne de tous les capteurs (du vert au rouge, échelle fixe de 0 à 1) ; en bas, la liste des
|
|
événements et leur phrase. Ne modifie rien et n'écrit dans aucun historique.
|
|
Usage : python3 .claude/skills/boucle/detecteurs.py <dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]
|
|
(--au exclu ; sans dates, toute la période du dossier ; page : out/detecteurs_<STATION>_<du>_<au>.html, ouverte)
|
|
"""
|
|
import argparse
|
|
import html
|
|
import os
|
|
import statistics
|
|
|
|
# du vert au rouge (demande de l'utilisateur, 2026-10-27) : couleurs d'état de la palette de référence (skill dataviz)
|
|
VERT_ROUGE = ["#0ca30c", "#fab219", "#ec835a", "#d03b3b"]
|
|
|
|
import comparaison # noqa: E402 (met src/, detectors/ et les outils sur le chemin ; barres, survol, couleurs)
|
|
from comparaison import AUTOSCALE_Y_JS, ROOT, est_reference, go, make_subplots, open_html, score
|
|
|
|
|
|
def page(dossier, du=None, au=None):
|
|
mesures = score.charger(dossier)
|
|
if not mesures:
|
|
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
|
|
tous = sorted({m["t"] for ms in mesures.values() for m in ms})
|
|
a = score.instant(du) if du else tous[0]
|
|
b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
|
|
temps = [t for t in tous if a <= t < b]
|
|
if len(temps) < 2:
|
|
raise SystemExit(f"Pas de mesures dans {dossier} entre {score.iso(a)} et {score.iso(b)}.")
|
|
pas = statistics.median(y - x for x, y in zip(temps, temps[1:]))
|
|
|
|
evts = score.evenements(mesures, score.iso(a), score.iso(b))
|
|
spans = [(v["start"], v["end"], v["category"],
|
|
comparaison.survol(v["label"], v["start"], v["end"], v["sensors"], v["text"])) for v in evts]
|
|
presentes = {v["category"] for v in evts}
|
|
ordre = [c for c in [*score.categories.CATEGORIES, *sorted(presentes - set(score.categories.CATEGORIES))] if c in presentes]
|
|
|
|
par_t = {}
|
|
for ms in mesures.values():
|
|
for m in ms:
|
|
if a <= m["t"] < b and m["error_value"] is not None:
|
|
par_t.setdefault(m["t"], []).append((m["error_value"], m["error_threshold"]))
|
|
erreurs = sorted(par_t.items())
|
|
|
|
# Error rate dans sa propre rangée : une heatmap sur les axes des barres fait planter plotly.js 4.1.1
|
|
fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.025,
|
|
row_heights=[260, 260, 30 * len(ordre) + 20, 30],
|
|
subplot_titles=("corr_x (px)", "corr_y (px)", "Événements des détecteurs, par catégorie", ""))
|
|
for s in sorted(mesures):
|
|
ms = [m for m in mesures[s] if a <= m["t"] < b]
|
|
for row, col in ((1, "corr_x"), (2, "corr_y")):
|
|
fig.add_trace(go.Scatter(x=[m["t"] for m in ms], y=[m[col] for m in ms], name=s, mode="lines", showlegend=False,
|
|
line={"width": 1, "color": comparaison.REFERENCE if est_reference(mesures[s]) else comparaison.CIBLE},
|
|
hovertemplate=f"{s} : %{{y:.3f}} px<extra></extra>"), row=row, col=1)
|
|
if spans:
|
|
fig.add_trace(comparaison.barres("Détecteurs", comparaison.SCRIPTS, spans, pas, 1, "d"), row=3, col=1)
|
|
fig.add_trace(go.Heatmap(
|
|
x=[t for t, _ in erreurs], y=["Error rate"], z=[[statistics.mean(e for e, _ in v) for _, v in erreurs]],
|
|
text=[[f"{len(v)} capteurs, {sum(1 for e, th in v if th is not None and e > th)} rejetés" for _, v in erreurs]],
|
|
zmin=0, zmax=1, colorscale=[[i / (len(VERT_ROUGE) - 1), c] for i, c in enumerate(VERT_ROUGE)],
|
|
colorbar={"title": {"text": "Error rate", "side": "right"}, "thickness": 12, "len": 0.3, "y": 0, "yanchor": "bottom"},
|
|
hovertemplate="%{x|%Y-%m-%d %H:%M} UTC<br>error_value moyenne : %{z:.3f}<br>"
|
|
"%{text}<extra></extra>"), row=4, col=1)
|
|
fig.update_layout(bargap=0.3, height=680 + 30 * len(ordre), showlegend=False, hovermode="closest", plot_bgcolor="white",
|
|
margin={"l": 170, "r": 90, "t": 40, "b": 40})
|
|
fig.update_xaxes(type="date", range=[a, b], showgrid=True, gridcolor="#e6e6e2")
|
|
fig.update_yaxes(showgrid=True, gridcolor="#eeeeea", zeroline=False)
|
|
fig.update_yaxes(categoryorder="array", categoryarray=ordre[::-1], row=3, col=1)
|
|
|
|
lignes = "".join(f"<tr><td>{v['start']}</td><td>{v['end']}</td><td>{html.escape(v['label'])}</td>"
|
|
f"<td>{html.escape(', '.join(v['sensors']) or 'tous')}</td><td>{html.escape(v['text'])}</td></tr>"
|
|
for v in evts)
|
|
station = os.path.basename(os.path.normpath(dossier))
|
|
nom = f"{station}_{score.iso(a)[:10]}_{score.iso(b)[:10]}"
|
|
corps = fig.to_html(include_plotlyjs="cdn", full_html=False, post_script=AUTOSCALE_Y_JS, config={"scrollZoom": False})
|
|
chemin = os.path.join(ROOT, "out", f"detecteurs_{nom}.html")
|
|
os.makedirs(os.path.dirname(chemin), exist_ok=True)
|
|
with open(chemin, "w", encoding="utf-8") as f:
|
|
f.write(f"""<!doctype html><html lang="fr"><head><meta charset="utf-8"><title>Détecteurs {html.escape(nom)}</title>
|
|
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}} p{{color:#5f5e5a;max-width:70em}}
|
|
table{{border-collapse:collapse;font-size:14px}} th,td{{padding:4px 10px;border-bottom:1px solid #e6e6e2;text-align:left;vertical-align:top}}
|
|
th{{font-weight:600;color:#3d3d3a}}</style></head><body>
|
|
<h2>Détecteurs, {html.escape(station)} : {score.iso(a)} → {score.iso(b)} (UTC)</h2>
|
|
<p>Les détecteurs du journal tels qu'ils sont (version {comparaison.benchmark.version()}), la plage classée avec ses 3 jours d'historique.
|
|
Survol d'une barre : capteurs et phrase ; ligne Error rate : error_value moyenne de tous les capteurs à chaque instant. Zoom par sélection ; la liste complète est sous la figure.</p>
|
|
{corps}<h3>{len(evts)} événement(s)</h3>
|
|
<table><tr><th>Début</th><th>Fin</th><th>Catégorie</th><th>Capteurs</th><th>Phrase</th></tr>{lignes}</table>
|
|
</body></html>""")
|
|
return chemin
|
|
|
|
|
|
if __name__ == "__main__":
|
|
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
|
p.add_argument("dossier")
|
|
p.add_argument("--du")
|
|
p.add_argument("--au")
|
|
o = p.parse_args()
|
|
chemin = page(o.dossier, o.du, o.au)
|
|
print(chemin)
|
|
open_html(chemin)
|