Add the Error rate line and its colorbar to the loop's end-of-session page, shared with detecteurs.py
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
a55280056d
commit
fb2160a12d
4 files changed
+38
-29
No files matched your search
@@ -94,6 +94,6 @@ Si `git status --short docs/ameliorations-processus.md` montre un changement : c
|
||||
|
||||
## 7. Réponse finale
|
||||
|
||||
`python3 .claude/skills/boucle/comparaison.py <dossier> <séance>` : la page de fin de séance, `out/boucle_<SEANCE>_<STATION>.html`, qui s'ouvre dans le navigateur (D-066). En haut, `corr_x` et `corr_y` de tous les capteurs sur toute la plage de la séance ; dessous, une ligne par catégorie : la lecture de l'analyste (ses étiquettes) au-dessus des événements des détecteurs tels qu'ils sont en fin de séance, et en gris ses moments hors catégorie ; sous la figure, le score de la séance et le benchmark sur la base de cas. Le but, séance après séance : que les deux coïncident. Un échec du script va dans la réponse, sans relance.
|
||||
`python3 .claude/skills/boucle/comparaison.py <dossier> <séance>` : la page de fin de séance, `out/boucle_<SEANCE>_<STATION>.html`, qui s'ouvre dans le navigateur (D-066). En haut, `corr_x` et `corr_y` de tous les capteurs sur toute la plage de la séance ; dessous, une ligne par catégorie : la lecture de l'analyste (ses étiquettes) au-dessus des événements des détecteurs tels qu'ils sont en fin de séance, et en gris ses moments hors catégorie ; tout en bas, la ligne « Error rate », l'`error_value` moyenne de tous les capteurs à chaque instant (du vert au rouge, avec sa barre de couleur, comme `detecteurs.py`) ; sous la figure, le score de la séance et le benchmark sur la base de cas. Le but, séance après séance : que les deux coïncident. Un échec du script va dans la réponse, sans relance.
|
||||
|
||||
En 8 lignes au plus : la page, la base de la séance, le chemin du bilan, le benchmark (ligne `total` / `toutes`, `grep -E '^total +toutes'`, début → fin), le nombre de modifications gardées et de cas créés, le nombre d'étiquettes (`<séance>/lot-*/etiquettes.json`, à garder même si l'utilisateur annule des modifications : elles ne dépendent pas des détecteurs), les erreurs, les difficultés relevées et, avec `--ameliorer`, celles corrigées. Tout est sur `master`, rien n'est poussé : l'utilisateur annule ce qu'il ne garde pas par `git revert`.
|
||||
@@ -4,7 +4,8 @@ En haut, corr_x et corr_y de chaque capteur (px) ; dessous, une ligne par catég
|
||||
moments de l'analyste (etiquettes.json des lots de la séance), en bas les événements des détecteurs tels qu'ils sont
|
||||
(chaque lot classé avec ses 3 jours d'historique, comme le score). En dernier, en gris, les moments « aucune » de
|
||||
l'analyste : vus, mais hors des catégories du journal (sans effet sur les courbes le plus souvent, ou une nouveauté). Une barre va de la première mesure à la dernière,
|
||||
plus un pas. Sous la figure, le score de la séance (score.py sur ses seules étiquettes). Faire coïncider les deux barres
|
||||
plus un pas. Tout en bas, la ligne « Error rate » : à chaque instant, l'error_value moyenne de tous les capteurs (du vert
|
||||
au rouge, échelle fixe de 0 à 1, comme detecteurs.py). Sous la figure, le score de la séance (score.py sur ses seules étiquettes). Faire coïncider les deux barres
|
||||
de chaque ligne, séance après séance, c'est le but de la boucle.
|
||||
Usage : python3 .claude/skills/boucle/comparaison.py <dossier de station> <dossier de séance>
|
||||
(page : out/boucle_<séance>.html, ouverte dans le navigateur)
|
||||
@@ -30,6 +31,26 @@ import benchmark # noqa: E402 (les détecteurs face aux cas de la base, D-069)
|
||||
AGENT, SCRIPTS = "#2a78d6", "#eb6834" # palette catégorielle de référence, slots 1 et 2 (skill dataviz)
|
||||
CIBLE, REFERENCE = "rgba(110,110,105,0.55)", "rgba(30,30,28,0.8)" # courbes : l'identité au survol, pas à la couleur
|
||||
HORS, GRIS = "hors catégorie", "#a3a29c" # moments « aucune » de l'analyste : aucun détecteur ne peut les rejoindre
|
||||
# du vert au rouge (demande de l'utilisateur, 2026-10-27) : couleurs d'état de la palette de référence (skill dataviz)
|
||||
VERT_ROUGE = ["#0ca30c", "#fab219", "#ec835a", "#d03b3b"]
|
||||
|
||||
|
||||
def taux_erreur(mesures, a, b):
|
||||
"""Ligne « Error rate » : à chaque instant de [a, b), l'error_value moyenne de tous les capteurs, du vert au rouge sur
|
||||
une échelle fixe de 0 à 1, avec sa barre de couleur. Dans sa propre rangée : une heatmap sur les axes des barres fait
|
||||
planter plotly.js 4.1.1."""
|
||||
par_t = {}
|
||||
for ms in mesures.values():
|
||||
for m in ms:
|
||||
if a <= m["t"] < b and m["error_value"] is not None:
|
||||
par_t.setdefault(m["t"], []).append((m["error_value"], m["error_threshold"]))
|
||||
erreurs = sorted(par_t.items())
|
||||
return go.Heatmap(
|
||||
x=[t for t, _ in erreurs], y=["Error rate"], z=[[statistics.mean(e for e, _ in v) for _, v in erreurs]],
|
||||
text=[[f"{len(v)} capteurs, {sum(1 for e, th in v if th is not None and e > th)} rejetés" for _, v in erreurs]],
|
||||
zmin=0, zmax=1, colorscale=[[i / (len(VERT_ROUGE) - 1), c] for i, c in enumerate(VERT_ROUGE)],
|
||||
colorbar={"title": {"text": "Error rate", "side": "right"}, "thickness": 12, "len": 0.3, "y": 0, "yanchor": "bottom"},
|
||||
hovertemplate="%{x|%Y-%m-%d %H:%M} UTC<br>error_value moyenne : %{z:.3f}<br>%{text}<extra></extra>")
|
||||
|
||||
|
||||
def survol(titre, debut, fin, capteurs, *lignes):
|
||||
@@ -92,10 +113,10 @@ def page(dossier, seance):
|
||||
ordre = [c for c in [*score.categories.CATEGORIES, *sorted(presentes - set(score.categories.CATEGORIES) - {HORS}), HORS]
|
||||
if c in presentes]
|
||||
|
||||
fig = make_subplots(rows=3, cols=1, shared_xaxes=True, vertical_spacing=0.04,
|
||||
row_heights=[260, 260, 40 * len(ordre) + 20],
|
||||
fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.03,
|
||||
row_heights=[260, 260, 40 * len(ordre) + 20, 30],
|
||||
subplot_titles=("corr_x (px)", "corr_y (px)",
|
||||
"Classification : analyste (bleu, en haut ; gris : hors catégorie), détecteurs (orange, en bas)"))
|
||||
"Classification : analyste (bleu, en haut ; gris : hors catégorie), détecteurs (orange, en bas)", ""))
|
||||
for s in sorted(mesures):
|
||||
ms = [m for m in mesures[s] if a <= m["t"] < b]
|
||||
for row, col in ((1, "corr_x"), (2, "corr_y")):
|
||||
@@ -105,8 +126,9 @@ def page(dossier, seance):
|
||||
fig.add_trace(barres("Détecteurs", SCRIPTS, scripts, pas, 3, "d"), row=3, col=1) # en mode group, le 1er groupe en bas
|
||||
fig.add_trace(barres("Analyste", AGENT, [s for s in agent if s[2] != HORS], pas, 1, "a"), row=3, col=1)
|
||||
fig.add_trace(barres(f"Analyste, {HORS}", GRIS, [s for s in agent if s[2] == HORS], pas, 2, "a"), row=3, col=1)
|
||||
fig.update_layout(barmode="group", bargap=0.25, bargroupgap=0.1, height=620 + 40 * len(ordre),
|
||||
margin={"l": 170, "r": 20, "t": 40, "b": 40}, hovermode="closest", plot_bgcolor="white",
|
||||
fig.add_trace(taux_erreur(mesures, a, b), row=4, col=1)
|
||||
fig.update_layout(barmode="group", bargap=0.25, bargroupgap=0.1, height=650 + 40 * len(ordre),
|
||||
margin={"l": 170, "r": 90, "t": 40, "b": 40}, hovermode="closest", plot_bgcolor="white",
|
||||
legend={"orientation": "h", "y": 1.04, "x": 0})
|
||||
fig.update_xaxes(type="date", range=[a, b], showgrid=True, gridcolor="#e6e6e2")
|
||||
fig.update_yaxes(showgrid=True, gridcolor="#eeeeea", zeroline=False)
|
||||
@@ -131,7 +153,8 @@ th{{font-weight:600;color:#3d3d3a}} small{{color:#8a8984}} tr.niveau td{{color:#
|
||||
<p>Dessous les courbes, chaque ligne est une catégorie du journal : la barre du haut est la lecture de l'analyste
|
||||
(étiquettes des {len(lots)} lot(s) de la séance), celle du bas, les événements des détecteurs dans leur état de fin de
|
||||
séance. En dernier, en gris, ce que l'analyste a vu hors des catégories du journal : sans effet sur les courbes le plus
|
||||
souvent, ou une nouveauté ; aucun détecteur ne peut le rejoindre. Survol : capteurs, preuve, description. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>
|
||||
souvent, ou une nouveauté ; aucun détecteur ne peut le rejoindre. Ligne Error rate : error_value moyenne de tous les capteurs à chaque instant.
|
||||
Survol : capteurs, preuve, description. Le but de la boucle : que les deux barres de chaque ligne coïncident.</p>
|
||||
{corps}<h3>Score de la séance</h3>
|
||||
<p>On compte des mesures : une mesure, c'est un capteur à un instant (toutes les {round(pas.total_seconds() / 60)} min ici).
|
||||
<b>Trouvées</b> : de ce que l'analyste range dans la catégorie, la part que les détecteurs signalent aussi ; le reste, ils
|
||||
|
||||
@@ -12,14 +12,12 @@ import html
|
||||
import os
|
||||
import statistics
|
||||
|
||||
# du vert au rouge (demande de l'utilisateur, 2026-10-27) : couleurs d'état de la palette de référence (skill dataviz)
|
||||
VERT_ROUGE = ["#0ca30c", "#fab219", "#ec835a", "#d03b3b"]
|
||||
|
||||
import comparaison # noqa: E402 (met src/, detectors/ et les outils sur le chemin ; barres, survol, couleurs)
|
||||
from comparaison import AUTOSCALE_Y_JS, ROOT, est_reference, go, make_subplots, open_html, score
|
||||
|
||||
|
||||
def page(dossier, du=None, au=None):
|
||||
def page(dossier, du=None, au=None, entete="", annexe="", chemin=None):
|
||||
"""entete, annexe : HTML ajouté avant et après la figure (page de /revue-cas) ; chemin : la page, sinon out/detecteurs_…."""
|
||||
mesures = score.charger(dossier)
|
||||
if not mesures:
|
||||
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
|
||||
@@ -37,14 +35,6 @@ def page(dossier, du=None, au=None):
|
||||
presentes = {v["category"] for v in evts}
|
||||
ordre = [c for c in [*score.categories.CATEGORIES, *sorted(presentes - set(score.categories.CATEGORIES))] if c in presentes]
|
||||
|
||||
par_t = {}
|
||||
for ms in mesures.values():
|
||||
for m in ms:
|
||||
if a <= m["t"] < b and m["error_value"] is not None:
|
||||
par_t.setdefault(m["t"], []).append((m["error_value"], m["error_threshold"]))
|
||||
erreurs = sorted(par_t.items())
|
||||
|
||||
# Error rate dans sa propre rangée : une heatmap sur les axes des barres fait planter plotly.js 4.1.1
|
||||
fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.025,
|
||||
row_heights=[260, 260, 30 * len(ordre) + 20, 30],
|
||||
subplot_titles=("corr_x (px)", "corr_y (px)", "Événements des détecteurs, par catégorie", ""))
|
||||
@@ -56,13 +46,7 @@ def page(dossier, du=None, au=None):
|
||||
hovertemplate=f"{s} : %{{y:.3f}} px<extra></extra>"), row=row, col=1)
|
||||
if spans:
|
||||
fig.add_trace(comparaison.barres("Détecteurs", comparaison.SCRIPTS, spans, pas, 1, "d"), row=3, col=1)
|
||||
fig.add_trace(go.Heatmap(
|
||||
x=[t for t, _ in erreurs], y=["Error rate"], z=[[statistics.mean(e for e, _ in v) for _, v in erreurs]],
|
||||
text=[[f"{len(v)} capteurs, {sum(1 for e, th in v if th is not None and e > th)} rejetés" for _, v in erreurs]],
|
||||
zmin=0, zmax=1, colorscale=[[i / (len(VERT_ROUGE) - 1), c] for i, c in enumerate(VERT_ROUGE)],
|
||||
colorbar={"title": {"text": "Error rate", "side": "right"}, "thickness": 12, "len": 0.3, "y": 0, "yanchor": "bottom"},
|
||||
hovertemplate="%{x|%Y-%m-%d %H:%M} UTC<br>error_value moyenne : %{z:.3f}<br>"
|
||||
"%{text}<extra></extra>"), row=4, col=1)
|
||||
fig.add_trace(comparaison.taux_erreur(mesures, a, b), row=4, col=1)
|
||||
fig.update_layout(bargap=0.3, height=680 + 30 * len(ordre), showlegend=False, hovermode="closest", plot_bgcolor="white",
|
||||
margin={"l": 170, "r": 90, "t": 40, "b": 40})
|
||||
fig.update_xaxes(type="date", range=[a, b], showgrid=True, gridcolor="#e6e6e2")
|
||||
@@ -75,18 +59,20 @@ def page(dossier, du=None, au=None):
|
||||
station = os.path.basename(os.path.normpath(dossier))
|
||||
nom = f"{station}_{score.iso(a)[:10]}_{score.iso(b)[:10]}"
|
||||
corps = fig.to_html(include_plotlyjs="cdn", full_html=False, post_script=AUTOSCALE_Y_JS, config={"scrollZoom": False})
|
||||
chemin = os.path.join(ROOT, "out", f"detecteurs_{nom}.html")
|
||||
chemin = chemin or os.path.join(ROOT, "out", f"detecteurs_{nom}.html")
|
||||
os.makedirs(os.path.dirname(chemin), exist_ok=True)
|
||||
with open(chemin, "w", encoding="utf-8") as f:
|
||||
f.write(f"""<!doctype html><html lang="fr"><head><meta charset="utf-8"><title>Détecteurs {html.escape(nom)}</title>
|
||||
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}} p{{color:#5f5e5a;max-width:70em}}
|
||||
table{{border-collapse:collapse;font-size:14px}} th,td{{padding:4px 10px;border-bottom:1px solid #e6e6e2;text-align:left;vertical-align:top}}
|
||||
th{{font-weight:600;color:#3d3d3a}}</style></head><body>
|
||||
{entete}
|
||||
<h2>Détecteurs, {html.escape(station)} : {score.iso(a)} → {score.iso(b)} (UTC)</h2>
|
||||
<p>Les détecteurs du journal tels qu'ils sont (version {comparaison.benchmark.version()}), la plage classée avec ses 3 jours d'historique.
|
||||
Survol d'une barre : capteurs et phrase ; ligne Error rate : error_value moyenne de tous les capteurs à chaque instant. Zoom par sélection ; la liste complète est sous la figure.</p>
|
||||
{corps}<h3>{len(evts)} événement(s)</h3>
|
||||
<table><tr><th>Début</th><th>Fin</th><th>Catégorie</th><th>Capteurs</th><th>Phrase</th></tr>{lignes}</table>
|
||||
{annexe}
|
||||
</body></html>""")
|
||||
return chemin
|
||||
|
||||
|
||||
@@ -126,7 +126,7 @@ Ajouté le 2026-10-26 à la demande de l'utilisateur, seulement si `/boucle` est
|
||||
- Les commits de la séance sur `master`, un par étape, lisibles avec `git log` depuis la base de la séance (notée dans `bilan.md`) ; il annule ce qu'il ne garde pas par `git revert`.
|
||||
- `bilan.md` : une ligne par lot (verdict de l'analyste ; étiquettes ; modification gardée, annulée ou aucune ; cas créés), et le score de fin de séance (`score-fin.txt`) sur toutes les étiquettes de la station ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs.
|
||||
- `docs/ameliorations-processus.md` : les difficultés du processus relevées pendant la séance ; avec `--ameliorer`, celles que l'améliorateur a corrigées sont marquées **traité**.
|
||||
- La page `out/boucle_<séance>.html` (D-066, ajoutée le 2026-10-26 à la demande de l'utilisateur), ouverte en fin de séance : les courbes de toute la plage ; dessous, une ligne par catégorie, la lecture de l'analyste au-dessus des événements des détecteurs ; le score de la séance. Le but, séance après séance : que les deux coïncident.
|
||||
- La page `out/boucle_<séance>.html` (D-066, ajoutée le 2026-10-26 à la demande de l'utilisateur), ouverte en fin de séance : les courbes de toute la plage ; dessous, une ligne par catégorie, la lecture de l'analyste au-dessus des événements des détecteurs ; tout en bas, la ligne « Error rate » (`error_value` moyenne de tous les capteurs, du vert au rouge, avec sa barre de couleur, ajoutée le 2026-10-27 à la demande de l'utilisateur) ; le score de la séance. Le but, séance après séance : que les deux coïncident.
|
||||
|
||||
## 7. Essai et première séance
|
||||
|
||||
|
||||
Reference in new issue
Block a user