diff --git a/CLAUDE.md b/CLAUDE.md index fe6f3ed..ee4eefa 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -98,7 +98,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées. -- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées (D-094) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. +- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : zoom, ses capteurs) (D-094) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. - `events-learner/`, `aiguiser/` : les séances de `/events-learner` et `/aiguiser` (D-084), une par dossier `_/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande. `aiguiser/voir.py` : ce que rendent les outils de lecture sur un lot. - `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`. - `agent-tools/` : les outils de lecture des agents (D-081) : `donnees.py` (lecture commune, aussi des détecteurs), `inventaire`, `resume`, `plages`, `jours`, `ensemble`, `graphique`, `vignettes`, `gif` ; mode d'emploi : skill `lire-les-donnees`, aiguisé par `/aiguiser`. diff --git a/detectors-view/status.py b/detectors-view/status.py index d5e65d9..f922372 100644 --- a/detectors-view/status.py +++ b/detectors-view/status.py @@ -1,25 +1,52 @@ """La page Status d'une station : version pseudo finale de la page de l'onglet Explore du site (en anglais, D-023). -En haut, corr_x et corr_y de chaque capteur (px, une couleur par capteur, les références en pointillé ; la légende cache un -capteur dans les deux), puis le mouvement de la caméra (pan, tilt, rotation [deg], camera/ du pompage, si le dossier en a). -Sur les courbes, au lieu de la ligne Status de detecteurs.py, chaque événement des détecteurs en plage colorée transparente -(la plage classée avec ses 3 jours d'historique ; sans Shift to check ni Slow drift, comme le Status), une couleur par -catégorie, leur légende au-dessus des courbes (un clic cache une catégorie). +En haut, la rangée des événements des détecteurs (la plage classée avec ses 3 jours d'historique ; sans Shift to check ni Slow +drift, comme le Status de detecteurs.py) : une étiquette par événement, à son heure, de la couleur de sa catégorie, les +événements qui se chevauchent l'un sous l'autre. Dessous, corr_x et corr_y de chaque capteur (px, une couleur par capteur, +les références en pointillé ; la légende, à droite, cache un capteur dans les deux), puis le mouvement de la caméra (pan, +tilt, rotation [deg], camera/ du pompage, si le dossier en a). Sur les courbes, chaque événement en plage colorée +transparente, la légende des catégories au-dessus (un clic cache une catégorie). Un clic sur une étiquette sélectionne +l'événement : zoom sur lui (marge avant et après), ses seuls capteurs sur les courbes, sa plage soulignée ; un second clic +rend tout. Usage : python3 detectors-view/status.py [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] (--au exclu ; sans dates, toute la période du dossier ; page : out/status___.html, ouverte) """ import argparse import html +import json import os import statistics +import textwrap import detecteurs # la page des détecteurs : chargement, couleurs, références (bascule seule sur .venv si plotly manque) -from detecteurs import ROOT, donnees, go, make_subplots, open_served +from detecteurs import ROOT, donnees, go, make_subplots, open_served, plotly_t # Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), 8 teintes pour # 10 catégories : les deux phases thermiques partagent l'orange, No data en gris. TEINTES = {"visibilite_reduite": "#2a78d6", "visibilite_nulle": "#6250d6", "passage": "#1baf7a", "cible_masquee": "#e87ba4", "cible_degradee": "#e34948", "turbulence": "#eda100", "dilatation_thermique": "#eb6834", "contraction_thermique": "#eb6834", "saut_bref": "#008300", "trou": detecteurs.GRIS} +VOIE = 24 # px par rangée d'étiquettes + +# Un clic sur l'étiquette d'un événement (customdata : début, fin, capteurs, rang) le sélectionne ; un second clic rend +# tout. Marge du zoom : la moitié de la durée, de 1 h à 6 h (comme le timelapse de detecteurs.py). Ses plages : les R +# shapes de rang k. +SELECTION_JS = """ +const R = __R__, PLAGE = __PLAGE__, ms = s => Date.parse(s.replace(' ', 'T') + 'Z'); +const iso = t => new Date(t).toISOString().slice(0, 16).replace('T', ' '); +let choisi = null; +gd.on('plotly_click', ev => { + const p = ev.points[0]; + if (!p.customdata) return; + const [debut, fin, cs, k] = p.customdata, un = choisi !== k; + choisi = un ? k : null; + const m = Math.min(6 * 3600e3, Math.max(3600e3, (ms(fin) - ms(debut)) / 2)), d = {}; + gd.layout.shapes.forEach((_, i) => d[`shapes[${i}].opacity`] = !un ? 0.2 : Math.floor(i / R) === k ? 0.4 : 0.05); + for (const x of Object.keys(gd._fullLayout).filter(x => /^xaxis\\d*$/.test(x))) // toutes : elles suivent celle du bas (matches) + d[x + '.range'] = un ? [iso(ms(debut) - m), iso(ms(fin) + m)] : PLAGE; + Plotly.relayout(gd, d); + capteurs(un ? cs : []); +}); +""" def page(dossier, du=None, au=None): @@ -32,14 +59,34 @@ def page(dossier, du=None, au=None): refs = detecteurs.references(mesures, a, b) poses = [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b] - titres = ["corr_x (px)", "corr_y (px)", *["Camera movement: pan, tilt, rotation (deg)"] * bool(poses)] - hauteurs = [260, 260, 200][:len(titres)] # px - fig = make_subplots(rows=len(titres), cols=1, shared_xaxes=True, subplot_titles=titres, vertical_spacing=0.08, + # Un événement par plage, pas les blocs du Status : sur NIEDERHORN, une cible défaillante tout du long en fait un seul bloc. + pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une plage finit un pas après sa dernière mesure + evts = sorted((v for v in detecteurs.score.evenements(mesures, donnees.iso(a), donnees.iso(b)) + if v["category"] not in detecteurs.STATUT_HORS), key=lambda v: v["start"]) + plages = [(donnees.instant(v["start"]), donnees.instant(v["end"]) + pas) for v in evts] + voies, voie = [], [] # fin de la dernière étiquette de chaque rangée ; la rangée de chaque événement + for d0, d1 in plages: + k = next((i for i, f in enumerate(voies) if f <= d0), len(voies)) # la première rangée libre, sinon une nouvelle + voies[k:k + 1] = [d1] + voie.append(k) + + titres = ["", "corr_x (px)", "corr_y (px)", *["Camera movement: pan, tilt, rotation (deg)"] * bool(poses)] + hauteurs = [VOIE * max(1, len(voies)), 260, 260, 200][:len(titres)] # px + fig = make_subplots(rows=len(titres), cols=1, shared_xaxes=True, subplot_titles=titres, vertical_spacing=0.06, row_heights=hauteurs) + fig.add_trace(go.Bar( + orientation="h", y=voie, base=[d0 for d0, _ in plages], x=[(d1 - d0).total_seconds() * 1000 for d0, d1 in plages], + marker_color=[TEINTES.get(v["category"], detecteurs.GRIS) for v in evts], text=[v["label"] for v in evts], + textposition="inside", insidetextanchor="middle", textangle=0, hoverinfo="text", showlegend=False, name="Events", + hovertext=[f"{v['label']}
{plotly_t(v['start'])} → {plotly_t(donnees.iso(d1))} UTC
sensors: " + + (", ".join(v["sensors"]) or "all") + "
" + "
".join(textwrap.wrap(v["text"], 90)) + + "
click: select, again: show all" for v, (_, d1) in zip(evts, plages)], + customdata=[[plotly_t(v["start"]), plotly_t(donnees.iso(d1)), v["sensors"], k] + for k, (v, (_, d1)) in enumerate(zip(evts, plages))]), row=1, col=1) for i, s in enumerate(sorted(mesures)): ms = [m for m in mesures[s] if a <= m["t"] < b] ref = s in refs - for row, col in ((1, "corr_x"), (2, "corr_y")): + for row, col in ((2, "corr_x"), (3, "corr_y")): fig.add_trace(go.Scatter(x=[m["t"] for m in ms], y=[m[col] for m in ms], name=s + " (ref.)" * ref, mode="lines", legendgroup=s, showlegend=col == "corr_x", line={"width": 1.2, "color": detecteurs.COULEURS[i % len(detecteurs.COULEURS)], @@ -48,27 +95,29 @@ def page(dossier, du=None, au=None): for col, couleur in detecteurs.POSE if poses else (): fig.add_trace(go.Scatter(x=[p["t"] for p in poses], y=[p[col] for p in poses], name=col, mode="lines", line={"width": 1.2, "color": couleur}, hovertemplate=f"{col}: %{{y:.4f}}°"), - row=3, col=1) + row=4, col=1) - # Un événement par plage, pas les blocs du Status : sur NIEDERHORN, une cible défaillante tout du long en fait un seul bloc. - pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une plage finit un pas après sa dernière mesure rang = {k: i for i, k in enumerate(detecteurs.score.categories.CATEGORIES)} vus = set() - for v in detecteurs.score.evenements(mesures, donnees.iso(a), donnees.iso(b)): - if v["category"] in detecteurs.STATUT_HORS: - continue - for r in range(1, len(titres) + 1): - fig.add_vrect(x0=donnees.instant(v["start"]), x1=donnees.instant(v["end"]) + pas, row=r, col=1, - fillcolor=TEINTES.get(v["category"], detecteurs.GRIS), opacity=0.2, line_width=0, layer="below", - legend="legend2", legendgroup=v["label"], name=v["label"], legendrank=rang.get(v["category"], 99), - showlegend=v["label"] not in vus) + for v, (d0, d1) in zip(evts, plages): # les plages de l'événement k : shapes k * R à k * R + R - 1 (SELECTION_JS) + for r in range(2, len(titres) + 1): + fig.add_vrect(x0=d0, x1=d1, row=r, col=1, fillcolor=TEINTES.get(v["category"], detecteurs.GRIS), opacity=0.2, + line_width=0, layer="below", legend="legend2", legendgroup=v["label"], name=v["label"], + legendrank=rang.get(v["category"], 99), showlegend=v["label"] not in vus) vus.add(v["label"]) - fig.update_layout(height=sum(hauteurs) + 220, hovermode="closest", plot_bgcolor="white", margin={"l": 60, "r": 20, "t": 100, "b": 40}, + fig.update_layout(height=sum(hauteurs) + 260, hovermode="closest", plot_bgcolor="white", + margin={"l": 60, "r": 20, "t": 100, "b": 40}, bargap=0.15, + uniformtext={"minsize": 9, "mode": "hide"}, # une étiquette trop courte pour son nom : au survol seul legend={"x": 1.01, "y": 1, "yanchor": "top"}, # à droite des courbes (l'utilisateur, 2026-10-29) - legend2={"orientation": "h", "x": 0, "y": 1.04, "yanchor": "bottom", "title": {"text": "Status"}}) + legend2={"orientation": "h", "x": 0, "y": 1.02, "yanchor": "bottom", "title": {"text": "Status"}}) fig.update_xaxes(type="date", range=[a, b], showgrid=True, gridcolor="#e6e6e2", showticklabels=True) # l'heure sous chaque courbe + fig.update_xaxes(showticklabels=False, row=1, col=1) fig.update_yaxes(showgrid=True, gridcolor="#eeeeea", zeroline=False) + fig.update_yaxes(autorange="reversed", showticklabels=False, showgrid=False, fixedrange=True, row=1, col=1) + script = ("const gd = document.getElementById('{plot_id}');" + detecteurs.CAPTEURS_JS + + SELECTION_JS.replace("__R__", str(len(titres) - 1)) + .replace("__PLAGE__", json.dumps([plotly_t(donnees.iso(a)), plotly_t(donnees.iso(b))]))) station = os.path.basename(os.path.normpath(dossier)) nom = f"{station}_{donnees.iso(a)[:10]}_{donnees.iso(b)[:10]}" chemin = os.path.join(ROOT, "out", f"status_{nom}.html") @@ -77,7 +126,7 @@ def page(dossier, du=None, au=None): f.write(f"""Status {html.escape(nom)}

Status, {html.escape(station)}

-{fig.to_html(include_plotlyjs="cdn", full_html=False, config={"scrollZoom": False})} +{fig.to_html(include_plotlyjs="cdn", full_html=False, div_id="fig", post_script=script, config={"scrollZoom": False})} """) return chemin