nouvelle planification

This commit is contained in:
maxime committed 2026-10-23 21:52:08 +02:00
1 parent 8d9b927600
commit 23f01d7c23
23 files changed
+1897 -11

No files matched your search

+20 -3
View File
@@ -1,4 +1,4 @@
"""Maquette de la page Explore, onglets View et Diagnosis (D-053, D-054) et Displacements (sauts et tendances, D-055) ;
"""Maquette de la page Explore, onglets View et Diagnosis (D-053, D-054), Displacements (sauts et tendances, D-055) et Journal ;
spec : vues-deplacements/maquette/spec.md.
Lit l'export « advanced » d'un dossier de station avec l'outil donnees.py de l'agent (positions, error_value) et son
@@ -8,6 +8,7 @@ Usage : python3 vues-deplacements/maquette/explore.py [dossier de station] (d
"""
import csv
import html
import importlib.util
import json
import os
import statistics
@@ -26,7 +27,7 @@ sys.path.insert(0, str(ROOT / "agents" / "diagnostic" / "outils"))
from common.page import AUTOSCALE_Y_JS, open_html # noqa: E402 (bascule seule sur .venv si plotly manque)
import donnees # noqa: E402 (lecture des exports, bibliothèque standard)
COLUMNS = ("error_value",) # grandeurs de l'export « advanced » gardées pour la page, en plus de x, y
COLUMNS = ("error_value", "corr_x", "corr_y") # grandeurs de l'export « advanced » gardées pour la page, en plus de x, y
KINDS = ("global_ref", "ref", "target") # ordre des lignes : références de la compensation, local reference, cibles
MARGIN_PX = 150 # marge autour des capteurs, zoom de départ de l'image (spec §1)
HOURLY_TZ = ZoneInfo("Europe/Zurich") # horodatage de l'export horaire : heure suisse, sans fuseau (docs/domaine/colonnes-des-deplacements.md)
@@ -168,6 +169,22 @@ def regime_changes(hr):
return events, sorted(trends, key=lambda f: abs(f["drift"]) / f["swing"], reverse=True)
def journal(mesures):
"""Épisodes de tous les détecteurs de vues-deplacements/journal/*.py (onglet Journal), triés par début ; un détecteur
qui plante est sauté avec un message."""
episodes = []
for path in sorted((HERE.parent / "journal").glob("*.py")):
try:
spec = importlib.util.spec_from_file_location(f"journal_{path.stem}", path)
mod = importlib.util.module_from_spec(spec)
spec.loader.exec_module(mod)
if hasattr(mod, "detect"):
episodes += mod.detect(mesures)
except Exception as e: # noqa: BLE001 (prototype : un détecteur cassé ne bloque pas la page)
print(f"Journal : {path.name} sauté ({type(e).__name__}: {e})", file=sys.stderr)
return sorted(episodes, key=lambda e: e["start"])
def url(path):
"""Chemin -> URL relative depuis out/, où la page est écrite."""
return quote(Path(os.path.relpath(path, OUT)).as_posix())
@@ -209,7 +226,7 @@ def build(folder):
return {"platform": Path(files["advanced"][0]).name.split("_advanced_")[0], "times": [donnees.iso(t) for t in instants],
"sensors": sensors, "images": images, "view": view, "captures": captures,
"folder": Path(os.path.relpath(Path(folder).resolve(), ROOT)).as_posix(), # pour la demande à l'agent
"hourly": hr, "regime": regime, "trends": trends,
"hourly": hr, "regime": regime, "trends": trends, "journal": journal(mesures),
"rules": {"abrupt": ABRUPT, "size": SIZE, "trend_size": TREND_SIZE, "trend_days": TREND_DAYS}}
@@ -121,6 +121,12 @@
#r-trends { margin: 0 0 12px; }
#r-events details { margin: 0 0 12px; color: var(--text); }
#r-events summary { font-size: 15px; cursor: pointer; padding: 4px 0; }
/* Onglet Journal (spec « L'onglet Journal ») : courbes, frise des épisodes, journal en texte de la plage visible. */
#journal .hint { color: var(--muted); font-size: 12px; margin: 2px 0 10px; }
.jentry { padding: 6px 4px; border-bottom: 1px solid var(--line); color: var(--text); cursor: pointer; }
.jentry:hover { background: #e8f0fb; }
.jentry i { display: inline-block; width: 10px; height: 10px; border-radius: 2px; margin-right: 6px; }
.rtable { border-collapse: collapse; width: 100%; margin-top: 4px; color: var(--text); }
.rtable th, .rtable td { padding: 5px 6px; border-bottom: 1px solid var(--line); text-align: left; white-space: nowrap; }
.rtable th { color: var(--muted); font-weight: normal; white-space: normal; vertical-align: bottom; }
@@ -168,6 +174,7 @@
<button type="button" data-pane="view" class="active">View</button>
<button type="button" data-pane="diagnosis">Diagnosis</button>
<button type="button" data-pane="displacements">Displacements</button>
<button type="button" data-pane="journal">Journal</button>
</nav>
<div class="pane" id="time_series"></div>
<div class="pane" id="advanced"></div>
@@ -244,6 +251,12 @@
<div id="r-curves"></div>
</div>
</div>
<div class="pane" id="journal">
<div id="j-curves"></div>
<p class="hint">Grey zones: do not trust the data there (they are kept, not removed). Hover a bar for details; zoom the curves
with the wheel or by dragging, double-click for the whole period.</p>
<div id="j-list"></div>
</div>
</section>
</main>
@@ -897,6 +910,70 @@ function drawRegime() { // toutes les cibles en gris fin, celles qui ont sauté
}
drawRegime();
// Onglet Journal (spec « L'onglet Journal ») : le journal du matin du client. Courbes corr_x et corr_y des cibles, zones à
// ignorer grisées, une frise des épisodes (une ligne par détecteur), puis le journal en texte de la plage visible.
const J = D.journal;
const J_NAMES = { visibilite: "Visibility", sauts: "Jumps", turbulence: "Turbulence", thermique: "Thermal", trous: "Missing data" };
const J_KINDS = [...new Set([...Object.keys(J_NAMES), ...J.map(e => e.kind)])].filter(k => J.some(e => e.kind === k));
// une couleur fixe par détecteur, d'une station à l'autre ; vert pour ce qui est normal (le cycle thermique)
const J_COLORS = { visibilite: "#1f77b4", sauts: "#d62728", turbulence: "#ff7f0e", thermique: "#2ca02c", trous: "#7f7f7f" };
const jName = k => J_NAMES[k] || k, jColor = k => J_COLORS[k] || PALETTE[J_KINDS.indexOf(k) % PALETTE.length];
const MON = ["Jan", "Feb", "Mar", "Apr", "May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"];
const jWhen = t => `${MON[+t.slice(5, 7) - 1]} ${+t.slice(8, 10)}, ${t.slice(11, 16)}`;
const plotT = ms => new Date(ms).toISOString().slice(0, 19).replace("T", " "); // instant en ms -> date Plotly (UTC)
const jEnd = e => Math.max(Date.parse(e.end), Date.parse(e.start) + 3600e3); // dessin : 1 h au moins, sinon invisible
function drawJournal() {
const targets = S.filter(s => s.kind === "target" || s.kind === "ref");
const traces = targets.flatMap((s, n) => [["corr_x", "Horizontal"], ["corr_y", "Vertical"]].map(([c, label], r) => ({
type: "scatter", mode: "lines", x: D.times, y: s.values[c], yaxis: `y${r ? 2 : ""}`, name: s.name, showlegend: false,
line: { color: PALETTE[n % PALETTE.length], width: 1 },
hovertemplate: `${s.name} · %{x|%d %b %H:%M} UTC<br>${label} %{y:.2f} px<extra></extra>` })));
for (const k of J_KINDS) { // frise : une barre par épisode, de son début à sa fin
const eps = J.filter(e => e.kind === k);
traces.push({ type: "bar", orientation: "h", yaxis: "y3", name: jName(k), showlegend: false,
y: eps.map(() => jName(k)), base: eps.map(e => e.start), x: eps.map(e => jEnd(e) - Date.parse(e.start)),
marker: { color: jColor(k) }, text: eps.map(e => e.label), textposition: "inside", insidetextanchor: "middle",
insidetextfont: { color: "#fff" }, hovertext: eps.map(e => `<b>${e.label}</b><br>${e.text}<br>Sensors: ${
e.sensors.length ? e.sensors.join(", ") : "all"}`), hovertemplate: "%{hovertext}<extra></extra>" });
}
const C = 220, G = 24, F = 30 * Math.max(J_KINDS.length, 1), A = 2 * C + 2 * G + F; // hauteurs en px, A : zone tracée
const grey = J.filter(e => e.ignore).flatMap(e => ["y domain", "y2 domain"].map(yref => ({ type: "rect", xref: "x", yref,
x0: e.start, x1: plotT(jEnd(e)), y0: 0, y1: 1, fillcolor: "#888", opacity: 0.25, line: { width: 0 }, layer: "below" })));
const end = Date.parse(D.times[D.times.length - 1]);
Plotly.newPlot("j-curves", traces, {
height: A + 70, margin: { l: 110, r: 10, t: 20, b: 50 }, barmode: "overlay", bargap: 0.25, uniformtext: { mode: "hide", minsize: 10 },
xaxis: { type: "date", anchor: "y3", range: [ASKED.get("from") || plotT(end - 3 * 864e5), plotT(end)] }, // départ : les 3 derniers jours (#from=AAAA-MM-JJ : captures)
yaxis: { domain: [1 - C / A, 1], fixedrange: true, title: { text: "Horizontal (px)" } },
yaxis2: { domain: [1 - (2 * C + G) / A, 1 - (C + G) / A], fixedrange: true, title: { text: "Vertical (px)" } },
yaxis3: { domain: [0, F / A], fixedrange: true, type: "category", categoryorder: "array",
categoryarray: J_KINDS.map(jName).reverse(), showgrid: false }, // inversé : le premier détecteur en haut
shapes: grey,
}, CONFIG).then(() => {
autoscale("j-curves"); // les barres de la frise (ordonnées en texte) n'entrent pas dans le recalage
const gd = document.getElementById("j-curves");
gd.on("plotly_relayout", () => listJournal(gd.layout.xaxis.range.map(v => Date.parse(minute(v)))));
Plotly.relayout(gd, { "xaxis.range": gd.layout.xaxis.range.slice() }); // ordonnées et journal dès l'ouverture
});
}
function listJournal([a, b]) { // les épisodes de la plage visible, dans l'ordre du temps ; clic : zoom sur l'épisode
const eps = J.filter(e => Date.parse(e.end) >= a && Date.parse(e.start) <= b);
document.getElementById("j-list").innerHTML = eps.length ? eps.map(e => `<div class="jentry" data-n="${J.indexOf(e)}">
<i style="background:${jColor(e.kind)}"></i>${jWhen(e.start)}${e.end === e.start ? "" : ` – ${
e.end.slice(0, 10) === e.start.slice(0, 10) ? e.end.slice(11, 16) : jWhen(e.end)}`} UTC · <b>${e.label}</b> · ${e.text}${
e.sensors.length ? ` <span class="meta">(${e.sensors.join(", ")})</span>` : ""}</div>`).join("")
: '<p class="empty">Nothing to report on this period.</p>';
}
document.getElementById("j-list").addEventListener("click", ev => {
const el = ev.target.closest("[data-n]");
if (!el) return;
const e = J[+el.dataset.n], a = Date.parse(e.start), b = Date.parse(e.end), m = Math.max((b - a) / 2, 2 * 3600e3); // marge
Plotly.relayout("j-curves", { "xaxis.range": [plotT(a - m), plotT(b + m)] });
});
drawJournal();
</script>
</body>
</html>
+17 -2
View File
@@ -1,4 +1,4 @@
# Maquette Explore : onglets View, Diagnosis et Displacements
# Maquette Explore : onglets View, Diagnosis, Displacements et Journal
Spec construite en conversation le 2026-10-16 (D-053, puis D-054). Cas de départ : `cas/2026-10_NORDEND/` (Carrière TROYDO (B), PR17).
@@ -15,7 +15,7 @@ Au départ (D-053), la version 0 était un cadre : image à T et grille capteurs
Maquette de la page Explore de la plateforme, texte en anglais (D-023).
- Habillage repris de `maquettes/user/summary_template.html` : barre latérale « AIMsight monitoring », en-tête `<nom plateforme> · Explore`, sélecteur de dates affiché seulement (inerte). Le nom plateforme est le préfixe du nom de l'export « advanced » (`Carrière TROYDO (B)_advanced_…` → `Carrière TROYDO (B)`).
- Cinq onglets : `Time Series`, `Advanced`, `View` (ouvert au chargement, ajouté le 2026-10-16 à la demande de l'utilisateur), `Diagnosis`, `Displacements` (D-055). L'adresse peut choisir l'onglet de départ : `#tab=diagnosis`, `#tab=displacements`.
- Six onglets : `Time Series`, `Advanced`, `View` (ouvert au chargement, ajouté le 2026-10-16 à la demande de l'utilisateur), `Diagnosis`, `Displacements` (D-055), `Journal` (2026-10-23). L'adresse peut choisir l'onglet de départ : `#tab=diagnosis`, `#tab=displacements`, `#tab=journal`.
- `Time Series` et `Advanced` sont un décor : les captures de `cas/<cas>/plateforme/` affichées telles quelles, `01` à `03` dans `Time Series`, `04` et `05` dans `Advanced`. Elles couvrent le 1/10 au 16/10, les données le 5/10 au 16/10 : écart admis.
## L'onglet View
@@ -108,6 +108,21 @@ Ajouté le 2026-10-16 à la demande de l'utilisateur : faire ressortir seules le
- **Clic sur une ligne** : l'onglet Diagnosis, sur cette cible à cette heure (fin du saut, ou dernière mesure pour une tendance).
- Vérifié par captures le 2026-10-16 : NORDEND, deux événements PR17 (08/10 et retour du 12/10) et une tendance (PR06 en horizontal, +0,7 mm) ; PS des Coudres, rien ; CLARIDEN, un événement de 21 cibles. Vérifié en onglet (`#tab=displacements`) le même jour. Pas encore essayés : le clic vers Diagnosis, le zoom des courbes. Survol vérifié par captures le 2026-10-19 (`#focus=…`) : NORDEND, les deux sauts de PR17 et la tendance de PR06 ; CLARIDEN, l'événement de 21 cibles ; pas encore essayé à la souris.
## L'onglet Journal (2026-10-23)
Le « journal du matin » du client (utilisateur, 2026-10-23) : il ouvre Explore, voit ses courbes sur quelques jours et, dessous, des barres étiquetées qui disent ce qui s'est passé. Un épisode n'est pas un vrai déplacement : c'est un moment où il ne faut pas se fier aux données. On garde toutes les données ; les zones à ignorer sont grisées. Prototype, au plus simple, en attente des retours de l'utilisateur.
- **Détecteurs** : un fichier par détecteur dans `vues-deplacements/journal/<nom>.py`, qui expose `detect(mesures)` (`mesures = donnees.charger(dossier)`) et rend des épisodes `{start, end, kind, label, text, ignore, sensors}` (heures `donnees.iso`, UTC ; `kind` = nom du fichier ; `ignore` vrai = zone grisée ; `sensors` vide = tous). `explore.py` (`journal`) charge tous les fichiers qui ont `detect`, appelle chacun sur les mesures déjà lues et trie les épisodes par début ; un détecteur qui plante est sauté avec un message, la page se fait quand même.
- **`trous.py`** : les moments sans mesure, cadence de l'export rompue (plus de 2 pas manquants, cadence = écart médian), de la dernière mesure à la suivante ; label `No data`, pas grisé. Les autres (`visibilite`, `sauts`, `turbulence`, `thermique`) sont écrits à part.
- **Courbes** : `Horizontal (px)` = `corr_x`, `Vertical (px)` = `corr_y` de l'export « advanced », cibles seules (`target` et `ref`, pas les `global_ref`), lignes fines, axe du temps partagé ; vue de départ : les 3 derniers jours (`#from=AAAA-MM-JJ` dans l'adresse la fait partir d'un autre jour, pour les captures) ; zoom à la molette ou au cadre sur toute la plage, double-clic pour tout voir ; ordonnées recalées sur la plage visible (D-013).
- **Zones grisées** : un rectangle gris sur les deux courbes par épisode `ignore`.
- **Frise** sous les courbes, même axe du temps : une ligne par détecteur (Visibility, Jumps, Turbulence, Thermal, Missing data, puis les autres), seulement ceux qui ont des épisodes ; une barre colorée par épisode, son label dedans s'il tient ; survol : label, texte et capteurs. Un épisode plus court qu'une heure est dessiné sur 1 h, sinon il serait invisible.
- **Journal en texte** : les épisodes de la plage visible, dans l'ordre du temps (`Oct 14, 23:45 – 05:15 UTC · Poor visibility · <text> (capteurs)`), mis à jour à chaque zoom ; `Nothing to report on this period.` sinon ; clic sur une entrée : les courbes zooment sur l'épisode, avec une marge (la moitié de sa durée, 2 h au moins).
- **Vérifié** par captures Chrome headless le 2026-10-23 (`#tab=journal`, `#tab=journal&from=2026-10-07`) : NORDEND (cas d'octobre) et NIEDERHORN (`data/NIEDERHORN/`), avec `trous`, `visibilite` et `sauts` ; courbes, zones grisées, frise, libellés, journal de la plage visible ; le trou de NORDEND (15/10 22:30 → 16/10 01:15) en barre `No data`.
- **Pas encore vérifié** : le clic sur une entrée (zoom), le survol des barres, le zoom à la souris ; `turbulence` et `thermique` n'ont rien rendu sur ces deux cas.
- **Corrigé le jour même** : un `Lasting shift` durait jusqu'à la fin des données et sa barre cachait les autres sauts (il finit maintenant avec le saut) ; les couleurs de la frise sont fixes par détecteur (`J_COLORS` : bleu visibilité, rouge sauts, orange turbulence, vert cycle thermique, gris trous). Vérifié ensuite par captures sur les six jeux, avec les cinq détecteurs.
- **Retour de l'utilisateur (2026-10-23)** : encore plus simple, diagnostic catégorique (une catégorie par événement, son processus, les images pour une perte de visibilité) : `docs/superpowers/plans/2026-10-23-journal-du-matin.md`, partie II.
## Fichiers et flux
- `vues-deplacements/maquette/explore.py [dossier de station]` (défaut `vues-deplacements/cas/2026-10_NORDEND/NORDEND/`) :