Status page shows the labels of labeling/ (auto, else manual) instead of the detectors' events; compare.py: labels vs detectors by family, with the score, under the data loader (port 8769)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:12:58 +01:00
1 parent 9df0cde364
commit 0b1c93d135
4 files changed
+111 -50

No files matched your search

+3 -2
View File
@@ -55,7 +55,8 @@ python3 maquettes/support/home.py [début] [fin] # maquette support
python3 vues-deplacements/maquette/explore.py [dossier] # page Explore : View, Diagnosis, Displacements, Journal
python3 detectors/categories.py <dossier> # événements du journal, une ligne chacun
python3 detectors-view/detecteurs.py data/<STATION> [--du D --au F] # page des détecteurs seuls
./run.sh # les trois outils du poste : Status, View, Labeling
./run.sh # les quatre outils du poste : Status, View, Labeling, Compare
python3 detectors-view/compare.py [data/<STATION> --du D --au F] # étiquettes face aux détecteurs, score par famille, data loader
./detectors-view/status.sh # page Status par son data loader : station, dates, Analyse
python3 labeling/labeling.py [data/<STATION> --du D --au F] # l'expert étiquette : un plot, une plage, du texte, Add
python3 view/view.py [data/<STATION> --du D --au F] # les images IRON : parcourir, zoomer
@@ -104,7 +105,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069).
- `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées.
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`.
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, étiquettes de `labeling/` (auto, sinon manual) en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`), par `/review-event` et par `compare.py` : les étiquettes face aux détecteurs, ligne par famille, et le score, sous le data loader (port 8769).
- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène.
- `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références).
- `detector-learner/` : les séances de `/detector-learner` (D-116), une par dossier `<séance>_<STATION>/`.
+80
View File
@@ -0,0 +1,80 @@
"""Les étiquettes face aux détecteurs, station et dates au choix (l'utilisateur, 2026-11-03) : la page de fin de séance de
/events-learner (.claude/skills/events-learner/comparaison.py) sans séance ni benchmark. La page de detecteurs.py, une ligne
par famille des étiquettes (labeling/familles.md), dédoublée : en haut les étiquettes de la station qui touchent la plage
(labeling/auto/, sinon labeling/manual/, comme la page Status), en bas les événements des détecteurs, rangés par la
correspondance de familles.md ; sous la figure, le score par famille (score.familles_lot). Tout en haut, le data loader
(data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. Son serveur local :
http://127.0.0.1:8769.
Usage : python3 detectors-view/compare.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ;
page : out/compare_<STATION>_<du>_<au>.html, ouverte)
"""
import argparse
import html
import http.server
import os
import sys
import detecteurs # la page des détecteurs ; met .claude/skills/events-learner sur le chemin
from detecteurs import HORS, ROOT, score, survol
sys.path[:0] = [os.path.join(detecteurs.ICI, "data-loader"), os.path.join(ROOT, "labeling")]
import chargeur # noqa: E402 (son formulaire, son serveur)
import comparaison # noqa: E402 (la page de fin de séance de /events-learner : sa table du score)
import labeling # noqa: E402 (les dossiers des étiquettes, leur lecture)
PORT = 8769 # ni 8765 (common.page), ni 8766 (Status), ni 8767 (Labeling), ni 8768 (View)
def page(dossier, du=None, au=None):
station = os.path.basename(os.path.normpath(dossier))
if du and au:
a, b = score.instant(du), score.instant(au)
else: # ponytail: les mesures chargées ici pour les bornes, puis encore par detecteurs.page et familles_lot
tous = sorted({m["t"] for ms in score.charger(dossier).values() for m in ms})
if len(tous) < 2:
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
a = score.instant(du) if du else tous[0]
b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
debut, fin = score.iso(a), score.iso(b)
source, ls = next(((d, ls) for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), ("auto", []))
etiq = [e for e in ls if e["debut"] < fin and e["fin"] >= debut]
total, _ = score.familles_lot(dossier, debut, fin, etiq)
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
lignes = score.familles()
entete = f"""<h1>Étiquettes et détecteurs, {html.escape(station)}</h1>
{chargeur.formulaire(station, du or "", au or "")}
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
les {len(etiq)} étiquettes de <code>labeling/{source}/{html.escape(station)}.jsonl</code> qui touchent la plage{
" (aucune)" if not etiq else ""}, celle du bas, les événements des détecteurs, rangés dans la famille de leur catégorie
(survol : la catégorie du journal). Un saut bref, de la famille de sa cause, garde sa ligne. Un clic sur une barre joue
son timelapse. Les deux barres de chaque ligne devraient coïncider.</p>"""
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
<h3>Score</h3>
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure. <b>Trouvées</b> : des instants
qu'une étiquette range dans la famille, la part que les détecteurs signalent aussi. <b>Confirmées</b> : des instants que
signalent les détecteurs, la part qu'une étiquette range aussi dans la famille. « — » : rien à compter.</p>
{comparaison.tableau(total, [*dict.fromkeys(lignes.values()), HORS], "Famille")}"""
nom = f"{station}_{debut[:10]}_{fin[:10]}"
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
chemin=os.path.join(ROOT, "out", f"compare_{nom}.html"))
class Serveur(chargeur.Chargeur):
SCRIPT = __file__
if __name__ == "__main__":
if sys.argv[1:] == ["serve"]:
http.server.ThreadingHTTPServer(("127.0.0.1", PORT), Serveur).serve_forever()
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("dossier", nargs="?", help="sans dossier : le data loader seul")
p.add_argument("--du")
p.add_argument("--au")
p.add_argument("--sans-ouvrir", action="store_true", help="écrit la page sans l'ouvrir")
o = p.parse_args()
chemin = page(o.dossier, o.du, o.au) if o.dossier else chargeur.accueil("Labels vs detectors", "compare-loader")
print(chemin)
if not o.sans_ouvrir:
chargeur.open_served(chemin, PORT, __file__)
+24 -46
View File
@@ -1,15 +1,14 @@
"""La page Status d'une station : version pseudo finale de la page de l'onglet Explore du site (en anglais, D-023).
En haut, la rangée des status : les événements des détecteurs (la plage classée avec ses 3 jours d'historique ; sans Shift to
check ni Slow drift, comme le Status de detecteurs.py), occultés selon hierarchie-des-status.md (D-095, sans le regroupement thermique, suspendu) ; une
étiquette par status, à son heure, de la couleur de sa catégorie, épaisse de la part des capteurs qu'il touche, les status
qui se chevauchent l'un sous l'autre. Dessous,
En haut, la rangée des status : les étiquettes de la station dans labeling/ (celles de l'étiqueteur, labeling/auto/, sinon
celles de l'expert, labeling/manual/ ; l'utilisateur, 2026-11-03 : elles remplacent les événements des détecteurs) ; une
étiquette par status, à son heure, de la couleur de sa famille (labeling/familles.md), toute la hauteur de la rangée (une
étiquette n'a pas de capteurs : elle touche tous les capteurs), les status qui se chevauchent l'un sous l'autre. Dessous,
corr_x et corr_y de chaque capteur (px, une couleur par capteur, les références en pointillé ; la légende, à droite, cache un
capteur dans les deux), puis le mouvement de la caméra (pan, tilt, rotation [deg], camera/ du pompage, si le dossier en a).
Sur les courbes, chaque status en plage colorée transparente, la légende des catégories au-dessus (un clic cache une
catégorie). Un clic sur une étiquette sélectionne le status, sans zoom (l'utilisateur, 2026-10-29) : ses seuls capteurs sur
les courbes, ses plages soulignées ; un second clic rend tout ; un clic ailleurs, hors des légendes, rend toutes les plages
selon les cibles tracées, sans toucher aux cibles. Des cibles cachées dans la légende (clic, ou double clic pour
n'en garder qu'une) : seuls restent les status qui touchent une cible visible, ou tous les capteurs. En bas, le bouton
selon les cibles tracées, sans toucher aux cibles. En bas, le bouton
« Load details » montre les détails du status choisi (ses capteurs, References et Targets) et, à droite, le timelapse de ses images (comme detecteurs.py :
marge avant et après, bord rouge pendant, Focused ou Global image, ⤓ GIF) ; la page est servie par http://127.0.0.1. Tout
en haut, le data loader (data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page.
@@ -28,23 +27,16 @@ import textwrap
import detecteurs # la page des détecteurs : chargement, couleurs, références (bascule seule sur .venv si plotly manque)
from detecteurs import ROOT, donnees, go, make_subplots, plotly_t
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"))
sys.path[:0] = [os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"), os.path.join(ROOT, "labeling")]
import chargeur # noqa: E402 (le data loader : son formulaire en haut de la page, son serveur pour l'ouvrir)
import labeling # noqa: E402 (les étiquettes : leurs dossiers, leur lecture, le nom de leurs familles)
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), 8 teintes pour
# 10 status : les deux phases thermiques partagent l'orange, No data en gris.
TEINTES = {"visibilite_reduite": "#2a78d6", "visibilite_nulle": "#6250d6", "passage": "#1baf7a", "cible_masquee": "#e87ba4",
"cible_a_probleme": "#e34948", "turbulence": "#eda100", "dilatation_thermique": "#eb6834",
"contraction_thermique": "#eb6834", "saut_bref": "#008300", "trou": detecteurs.GRIS}
# La hiérarchie des status (hierarchie-des-status.md, validée par l'utilisateur le 2026-10-29) : un status occulte les plus
# faibles qu'il chevauche ; tout le reste se superpose. Le regroupement des deux phases thermiques en Thermal movements est
# suspendu (l'utilisateur, 2026-10-29 : il ne vaut que pour des phases aux mêmes cibles ; le document le garde).
OCCULTE = {"visibilite_nulle": {"visibilite_reduite", "cible_masquee"}, "cible_a_probleme": {"cible_masquee"},
"trou": set(TEINTES) - {"trou"}}
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), une teinte par
# famille d'étiquettes, No data et sans famille en gris.
TEINTES = {"visibilite": "#2a78d6", "obstruction": "#e87ba4", "deplacement_thermique": "#eb6834", "deplacement": "#6250d6",
"cible_a_probleme": "#e34948", "aucune": "#1baf7a", "trou": detecteurs.GRIS}
VOIE = 24 # px par rangée d'étiquettes
# L'épaisseur d'une étiquette suit la part des capteurs qu'elle touche (l'utilisateur, 2026-10-29) : EPAISSEUR de la rangée
# pour tous, PLANCHER de celle-ci au moins pour rester visible ; sous ~9 px, son nom ne se lit plus qu'au survol.
EPAISSEUR, PLANCHER = 0.85, 0.25
EPAISSEUR = 0.85 # de la rangée
# Un clic sur l'étiquette d'un status (customdata : début, fin, capteurs, rang, nom) le sélectionne, sans zoom ; un second clic
# rend tout. EV : le rang du status de chaque shape. Des cibles cachées dans la légende (l'utilisateur, 2026-10-29) : seuls restent, en étiquette et en plage,
@@ -120,26 +112,14 @@ document.addEventListener('click', e => {
"""
def status(evts, pas):
"""Événements des détecteurs -> status affichés (hierarchie-des-status.md) : [(status, morceaux)] ; status : category,
label, sensors, text, d0, d1 (un pas après la dernière mesure) ; morceaux : ses plages [(début, fin)] non occultées."""
ss = [{"category": v["category"], "label": v["label"], "sensors": v["sensors"], "text": v["text"],
"d0": donnees.instant(v["start"]), "d1": donnees.instant(v["end"]) + pas}
for v in sorted(evts, key=lambda v: v["start"]) if v["category"] not in detecteurs.STATUT_HORS]
def occulte(f, s): # règles 2 et 4 : f est plus fort, et concerne tous les capteurs ou au moins tous ceux de s
return s["category"] in OCCULTE.get(f["category"], ()) and (
not f["sensors"] or bool(s["sensors"]) and set(s["sensors"]) <= set(f["sensors"]))
out = []
for s in ss:
morceaux = [(s["d0"], s["d1"])]
for f in ss:
if occulte(f, s): # s coupé : ce qui reste avant f, ce qui reste après
morceaux = [m for a, b in morceaux for m in ((a, min(b, f["d0"])), (max(a, f["d1"]), b)) if m[0] < m[1]]
if morceaux:
out.append((s, morceaux))
return out
def status(station, a, b):
"""Les étiquettes de la station sur [a, b) -> status affichés : [(status, [(début, fin)])] ; status : category (sa
famille, '' sans famille), label (son nom), sensors (vide : tous), text (sa description), d0, d1 (bornés à [a, b))."""
ls = next((ls for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), []) # auto, sinon manual
ss = [{"category": c, "label": labeling.CATEGORIES_LABELS.get(c, "Label"), "sensors": [], "text": e["description"],
"d0": max(a, donnees.instant(e["debut"])), "d1": min(b, donnees.instant(e["fin"]))}
for e in ls for c in [e.get("categorie", "")]]
return [(s, [(s["d0"], s["d1"])]) for s in sorted(ss, key=lambda s: s["d0"]) if s["d0"] < s["d1"]]
def details(s, mesures, refs, pas):
@@ -164,9 +144,8 @@ def page(dossier, du=None, au=None):
chemin = os.path.join(ROOT, "out", f"status_{nom}.html")
images, maisons = detecteurs.camera(dossier, mesures, a, b, chemin)
# Un événement par plage, pas les blocs du Status : sur NIEDERHORN, une cible à problème tout du long en fait un seul bloc.
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une plage finit un pas après sa dernière mesure
affiches = status(detecteurs.score.evenements(mesures, donnees.iso(a), donnees.iso(b)), pas)
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # details() : la dernière mesure, un pas avant la fin
affiches = status(station, a, b)
morceaux = sorted(((k, d0, d1) for k, (_, ms) in enumerate(affiches) for d0, d1 in ms), key=lambda m: m[1])
voies, voie = [], [] # fin de la dernière étiquette de chaque rangée ; la rangée de chaque morceau
for _, d0, d1 in morceaux:
@@ -183,8 +162,7 @@ def page(dossier, du=None, au=None):
+ "<br><i>click: select (Load details at the bottom); again: show all</i>" for k, (s, _) in enumerate(affiches)}
fig.add_trace(go.Bar(
orientation="h", y=voie, base=[d0 for _, d0, _ in morceaux], x=[(d1 - d0).total_seconds() * 1000 for _, d0, d1 in morceaux],
width=[EPAISSEUR * max(PLANCHER, len(affiches[k][0]["sensors"]) / len(mesures) if affiches[k][0]["sensors"] else 1)
for k, _, _ in morceaux],
width=EPAISSEUR,
marker_color=[TEINTES.get(affiches[k][0]["category"], detecteurs.GRIS) for k, _, _ in morceaux],
text=[affiches[k][0]["label"] for k, _, _ in morceaux], textposition="inside", insidetextanchor="middle", textangle=0,
hoverinfo="text", showlegend=False, name="Events", hovertext=[survol[k] for k, _, _ in morceaux],
@@ -204,7 +182,7 @@ def page(dossier, du=None, au=None):
line={"width": 1.2, "color": couleur}, hovertemplate=f"{col}: %{{y:.4f}}°<extra></extra>"),
row=4, col=1)
rang = {k: i for i, k in enumerate(detecteurs.score.categories.CATEGORIES)}
rang = {k: i for i, k in enumerate(labeling.CATEGORIES_LABELS)}
vus, ev, plages = set(), [], []
for k, d0, d1 in morceaux:
s = affiches[k][0]
+4 -2
View File
@@ -1,7 +1,9 @@
#!/usr/bin/env bash
# Les trois outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status des détecteurs,
# les images (View) et l'étiquetage (Labeling). Leurs serveurs restent en tâche de fond (ports 8766, 8768, 8767).
# Les quatre outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status, les images (View),
# l'étiquetage (Labeling) et les étiquettes face aux détecteurs (Compare). Leurs serveurs restent en tâche de fond
# (ports 8766, 8768, 8767, 8769).
cd "$(dirname "$0")"
./detectors-view/status.sh
python3 view/view.py
python3 labeling/labeling.py
python3 detectors-view/compare.py