Status page shows the labels of labeling/ (auto, else manual) instead of the detectors' events; compare.py: labels vs detectors by family, with the score, under the data loader (port 8769)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:12:58 +01:00
1 parent 9df0cde364
commit 0b1c93d135
4 files changed
+111 -50

No files matched your search

+80
View File
@@ -0,0 +1,80 @@
"""Les étiquettes face aux détecteurs, station et dates au choix (l'utilisateur, 2026-11-03) : la page de fin de séance de
/events-learner (.claude/skills/events-learner/comparaison.py) sans séance ni benchmark. La page de detecteurs.py, une ligne
par famille des étiquettes (labeling/familles.md), dédoublée : en haut les étiquettes de la station qui touchent la plage
(labeling/auto/, sinon labeling/manual/, comme la page Status), en bas les événements des détecteurs, rangés par la
correspondance de familles.md ; sous la figure, le score par famille (score.familles_lot). Tout en haut, le data loader
(data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. Son serveur local :
http://127.0.0.1:8769.
Usage : python3 detectors-view/compare.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ;
page : out/compare_<STATION>_<du>_<au>.html, ouverte)
"""
import argparse
import html
import http.server
import os
import sys
import detecteurs # la page des détecteurs ; met .claude/skills/events-learner sur le chemin
from detecteurs import HORS, ROOT, score, survol
sys.path[:0] = [os.path.join(detecteurs.ICI, "data-loader"), os.path.join(ROOT, "labeling")]
import chargeur # noqa: E402 (son formulaire, son serveur)
import comparaison # noqa: E402 (la page de fin de séance de /events-learner : sa table du score)
import labeling # noqa: E402 (les dossiers des étiquettes, leur lecture)
PORT = 8769 # ni 8765 (common.page), ni 8766 (Status), ni 8767 (Labeling), ni 8768 (View)
def page(dossier, du=None, au=None):
station = os.path.basename(os.path.normpath(dossier))
if du and au:
a, b = score.instant(du), score.instant(au)
else: # ponytail: les mesures chargées ici pour les bornes, puis encore par detecteurs.page et familles_lot
tous = sorted({m["t"] for ms in score.charger(dossier).values() for m in ms})
if len(tous) < 2:
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
a = score.instant(du) if du else tous[0]
b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
debut, fin = score.iso(a), score.iso(b)
source, ls = next(((d, ls) for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), ("auto", []))
etiq = [e for e in ls if e["debut"] < fin and e["fin"] >= debut]
total, _ = score.familles_lot(dossier, debut, fin, etiq)
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
lignes = score.familles()
entete = f"""<h1>Étiquettes et détecteurs, {html.escape(station)}</h1>
{chargeur.formulaire(station, du or "", au or "")}
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
les {len(etiq)} étiquettes de <code>labeling/{source}/{html.escape(station)}.jsonl</code> qui touchent la plage{
" (aucune)" if not etiq else ""}, celle du bas, les événements des détecteurs, rangés dans la famille de leur catégorie
(survol : la catégorie du journal). Un saut bref, de la famille de sa cause, garde sa ligne. Un clic sur une barre joue
son timelapse. Les deux barres de chaque ligne devraient coïncider.</p>"""
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
<h3>Score</h3>
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure. <b>Trouvées</b> : des instants
qu'une étiquette range dans la famille, la part que les détecteurs signalent aussi. <b>Confirmées</b> : des instants que
signalent les détecteurs, la part qu'une étiquette range aussi dans la famille. « — » : rien à compter.</p>
{comparaison.tableau(total, [*dict.fromkeys(lignes.values()), HORS], "Famille")}"""
nom = f"{station}_{debut[:10]}_{fin[:10]}"
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
chemin=os.path.join(ROOT, "out", f"compare_{nom}.html"))
class Serveur(chargeur.Chargeur):
SCRIPT = __file__
if __name__ == "__main__":
if sys.argv[1:] == ["serve"]:
http.server.ThreadingHTTPServer(("127.0.0.1", PORT), Serveur).serve_forever()
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("dossier", nargs="?", help="sans dossier : le data loader seul")
p.add_argument("--du")
p.add_argument("--au")
p.add_argument("--sans-ouvrir", action="store_true", help="écrit la page sans l'ouvrir")
o = p.parse_args()
chemin = page(o.dossier, o.du, o.au) if o.dossier else chargeur.accueil("Labels vs detectors", "compare-loader")
print(chemin)
if not o.sans_ouvrir:
chargeur.open_served(chemin, PORT, __file__)
+24 -46
View File
@@ -1,15 +1,14 @@
"""La page Status d'une station : version pseudo finale de la page de l'onglet Explore du site (en anglais, D-023).
En haut, la rangée des status : les événements des détecteurs (la plage classée avec ses 3 jours d'historique ; sans Shift to
check ni Slow drift, comme le Status de detecteurs.py), occultés selon hierarchie-des-status.md (D-095, sans le regroupement thermique, suspendu) ; une
étiquette par status, à son heure, de la couleur de sa catégorie, épaisse de la part des capteurs qu'il touche, les status
qui se chevauchent l'un sous l'autre. Dessous,
En haut, la rangée des status : les étiquettes de la station dans labeling/ (celles de l'étiqueteur, labeling/auto/, sinon
celles de l'expert, labeling/manual/ ; l'utilisateur, 2026-11-03 : elles remplacent les événements des détecteurs) ; une
étiquette par status, à son heure, de la couleur de sa famille (labeling/familles.md), toute la hauteur de la rangée (une
étiquette n'a pas de capteurs : elle touche tous les capteurs), les status qui se chevauchent l'un sous l'autre. Dessous,
corr_x et corr_y de chaque capteur (px, une couleur par capteur, les références en pointillé ; la légende, à droite, cache un
capteur dans les deux), puis le mouvement de la caméra (pan, tilt, rotation [deg], camera/ du pompage, si le dossier en a).
Sur les courbes, chaque status en plage colorée transparente, la légende des catégories au-dessus (un clic cache une
catégorie). Un clic sur une étiquette sélectionne le status, sans zoom (l'utilisateur, 2026-10-29) : ses seuls capteurs sur
les courbes, ses plages soulignées ; un second clic rend tout ; un clic ailleurs, hors des légendes, rend toutes les plages
selon les cibles tracées, sans toucher aux cibles. Des cibles cachées dans la légende (clic, ou double clic pour
n'en garder qu'une) : seuls restent les status qui touchent une cible visible, ou tous les capteurs. En bas, le bouton
selon les cibles tracées, sans toucher aux cibles. En bas, le bouton
« Load details » montre les détails du status choisi (ses capteurs, References et Targets) et, à droite, le timelapse de ses images (comme detecteurs.py :
marge avant et après, bord rouge pendant, Focused ou Global image, ⤓ GIF) ; la page est servie par http://127.0.0.1. Tout
en haut, le data loader (data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page.
@@ -28,23 +27,16 @@ import textwrap
import detecteurs # la page des détecteurs : chargement, couleurs, références (bascule seule sur .venv si plotly manque)
from detecteurs import ROOT, donnees, go, make_subplots, plotly_t
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"))
sys.path[:0] = [os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"), os.path.join(ROOT, "labeling")]
import chargeur # noqa: E402 (le data loader : son formulaire en haut de la page, son serveur pour l'ouvrir)
import labeling # noqa: E402 (les étiquettes : leurs dossiers, leur lecture, le nom de leurs familles)
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), 8 teintes pour
# 10 status : les deux phases thermiques partagent l'orange, No data en gris.
TEINTES = {"visibilite_reduite": "#2a78d6", "visibilite_nulle": "#6250d6", "passage": "#1baf7a", "cible_masquee": "#e87ba4",
"cible_a_probleme": "#e34948", "turbulence": "#eda100", "dilatation_thermique": "#eb6834",
"contraction_thermique": "#eb6834", "saut_bref": "#008300", "trou": detecteurs.GRIS}
# La hiérarchie des status (hierarchie-des-status.md, validée par l'utilisateur le 2026-10-29) : un status occulte les plus
# faibles qu'il chevauche ; tout le reste se superpose. Le regroupement des deux phases thermiques en Thermal movements est
# suspendu (l'utilisateur, 2026-10-29 : il ne vaut que pour des phases aux mêmes cibles ; le document le garde).
OCCULTE = {"visibilite_nulle": {"visibilite_reduite", "cible_masquee"}, "cible_a_probleme": {"cible_masquee"},
"trou": set(TEINTES) - {"trou"}}
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), une teinte par
# famille d'étiquettes, No data et sans famille en gris.
TEINTES = {"visibilite": "#2a78d6", "obstruction": "#e87ba4", "deplacement_thermique": "#eb6834", "deplacement": "#6250d6",
"cible_a_probleme": "#e34948", "aucune": "#1baf7a", "trou": detecteurs.GRIS}
VOIE = 24 # px par rangée d'étiquettes
# L'épaisseur d'une étiquette suit la part des capteurs qu'elle touche (l'utilisateur, 2026-10-29) : EPAISSEUR de la rangée
# pour tous, PLANCHER de celle-ci au moins pour rester visible ; sous ~9 px, son nom ne se lit plus qu'au survol.
EPAISSEUR, PLANCHER = 0.85, 0.25
EPAISSEUR = 0.85 # de la rangée
# Un clic sur l'étiquette d'un status (customdata : début, fin, capteurs, rang, nom) le sélectionne, sans zoom ; un second clic
# rend tout. EV : le rang du status de chaque shape. Des cibles cachées dans la légende (l'utilisateur, 2026-10-29) : seuls restent, en étiquette et en plage,
@@ -120,26 +112,14 @@ document.addEventListener('click', e => {
"""
def status(evts, pas):
"""Événements des détecteurs -> status affichés (hierarchie-des-status.md) : [(status, morceaux)] ; status : category,
label, sensors, text, d0, d1 (un pas après la dernière mesure) ; morceaux : ses plages [(début, fin)] non occultées."""
ss = [{"category": v["category"], "label": v["label"], "sensors": v["sensors"], "text": v["text"],
"d0": donnees.instant(v["start"]), "d1": donnees.instant(v["end"]) + pas}
for v in sorted(evts, key=lambda v: v["start"]) if v["category"] not in detecteurs.STATUT_HORS]
def occulte(f, s): # règles 2 et 4 : f est plus fort, et concerne tous les capteurs ou au moins tous ceux de s
return s["category"] in OCCULTE.get(f["category"], ()) and (
not f["sensors"] or bool(s["sensors"]) and set(s["sensors"]) <= set(f["sensors"]))
out = []
for s in ss:
morceaux = [(s["d0"], s["d1"])]
for f in ss:
if occulte(f, s): # s coupé : ce qui reste avant f, ce qui reste après
morceaux = [m for a, b in morceaux for m in ((a, min(b, f["d0"])), (max(a, f["d1"]), b)) if m[0] < m[1]]
if morceaux:
out.append((s, morceaux))
return out
def status(station, a, b):
"""Les étiquettes de la station sur [a, b) -> status affichés : [(status, [(début, fin)])] ; status : category (sa
famille, '' sans famille), label (son nom), sensors (vide : tous), text (sa description), d0, d1 (bornés à [a, b))."""
ls = next((ls for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), []) # auto, sinon manual
ss = [{"category": c, "label": labeling.CATEGORIES_LABELS.get(c, "Label"), "sensors": [], "text": e["description"],
"d0": max(a, donnees.instant(e["debut"])), "d1": min(b, donnees.instant(e["fin"]))}
for e in ls for c in [e.get("categorie", "")]]
return [(s, [(s["d0"], s["d1"])]) for s in sorted(ss, key=lambda s: s["d0"]) if s["d0"] < s["d1"]]
def details(s, mesures, refs, pas):
@@ -164,9 +144,8 @@ def page(dossier, du=None, au=None):
chemin = os.path.join(ROOT, "out", f"status_{nom}.html")
images, maisons = detecteurs.camera(dossier, mesures, a, b, chemin)
# Un événement par plage, pas les blocs du Status : sur NIEDERHORN, une cible à problème tout du long en fait un seul bloc.
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une plage finit un pas après sa dernière mesure
affiches = status(detecteurs.score.evenements(mesures, donnees.iso(a), donnees.iso(b)), pas)
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # details() : la dernière mesure, un pas avant la fin
affiches = status(station, a, b)
morceaux = sorted(((k, d0, d1) for k, (_, ms) in enumerate(affiches) for d0, d1 in ms), key=lambda m: m[1])
voies, voie = [], [] # fin de la dernière étiquette de chaque rangée ; la rangée de chaque morceau
for _, d0, d1 in morceaux:
@@ -183,8 +162,7 @@ def page(dossier, du=None, au=None):
+ "<br><i>click: select (Load details at the bottom); again: show all</i>" for k, (s, _) in enumerate(affiches)}
fig.add_trace(go.Bar(
orientation="h", y=voie, base=[d0 for _, d0, _ in morceaux], x=[(d1 - d0).total_seconds() * 1000 for _, d0, d1 in morceaux],
width=[EPAISSEUR * max(PLANCHER, len(affiches[k][0]["sensors"]) / len(mesures) if affiches[k][0]["sensors"] else 1)
for k, _, _ in morceaux],
width=EPAISSEUR,
marker_color=[TEINTES.get(affiches[k][0]["category"], detecteurs.GRIS) for k, _, _ in morceaux],
text=[affiches[k][0]["label"] for k, _, _ in morceaux], textposition="inside", insidetextanchor="middle", textangle=0,
hoverinfo="text", showlegend=False, name="Events", hovertext=[survol[k] for k, _, _ in morceaux],
@@ -204,7 +182,7 @@ def page(dossier, du=None, au=None):
line={"width": 1.2, "color": couleur}, hovertemplate=f"{col}: %{{y:.4f}}°<extra></extra>"),
row=4, col=1)
rang = {k: i for i, k in enumerate(detecteurs.score.categories.CATEGORIES)}
rang = {k: i for i, k in enumerate(labeling.CATEGORIES_LABELS)}
vus, ev, plages = set(), [], []
for k, d0, d1 in morceaux:
s = affiches[k][0]