Status page shows the labels of labeling/ (auto, else manual) instead of the detectors' events; compare.py: labels vs detectors by family, with the score, under the data loader (port 8769)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
9df0cde364
commit
0b1c93d135
4 files changed
+111
-50
No files matched your search
@@ -55,7 +55,8 @@ python3 maquettes/support/home.py [début] [fin] # maquette support
|
||||
python3 vues-deplacements/maquette/explore.py [dossier] # page Explore : View, Diagnosis, Displacements, Journal
|
||||
python3 detectors/categories.py <dossier> # événements du journal, une ligne chacun
|
||||
python3 detectors-view/detecteurs.py data/<STATION> [--du D --au F] # page des détecteurs seuls
|
||||
./run.sh # les trois outils du poste : Status, View, Labeling
|
||||
./run.sh # les quatre outils du poste : Status, View, Labeling, Compare
|
||||
python3 detectors-view/compare.py [data/<STATION> --du D --au F] # étiquettes face aux détecteurs, score par famille, data loader
|
||||
./detectors-view/status.sh # page Status par son data loader : station, dates, Analyse
|
||||
python3 labeling/labeling.py [data/<STATION> --du D --au F] # l'expert étiquette : un plot, une plage, du texte, Add
|
||||
python3 view/view.py [data/<STATION> --du D --au F] # les images IRON : parcourir, zoomer
|
||||
@@ -104,7 +105,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
|
||||
|
||||
- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069).
|
||||
- `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées.
|
||||
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`.
|
||||
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, étiquettes de `labeling/` (auto, sinon manual) en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`), par `/review-event` et par `compare.py` : les étiquettes face aux détecteurs, ligne par famille, et le score, sous le data loader (port 8769).
|
||||
- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène.
|
||||
- `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références).
|
||||
- `detector-learner/` : les séances de `/detector-learner` (D-116), une par dossier `<séance>_<STATION>/`.
|
||||
|
||||
@@ -0,0 +1,80 @@
|
||||
"""Les étiquettes face aux détecteurs, station et dates au choix (l'utilisateur, 2026-11-03) : la page de fin de séance de
|
||||
/events-learner (.claude/skills/events-learner/comparaison.py) sans séance ni benchmark. La page de detecteurs.py, une ligne
|
||||
par famille des étiquettes (labeling/familles.md), dédoublée : en haut les étiquettes de la station qui touchent la plage
|
||||
(labeling/auto/, sinon labeling/manual/, comme la page Status), en bas les événements des détecteurs, rangés par la
|
||||
correspondance de familles.md ; sous la figure, le score par famille (score.familles_lot). Tout en haut, le data loader
|
||||
(data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. Son serveur local :
|
||||
http://127.0.0.1:8769.
|
||||
Usage : python3 detectors-view/compare.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
|
||||
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ;
|
||||
page : out/compare_<STATION>_<du>_<au>.html, ouverte)
|
||||
"""
|
||||
import argparse
|
||||
import html
|
||||
import http.server
|
||||
import os
|
||||
import sys
|
||||
|
||||
import detecteurs # la page des détecteurs ; met .claude/skills/events-learner sur le chemin
|
||||
from detecteurs import HORS, ROOT, score, survol
|
||||
|
||||
sys.path[:0] = [os.path.join(detecteurs.ICI, "data-loader"), os.path.join(ROOT, "labeling")]
|
||||
import chargeur # noqa: E402 (son formulaire, son serveur)
|
||||
import comparaison # noqa: E402 (la page de fin de séance de /events-learner : sa table du score)
|
||||
import labeling # noqa: E402 (les dossiers des étiquettes, leur lecture)
|
||||
|
||||
PORT = 8769 # ni 8765 (common.page), ni 8766 (Status), ni 8767 (Labeling), ni 8768 (View)
|
||||
|
||||
|
||||
def page(dossier, du=None, au=None):
|
||||
station = os.path.basename(os.path.normpath(dossier))
|
||||
if du and au:
|
||||
a, b = score.instant(du), score.instant(au)
|
||||
else: # ponytail: les mesures chargées ici pour les bornes, puis encore par detecteurs.page et familles_lot
|
||||
tous = sorted({m["t"] for ms in score.charger(dossier).values() for m in ms})
|
||||
if len(tous) < 2:
|
||||
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
|
||||
a = score.instant(du) if du else tous[0]
|
||||
b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
|
||||
debut, fin = score.iso(a), score.iso(b)
|
||||
source, ls = next(((d, ls) for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), ("auto", []))
|
||||
etiq = [e for e in ls if e["debut"] < fin and e["fin"] >= debut]
|
||||
total, _ = score.familles_lot(dossier, debut, fin, etiq)
|
||||
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
|
||||
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
|
||||
lignes = score.familles()
|
||||
entete = f"""<h1>Étiquettes et détecteurs, {html.escape(station)}</h1>
|
||||
{chargeur.formulaire(station, du or "", au or "")}
|
||||
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
|
||||
les {len(etiq)} étiquettes de <code>labeling/{source}/{html.escape(station)}.jsonl</code> qui touchent la plage{
|
||||
" (aucune)" if not etiq else ""}, celle du bas, les événements des détecteurs, rangés dans la famille de leur catégorie
|
||||
(survol : la catégorie du journal). Un saut bref, de la famille de sa cause, garde sa ligne. Un clic sur une barre joue
|
||||
son timelapse. Les deux barres de chaque ligne devraient coïncider.</p>"""
|
||||
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
|
||||
<h3>Score</h3>
|
||||
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure. <b>Trouvées</b> : des instants
|
||||
qu'une étiquette range dans la famille, la part que les détecteurs signalent aussi. <b>Confirmées</b> : des instants que
|
||||
signalent les détecteurs, la part qu'une étiquette range aussi dans la famille. « — » : rien à compter.</p>
|
||||
{comparaison.tableau(total, [*dict.fromkeys(lignes.values()), HORS], "Famille")}"""
|
||||
nom = f"{station}_{debut[:10]}_{fin[:10]}"
|
||||
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
|
||||
chemin=os.path.join(ROOT, "out", f"compare_{nom}.html"))
|
||||
|
||||
|
||||
class Serveur(chargeur.Chargeur):
|
||||
SCRIPT = __file__
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if sys.argv[1:] == ["serve"]:
|
||||
http.server.ThreadingHTTPServer(("127.0.0.1", PORT), Serveur).serve_forever()
|
||||
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
|
||||
p.add_argument("dossier", nargs="?", help="sans dossier : le data loader seul")
|
||||
p.add_argument("--du")
|
||||
p.add_argument("--au")
|
||||
p.add_argument("--sans-ouvrir", action="store_true", help="écrit la page sans l'ouvrir")
|
||||
o = p.parse_args()
|
||||
chemin = page(o.dossier, o.du, o.au) if o.dossier else chargeur.accueil("Labels vs detectors", "compare-loader")
|
||||
print(chemin)
|
||||
if not o.sans_ouvrir:
|
||||
chargeur.open_served(chemin, PORT, __file__)
|
||||
+24
-46
@@ -1,15 +1,14 @@
|
||||
"""La page Status d'une station : version pseudo finale de la page de l'onglet Explore du site (en anglais, D-023).
|
||||
En haut, la rangée des status : les événements des détecteurs (la plage classée avec ses 3 jours d'historique ; sans Shift to
|
||||
check ni Slow drift, comme le Status de detecteurs.py), occultés selon hierarchie-des-status.md (D-095, sans le regroupement thermique, suspendu) ; une
|
||||
étiquette par status, à son heure, de la couleur de sa catégorie, épaisse de la part des capteurs qu'il touche, les status
|
||||
qui se chevauchent l'un sous l'autre. Dessous,
|
||||
En haut, la rangée des status : les étiquettes de la station dans labeling/ (celles de l'étiqueteur, labeling/auto/, sinon
|
||||
celles de l'expert, labeling/manual/ ; l'utilisateur, 2026-11-03 : elles remplacent les événements des détecteurs) ; une
|
||||
étiquette par status, à son heure, de la couleur de sa famille (labeling/familles.md), toute la hauteur de la rangée (une
|
||||
étiquette n'a pas de capteurs : elle touche tous les capteurs), les status qui se chevauchent l'un sous l'autre. Dessous,
|
||||
corr_x et corr_y de chaque capteur (px, une couleur par capteur, les références en pointillé ; la légende, à droite, cache un
|
||||
capteur dans les deux), puis le mouvement de la caméra (pan, tilt, rotation [deg], camera/ du pompage, si le dossier en a).
|
||||
Sur les courbes, chaque status en plage colorée transparente, la légende des catégories au-dessus (un clic cache une
|
||||
catégorie). Un clic sur une étiquette sélectionne le status, sans zoom (l'utilisateur, 2026-10-29) : ses seuls capteurs sur
|
||||
les courbes, ses plages soulignées ; un second clic rend tout ; un clic ailleurs, hors des légendes, rend toutes les plages
|
||||
selon les cibles tracées, sans toucher aux cibles. Des cibles cachées dans la légende (clic, ou double clic pour
|
||||
n'en garder qu'une) : seuls restent les status qui touchent une cible visible, ou tous les capteurs. En bas, le bouton
|
||||
selon les cibles tracées, sans toucher aux cibles. En bas, le bouton
|
||||
« Load details » montre les détails du status choisi (ses capteurs, References et Targets) et, à droite, le timelapse de ses images (comme detecteurs.py :
|
||||
marge avant et après, bord rouge pendant, Focused ou Global image, ⤓ GIF) ; la page est servie par http://127.0.0.1. Tout
|
||||
en haut, le data loader (data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page.
|
||||
@@ -28,23 +27,16 @@ import textwrap
|
||||
import detecteurs # la page des détecteurs : chargement, couleurs, références (bascule seule sur .venv si plotly manque)
|
||||
from detecteurs import ROOT, donnees, go, make_subplots, plotly_t
|
||||
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"))
|
||||
sys.path[:0] = [os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"), os.path.join(ROOT, "labeling")]
|
||||
import chargeur # noqa: E402 (le data loader : son formulaire en haut de la page, son serveur pour l'ouvrir)
|
||||
import labeling # noqa: E402 (les étiquettes : leurs dossiers, leur lecture, le nom de leurs familles)
|
||||
|
||||
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), 8 teintes pour
|
||||
# 10 status : les deux phases thermiques partagent l'orange, No data en gris.
|
||||
TEINTES = {"visibilite_reduite": "#2a78d6", "visibilite_nulle": "#6250d6", "passage": "#1baf7a", "cible_masquee": "#e87ba4",
|
||||
"cible_a_probleme": "#e34948", "turbulence": "#eda100", "dilatation_thermique": "#eb6834",
|
||||
"contraction_thermique": "#eb6834", "saut_bref": "#008300", "trou": detecteurs.GRIS}
|
||||
# La hiérarchie des status (hierarchie-des-status.md, validée par l'utilisateur le 2026-10-29) : un status occulte les plus
|
||||
# faibles qu'il chevauche ; tout le reste se superpose. Le regroupement des deux phases thermiques en Thermal movements est
|
||||
# suspendu (l'utilisateur, 2026-10-29 : il ne vaut que pour des phases aux mêmes cibles ; le document le garde).
|
||||
OCCULTE = {"visibilite_nulle": {"visibilite_reduite", "cible_masquee"}, "cible_a_probleme": {"cible_masquee"},
|
||||
"trou": set(TEINTES) - {"trou"}}
|
||||
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), une teinte par
|
||||
# famille d'étiquettes, No data et sans famille en gris.
|
||||
TEINTES = {"visibilite": "#2a78d6", "obstruction": "#e87ba4", "deplacement_thermique": "#eb6834", "deplacement": "#6250d6",
|
||||
"cible_a_probleme": "#e34948", "aucune": "#1baf7a", "trou": detecteurs.GRIS}
|
||||
VOIE = 24 # px par rangée d'étiquettes
|
||||
# L'épaisseur d'une étiquette suit la part des capteurs qu'elle touche (l'utilisateur, 2026-10-29) : EPAISSEUR de la rangée
|
||||
# pour tous, PLANCHER de celle-ci au moins pour rester visible ; sous ~9 px, son nom ne se lit plus qu'au survol.
|
||||
EPAISSEUR, PLANCHER = 0.85, 0.25
|
||||
EPAISSEUR = 0.85 # de la rangée
|
||||
|
||||
# Un clic sur l'étiquette d'un status (customdata : début, fin, capteurs, rang, nom) le sélectionne, sans zoom ; un second clic
|
||||
# rend tout. EV : le rang du status de chaque shape. Des cibles cachées dans la légende (l'utilisateur, 2026-10-29) : seuls restent, en étiquette et en plage,
|
||||
@@ -120,26 +112,14 @@ document.addEventListener('click', e => {
|
||||
"""
|
||||
|
||||
|
||||
def status(evts, pas):
|
||||
"""Événements des détecteurs -> status affichés (hierarchie-des-status.md) : [(status, morceaux)] ; status : category,
|
||||
label, sensors, text, d0, d1 (un pas après la dernière mesure) ; morceaux : ses plages [(début, fin)] non occultées."""
|
||||
ss = [{"category": v["category"], "label": v["label"], "sensors": v["sensors"], "text": v["text"],
|
||||
"d0": donnees.instant(v["start"]), "d1": donnees.instant(v["end"]) + pas}
|
||||
for v in sorted(evts, key=lambda v: v["start"]) if v["category"] not in detecteurs.STATUT_HORS]
|
||||
|
||||
def occulte(f, s): # règles 2 et 4 : f est plus fort, et concerne tous les capteurs ou au moins tous ceux de s
|
||||
return s["category"] in OCCULTE.get(f["category"], ()) and (
|
||||
not f["sensors"] or bool(s["sensors"]) and set(s["sensors"]) <= set(f["sensors"]))
|
||||
|
||||
out = []
|
||||
for s in ss:
|
||||
morceaux = [(s["d0"], s["d1"])]
|
||||
for f in ss:
|
||||
if occulte(f, s): # s coupé : ce qui reste avant f, ce qui reste après
|
||||
morceaux = [m for a, b in morceaux for m in ((a, min(b, f["d0"])), (max(a, f["d1"]), b)) if m[0] < m[1]]
|
||||
if morceaux:
|
||||
out.append((s, morceaux))
|
||||
return out
|
||||
def status(station, a, b):
|
||||
"""Les étiquettes de la station sur [a, b) -> status affichés : [(status, [(début, fin)])] ; status : category (sa
|
||||
famille, '' sans famille), label (son nom), sensors (vide : tous), text (sa description), d0, d1 (bornés à [a, b))."""
|
||||
ls = next((ls for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), []) # auto, sinon manual
|
||||
ss = [{"category": c, "label": labeling.CATEGORIES_LABELS.get(c, "Label"), "sensors": [], "text": e["description"],
|
||||
"d0": max(a, donnees.instant(e["debut"])), "d1": min(b, donnees.instant(e["fin"]))}
|
||||
for e in ls for c in [e.get("categorie", "")]]
|
||||
return [(s, [(s["d0"], s["d1"])]) for s in sorted(ss, key=lambda s: s["d0"]) if s["d0"] < s["d1"]]
|
||||
|
||||
|
||||
def details(s, mesures, refs, pas):
|
||||
@@ -164,9 +144,8 @@ def page(dossier, du=None, au=None):
|
||||
chemin = os.path.join(ROOT, "out", f"status_{nom}.html")
|
||||
images, maisons = detecteurs.camera(dossier, mesures, a, b, chemin)
|
||||
|
||||
# Un événement par plage, pas les blocs du Status : sur NIEDERHORN, une cible à problème tout du long en fait un seul bloc.
|
||||
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une plage finit un pas après sa dernière mesure
|
||||
affiches = status(detecteurs.score.evenements(mesures, donnees.iso(a), donnees.iso(b)), pas)
|
||||
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # details() : la dernière mesure, un pas avant la fin
|
||||
affiches = status(station, a, b)
|
||||
morceaux = sorted(((k, d0, d1) for k, (_, ms) in enumerate(affiches) for d0, d1 in ms), key=lambda m: m[1])
|
||||
voies, voie = [], [] # fin de la dernière étiquette de chaque rangée ; la rangée de chaque morceau
|
||||
for _, d0, d1 in morceaux:
|
||||
@@ -183,8 +162,7 @@ def page(dossier, du=None, au=None):
|
||||
+ "<br><i>click: select (Load details at the bottom); again: show all</i>" for k, (s, _) in enumerate(affiches)}
|
||||
fig.add_trace(go.Bar(
|
||||
orientation="h", y=voie, base=[d0 for _, d0, _ in morceaux], x=[(d1 - d0).total_seconds() * 1000 for _, d0, d1 in morceaux],
|
||||
width=[EPAISSEUR * max(PLANCHER, len(affiches[k][0]["sensors"]) / len(mesures) if affiches[k][0]["sensors"] else 1)
|
||||
for k, _, _ in morceaux],
|
||||
width=EPAISSEUR,
|
||||
marker_color=[TEINTES.get(affiches[k][0]["category"], detecteurs.GRIS) for k, _, _ in morceaux],
|
||||
text=[affiches[k][0]["label"] for k, _, _ in morceaux], textposition="inside", insidetextanchor="middle", textangle=0,
|
||||
hoverinfo="text", showlegend=False, name="Events", hovertext=[survol[k] for k, _, _ in morceaux],
|
||||
@@ -204,7 +182,7 @@ def page(dossier, du=None, au=None):
|
||||
line={"width": 1.2, "color": couleur}, hovertemplate=f"{col}: %{{y:.4f}}°<extra></extra>"),
|
||||
row=4, col=1)
|
||||
|
||||
rang = {k: i for i, k in enumerate(detecteurs.score.categories.CATEGORIES)}
|
||||
rang = {k: i for i, k in enumerate(labeling.CATEGORIES_LABELS)}
|
||||
vus, ev, plages = set(), [], []
|
||||
for k, d0, d1 in morceaux:
|
||||
s = affiches[k][0]
|
||||
|
||||
@@ -1,7 +1,9 @@
|
||||
#!/usr/bin/env bash
|
||||
# Les trois outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status des détecteurs,
|
||||
# les images (View) et l'étiquetage (Labeling). Leurs serveurs restent en tâche de fond (ports 8766, 8768, 8767).
|
||||
# Les quatre outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status, les images (View),
|
||||
# l'étiquetage (Labeling) et les étiquettes face aux détecteurs (Compare). Leurs serveurs restent en tâche de fond
|
||||
# (ports 8766, 8768, 8767, 8769).
|
||||
cd "$(dirname "$0")"
|
||||
./detectors-view/status.sh
|
||||
python3 view/view.py
|
||||
python3 labeling/labeling.py
|
||||
python3 detectors-view/compare.py
|
||||
Reference in new issue
Block a user