diff --git a/CLAUDE.md b/CLAUDE.md index 3f388ed..9ae9b1f 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -55,7 +55,8 @@ python3 maquettes/support/home.py [début] [fin] # maquette support python3 vues-deplacements/maquette/explore.py [dossier] # page Explore : View, Diagnosis, Displacements, Journal python3 detectors/categories.py # événements du journal, une ligne chacun python3 detectors-view/detecteurs.py data/ [--du D --au F] # page des détecteurs seuls -./run.sh # les trois outils du poste : Status, View, Labeling +./run.sh # les quatre outils du poste : Status, View, Labeling, Compare +python3 detectors-view/compare.py [data/ --du D --au F] # étiquettes face aux détecteurs, score par famille, data loader ./detectors-view/status.sh # page Status par son data loader : station, dates, Analyse python3 labeling/labeling.py [data/ --du D --au F] # l'expert étiquette : un plot, une plage, du texte, Add python3 view/view.py [data/ --du D --au F] # les images IRON : parcourir, zoomer @@ -104,7 +105,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées. -- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. +- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, étiquettes de `labeling/` (auto, sinon manual) en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`), par `/review-event` et par `compare.py` : les étiquettes face aux détecteurs, ligne par famille, et le score, sous le data loader (port 8769). - `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène. - `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références). - `detector-learner/` : les séances de `/detector-learner` (D-116), une par dossier `_/`. diff --git a/detectors-view/compare.py b/detectors-view/compare.py new file mode 100644 index 0000000..e641820 --- /dev/null +++ b/detectors-view/compare.py @@ -0,0 +1,80 @@ +"""Les étiquettes face aux détecteurs, station et dates au choix (l'utilisateur, 2026-11-03) : la page de fin de séance de +/events-learner (.claude/skills/events-learner/comparaison.py) sans séance ni benchmark. La page de detecteurs.py, une ligne +par famille des étiquettes (labeling/familles.md), dédoublée : en haut les étiquettes de la station qui touchent la plage +(labeling/auto/, sinon labeling/manual/, comme la page Status), en bas les événements des détecteurs, rangés par la +correspondance de familles.md ; sous la figure, le score par famille (score.familles_lot). Tout en haut, le data loader +(data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. Son serveur local : +http://127.0.0.1:8769. +Usage : python3 detectors-view/compare.py [ [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]] + (sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ; + page : out/compare___.html, ouverte) +""" +import argparse +import html +import http.server +import os +import sys + +import detecteurs # la page des détecteurs ; met .claude/skills/events-learner sur le chemin +from detecteurs import HORS, ROOT, score, survol + +sys.path[:0] = [os.path.join(detecteurs.ICI, "data-loader"), os.path.join(ROOT, "labeling")] +import chargeur # noqa: E402 (son formulaire, son serveur) +import comparaison # noqa: E402 (la page de fin de séance de /events-learner : sa table du score) +import labeling # noqa: E402 (les dossiers des étiquettes, leur lecture) + +PORT = 8769 # ni 8765 (common.page), ni 8766 (Status), ni 8767 (Labeling), ni 8768 (View) + + +def page(dossier, du=None, au=None): + station = os.path.basename(os.path.normpath(dossier)) + if du and au: + a, b = score.instant(du), score.instant(au) + else: # ponytail: les mesures chargées ici pour les bornes, puis encore par detecteurs.page et familles_lot + tous = sorted({m["t"] for ms in score.charger(dossier).values() for m in ms}) + if len(tous) < 2: + raise SystemExit(f"Aucun export « advanced » dans {dossier}.") + a = score.instant(du) if du else tous[0] + b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2]) + debut, fin = score.iso(a), score.iso(b) + source, ls = next(((d, ls) for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), ("auto", [])) + etiq = [e for e in ls if e["debut"] < fin and e["fin"] >= debut] + total, _ = score.familles_lot(dossier, debut, fin, etiq) + agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"), + survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq] + lignes = score.familles() + entete = f"""

Étiquettes et détecteurs, {html.escape(station)}

+{chargeur.formulaire(station, du or "", au or "")} +

Dessous les courbes, chaque ligne est une famille des étiquettes (labeling/familles.md) : la barre du haut, +les {len(etiq)} étiquettes de labeling/{source}/{html.escape(station)}.jsonl qui touchent la plage{ +" (aucune)" if not etiq else ""}, celle du bas, les événements des détecteurs, rangés dans la famille de leur catégorie +(survol : la catégorie du journal). Un saut bref, de la famille de sa cause, garde sa ligne. Un clic sur une barre joue +son timelapse. Les deux barres de chaque ligne devraient coïncider.

""" + annexe = f""" +

Score

+

On compte des instants : une heure de la plage où un capteur au moins a une mesure. Trouvées : des instants +qu'une étiquette range dans la famille, la part que les détecteurs signalent aussi. Confirmées : des instants que +signalent les détecteurs, la part qu'une étiquette range aussi dans la famille. « — » : rien à compter.

+{comparaison.tableau(total, [*dict.fromkeys(lignes.values()), HORS], "Famille")}""" + nom = f"{station}_{debut[:10]}_{fin[:10]}" + return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes, + chemin=os.path.join(ROOT, "out", f"compare_{nom}.html")) + + +class Serveur(chargeur.Chargeur): + SCRIPT = __file__ + + +if __name__ == "__main__": + if sys.argv[1:] == ["serve"]: + http.server.ThreadingHTTPServer(("127.0.0.1", PORT), Serveur).serve_forever() + p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) + p.add_argument("dossier", nargs="?", help="sans dossier : le data loader seul") + p.add_argument("--du") + p.add_argument("--au") + p.add_argument("--sans-ouvrir", action="store_true", help="écrit la page sans l'ouvrir") + o = p.parse_args() + chemin = page(o.dossier, o.du, o.au) if o.dossier else chargeur.accueil("Labels vs detectors", "compare-loader") + print(chemin) + if not o.sans_ouvrir: + chargeur.open_served(chemin, PORT, __file__) diff --git a/detectors-view/status.py b/detectors-view/status.py index 1df7ee5..474374d 100644 --- a/detectors-view/status.py +++ b/detectors-view/status.py @@ -1,15 +1,14 @@ """La page Status d'une station : version pseudo finale de la page de l'onglet Explore du site (en anglais, D-023). -En haut, la rangée des status : les événements des détecteurs (la plage classée avec ses 3 jours d'historique ; sans Shift to -check ni Slow drift, comme le Status de detecteurs.py), occultés selon hierarchie-des-status.md (D-095, sans le regroupement thermique, suspendu) ; une -étiquette par status, à son heure, de la couleur de sa catégorie, épaisse de la part des capteurs qu'il touche, les status -qui se chevauchent l'un sous l'autre. Dessous, +En haut, la rangée des status : les étiquettes de la station dans labeling/ (celles de l'étiqueteur, labeling/auto/, sinon +celles de l'expert, labeling/manual/ ; l'utilisateur, 2026-11-03 : elles remplacent les événements des détecteurs) ; une +étiquette par status, à son heure, de la couleur de sa famille (labeling/familles.md), toute la hauteur de la rangée (une +étiquette n'a pas de capteurs : elle touche tous les capteurs), les status qui se chevauchent l'un sous l'autre. Dessous, corr_x et corr_y de chaque capteur (px, une couleur par capteur, les références en pointillé ; la légende, à droite, cache un capteur dans les deux), puis le mouvement de la caméra (pan, tilt, rotation [deg], camera/ du pompage, si le dossier en a). Sur les courbes, chaque status en plage colorée transparente, la légende des catégories au-dessus (un clic cache une catégorie). Un clic sur une étiquette sélectionne le status, sans zoom (l'utilisateur, 2026-10-29) : ses seuls capteurs sur les courbes, ses plages soulignées ; un second clic rend tout ; un clic ailleurs, hors des légendes, rend toutes les plages -selon les cibles tracées, sans toucher aux cibles. Des cibles cachées dans la légende (clic, ou double clic pour -n'en garder qu'une) : seuls restent les status qui touchent une cible visible, ou tous les capteurs. En bas, le bouton +selon les cibles tracées, sans toucher aux cibles. En bas, le bouton « Load details » montre les détails du status choisi (ses capteurs, References et Targets) et, à droite, le timelapse de ses images (comme detecteurs.py : marge avant et après, bord rouge pendant, Focused ou Global image, ⤓ GIF) ; la page est servie par http://127.0.0.1. Tout en haut, le data loader (data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. @@ -28,23 +27,16 @@ import textwrap import detecteurs # la page des détecteurs : chargement, couleurs, références (bascule seule sur .venv si plotly manque) from detecteurs import ROOT, donnees, go, make_subplots, plotly_t -sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader")) +sys.path[:0] = [os.path.join(os.path.dirname(os.path.abspath(__file__)), "data-loader"), os.path.join(ROOT, "labeling")] import chargeur # noqa: E402 (le data loader : son formulaire en haut de la page, son serveur pour l'ouvrir) +import labeling # noqa: E402 (les étiquettes : leurs dossiers, leur lecture, le nom de leurs familles) -# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), 8 teintes pour -# 10 status : les deux phases thermiques partagent l'orange, No data en gris. -TEINTES = {"visibilite_reduite": "#2a78d6", "visibilite_nulle": "#6250d6", "passage": "#1baf7a", "cible_masquee": "#e87ba4", - "cible_a_probleme": "#e34948", "turbulence": "#eda100", "dilatation_thermique": "#eb6834", - "contraction_thermique": "#eb6834", "saut_bref": "#008300", "trou": detecteurs.GRIS} -# La hiérarchie des status (hierarchie-des-status.md, validée par l'utilisateur le 2026-10-29) : un status occulte les plus -# faibles qu'il chevauche ; tout le reste se superpose. Le regroupement des deux phases thermiques en Thermal movements est -# suspendu (l'utilisateur, 2026-10-29 : il ne vaut que pour des phases aux mêmes cibles ; le document le garde). -OCCULTE = {"visibilite_nulle": {"visibilite_reduite", "cible_masquee"}, "cible_a_probleme": {"cible_masquee"}, - "trou": set(TEINTES) - {"trou"}} +# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), une teinte par +# famille d'étiquettes, No data et sans famille en gris. +TEINTES = {"visibilite": "#2a78d6", "obstruction": "#e87ba4", "deplacement_thermique": "#eb6834", "deplacement": "#6250d6", + "cible_a_probleme": "#e34948", "aucune": "#1baf7a", "trou": detecteurs.GRIS} VOIE = 24 # px par rangée d'étiquettes -# L'épaisseur d'une étiquette suit la part des capteurs qu'elle touche (l'utilisateur, 2026-10-29) : EPAISSEUR de la rangée -# pour tous, PLANCHER de celle-ci au moins pour rester visible ; sous ~9 px, son nom ne se lit plus qu'au survol. -EPAISSEUR, PLANCHER = 0.85, 0.25 +EPAISSEUR = 0.85 # de la rangée # Un clic sur l'étiquette d'un status (customdata : début, fin, capteurs, rang, nom) le sélectionne, sans zoom ; un second clic # rend tout. EV : le rang du status de chaque shape. Des cibles cachées dans la légende (l'utilisateur, 2026-10-29) : seuls restent, en étiquette et en plage, @@ -120,26 +112,14 @@ document.addEventListener('click', e => { """ -def status(evts, pas): - """Événements des détecteurs -> status affichés (hierarchie-des-status.md) : [(status, morceaux)] ; status : category, - label, sensors, text, d0, d1 (un pas après la dernière mesure) ; morceaux : ses plages [(début, fin)] non occultées.""" - ss = [{"category": v["category"], "label": v["label"], "sensors": v["sensors"], "text": v["text"], - "d0": donnees.instant(v["start"]), "d1": donnees.instant(v["end"]) + pas} - for v in sorted(evts, key=lambda v: v["start"]) if v["category"] not in detecteurs.STATUT_HORS] - - def occulte(f, s): # règles 2 et 4 : f est plus fort, et concerne tous les capteurs ou au moins tous ceux de s - return s["category"] in OCCULTE.get(f["category"], ()) and ( - not f["sensors"] or bool(s["sensors"]) and set(s["sensors"]) <= set(f["sensors"])) - - out = [] - for s in ss: - morceaux = [(s["d0"], s["d1"])] - for f in ss: - if occulte(f, s): # s coupé : ce qui reste avant f, ce qui reste après - morceaux = [m for a, b in morceaux for m in ((a, min(b, f["d0"])), (max(a, f["d1"]), b)) if m[0] < m[1]] - if morceaux: - out.append((s, morceaux)) - return out +def status(station, a, b): + """Les étiquettes de la station sur [a, b) -> status affichés : [(status, [(début, fin)])] ; status : category (sa + famille, '' sans famille), label (son nom), sensors (vide : tous), text (sa description), d0, d1 (bornés à [a, b)).""" + ls = next((ls for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), []) # auto, sinon manual + ss = [{"category": c, "label": labeling.CATEGORIES_LABELS.get(c, "Label"), "sensors": [], "text": e["description"], + "d0": max(a, donnees.instant(e["debut"])), "d1": min(b, donnees.instant(e["fin"]))} + for e in ls for c in [e.get("categorie", "")]] + return [(s, [(s["d0"], s["d1"])]) for s in sorted(ss, key=lambda s: s["d0"]) if s["d0"] < s["d1"]] def details(s, mesures, refs, pas): @@ -164,9 +144,8 @@ def page(dossier, du=None, au=None): chemin = os.path.join(ROOT, "out", f"status_{nom}.html") images, maisons = detecteurs.camera(dossier, mesures, a, b, chemin) - # Un événement par plage, pas les blocs du Status : sur NIEDERHORN, une cible à problème tout du long en fait un seul bloc. - pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une plage finit un pas après sa dernière mesure - affiches = status(detecteurs.score.evenements(mesures, donnees.iso(a), donnees.iso(b)), pas) + pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # details() : la dernière mesure, un pas avant la fin + affiches = status(station, a, b) morceaux = sorted(((k, d0, d1) for k, (_, ms) in enumerate(affiches) for d0, d1 in ms), key=lambda m: m[1]) voies, voie = [], [] # fin de la dernière étiquette de chaque rangée ; la rangée de chaque morceau for _, d0, d1 in morceaux: @@ -183,8 +162,7 @@ def page(dossier, du=None, au=None): + "
click: select (Load details at the bottom); again: show all" for k, (s, _) in enumerate(affiches)} fig.add_trace(go.Bar( orientation="h", y=voie, base=[d0 for _, d0, _ in morceaux], x=[(d1 - d0).total_seconds() * 1000 for _, d0, d1 in morceaux], - width=[EPAISSEUR * max(PLANCHER, len(affiches[k][0]["sensors"]) / len(mesures) if affiches[k][0]["sensors"] else 1) - for k, _, _ in morceaux], + width=EPAISSEUR, marker_color=[TEINTES.get(affiches[k][0]["category"], detecteurs.GRIS) for k, _, _ in morceaux], text=[affiches[k][0]["label"] for k, _, _ in morceaux], textposition="inside", insidetextanchor="middle", textangle=0, hoverinfo="text", showlegend=False, name="Events", hovertext=[survol[k] for k, _, _ in morceaux], @@ -204,7 +182,7 @@ def page(dossier, du=None, au=None): line={"width": 1.2, "color": couleur}, hovertemplate=f"{col}: %{{y:.4f}}°"), row=4, col=1) - rang = {k: i for i, k in enumerate(detecteurs.score.categories.CATEGORIES)} + rang = {k: i for i, k in enumerate(labeling.CATEGORIES_LABELS)} vus, ev, plages = set(), [], [] for k, d0, d1 in morceaux: s = affiches[k][0] diff --git a/run.sh b/run.sh index 5496bf8..69a8caa 100755 --- a/run.sh +++ b/run.sh @@ -1,7 +1,9 @@ #!/usr/bin/env bash -# Les trois outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status des détecteurs, -# les images (View) et l'étiquetage (Labeling). Leurs serveurs restent en tâche de fond (ports 8766, 8768, 8767). +# Les quatre outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status, les images (View), +# l'étiquetage (Labeling) et les étiquettes face aux détecteurs (Compare). Leurs serveurs restent en tâche de fond +# (ports 8766, 8768, 8767, 8769). cd "$(dirname "$0")" ./detectors-view/status.sh python3 view/view.py python3 labeling/labeling.py +python3 detectors-view/compare.py