One detector per family, family keys equal to their names (D-119)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:57:52 +01:00
1 parent 0666d59e7d
commit 98be20a2bc
34 files changed
+551 -516

No files matched your search

+46 -35
View File
@@ -1,10 +1,9 @@
"""Les étiquettes face aux détecteurs, station et dates au choix (l'utilisateur, 2026-11-03) : la page de fin de séance de
/events-learner (.claude/skills/events-learner/comparaison.py) sans séance ni benchmark. La page de detecteurs.py, une ligne
"""Les étiquettes face aux détecteurs, station et dates au choix (l'utilisateur, 2026-11-03) : les seules barres, une ligne
par famille des étiquettes (labeling/familles.md), dédoublée : en haut les étiquettes de la station qui touchent la plage
(labeling/auto/, sinon labeling/manual/, comme la page Status), en bas les événements des détecteurs, rangés par la
correspondance de familles.md ; sous la figure, le score par famille (score.familles_lot). Tout en haut, le data loader
(data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. Son serveur local :
http://127.0.0.1:8769.
correspondance de familles.md (comme la page de fin de séance de /events-learner). Survol : bornes, capteurs, texte. Tout
en haut, le data loader (data-loader/chargeur.py) : une autre station, d'autres dates, et « Analyse » refait la page. Son
serveur local : http://127.0.0.1:8769.
Usage : python3 detectors-view/compare.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ;
page : out/compare_<STATION>_<du>_<au>.html, ouverte)
@@ -13,52 +12,64 @@ import argparse
import html
import http.server
import os
import statistics
import sys
import detecteurs # la page des détecteurs ; met .claude/skills/events-learner sur le chemin
from detecteurs import HORS, ROOT, score, survol
import detecteurs # la page des détecteurs : ses barres, ses couleurs ; met .claude/skills/events-learner sur le chemin
from detecteurs import HORS, ROOT, go, score, survol
sys.path[:0] = [os.path.join(detecteurs.ICI, "data-loader"), os.path.join(ROOT, "labeling")]
import chargeur # noqa: E402 (son formulaire, son serveur)
import comparaison # noqa: E402 (la page de fin de séance de /events-learner : sa table du score)
import labeling # noqa: E402 (les dossiers des étiquettes, leur lecture)
PORT = 8769 # ni 8765 (common.page), ni 8766 (Status), ni 8767 (Labeling), ni 8768 (View)
LIGNE = 40 # px par famille
def page(dossier, du=None, au=None):
station = os.path.basename(os.path.normpath(dossier))
if du and au:
a, b = score.instant(du), score.instant(au)
else: # ponytail: les mesures chargées ici pour les bornes, puis encore par detecteurs.page et familles_lot
tous = sorted({m["t"] for ms in score.charger(dossier).values() for m in ms})
if len(tous) < 2:
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
a = score.instant(du) if du else tous[0]
b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
mesures = score.charger(dossier)
tous = sorted({m["t"] for ms in mesures.values() for m in ms})
if len(tous) < 2:
raise SystemExit(f"Aucun export « advanced » dans {dossier}.")
a = score.instant(du) if du else tous[0]
b = score.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
debut, fin = score.iso(a), score.iso(b)
pas = statistics.median(y - x for x, y in zip(tous, tous[1:])) # une barre finit un pas après sa dernière mesure
source, ls = next(((d, ls) for d in labeling.DOSSIERS if (ls := labeling.lire(station, d))), ("auto", []))
etiq = [e for e in ls if e["debut"] < fin and e["fin"] >= debut]
total, _ = score.familles_lot(dossier, debut, fin, etiq)
agent = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "aucune" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"])) for e in etiq]
etiq = [(e["debut"], e["fin"], c := HORS if e.get("categorie") == "None" else e.get("categorie", "sans famille"),
survol(f"Étiquette : {c}", e["debut"], e["fin"], ["dans le texte"], e["description"]))
for e in ls if e["debut"] < fin and e["fin"] >= debut]
lignes = score.familles()
entete = f"""<h1>Étiquettes et détecteurs, {html.escape(station)}</h1>
{chargeur.formulaire(station, du or "", au or "")}
<p>Dessous les courbes, chaque ligne est une famille des étiquettes (<code>labeling/familles.md</code>) : la barre du haut,
les {len(etiq)} étiquettes de <code>labeling/{source}/{html.escape(station)}.jsonl</code> qui touchent la plage{
" (aucune)" if not etiq else ""}, celle du bas, les événements des détecteurs, rangés dans la famille de leur catégorie
(survol : la catégorie du journal). Un saut bref, de la famille de sa cause, garde sa ligne. Un clic sur une barre joue
son timelapse. Les deux barres de chaque ligne devraient coïncider.</p>"""
annexe = f"""<style>td small{{color:#8a8984}} tr.niveau td{{color:#5f5e5a;font-style:italic}}</style>
<h3>Score</h3>
<p>On compte des instants : une heure de la plage où un capteur au moins a une mesure. <b>Trouvées</b> : des instants
qu'une étiquette range dans la famille, la part que les détecteurs signalent aussi. <b>Confirmées</b> : des instants que
signalent les détecteurs, la part qu'une étiquette range aussi dans la famille. « — » : rien à compter.</p>
{comparaison.tableau(total, [*dict.fromkeys(lignes.values()), HORS], "Famille")}"""
det = [(v["start"], v["end"], lignes.get(v["category"], v["category"]),
survol(v["label"], v["start"], v["end"], v["sensors"], v["text"]))
for v in score.evenements(mesures, debut, fin)]
base = [*dict.fromkeys(lignes.values())]
presentes = {s[2] for s in etiq + det}
ordre = [*base, *sorted(presentes - set(base) - {HORS}), *[HORS] * (HORS in presentes)]
fig = go.Figure([detecteurs.barres("Détecteurs", detecteurs.SCRIPTS, det, pas, 2, "d"), # en mode group, le 1er en bas
detecteurs.barres(f"Étiquettes ({source})", detecteurs.AGENT, etiq, pas, 1, "a"),
go.Scatter(x=[a] * len(ordre), y=ordre, mode="markers", marker={"opacity": 0}, hoverinfo="skip",
showlegend=False)]) # invisible : chaque famille a sa ligne, même vide
fig.update_layout(barmode="group", bargap=0.3, bargroupgap=0.1, hovermode="closest", plot_bgcolor="white",
height=LIGNE * len(ordre) + 120, margin={"l": 170, "r": 20, "t": 40, "b": 40},
legend={"orientation": "h", "x": 0, "y": 1.02, "yanchor": "bottom"})
fig.update_xaxes(type="date", range=[a, b], showgrid=True, gridcolor="#e6e6e2")
fig.update_yaxes(categoryorder="array", categoryarray=ordre[::-1], showgrid=True, gridcolor="#eeeeea", fixedrange=True)
nom = f"{station}_{debut[:10]}_{fin[:10]}"
return detecteurs.page(dossier, debut, fin, entete=entete, annexe=annexe, analyste=agent, lignes=lignes,
chemin=os.path.join(ROOT, "out", f"compare_{nom}.html"))
chemin = os.path.join(ROOT, "out", f"compare_{nom}.html")
os.makedirs(os.path.dirname(chemin), exist_ok=True)
with open(chemin, "w", encoding="utf-8") as f:
f.write(f"""<!doctype html><html lang="fr"><head><meta charset="utf-8"><title>Compare {html.escape(nom)}</title>
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}</style></head><body>
<h2>Étiquettes et détecteurs, {html.escape(station)}</h2>
{chargeur.formulaire(station, du or "", au or "")}
{fig.to_html(include_plotlyjs="cdn", full_html=False, config={"scrollZoom": False})}
</body></html>""")
return chemin
class Serveur(chargeur.Chargeur):
+7 -7
View File
@@ -40,16 +40,16 @@ import benchmark # noqa: E402 (la version des détecteurs)
import donnees # noqa: E402
AGENT, SCRIPTS = "#2a78d6", "#eb6834" # palette catégorielle de référence, slots 1 et 2 (skill dataviz)
HORS, GRIS = "hors catégorie", "#a3a29c" # étiquettes « aucune » : aucun détecteur ne peut les rejoindre
HORS, GRIS = "hors catégorie", "#a3a29c" # étiquettes « None » : aucun détecteur ne peut les rejoindre
# du vert au rouge (demande de l'utilisateur, 2026-10-27) : couleurs d'état de la palette de référence (skill dataviz)
VERT_ROUGE = ["#0ca30c", "#fab219", "#ec835a", "#d03b3b"]
MARGE_PX = 150 # marge autour des capteurs, recadrage du timelapse (comme MARGIN_PX de la maquette Explore)
COULEURS = ["#2a78d6", "#eb6834", "#1baf7a", "#8a5cd6", "#d6a12a", "#d63b8a", "#3bb3d6", "#6b6b66"] # un capteur chacun
POSE = (("pan", "#1a1a19"), ("tilt", "#8a8a85"), ("rotation", "#b5651d")) # sombres : à part des couleurs des capteurs
# Ligne Status (point 50 du plan) : ce qui se passe, en un mot (l'utilisateur, 2026-10-27) : bleu clair, aucun événement ;
# bleu foncé, un bloc d'événements qui se touchent, nommé par la catégorie qui l'englobe. « À vérifier » et « Dérive lente »
# n'y entrent pas : un mouvement possible a ses lignes.
STATUT_HORS = {"a_verifier", "derive_lente"}
# bleu foncé, un bloc d'événements qui se touchent, nommé par la famille qui l'englobe. Displacement n'y entre pas : un
# mouvement possible a ses lignes.
STATUT_HORS = {"Displacement"}
CALME, EVENEMENT = "#d3e4f5", "#1f4e8c"
ESPACE = 30 # px entre deux lignes de la figure : le titre de la suivante y tient
HEURES = 30 # px de plus sous une courbe : ses heures (l'utilisateur, 2026-10-27 : l'heure sous chaque courbe, pas seulement en bas)
@@ -422,10 +422,10 @@ def statut(evts, temps, pas, mesures, refs):
if not evenement:
blocs.append((debut, fin, "", CALME, f"{heures}<br>aucun événement", "<p>Aucun événement.</p>", []))
continue
compte = Counter(c for _, actifs, trou in bloc for c in {v["category"] for v in actifs} | ({"trou"} if trou else set()))
nom = score.categories.CATEGORIES[max((c for c in cats if compte[c]), key=compte.__getitem__)]["label"]
compte = Counter(c for _, actifs, trou in bloc for c in {v["category"] for v in actifs} | ({"No data"} if trou else set()))
nom = max((c for c in cats if compte[c]), key=compte.__getitem__)
vus = list({id(v): v for _, actifs, _ in bloc for v in actifs}.values())
sans_mesure = any(i[2] for i in bloc) and all(v["category"] != "trou" for v in vus)
sans_mesure = any(i[2] for i in bloc) and all(v["category"] != "No data" for v in vus)
cs = [] if any(not v["sensors"] for v in vus) else list(dict.fromkeys(c for v in vus for c in v["sensors"]))
lignes = [f"{v['label']} : {', '.join(v['sensors']) if 0 < len(v['sensors']) <= 4 else f'{len(v['sensors'])} capteurs' if v['sensors'] else 'tous'}"
for v in vus] + ["No data : aucune mesure"] * sans_mesure
+2 -2
View File
@@ -33,8 +33,8 @@ import labeling # noqa: E402 (les étiquettes : leurs dossiers, leur lecture,
# Les plages du Status (l'utilisateur, 2026-10-29) : palette catégorielle de référence (skill dataviz), une teinte par
# famille d'étiquettes, No data et sans famille en gris.
TEINTES = {"visibilite": "#2a78d6", "obstruction": "#e87ba4", "deplacement_thermique": "#eb6834", "deplacement": "#6250d6",
"cible_a_probleme": "#e34948", "aucune": "#1baf7a", "trou": detecteurs.GRIS}
TEINTES = {"Visibility": "#2a78d6", "Obstruction": "#e87ba4", "Thermal displacement": "#eb6834", "Displacement": "#6250d6",
"Target issue": "#e34948", "None": "#1baf7a", "No data": detecteurs.GRIS}
VOIE = 24 # px par rangée d'étiquettes
EPAISSEUR = 0.85 # de la rangée