Labeling tool: system metrics in the plot menu, identifiers left out; point 69: how the analyst learns from labels, still open
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c0c4519cea
commit
c3bd9a45ba
1 file changed
+34
-7
+34
-7
@@ -1,7 +1,7 @@
|
||||
"""L'outil d'étiquetage de l'expert (D-098, point 68 du plan du journal du matin) : se repérer dans le temps et écrire ce qu'on
|
||||
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
|
||||
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore ; dessous, une barre de temps aux mêmes
|
||||
abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
|
||||
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
|
||||
metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
|
||||
labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||
de champs de l'analyste (etiquettes.json). Une étiquette se corrige dans ce fichier, puis recharger la page. Les zones
|
||||
étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent
|
||||
@@ -12,10 +12,12 @@ Usage : python3 labeling/labeling.py [<dossier de station> [--du AAAA-MM-JJ] [--
|
||||
out/labeling_<STATION>_<du>_<au>.html, ouverte)
|
||||
"""
|
||||
import argparse
|
||||
import glob
|
||||
import html
|
||||
import http.server
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
from datetime import datetime
|
||||
from pathlib import Path
|
||||
@@ -25,6 +27,7 @@ ICI = Path(__file__).resolve().parent
|
||||
sys.path[:0] = [str(ICI.parent / "detectors-view"), str(ICI.parent / "detectors-view" / "data-loader")]
|
||||
import chargeur # noqa: E402 (son formulaire, son serveur ; bascule seule sur .venv si plotly manque)
|
||||
import detecteurs # noqa: E402 (les couleurs et les références de la page Status)
|
||||
from common.stations import load_csv, parse_name # noqa: E402
|
||||
from detecteurs import ROOT, donnees # noqa: E402
|
||||
from plotly.offline import get_plotlyjs_version # noqa: E402
|
||||
|
||||
@@ -35,6 +38,8 @@ PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"),
|
||||
("corr_x", "Relative Corrected Horizontal Shift"), ("corr_y", "Relative Corrected Vertical Shift"),
|
||||
("reproj_err", "References (reproj. error)"))
|
||||
CAMERA = "Camera movement"
|
||||
# Pas de copie des identifiants (CLAUDE.md, « data/ ») : ces fichiers ne sont pas lus ; SIM_CCID a souvent l'air d'un nombre.
|
||||
IDENTIFIANT = re.compile(r"SIM_CCID$|ip(_|$)")
|
||||
FORMAT = "%Y-%m-%dT%H:%MZ"
|
||||
|
||||
# Une figure Plotly n'a qu'un mode de glissement : le plot zoome, la barre, figure à part, sélectionne. Elle reprend à chaque
|
||||
@@ -64,7 +69,7 @@ function dessineFig() {
|
||||
const p = PLOTS[menu.value];
|
||||
// uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale
|
||||
// uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS
|
||||
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: 'lines', x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
|
||||
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
|
||||
line: t.line, hovertemplate: `${t.name}: %{y}<extra></extra>`})),
|
||||
{height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(),
|
||||
xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'},
|
||||
@@ -139,9 +144,24 @@ dessineFig().then(dessineBarre).then(() => {
|
||||
"""
|
||||
|
||||
|
||||
def plots(mesures, poses, a, b):
|
||||
def metriques(dossier, a, b):
|
||||
"""Les métriques système numériques de metrics/ sur [a, b) -> {nom: {t: valeur ou None}}, sans celles qui n'ont aucune valeur."""
|
||||
series = {}
|
||||
for p in sorted(glob.glob(os.path.join(dossier, "metrics", "*.csv"))):
|
||||
n = parse_name(p)
|
||||
if n and not IDENTIFIANT.match(n[1]):
|
||||
try:
|
||||
series.setdefault(n[1], {}).update(load_csv(p)) # à heure égale, le dernier fichier, comme load_stations
|
||||
except ValueError: # une métrique texte (link, mode…) : pas de courbe
|
||||
pass
|
||||
dans = {m: {t: v if isinstance(v, float) else None for t, v in sorted(s.items()) if a <= t < b} for m, s in series.items()}
|
||||
return {m: s for m, s in dans.items() if any(v is not None for v in s.values())}
|
||||
|
||||
|
||||
def plots(mesures, poses, systeme, a, b):
|
||||
"""-> (T, [plot]) : T, les heures de chaque série, une fois, elles reviennent dans chaque plot (clé : le capteur, "" pour la
|
||||
caméra) ; plot : titre et traces (name, t : sa clé dans T, y, line), sans les plots ni les capteurs vides."""
|
||||
caméra, « system: » et son nom pour une métrique) ; plot : titre et traces (name, t : sa clé dans T, y, line ; mode pour
|
||||
les métriques, horaires : une valeur seule entre deux trous ne se verrait pas sans marqueur), sans les plots ni les capteurs vides."""
|
||||
heure = lambda t: t.strftime("%Y-%m-%d %H:%M") # noqa: E731 (UTC, sans fuseau : comme l'affiche Plotly)
|
||||
valeurs = lambda s, c: [None if m[c] is None else round(m[c], 5) for m in s] # noqa: E731
|
||||
dans = {s: [m for m in mesures[s] if a <= m["t"] < b] for s in sorted(mesures)}
|
||||
@@ -157,7 +177,14 @@ def plots(mesures, poses, a, b):
|
||||
if poses:
|
||||
out.append({"titre": CAMERA + " (deg)", "traces": [{"name": c, "t": "", "y": valeurs(poses, c), "line": {"width": 1.2, "color": couleur}}
|
||||
for c, couleur in detecteurs.POSE]})
|
||||
return {"": [heure(p["t"]) for p in poses], **{s: [heure(m["t"]) for m in ms] for s, ms in dans.items()}}, out
|
||||
T = {"": [heure(p["t"]) for p in poses], **{s: [heure(m["t"]) for m in ms] for s, ms in dans.items()}}
|
||||
for nom in sorted(systeme, key=str.lower):
|
||||
s = systeme[nom]
|
||||
T["system:" + nom] = [heure(t) for t in s]
|
||||
out.append({"titre": "System: " + nom, "traces": [{"name": nom, "t": "system:" + nom, "mode": "lines+markers",
|
||||
"y": [None if v is None else round(v, 5) for v in s.values()],
|
||||
"line": {"width": 1.2, "color": detecteurs.COULEURS[0]}}]})
|
||||
return T, out
|
||||
|
||||
|
||||
def page(dossier, du=None, au=None):
|
||||
@@ -167,7 +194,7 @@ def page(dossier, du=None, au=None):
|
||||
tous = sorted({m["t"] for ms in mesures.values() for m in ms})
|
||||
a = donnees.instant(du) if du else tous[0]
|
||||
b = donnees.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
|
||||
T, liste = plots(mesures, [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b], a, b)
|
||||
T, liste = plots(mesures, [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b], metriques(dossier, a, b), a, b)
|
||||
if not liste:
|
||||
raise SystemExit(f"Aucune mesure dans {dossier} du {du} au {au}.")
|
||||
station = os.path.basename(os.path.normpath(dossier))
|
||||
|
||||
Reference in new issue
Block a user