Labeling tool: system metrics in the plot menu, identifiers left out; point 69: how the analyst learns from labels, still open

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-30 11:23:31 +01:00
1 parent c0c4519cea
commit c3bd9a45ba
1 file changed
+34 -7
+34 -7
View File
@@ -1,7 +1,7 @@
"""L'outil d'étiquetage de l'expert (D-098, point 68 du plan du journal du matin) : se repérer dans le temps et écrire ce qu'on """L'outil d'étiquetage de l'expert (D-098, point 68 du plan du journal du matin) : se repérer dans le temps et écrire ce qu'on
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore ; dessous, une barre de temps aux mêmes Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
de champs de l'analyste (etiquettes.json). Une étiquette se corrige dans ce fichier, puis recharger la page. Les zones de champs de l'analyste (etiquettes.json). Une étiquette se corrige dans ce fichier, puis recharger la page. Les zones
étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent
@@ -12,10 +12,12 @@ Usage : python3 labeling/labeling.py [<dossier de station> [--du AAAA-MM-JJ] [--
out/labeling_<STATION>_<du>_<au>.html, ouverte) out/labeling_<STATION>_<du>_<au>.html, ouverte)
""" """
import argparse import argparse
import glob
import html import html
import http.server import http.server
import json import json
import os import os
import re
import sys import sys
from datetime import datetime from datetime import datetime
from pathlib import Path from pathlib import Path
@@ -25,6 +27,7 @@ ICI = Path(__file__).resolve().parent
sys.path[:0] = [str(ICI.parent / "detectors-view"), str(ICI.parent / "detectors-view" / "data-loader")] sys.path[:0] = [str(ICI.parent / "detectors-view"), str(ICI.parent / "detectors-view" / "data-loader")]
import chargeur # noqa: E402 (son formulaire, son serveur ; bascule seule sur .venv si plotly manque) import chargeur # noqa: E402 (son formulaire, son serveur ; bascule seule sur .venv si plotly manque)
import detecteurs # noqa: E402 (les couleurs et les références de la page Status) import detecteurs # noqa: E402 (les couleurs et les références de la page Status)
from common.stations import load_csv, parse_name # noqa: E402
from detecteurs import ROOT, donnees # noqa: E402 from detecteurs import ROOT, donnees # noqa: E402
from plotly.offline import get_plotlyjs_version # noqa: E402 from plotly.offline import get_plotlyjs_version # noqa: E402
@@ -35,6 +38,8 @@ PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"),
("corr_x", "Relative Corrected Horizontal Shift"), ("corr_y", "Relative Corrected Vertical Shift"), ("corr_x", "Relative Corrected Horizontal Shift"), ("corr_y", "Relative Corrected Vertical Shift"),
("reproj_err", "References (reproj. error)")) ("reproj_err", "References (reproj. error)"))
CAMERA = "Camera movement" CAMERA = "Camera movement"
# Pas de copie des identifiants (CLAUDE.md, « data/ ») : ces fichiers ne sont pas lus ; SIM_CCID a souvent l'air d'un nombre.
IDENTIFIANT = re.compile(r"SIM_CCID$|ip(_|$)")
FORMAT = "%Y-%m-%dT%H:%MZ" FORMAT = "%Y-%m-%dT%H:%MZ"
# Une figure Plotly n'a qu'un mode de glissement : le plot zoome, la barre, figure à part, sélectionne. Elle reprend à chaque # Une figure Plotly n'a qu'un mode de glissement : le plot zoome, la barre, figure à part, sélectionne. Elle reprend à chaque
@@ -64,7 +69,7 @@ function dessineFig() {
const p = PLOTS[menu.value]; const p = PLOTS[menu.value];
// uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale // uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale
// uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS // uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: 'lines', x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'), return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
line: t.line, hovertemplate: `${t.name}: %{y}<extra></extra>`})), line: t.line, hovertemplate: `${t.name}: %{y}<extra></extra>`})),
{height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(), {height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(),
xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'}, xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'},
@@ -139,9 +144,24 @@ dessineFig().then(dessineBarre).then(() => {
""" """
def plots(mesures, poses, a, b): def metriques(dossier, a, b):
"""Les métriques système numériques de metrics/ sur [a, b) -> {nom: {t: valeur ou None}}, sans celles qui n'ont aucune valeur."""
series = {}
for p in sorted(glob.glob(os.path.join(dossier, "metrics", "*.csv"))):
n = parse_name(p)
if n and not IDENTIFIANT.match(n[1]):
try:
series.setdefault(n[1], {}).update(load_csv(p)) # à heure égale, le dernier fichier, comme load_stations
except ValueError: # une métrique texte (link, mode…) : pas de courbe
pass
dans = {m: {t: v if isinstance(v, float) else None for t, v in sorted(s.items()) if a <= t < b} for m, s in series.items()}
return {m: s for m, s in dans.items() if any(v is not None for v in s.values())}
def plots(mesures, poses, systeme, a, b):
"""-> (T, [plot]) : T, les heures de chaque série, une fois, elles reviennent dans chaque plot (clé : le capteur, "" pour la """-> (T, [plot]) : T, les heures de chaque série, une fois, elles reviennent dans chaque plot (clé : le capteur, "" pour la
caméra) ; plot : titre et traces (name, t : sa clé dans T, y, line), sans les plots ni les capteurs vides.""" caméra, « system: » et son nom pour une métrique) ; plot : titre et traces (name, t : sa clé dans T, y, line ; mode pour
les métriques, horaires : une valeur seule entre deux trous ne se verrait pas sans marqueur), sans les plots ni les capteurs vides."""
heure = lambda t: t.strftime("%Y-%m-%d %H:%M") # noqa: E731 (UTC, sans fuseau : comme l'affiche Plotly) heure = lambda t: t.strftime("%Y-%m-%d %H:%M") # noqa: E731 (UTC, sans fuseau : comme l'affiche Plotly)
valeurs = lambda s, c: [None if m[c] is None else round(m[c], 5) for m in s] # noqa: E731 valeurs = lambda s, c: [None if m[c] is None else round(m[c], 5) for m in s] # noqa: E731
dans = {s: [m for m in mesures[s] if a <= m["t"] < b] for s in sorted(mesures)} dans = {s: [m for m in mesures[s] if a <= m["t"] < b] for s in sorted(mesures)}
@@ -157,7 +177,14 @@ def plots(mesures, poses, a, b):
if poses: if poses:
out.append({"titre": CAMERA + " (deg)", "traces": [{"name": c, "t": "", "y": valeurs(poses, c), "line": {"width": 1.2, "color": couleur}} out.append({"titre": CAMERA + " (deg)", "traces": [{"name": c, "t": "", "y": valeurs(poses, c), "line": {"width": 1.2, "color": couleur}}
for c, couleur in detecteurs.POSE]}) for c, couleur in detecteurs.POSE]})
return {"": [heure(p["t"]) for p in poses], **{s: [heure(m["t"]) for m in ms] for s, ms in dans.items()}}, out T = {"": [heure(p["t"]) for p in poses], **{s: [heure(m["t"]) for m in ms] for s, ms in dans.items()}}
for nom in sorted(systeme, key=str.lower):
s = systeme[nom]
T["system:" + nom] = [heure(t) for t in s]
out.append({"titre": "System: " + nom, "traces": [{"name": nom, "t": "system:" + nom, "mode": "lines+markers",
"y": [None if v is None else round(v, 5) for v in s.values()],
"line": {"width": 1.2, "color": detecteurs.COULEURS[0]}}]})
return T, out
def page(dossier, du=None, au=None): def page(dossier, du=None, au=None):
@@ -167,7 +194,7 @@ def page(dossier, du=None, au=None):
tous = sorted({m["t"] for ms in mesures.values() for m in ms}) tous = sorted({m["t"] for ms in mesures.values() for m in ms})
a = donnees.instant(du) if du else tous[0] a = donnees.instant(du) if du else tous[0]
b = donnees.instant(au) if au else tous[-1] + (tous[-1] - tous[-2]) b = donnees.instant(au) if au else tous[-1] + (tous[-1] - tous[-2])
T, liste = plots(mesures, [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b], a, b) T, liste = plots(mesures, [p for p in donnees.charger_camera(dossier) if a <= p["t"] < b], metriques(dossier, a, b), a, b)
if not liste: if not liste:
raise SystemExit(f"Aucune mesure dans {dossier} du {du} au {au}.") raise SystemExit(f"Aucune mesure dans {dossier} du {du} au {au}.")
station = os.path.basename(os.path.normpath(dossier)) station = os.path.basename(os.path.normpath(dossier))