Labeling tool: Delete removes a label (red button, right of Save and Close), hover shows sensor, value and UTC time, text boxes 10 lines high

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 09:56:04 +01:00
1 parent 3ce582d8b5
commit 96f4bb58aa
3 files changed
+42 -14

No files matched your search

+1 -1
View File
@@ -974,7 +974,7 @@ Règles du journal :
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) ; ses bornes et son retrait se font dans le fichier.
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) et de la retirer (Delete, 2026-11-02) ; ses bornes se corrigent dans le fichier.
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
+40 -12
View File
@@ -5,9 +5,10 @@ metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temp
labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
enregistre son nouveau texte ; ses bornes se corrigent, et elle se retire, dans ce fichier, puis recharger la page. Son serveur
enregistre son nouveau texte, Delete la retire ; ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol
d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
le data loader) et /labels (lire, ajouter, modifier) ; un changement de son code demande de l'arrêter (run.md).
le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md).
Usage : python3 labeling/labeling.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ; page :
out/labeling_<STATION>_<du>_<au>.html, ouverte)
@@ -75,7 +76,7 @@ function dessineFig() {
// uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale
// uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
line: t.line, hovertemplate: `${t.name}: %{y}<extra></extra>`})),
line: t.line, hovertemplate: `${t.name}: %{y}<br>%{x|%Y-%m-%d %H:%M} UTC<extra></extra>`})),
{height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(),
xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'},
yaxis: {title: {text: p.titre}, uirevision: p.titre, gridcolor: '#eeeeea', zeroline: false}},
@@ -133,6 +134,16 @@ function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un text
editTexte.oninput = () => majEdition();
document.getElementById('fermer').onclick = () => ouvre(null);
document.getElementById('supprimer').onclick = async () => {
if (!confirm('Delete this label?')) return;
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, avant: ouverte})}).catch(e => e);
if (!r.ok) return alert('Not deleted: ' + (r.statusText || r.message));
labels = labels.filter(l => l !== ouverte);
ouverte = null;
edition.hidden = true;
await dessineBarre();
await Plotly.relayout(fig, {shapes: zones()});
};
save.onclick = async () => {
save.disabled = true;
const corps = {station: STATION, avant: ouverte, description: editTexte.value.trim()};
@@ -247,17 +258,18 @@ def page(dossier, du=None, au=None):
<script src="https://cdn.plot.ly/plotly-{get_plotlyjs_version()}.min.js"></script>
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0}}</style></head><body>
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0;display:flex;gap:6px;align-items:center}}
#supprimer{{margin-left:auto;color:#fff;background:#c0392b;border:1px solid #a93226;border-radius:4px;padding:1px 10px}}</style></head><body>
<h2>Labeling, {html.escape(station)}</h2>
{chargeur.formulaire(station, du or "", au or "")}
<label>Plot <select id="plot">{options}</select></label>
<div id="fig"></div>
<div id="barre"></div>
<section id="edition" hidden><b id="edit-plage"></b>
<textarea id="edit-texte" rows="3"></textarea>
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span></p></section>
<textarea id="edit-texte" rows="10"></textarea>
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span><button id="supprimer">Delete</button></p></section>
<p id="plage">Drag on the bar above to select a time range.</p>
<textarea id="texte" rows="3" placeholder="What do we see in this range?"></textarea>
<textarea id="texte" rows="10" placeholder="What do we see in this range?"></textarea>
<p><button id="add" disabled>Add</button></p>
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
{PAGE_JS}</script>
@@ -293,20 +305,33 @@ def ajouter(corps):
def modifier(corps):
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte) -> l'étiquette
écrite ; ValueError s'il n'est pas bon. Retrouvée par son contenu, pas par son rang : le fichier a pu changer à la main
depuis le chargement de la page. Les autres lignes restent telles quelles."""
écrite ; ValueError s'il n'est pas bon."""
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
if station not in chargeur.stations():
raise ValueError("unknown station")
if not description:
raise ValueError("empty text")
label = {**avant, "description": description}
label.pop("revue", None) # texte changé : à revoir par le label-reviewer (D-101)
return remplace(station, avant, label)
def supprimer(corps):
"""Le corps d'un Delete (station, avant : l'étiquette telle que la page l'a lue) -> l'étiquette retirée."""
if corps["station"] not in chargeur.stations():
raise ValueError("unknown station")
remplace(corps["station"], corps["avant"], None)
return corps["avant"]
def remplace(station, avant, label):
"""Remplace l'étiquette avant par label (None : la retire) -> label. Retrouvée par son contenu, pas par son rang : le
fichier a pu changer à la main depuis le chargement de la page. Les autres lignes restent telles quelles."""
f = fichier(station)
lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else []
for i, ligne in enumerate(lignes):
if ligne.strip() and json.loads(ligne) == avant:
label = {**avant, "description": description}
label.pop("revue", None) # texte changé : à revoir par le label-reviewer (D-101)
lignes[i] = json.dumps(label, ensure_ascii=False)
lignes[i:i + 1] = [] if label is None else [json.dumps(label, ensure_ascii=False)]
provisoire = f.with_name(f.name + ".tmp") # écrit à côté puis remplacé : une coupure ne peut pas abîmer le fichier
provisoire.write_text("\n".join(lignes), encoding="utf-8")
os.replace(provisoire, f)
@@ -354,6 +379,9 @@ class Serveur(chargeur.Chargeur):
def do_PUT(self):
self.ecrit(modifier)
def do_DELETE(self):
self.ecrit(supprimer)
if __name__ == "__main__":
if sys.argv[1:] == ["serve"]:
+1 -1
View File
@@ -28,7 +28,7 @@ Détails : `extraction/README.md`.
python3 labeling/labeling.py
```
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, puis Save. Ses bornes se corrigent, et elle se retire, dans ce fichier, puis recharger la page. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, puis Save, ou la retirer par Delete. Ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100).