Labeling tool: Delete removes a label (red button, right of Save and Close), hover shows sensor, value and UTC time, text boxes 10 lines high
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
3ce582d8b5
commit
96f4bb58aa
3 files changed
+42
-14
No files matched your search
+1
-1
@@ -974,7 +974,7 @@ Règles du journal :
|
|||||||
|
|
||||||
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
|
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
|
||||||
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
|
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
|
||||||
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) ; ses bornes et son retrait se font dans le fichier.
|
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) et de la retirer (Delete, 2026-11-02) ; ses bornes se corrigent dans le fichier.
|
||||||
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
|
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
|
||||||
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
|
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
|
||||||
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
|
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
|
||||||
|
|||||||
+40
-12
@@ -5,9 +5,10 @@ metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temp
|
|||||||
labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||||
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
|
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
|
||||||
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
|
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
|
||||||
enregistre son nouveau texte ; ses bornes se corrigent, et elle se retire, dans ce fichier, puis recharger la page. Son serveur
|
enregistre son nouveau texte, Delete la retire ; ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol
|
||||||
|
d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur
|
||||||
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
|
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
|
||||||
le data loader) et /labels (lire, ajouter, modifier) ; un changement de son code demande de l'arrêter (run.md).
|
le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md).
|
||||||
Usage : python3 labeling/labeling.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
|
Usage : python3 labeling/labeling.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
|
||||||
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ; page :
|
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ; page :
|
||||||
out/labeling_<STATION>_<du>_<au>.html, ouverte)
|
out/labeling_<STATION>_<du>_<au>.html, ouverte)
|
||||||
@@ -75,7 +76,7 @@ function dessineFig() {
|
|||||||
// uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale
|
// uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale
|
||||||
// uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS
|
// uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS
|
||||||
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
|
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
|
||||||
line: t.line, hovertemplate: `${t.name}: %{y}<extra></extra>`})),
|
line: t.line, hovertemplate: `${t.name}: %{y}<br>%{x|%Y-%m-%d %H:%M} UTC<extra></extra>`})),
|
||||||
{height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(),
|
{height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(),
|
||||||
xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'},
|
xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'},
|
||||||
yaxis: {title: {text: p.titre}, uirevision: p.titre, gridcolor: '#eeeeea', zeroline: false}},
|
yaxis: {title: {text: p.titre}, uirevision: p.titre, gridcolor: '#eeeeea', zeroline: false}},
|
||||||
@@ -133,6 +134,16 @@ function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un text
|
|||||||
|
|
||||||
editTexte.oninput = () => majEdition();
|
editTexte.oninput = () => majEdition();
|
||||||
document.getElementById('fermer').onclick = () => ouvre(null);
|
document.getElementById('fermer').onclick = () => ouvre(null);
|
||||||
|
document.getElementById('supprimer').onclick = async () => {
|
||||||
|
if (!confirm('Delete this label?')) return;
|
||||||
|
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, avant: ouverte})}).catch(e => e);
|
||||||
|
if (!r.ok) return alert('Not deleted: ' + (r.statusText || r.message));
|
||||||
|
labels = labels.filter(l => l !== ouverte);
|
||||||
|
ouverte = null;
|
||||||
|
edition.hidden = true;
|
||||||
|
await dessineBarre();
|
||||||
|
await Plotly.relayout(fig, {shapes: zones()});
|
||||||
|
};
|
||||||
save.onclick = async () => {
|
save.onclick = async () => {
|
||||||
save.disabled = true;
|
save.disabled = true;
|
||||||
const corps = {station: STATION, avant: ouverte, description: editTexte.value.trim()};
|
const corps = {station: STATION, avant: ouverte, description: editTexte.value.trim()};
|
||||||
@@ -247,17 +258,18 @@ def page(dossier, du=None, au=None):
|
|||||||
<script src="https://cdn.plot.ly/plotly-{get_plotlyjs_version()}.min.js"></script>
|
<script src="https://cdn.plot.ly/plotly-{get_plotlyjs_version()}.min.js"></script>
|
||||||
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}
|
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}
|
||||||
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}
|
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}
|
||||||
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0}}</style></head><body>
|
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0;display:flex;gap:6px;align-items:center}}
|
||||||
|
#supprimer{{margin-left:auto;color:#fff;background:#c0392b;border:1px solid #a93226;border-radius:4px;padding:1px 10px}}</style></head><body>
|
||||||
<h2>Labeling, {html.escape(station)}</h2>
|
<h2>Labeling, {html.escape(station)}</h2>
|
||||||
{chargeur.formulaire(station, du or "", au or "")}
|
{chargeur.formulaire(station, du or "", au or "")}
|
||||||
<label>Plot <select id="plot">{options}</select></label>
|
<label>Plot <select id="plot">{options}</select></label>
|
||||||
<div id="fig"></div>
|
<div id="fig"></div>
|
||||||
<div id="barre"></div>
|
<div id="barre"></div>
|
||||||
<section id="edition" hidden><b id="edit-plage"></b>
|
<section id="edition" hidden><b id="edit-plage"></b>
|
||||||
<textarea id="edit-texte" rows="3"></textarea>
|
<textarea id="edit-texte" rows="10"></textarea>
|
||||||
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span></p></section>
|
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span><button id="supprimer">Delete</button></p></section>
|
||||||
<p id="plage">Drag on the bar above to select a time range.</p>
|
<p id="plage">Drag on the bar above to select a time range.</p>
|
||||||
<textarea id="texte" rows="3" placeholder="What do we see in this range?"></textarea>
|
<textarea id="texte" rows="10" placeholder="What do we see in this range?"></textarea>
|
||||||
<p><button id="add" disabled>Add</button></p>
|
<p><button id="add" disabled>Add</button></p>
|
||||||
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
||||||
{PAGE_JS}</script>
|
{PAGE_JS}</script>
|
||||||
@@ -293,20 +305,33 @@ def ajouter(corps):
|
|||||||
|
|
||||||
def modifier(corps):
|
def modifier(corps):
|
||||||
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte) -> l'étiquette
|
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte) -> l'étiquette
|
||||||
écrite ; ValueError s'il n'est pas bon. Retrouvée par son contenu, pas par son rang : le fichier a pu changer à la main
|
écrite ; ValueError s'il n'est pas bon."""
|
||||||
depuis le chargement de la page. Les autres lignes restent telles quelles."""
|
|
||||||
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
|
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
|
||||||
if station not in chargeur.stations():
|
if station not in chargeur.stations():
|
||||||
raise ValueError("unknown station")
|
raise ValueError("unknown station")
|
||||||
if not description:
|
if not description:
|
||||||
raise ValueError("empty text")
|
raise ValueError("empty text")
|
||||||
|
label = {**avant, "description": description}
|
||||||
|
label.pop("revue", None) # texte changé : à revoir par le label-reviewer (D-101)
|
||||||
|
return remplace(station, avant, label)
|
||||||
|
|
||||||
|
|
||||||
|
def supprimer(corps):
|
||||||
|
"""Le corps d'un Delete (station, avant : l'étiquette telle que la page l'a lue) -> l'étiquette retirée."""
|
||||||
|
if corps["station"] not in chargeur.stations():
|
||||||
|
raise ValueError("unknown station")
|
||||||
|
remplace(corps["station"], corps["avant"], None)
|
||||||
|
return corps["avant"]
|
||||||
|
|
||||||
|
|
||||||
|
def remplace(station, avant, label):
|
||||||
|
"""Remplace l'étiquette avant par label (None : la retire) -> label. Retrouvée par son contenu, pas par son rang : le
|
||||||
|
fichier a pu changer à la main depuis le chargement de la page. Les autres lignes restent telles quelles."""
|
||||||
f = fichier(station)
|
f = fichier(station)
|
||||||
lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else []
|
lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else []
|
||||||
for i, ligne in enumerate(lignes):
|
for i, ligne in enumerate(lignes):
|
||||||
if ligne.strip() and json.loads(ligne) == avant:
|
if ligne.strip() and json.loads(ligne) == avant:
|
||||||
label = {**avant, "description": description}
|
lignes[i:i + 1] = [] if label is None else [json.dumps(label, ensure_ascii=False)]
|
||||||
label.pop("revue", None) # texte changé : à revoir par le label-reviewer (D-101)
|
|
||||||
lignes[i] = json.dumps(label, ensure_ascii=False)
|
|
||||||
provisoire = f.with_name(f.name + ".tmp") # écrit à côté puis remplacé : une coupure ne peut pas abîmer le fichier
|
provisoire = f.with_name(f.name + ".tmp") # écrit à côté puis remplacé : une coupure ne peut pas abîmer le fichier
|
||||||
provisoire.write_text("\n".join(lignes), encoding="utf-8")
|
provisoire.write_text("\n".join(lignes), encoding="utf-8")
|
||||||
os.replace(provisoire, f)
|
os.replace(provisoire, f)
|
||||||
@@ -354,6 +379,9 @@ class Serveur(chargeur.Chargeur):
|
|||||||
def do_PUT(self):
|
def do_PUT(self):
|
||||||
self.ecrit(modifier)
|
self.ecrit(modifier)
|
||||||
|
|
||||||
|
def do_DELETE(self):
|
||||||
|
self.ecrit(supprimer)
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
if sys.argv[1:] == ["serve"]:
|
if sys.argv[1:] == ["serve"]:
|
||||||
|
|||||||
@@ -28,7 +28,7 @@ Détails : `extraction/README.md`.
|
|||||||
python3 labeling/labeling.py
|
python3 labeling/labeling.py
|
||||||
```
|
```
|
||||||
|
|
||||||
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, puis Save. Ses bornes se corrigent, et elle se retire, dans ce fichier, puis recharger la page. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
|
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, puis Save, ou la retirer par Delete. Ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
|
||||||
|
|
||||||
Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100).
|
Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100).
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user