Labeler agent: an analyst that only produces labels (etiqueteur, D-106), one category per label (D-107), anomalies only and one Thermal displacement category (D-108); second trial on JUNGFRAU 30.09-05.10, 15 labels; the labeling tool gets a Category box above the text, to add and to edit
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
2cd129413e
commit
7d43f213df
37 files changed
+3787
-20
No files matched your search
+43
-19
@@ -1,11 +1,11 @@
|
||||
"""L'outil d'étiquetage de l'expert (D-098, point 68 du plan du journal du matin) : se repérer dans le temps et écrire ce qu'on
|
||||
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
|
||||
voit, en langage naturel, avec au besoin une catégorie du journal (D-107) ; les données se consultent sur le monitoring. En haut, le data loader de la page
|
||||
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
|
||||
metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
|
||||
labeling/manual/<STATION>.jsonl (D-102), ou dans labeling/auto/<STATION>.jsonl, celles de l'analyste (D-105), au choix du menu Labels : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||
labeling/manual/<STATION>.jsonl (D-102), ou dans labeling/auto/<STATION>.jsonl, celles de l'étiqueteur (D-105, D-106), au choix du menu Labels : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "categorie": "passage", "description": "…"}, en UTC, les noms
|
||||
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
|
||||
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
|
||||
enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
|
||||
enregistre son nouveau texte, sa catégorie et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
|
||||
d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur
|
||||
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
|
||||
le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md).
|
||||
@@ -31,10 +31,11 @@ import chargeur # noqa: E402 (son formulaire, son serveur ; bascule seule sur
|
||||
import detecteurs # noqa: E402 (les couleurs et les références de la page Status)
|
||||
from common.stations import load_csv, parse_name # noqa: E402
|
||||
from detecteurs import ROOT, donnees # noqa: E402
|
||||
from categories import CATEGORIES # noqa: E402 (mis sur le chemin par detecteurs)
|
||||
from plotly.offline import get_plotlyjs_version # noqa: E402
|
||||
|
||||
PORT = 8767 # ni celui de common.page (8765), ni celui du data loader (8766)
|
||||
DOSSIERS = ("manual", "auto") # les étiquettes de l'expert (D-102), celles de l'analyste (D-105)
|
||||
DOSSIERS = ("manual", "auto") # les étiquettes de l'expert (D-102), celles de l'étiqueteur (D-105, D-106)
|
||||
# Le menu Advanced d'Explore (select_graph, Dashboard/layouts/ExploreLayout.py de l'application de référence), dans son ordre
|
||||
PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"),
|
||||
("relative_x", "Relative Horizontal Shift"), ("relative_y", "Relative Vertical Shift"),
|
||||
@@ -44,6 +45,10 @@ CAMERA = "Camera movement"
|
||||
# Pas de copie des identifiants (CLAUDE.md, « data/ ») : ces fichiers ne sont pas lus ; SIM_CCID a souvent l'air d'un nombre.
|
||||
IDENTIFIANT = re.compile(r"SIM_CCID$|ip(_|$)")
|
||||
FORMAT = "%Y-%m-%dT%H:%MZ"
|
||||
# Les catégories du journal (D-074), ses deux thermiques réunies, le sens ne comptant pas (D-108), plus « aucune » : ce qui
|
||||
# ne touche pas les courbes, comme l'analyste (analyser-lot)
|
||||
CATEGORIES_LABELS = ({k: c["label"] for k, c in CATEGORIES.items() if not k.endswith("_thermique")}
|
||||
| {"deplacement_thermique": "Thermal displacement", "aucune": "None (curves untouched)"})
|
||||
|
||||
# Une figure Plotly n'a qu'un mode de glissement : le plot zoome, la barre, figure à part, sélectionne. Elle reprend à chaque
|
||||
# changement du plot sa plage et ses marges, la légende pouvant les élargir : c'est ce qui garde les abscisses alignées.
|
||||
@@ -55,11 +60,13 @@ const texte = document.getElementById('texte'), add = document.getElementById('a
|
||||
const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte');
|
||||
const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z
|
||||
const save = document.getElementById('save'), note = document.getElementById('edit-note');
|
||||
const categorie = document.getElementById('categorie'), editCategorie = document.getElementById('edit-categorie'); // '' : sans
|
||||
const AIDE = plage.textContent;
|
||||
// choix : la plage sélectionnée, [debut, fin] au format des étiquettes ; tries : les étiquettes dans l'ordre de la barre ;
|
||||
// ouverte : celle affichée sous la barre
|
||||
let labels = [], choix = null, tries = [], ouverte = null;
|
||||
const lisible = s => s.slice(0, 16).replace('T', ' ');
|
||||
const cat = l => l.categorie ? `[${CATS[l.categorie] || l.categorie}] ` : '';
|
||||
const marge = () => ({l: 60, r: 20, t: 10, b: 30});
|
||||
|
||||
function zones() {
|
||||
@@ -96,9 +103,9 @@ function dessineBarre() {
|
||||
const n = Math.max(1, voies.length), f = fig._fullLayout;
|
||||
return Plotly.react(barre, [{type: 'bar', orientation: 'h', y: voie, base: tries.map(l => lisible(l.debut)),
|
||||
x: tries.map(l => Date.parse(l.fin) - Date.parse(l.debut)), width: 0.85, marker: {color: GRIS, line: {color: 'white', width: 2}}, // le liseré sépare deux étiquettes bout à bout
|
||||
text: tries.map(l => l.description),
|
||||
text: tries.map(l => cat(l) + l.description),
|
||||
textposition: 'inside', insidetextanchor: 'start', textangle: 0, unselected: {marker: {opacity: 1}}, // sinon une sélection les pâlit
|
||||
hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC<br>${l.description.replace(/\\n/g, '<br>')}<br><i>click: read, edit</i>`)}],
|
||||
hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC<br>${cat(l)}${l.description.replace(/\\n/g, '<br>')}<br><i>click: read, edit</i>`)}],
|
||||
{height: 40 + VOIE * n, dragmode: 'select', selectdirection: 'h', hovermode: 'closest', plot_bgcolor: '#f2f2ef', showlegend: false,
|
||||
margin: {...marge(), l: f._size.l, r: f._size.r}, uniformtext: {minsize: 9, mode: 'hide'},
|
||||
xaxis: {type: 'date', range: f.xaxis.range.slice(), showgrid: false},
|
||||
@@ -118,7 +125,7 @@ function choisit(c) {
|
||||
return Plotly.relayout(fig, {shapes: zones()});
|
||||
}
|
||||
|
||||
const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin);
|
||||
const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editCategorie.value !== (ouverte.categorie || '') || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin);
|
||||
|
||||
function majEdition(message = '') {
|
||||
save.disabled = !modifiee() || !editTexte.value.trim() || !(editDebut.value && editFin.value && editDebut.value < editFin.value);
|
||||
@@ -133,11 +140,12 @@ function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un text
|
||||
editDebut.value = l.debut.slice(0, 16);
|
||||
editFin.value = l.fin.slice(0, 16);
|
||||
editTexte.value = l.description;
|
||||
editCategorie.value = l.categorie || '';
|
||||
majEdition();
|
||||
edition.scrollIntoView({block: 'nearest'});
|
||||
}
|
||||
|
||||
editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition();
|
||||
editTexte.oninput = editDebut.oninput = editFin.oninput = editCategorie.onchange = () => majEdition();
|
||||
document.getElementById('fermer').onclick = () => ouvre(null);
|
||||
document.getElementById('supprimer').onclick = async () => {
|
||||
if (!confirm('Delete this label?')) return;
|
||||
@@ -151,7 +159,7 @@ document.getElementById('supprimer').onclick = async () => {
|
||||
};
|
||||
save.onclick = async () => {
|
||||
save.disabled = true;
|
||||
const corps = {station: STATION, dossier: source.value, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
|
||||
const corps = {station: STATION, dossier: source.value, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', categorie: editCategorie.value, description: editTexte.value.trim()};
|
||||
const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e);
|
||||
if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre
|
||||
majEdition();
|
||||
@@ -173,14 +181,14 @@ source.onchange = () => {
|
||||
texte.oninput = maj;
|
||||
add.onclick = async () => {
|
||||
add.disabled = true;
|
||||
const corps = {station: STATION, dossier: source.value, debut: choix[0], fin: choix[1], description: texte.value.trim()};
|
||||
const corps = {station: STATION, dossier: source.value, debut: choix[0], fin: choix[1], categorie: categorie.value, description: texte.value.trim()};
|
||||
const r = await fetch('/labels', {method: 'POST', body: JSON.stringify(corps)}).catch(e => e);
|
||||
if (!r.ok) { // rien n'est perdu : le texte et la plage restent dans la page
|
||||
maj();
|
||||
return alert('Not saved: ' + (r.statusText || r.message));
|
||||
}
|
||||
labels.push(await r.json());
|
||||
texte.value = '';
|
||||
texte.value = categorie.value = '';
|
||||
await dessineBarre();
|
||||
await Plotly.relayout(barre, {selections: []});
|
||||
await choisit(null);
|
||||
@@ -269,10 +277,11 @@ def page(dossier, du=None, au=None):
|
||||
chemin.parent.mkdir(exist_ok=True)
|
||||
js = lambda v: json.dumps(v, separators=(",", ":")).replace("</", "<\\/") # noqa: E731
|
||||
options = "".join(f'<option value="{i}">{html.escape(p["titre"])}</option>' for i, p in enumerate(liste))
|
||||
cats = '<option value="">(no category)</option>' + "".join(f'<option value="{k}">{html.escape(v)}</option>' for k, v in CATEGORIES_LABELS.items())
|
||||
chemin.write_text(f"""<!doctype html><html lang="en"><head><meta charset="utf-8"><title>Labeling {html.escape(nom)}</title>
|
||||
<script src="https://cdn.plot.ly/plotly-{get_plotlyjs_version()}.min.js"></script>
|
||||
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}
|
||||
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}
|
||||
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}} .cat{{margin:6px 0}}
|
||||
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0;display:flex;gap:6px;align-items:center}}
|
||||
#supprimer{{margin-left:auto;color:#fff;background:#c0392b;border:1px solid #a93226;border-radius:4px;padding:1px 10px}}</style></head><body>
|
||||
<h2>Labeling, {html.escape(station)}</h2>
|
||||
@@ -282,12 +291,14 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
|
||||
<div id="fig"></div>
|
||||
<div id="barre"></div>
|
||||
<section id="edition" hidden><b>From</b> <input type="datetime-local" id="edit-debut" step="60"> <b>to</b> <input type="datetime-local" id="edit-fin" step="60"> UTC
|
||||
<div class="cat"><label><b>Category</b> <select id="edit-categorie">{cats}</select></label></div>
|
||||
<textarea id="edit-texte" rows="5"></textarea>
|
||||
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span><button id="supprimer">Delete</button></p></section>
|
||||
<p id="plage">Drag on the bar above to select a time range.</p>
|
||||
<div class="cat"><label><b>Category</b> <select id="categorie">{cats}</select></label></div>
|
||||
<textarea id="texte" rows="5" placeholder="What do we see in this range?"></textarea>
|
||||
<p><button id="add" disabled>Add</button></p>
|
||||
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, DOSSIERS = {js(DOSSIERS)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
||||
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, DOSSIERS = {js(DOSSIERS)}, CATS = {js(CATEGORIES_LABELS)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
||||
{PAGE_JS}</script>
|
||||
</body></html>""", encoding="utf-8")
|
||||
return chemin
|
||||
@@ -305,14 +316,23 @@ def lire(station, dossier):
|
||||
return [json.loads(l) for l in f.read_text(encoding="utf-8").split("\n") if l.strip()] if f.exists() else []
|
||||
|
||||
|
||||
def categorie(corps):
|
||||
"""La catégorie d'un Add ou d'un Save : une clé de CATEGORIES_LABELS, ou '' (sans catégorie)."""
|
||||
c = corps.get("categorie", "")
|
||||
if c and c not in CATEGORIES_LABELS:
|
||||
raise ValueError("unknown category")
|
||||
return c
|
||||
|
||||
|
||||
def ajouter(corps):
|
||||
"""Le corps d'un Add (station, debut, fin, description) -> l'étiquette écrite ; ValueError s'il n'est pas bon."""
|
||||
"""Le corps d'un Add (station, debut, fin, categorie, description) -> l'étiquette écrite ; ValueError s'il n'est pas bon."""
|
||||
station, debut, fin, description = corps["station"], corps["debut"], corps["fin"], corps["description"].strip()
|
||||
if station not in chargeur.stations(): # le nom devient un chemin : une station de data/, rien d'autre
|
||||
raise ValueError("unknown station")
|
||||
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
|
||||
raise ValueError("empty text or range")
|
||||
label = {"debut": debut, "fin": fin, "description": description}
|
||||
c = categorie(corps)
|
||||
label = {"debut": debut, "fin": fin} | ({"categorie": c} if c else {}) | {"description": description}
|
||||
f = fichier(station, corps.get("dossier", "manual"))
|
||||
# Une ligne retirée à la main peut laisser le fichier sans fin de ligne : la suivante se collerait à elle.
|
||||
avant = f.read_bytes() if f.exists() else b""
|
||||
@@ -322,8 +342,8 @@ def ajouter(corps):
|
||||
|
||||
|
||||
def modifier(corps):
|
||||
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte, debut, fin :
|
||||
ses bornes, facultatives) -> l'étiquette
|
||||
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte, categorie,
|
||||
debut, fin : ses bornes, facultatives) -> l'étiquette
|
||||
écrite ; ValueError s'il n'est pas bon."""
|
||||
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
|
||||
debut, fin = corps.get("debut", avant["debut"]), corps.get("fin", avant["fin"])
|
||||
@@ -331,8 +351,12 @@ def modifier(corps):
|
||||
raise ValueError("unknown station")
|
||||
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
|
||||
raise ValueError("empty text or range")
|
||||
label = {**avant, "debut": debut, "fin": fin, "description": description} # à leur place : l'ordre des champs ne change pas
|
||||
label.pop("revue", None) # texte ou bornes changés : à revoir par /review-labels (D-103)
|
||||
c = categorie(corps) if "categorie" in corps else avant.get("categorie", "")
|
||||
# debut, fin, categorie en tête, comme à l'Add ; les autres champs à leur place
|
||||
label = dict.fromkeys(("debut", "fin", "categorie")) | avant | {"debut": debut, "fin": fin, "categorie": c, "description": description}
|
||||
if not c:
|
||||
del label["categorie"]
|
||||
label.pop("revue", None) # texte, catégorie ou bornes changés : à revoir par /review-labels (D-103)
|
||||
return remplace(station, corps.get("dossier", "manual"), avant, label)
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user