Labeler agent: an analyst that only produces labels (etiqueteur, D-106), one category per label (D-107), anomalies only and one Thermal displacement category (D-108); second trial on JUNGFRAU 30.09-05.10, 15 labels; the labeling tool gets a Category box above the text, to add and to edit

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 14:44:08 +01:00
1 parent 2cd129413e
commit 7d43f213df
37 files changed
+3787 -20

No files matched your search

+43 -19
View File
@@ -1,11 +1,11 @@
"""L'outil d'étiquetage de l'expert (D-098, point 68 du plan du journal du matin) : se repérer dans le temps et écrire ce qu'on
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
voit, en langage naturel, avec au besoin une catégorie du journal (D-107) ; les données se consultent sur le monitoring. En haut, le data loader de la page
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
labeling/manual/<STATION>.jsonl (D-102), ou dans labeling/auto/<STATION>.jsonl, celles de l'analyste (D-105), au choix du menu Labels : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
labeling/manual/<STATION>.jsonl (D-102), ou dans labeling/auto/<STATION>.jsonl, celles de l'étiqueteur (D-105, D-106), au choix du menu Labels : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "categorie": "passage", "description": "…"}, en UTC, les noms
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
enregistre son nouveau texte, sa catégorie et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md).
@@ -31,10 +31,11 @@ import chargeur # noqa: E402 (son formulaire, son serveur ; bascule seule sur
import detecteurs # noqa: E402 (les couleurs et les références de la page Status)
from common.stations import load_csv, parse_name # noqa: E402
from detecteurs import ROOT, donnees # noqa: E402
from categories import CATEGORIES # noqa: E402 (mis sur le chemin par detecteurs)
from plotly.offline import get_plotlyjs_version # noqa: E402
PORT = 8767 # ni celui de common.page (8765), ni celui du data loader (8766)
DOSSIERS = ("manual", "auto") # les étiquettes de l'expert (D-102), celles de l'analyste (D-105)
DOSSIERS = ("manual", "auto") # les étiquettes de l'expert (D-102), celles de l'étiqueteur (D-105, D-106)
# Le menu Advanced d'Explore (select_graph, Dashboard/layouts/ExploreLayout.py de l'application de référence), dans son ordre
PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"),
("relative_x", "Relative Horizontal Shift"), ("relative_y", "Relative Vertical Shift"),
@@ -44,6 +45,10 @@ CAMERA = "Camera movement"
# Pas de copie des identifiants (CLAUDE.md, « data/ ») : ces fichiers ne sont pas lus ; SIM_CCID a souvent l'air d'un nombre.
IDENTIFIANT = re.compile(r"SIM_CCID$|ip(_|$)")
FORMAT = "%Y-%m-%dT%H:%MZ"
# Les catégories du journal (D-074), ses deux thermiques réunies, le sens ne comptant pas (D-108), plus « aucune » : ce qui
# ne touche pas les courbes, comme l'analyste (analyser-lot)
CATEGORIES_LABELS = ({k: c["label"] for k, c in CATEGORIES.items() if not k.endswith("_thermique")}
| {"deplacement_thermique": "Thermal displacement", "aucune": "None (curves untouched)"})
# Une figure Plotly n'a qu'un mode de glissement : le plot zoome, la barre, figure à part, sélectionne. Elle reprend à chaque
# changement du plot sa plage et ses marges, la légende pouvant les élargir : c'est ce qui garde les abscisses alignées.
@@ -55,11 +60,13 @@ const texte = document.getElementById('texte'), add = document.getElementById('a
const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte');
const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z
const save = document.getElementById('save'), note = document.getElementById('edit-note');
const categorie = document.getElementById('categorie'), editCategorie = document.getElementById('edit-categorie'); // '' : sans
const AIDE = plage.textContent;
// choix : la plage sélectionnée, [debut, fin] au format des étiquettes ; tries : les étiquettes dans l'ordre de la barre ;
// ouverte : celle affichée sous la barre
let labels = [], choix = null, tries = [], ouverte = null;
const lisible = s => s.slice(0, 16).replace('T', ' ');
const cat = l => l.categorie ? `[${CATS[l.categorie] || l.categorie}] ` : '';
const marge = () => ({l: 60, r: 20, t: 10, b: 30});
function zones() {
@@ -96,9 +103,9 @@ function dessineBarre() {
const n = Math.max(1, voies.length), f = fig._fullLayout;
return Plotly.react(barre, [{type: 'bar', orientation: 'h', y: voie, base: tries.map(l => lisible(l.debut)),
x: tries.map(l => Date.parse(l.fin) - Date.parse(l.debut)), width: 0.85, marker: {color: GRIS, line: {color: 'white', width: 2}}, // le liseré sépare deux étiquettes bout à bout
text: tries.map(l => l.description),
text: tries.map(l => cat(l) + l.description),
textposition: 'inside', insidetextanchor: 'start', textangle: 0, unselected: {marker: {opacity: 1}}, // sinon une sélection les pâlit
hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC<br>${l.description.replace(/\\n/g, '<br>')}<br><i>click: read, edit</i>`)}],
hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC<br>${cat(l)}${l.description.replace(/\\n/g, '<br>')}<br><i>click: read, edit</i>`)}],
{height: 40 + VOIE * n, dragmode: 'select', selectdirection: 'h', hovermode: 'closest', plot_bgcolor: '#f2f2ef', showlegend: false,
margin: {...marge(), l: f._size.l, r: f._size.r}, uniformtext: {minsize: 9, mode: 'hide'},
xaxis: {type: 'date', range: f.xaxis.range.slice(), showgrid: false},
@@ -118,7 +125,7 @@ function choisit(c) {
return Plotly.relayout(fig, {shapes: zones()});
}
const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin);
const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editCategorie.value !== (ouverte.categorie || '') || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin);
function majEdition(message = '') {
save.disabled = !modifiee() || !editTexte.value.trim() || !(editDebut.value && editFin.value && editDebut.value < editFin.value);
@@ -133,11 +140,12 @@ function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un text
editDebut.value = l.debut.slice(0, 16);
editFin.value = l.fin.slice(0, 16);
editTexte.value = l.description;
editCategorie.value = l.categorie || '';
majEdition();
edition.scrollIntoView({block: 'nearest'});
}
editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition();
editTexte.oninput = editDebut.oninput = editFin.oninput = editCategorie.onchange = () => majEdition();
document.getElementById('fermer').onclick = () => ouvre(null);
document.getElementById('supprimer').onclick = async () => {
if (!confirm('Delete this label?')) return;
@@ -151,7 +159,7 @@ document.getElementById('supprimer').onclick = async () => {
};
save.onclick = async () => {
save.disabled = true;
const corps = {station: STATION, dossier: source.value, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
const corps = {station: STATION, dossier: source.value, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', categorie: editCategorie.value, description: editTexte.value.trim()};
const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e);
if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre
majEdition();
@@ -173,14 +181,14 @@ source.onchange = () => {
texte.oninput = maj;
add.onclick = async () => {
add.disabled = true;
const corps = {station: STATION, dossier: source.value, debut: choix[0], fin: choix[1], description: texte.value.trim()};
const corps = {station: STATION, dossier: source.value, debut: choix[0], fin: choix[1], categorie: categorie.value, description: texte.value.trim()};
const r = await fetch('/labels', {method: 'POST', body: JSON.stringify(corps)}).catch(e => e);
if (!r.ok) { // rien n'est perdu : le texte et la plage restent dans la page
maj();
return alert('Not saved: ' + (r.statusText || r.message));
}
labels.push(await r.json());
texte.value = '';
texte.value = categorie.value = '';
await dessineBarre();
await Plotly.relayout(barre, {selections: []});
await choisit(null);
@@ -269,10 +277,11 @@ def page(dossier, du=None, au=None):
chemin.parent.mkdir(exist_ok=True)
js = lambda v: json.dumps(v, separators=(",", ":")).replace("</", "<\\/") # noqa: E731
options = "".join(f'<option value="{i}">{html.escape(p["titre"])}</option>' for i, p in enumerate(liste))
cats = '<option value="">(no category)</option>' + "".join(f'<option value="{k}">{html.escape(v)}</option>' for k, v in CATEGORIES_LABELS.items())
chemin.write_text(f"""<!doctype html><html lang="en"><head><meta charset="utf-8"><title>Labeling {html.escape(nom)}</title>
<script src="https://cdn.plot.ly/plotly-{get_plotlyjs_version()}.min.js"></script>
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}} .cat{{margin:6px 0}}
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0;display:flex;gap:6px;align-items:center}}
#supprimer{{margin-left:auto;color:#fff;background:#c0392b;border:1px solid #a93226;border-radius:4px;padding:1px 10px}}</style></head><body>
<h2>Labeling, {html.escape(station)}</h2>
@@ -282,12 +291,14 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
<div id="fig"></div>
<div id="barre"></div>
<section id="edition" hidden><b>From</b> <input type="datetime-local" id="edit-debut" step="60"> <b>to</b> <input type="datetime-local" id="edit-fin" step="60"> UTC
<div class="cat"><label><b>Category</b> <select id="edit-categorie">{cats}</select></label></div>
<textarea id="edit-texte" rows="5"></textarea>
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span><button id="supprimer">Delete</button></p></section>
<p id="plage">Drag on the bar above to select a time range.</p>
<div class="cat"><label><b>Category</b> <select id="categorie">{cats}</select></label></div>
<textarea id="texte" rows="5" placeholder="What do we see in this range?"></textarea>
<p><button id="add" disabled>Add</button></p>
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, DOSSIERS = {js(DOSSIERS)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, DOSSIERS = {js(DOSSIERS)}, CATS = {js(CATEGORIES_LABELS)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
{PAGE_JS}</script>
</body></html>""", encoding="utf-8")
return chemin
@@ -305,14 +316,23 @@ def lire(station, dossier):
return [json.loads(l) for l in f.read_text(encoding="utf-8").split("\n") if l.strip()] if f.exists() else []
def categorie(corps):
"""La catégorie d'un Add ou d'un Save : une clé de CATEGORIES_LABELS, ou '' (sans catégorie)."""
c = corps.get("categorie", "")
if c and c not in CATEGORIES_LABELS:
raise ValueError("unknown category")
return c
def ajouter(corps):
"""Le corps d'un Add (station, debut, fin, description) -> l'étiquette écrite ; ValueError s'il n'est pas bon."""
"""Le corps d'un Add (station, debut, fin, categorie, description) -> l'étiquette écrite ; ValueError s'il n'est pas bon."""
station, debut, fin, description = corps["station"], corps["debut"], corps["fin"], corps["description"].strip()
if station not in chargeur.stations(): # le nom devient un chemin : une station de data/, rien d'autre
raise ValueError("unknown station")
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
raise ValueError("empty text or range")
label = {"debut": debut, "fin": fin, "description": description}
c = categorie(corps)
label = {"debut": debut, "fin": fin} | ({"categorie": c} if c else {}) | {"description": description}
f = fichier(station, corps.get("dossier", "manual"))
# Une ligne retirée à la main peut laisser le fichier sans fin de ligne : la suivante se collerait à elle.
avant = f.read_bytes() if f.exists() else b""
@@ -322,8 +342,8 @@ def ajouter(corps):
def modifier(corps):
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte, debut, fin :
ses bornes, facultatives) -> l'étiquette
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte, categorie,
debut, fin : ses bornes, facultatives) -> l'étiquette
écrite ; ValueError s'il n'est pas bon."""
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
debut, fin = corps.get("debut", avant["debut"]), corps.get("fin", avant["fin"])
@@ -331,8 +351,12 @@ def modifier(corps):
raise ValueError("unknown station")
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
raise ValueError("empty text or range")
label = {**avant, "debut": debut, "fin": fin, "description": description} # à leur place : l'ordre des champs ne change pas
label.pop("revue", None) # texte ou bornes changés : à revoir par /review-labels (D-103)
c = categorie(corps) if "categorie" in corps else avant.get("categorie", "")
# debut, fin, categorie en tête, comme à l'Add ; les autres champs à leur place
label = dict.fromkeys(("debut", "fin", "categorie")) | avant | {"debut": debut, "fin": fin, "categorie": c, "description": description}
if not c:
del label["categorie"]
label.pop("revue", None) # texte, catégorie ou bornes changés : à revoir par /review-labels (D-103)
return remplace(station, corps.get("dossier", "manual"), avant, label)