Automatic labels, first trial: the analyst labels JUNGFRAU 20-25.10 alone with the labels map (7 labels in labeling/auto/, analysis beside them); the labeling tool shows manual or auto labels from a Labels menu (D-105)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 13:40:29 +01:00
1 parent c4a39492bf
commit 2cd129413e
38 files changed
+2468 -22

No files matched your search

+37 -22
View File
@@ -2,7 +2,7 @@
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
labeling/manual/<STATION>.jsonl (D-102) : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
labeling/manual/<STATION>.jsonl (D-102), ou dans labeling/auto/<STATION>.jsonl, celles de l'analyste (D-105), au choix du menu Labels : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
@@ -34,6 +34,7 @@ from detecteurs import ROOT, donnees # noqa: E402
from plotly.offline import get_plotlyjs_version # noqa: E402
PORT = 8767 # ni celui de common.page (8765), ni celui du data loader (8766)
DOSSIERS = ("manual", "auto") # les étiquettes de l'expert (D-102), celles de l'analyste (D-105)
# Le menu Advanced d'Explore (select_graph, Dashboard/layouts/ExploreLayout.py de l'application de référence), dans son ordre
PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"),
("relative_x", "Relative Horizontal Shift"), ("relative_y", "Relative Vertical Shift"),
@@ -49,6 +50,7 @@ FORMAT = "%Y-%m-%dT%H:%MZ"
PAGE_JS = """
const GRIS = '#6b6b66', BLEU = '#2a78d6', VOIE = 22; // VOIE : px par rangée d'étiquettes
const fig = document.getElementById('fig'), barre = document.getElementById('barre'), menu = document.getElementById('plot');
const source = document.getElementById('source');
const texte = document.getElementById('texte'), add = document.getElementById('add'), plage = document.getElementById('plage');
const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte');
const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z
@@ -139,7 +141,7 @@ editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition();
document.getElementById('fermer').onclick = () => ouvre(null);
document.getElementById('supprimer').onclick = async () => {
if (!confirm('Delete this label?')) return;
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, avant: ouverte})}).catch(e => e);
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, dossier: source.value, avant: ouverte})}).catch(e => e);
if (!r.ok) return alert('Not deleted: ' + (r.statusText || r.message));
labels = labels.filter(l => l !== ouverte);
ouverte = null;
@@ -149,7 +151,7 @@ document.getElementById('supprimer').onclick = async () => {
};
save.onclick = async () => {
save.disabled = true;
const corps = {station: STATION, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
const corps = {station: STATION, dossier: source.value, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e);
if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre
majEdition();
@@ -163,10 +165,15 @@ save.onclick = async () => {
};
menu.onchange = dessineFig;
source.onchange = () => {
ouvre(null);
if (ouverte) return source.value = DOSSIERS.find(d => d !== source.value); // changements gardés : on reste
charge();
};
texte.oninput = maj;
add.onclick = async () => {
add.disabled = true;
const corps = {station: STATION, debut: choix[0], fin: choix[1], description: texte.value.trim()};
const corps = {station: STATION, dossier: source.value, debut: choix[0], fin: choix[1], description: texte.value.trim()};
const r = await fetch('/labels', {method: 'POST', body: JSON.stringify(corps)}).catch(e => e);
if (!r.ok) { // rien n'est perdu : le texte et la plage restent dans la page
maj();
@@ -187,15 +194,19 @@ dessineFig().then(dessineBarre).then(() => {
});
barre.on('plotly_deselect', () => choisit(null));
barre.on('plotly_click', ev => ouvre(tries[ev.points[0].pointIndex]));
// Lues à chaque chargement, pas écrites dans la page : recharger montre toujours le fichier.
fetch('/labels?station=' + encodeURIComponent(STATION))
charge();
});
// Lues à chaque chargement, pas écrites dans la page : recharger montre toujours le fichier.
function charge() {
return fetch('/labels?station=' + encodeURIComponent(STATION) + '&dossier=' + source.value)
.then(r => r.ok ? r.json() : Promise.reject(new Error(r.statusText)))
.then(l => {
labels = l.filter(x => x.debut < B && x.fin > A);
return dessineBarre().then(() => Plotly.relayout(fig, {shapes: zones()}));
})
.catch(e => alert('Labels not read: ' + e.message));
});
}
"""
@@ -267,6 +278,7 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
<h2>Labeling, {html.escape(station)}</h2>
{chargeur.formulaire(station, du or "", au or "")}
<label>Plot <select id="plot">{options}</select></label>
<label style="margin-left:16px">Labels <select id="source">{"".join(f"<option>{d}</option>" for d in DOSSIERS)}</select></label>
<div id="fig"></div>
<div id="barre"></div>
<section id="edition" hidden><b>From</b> <input type="datetime-local" id="edit-debut" step="60"> <b>to</b> <input type="datetime-local" id="edit-fin" step="60"> UTC
@@ -275,18 +287,20 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
<p id="plage">Drag on the bar above to select a time range.</p>
<textarea id="texte" rows="5" placeholder="What do we see in this range?"></textarea>
<p><button id="add" disabled>Add</button></p>
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, DOSSIERS = {js(DOSSIERS)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
{PAGE_JS}</script>
</body></html>""", encoding="utf-8")
return chemin
def fichier(station):
return ICI / "manual" / f"{station}.jsonl"
def fichier(station, dossier):
if dossier not in DOSSIERS: # devient un chemin, comme la station
raise ValueError("unknown labels folder")
return ICI / dossier / f"{station}.jsonl"
def lire(station):
f = fichier(station)
def lire(station, dossier):
f = fichier(station, dossier)
# split et non splitlines : celui-ci couperait aussi sur les séparateurs Unicode que le texte peut contenir
return [json.loads(l) for l in f.read_text(encoding="utf-8").split("\n") if l.strip()] if f.exists() else []
@@ -299,7 +313,7 @@ def ajouter(corps):
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
raise ValueError("empty text or range")
label = {"debut": debut, "fin": fin, "description": description}
f = fichier(station)
f = fichier(station, corps.get("dossier", "manual"))
# Une ligne retirée à la main peut laisser le fichier sans fin de ligne : la suivante se collerait à elle.
avant = f.read_bytes() if f.exists() else b""
with open(f, "ab") as sortie:
@@ -319,21 +333,21 @@ def modifier(corps):
raise ValueError("empty text or range")
label = {**avant, "debut": debut, "fin": fin, "description": description} # à leur place : l'ordre des champs ne change pas
label.pop("revue", None) # texte ou bornes changés : à revoir par /review-labels (D-103)
return remplace(station, avant, label)
return remplace(station, corps.get("dossier", "manual"), avant, label)
def supprimer(corps):
"""Le corps d'un Delete (station, avant : l'étiquette telle que la page l'a lue) -> l'étiquette retirée."""
if corps["station"] not in chargeur.stations():
raise ValueError("unknown station")
remplace(corps["station"], corps["avant"], None)
remplace(corps["station"], corps.get("dossier", "manual"), corps["avant"], None)
return corps["avant"]
def remplace(station, avant, label):
def remplace(station, dossier, avant, label):
"""Remplace l'étiquette avant par label (None : la retire) -> label. Retrouvée par son contenu, pas par son rang : le
fichier a pu changer à la main depuis le chargement de la page. Les autres lignes restent telles quelles."""
f = fichier(station)
f = fichier(station, dossier)
lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else []
for i, ligne in enumerate(lignes):
if ligne.strip() and json.loads(ligne) == avant:
@@ -360,13 +374,14 @@ class Serveur(chargeur.Chargeur):
url = urlsplit(self.path)
if url.path != "/labels":
return super().do_GET()
station = parse_qs(url.query).get("station", [""])[0]
if station not in chargeur.stations():
return self.send_error(400, "Unknown station")
q = parse_qs(url.query)
station, dossier = q.get("station", [""])[0], q.get("dossier", ["manual"])[0]
if station not in chargeur.stations() or dossier not in DOSSIERS:
return self.send_error(400, "Unknown station or labels folder")
try:
self.repond(lire(station))
self.repond(lire(station, dossier))
except ValueError as e: # une ligne abîmée à la main : le dire, sans toucher au fichier
self.send_error(500, f"labeling/manual/{station}.jsonl unreadable: {e}")
self.send_error(500, f"labeling/{dossier}/{station}.jsonl unreadable: {e}")
def ecrit(self, action):
if self.path != "/labels":