Automatic labels, first trial: the analyst labels JUNGFRAU 20-25.10 alone with the labels map (7 labels in labeling/auto/, analysis beside them); the labeling tool shows manual or auto labels from a Labels menu (D-105)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c4a39492bf
commit
2cd129413e
38 files changed
+2468
-22
No files matched your search
+37
-22
@@ -2,7 +2,7 @@
|
||||
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
|
||||
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
|
||||
metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
|
||||
labeling/manual/<STATION>.jsonl (D-102) : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||
labeling/manual/<STATION>.jsonl (D-102), ou dans labeling/auto/<STATION>.jsonl, celles de l'analyste (D-105), au choix du menu Labels : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
|
||||
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
|
||||
enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
|
||||
@@ -34,6 +34,7 @@ from detecteurs import ROOT, donnees # noqa: E402
|
||||
from plotly.offline import get_plotlyjs_version # noqa: E402
|
||||
|
||||
PORT = 8767 # ni celui de common.page (8765), ni celui du data loader (8766)
|
||||
DOSSIERS = ("manual", "auto") # les étiquettes de l'expert (D-102), celles de l'analyste (D-105)
|
||||
# Le menu Advanced d'Explore (select_graph, Dashboard/layouts/ExploreLayout.py de l'application de référence), dans son ordre
|
||||
PLOTS = (("error_value", "Error value"), ("x", "X [px]"), ("y", "Y [px]"),
|
||||
("relative_x", "Relative Horizontal Shift"), ("relative_y", "Relative Vertical Shift"),
|
||||
@@ -49,6 +50,7 @@ FORMAT = "%Y-%m-%dT%H:%MZ"
|
||||
PAGE_JS = """
|
||||
const GRIS = '#6b6b66', BLEU = '#2a78d6', VOIE = 22; // VOIE : px par rangée d'étiquettes
|
||||
const fig = document.getElementById('fig'), barre = document.getElementById('barre'), menu = document.getElementById('plot');
|
||||
const source = document.getElementById('source');
|
||||
const texte = document.getElementById('texte'), add = document.getElementById('add'), plage = document.getElementById('plage');
|
||||
const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte');
|
||||
const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z
|
||||
@@ -139,7 +141,7 @@ editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition();
|
||||
document.getElementById('fermer').onclick = () => ouvre(null);
|
||||
document.getElementById('supprimer').onclick = async () => {
|
||||
if (!confirm('Delete this label?')) return;
|
||||
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, avant: ouverte})}).catch(e => e);
|
||||
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, dossier: source.value, avant: ouverte})}).catch(e => e);
|
||||
if (!r.ok) return alert('Not deleted: ' + (r.statusText || r.message));
|
||||
labels = labels.filter(l => l !== ouverte);
|
||||
ouverte = null;
|
||||
@@ -149,7 +151,7 @@ document.getElementById('supprimer').onclick = async () => {
|
||||
};
|
||||
save.onclick = async () => {
|
||||
save.disabled = true;
|
||||
const corps = {station: STATION, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
|
||||
const corps = {station: STATION, dossier: source.value, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
|
||||
const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e);
|
||||
if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre
|
||||
majEdition();
|
||||
@@ -163,10 +165,15 @@ save.onclick = async () => {
|
||||
};
|
||||
|
||||
menu.onchange = dessineFig;
|
||||
source.onchange = () => {
|
||||
ouvre(null);
|
||||
if (ouverte) return source.value = DOSSIERS.find(d => d !== source.value); // changements gardés : on reste
|
||||
charge();
|
||||
};
|
||||
texte.oninput = maj;
|
||||
add.onclick = async () => {
|
||||
add.disabled = true;
|
||||
const corps = {station: STATION, debut: choix[0], fin: choix[1], description: texte.value.trim()};
|
||||
const corps = {station: STATION, dossier: source.value, debut: choix[0], fin: choix[1], description: texte.value.trim()};
|
||||
const r = await fetch('/labels', {method: 'POST', body: JSON.stringify(corps)}).catch(e => e);
|
||||
if (!r.ok) { // rien n'est perdu : le texte et la plage restent dans la page
|
||||
maj();
|
||||
@@ -187,15 +194,19 @@ dessineFig().then(dessineBarre).then(() => {
|
||||
});
|
||||
barre.on('plotly_deselect', () => choisit(null));
|
||||
barre.on('plotly_click', ev => ouvre(tries[ev.points[0].pointIndex]));
|
||||
// Lues à chaque chargement, pas écrites dans la page : recharger montre toujours le fichier.
|
||||
fetch('/labels?station=' + encodeURIComponent(STATION))
|
||||
charge();
|
||||
});
|
||||
|
||||
// Lues à chaque chargement, pas écrites dans la page : recharger montre toujours le fichier.
|
||||
function charge() {
|
||||
return fetch('/labels?station=' + encodeURIComponent(STATION) + '&dossier=' + source.value)
|
||||
.then(r => r.ok ? r.json() : Promise.reject(new Error(r.statusText)))
|
||||
.then(l => {
|
||||
labels = l.filter(x => x.debut < B && x.fin > A);
|
||||
return dessineBarre().then(() => Plotly.relayout(fig, {shapes: zones()}));
|
||||
})
|
||||
.catch(e => alert('Labels not read: ' + e.message));
|
||||
});
|
||||
}
|
||||
"""
|
||||
|
||||
|
||||
@@ -267,6 +278,7 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
|
||||
<h2>Labeling, {html.escape(station)}</h2>
|
||||
{chargeur.formulaire(station, du or "", au or "")}
|
||||
<label>Plot <select id="plot">{options}</select></label>
|
||||
<label style="margin-left:16px">Labels <select id="source">{"".join(f"<option>{d}</option>" for d in DOSSIERS)}</select></label>
|
||||
<div id="fig"></div>
|
||||
<div id="barre"></div>
|
||||
<section id="edition" hidden><b>From</b> <input type="datetime-local" id="edit-debut" step="60"> <b>to</b> <input type="datetime-local" id="edit-fin" step="60"> UTC
|
||||
@@ -275,18 +287,20 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
|
||||
<p id="plage">Drag on the bar above to select a time range.</p>
|
||||
<textarea id="texte" rows="5" placeholder="What do we see in this range?"></textarea>
|
||||
<p><button id="add" disabled>Add</button></p>
|
||||
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
||||
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, DOSSIERS = {js(DOSSIERS)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
||||
{PAGE_JS}</script>
|
||||
</body></html>""", encoding="utf-8")
|
||||
return chemin
|
||||
|
||||
|
||||
def fichier(station):
|
||||
return ICI / "manual" / f"{station}.jsonl"
|
||||
def fichier(station, dossier):
|
||||
if dossier not in DOSSIERS: # devient un chemin, comme la station
|
||||
raise ValueError("unknown labels folder")
|
||||
return ICI / dossier / f"{station}.jsonl"
|
||||
|
||||
|
||||
def lire(station):
|
||||
f = fichier(station)
|
||||
def lire(station, dossier):
|
||||
f = fichier(station, dossier)
|
||||
# split et non splitlines : celui-ci couperait aussi sur les séparateurs Unicode que le texte peut contenir
|
||||
return [json.loads(l) for l in f.read_text(encoding="utf-8").split("\n") if l.strip()] if f.exists() else []
|
||||
|
||||
@@ -299,7 +313,7 @@ def ajouter(corps):
|
||||
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
|
||||
raise ValueError("empty text or range")
|
||||
label = {"debut": debut, "fin": fin, "description": description}
|
||||
f = fichier(station)
|
||||
f = fichier(station, corps.get("dossier", "manual"))
|
||||
# Une ligne retirée à la main peut laisser le fichier sans fin de ligne : la suivante se collerait à elle.
|
||||
avant = f.read_bytes() if f.exists() else b""
|
||||
with open(f, "ab") as sortie:
|
||||
@@ -319,21 +333,21 @@ def modifier(corps):
|
||||
raise ValueError("empty text or range")
|
||||
label = {**avant, "debut": debut, "fin": fin, "description": description} # à leur place : l'ordre des champs ne change pas
|
||||
label.pop("revue", None) # texte ou bornes changés : à revoir par /review-labels (D-103)
|
||||
return remplace(station, avant, label)
|
||||
return remplace(station, corps.get("dossier", "manual"), avant, label)
|
||||
|
||||
|
||||
def supprimer(corps):
|
||||
"""Le corps d'un Delete (station, avant : l'étiquette telle que la page l'a lue) -> l'étiquette retirée."""
|
||||
if corps["station"] not in chargeur.stations():
|
||||
raise ValueError("unknown station")
|
||||
remplace(corps["station"], corps["avant"], None)
|
||||
remplace(corps["station"], corps.get("dossier", "manual"), corps["avant"], None)
|
||||
return corps["avant"]
|
||||
|
||||
|
||||
def remplace(station, avant, label):
|
||||
def remplace(station, dossier, avant, label):
|
||||
"""Remplace l'étiquette avant par label (None : la retire) -> label. Retrouvée par son contenu, pas par son rang : le
|
||||
fichier a pu changer à la main depuis le chargement de la page. Les autres lignes restent telles quelles."""
|
||||
f = fichier(station)
|
||||
f = fichier(station, dossier)
|
||||
lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else []
|
||||
for i, ligne in enumerate(lignes):
|
||||
if ligne.strip() and json.loads(ligne) == avant:
|
||||
@@ -360,13 +374,14 @@ class Serveur(chargeur.Chargeur):
|
||||
url = urlsplit(self.path)
|
||||
if url.path != "/labels":
|
||||
return super().do_GET()
|
||||
station = parse_qs(url.query).get("station", [""])[0]
|
||||
if station not in chargeur.stations():
|
||||
return self.send_error(400, "Unknown station")
|
||||
q = parse_qs(url.query)
|
||||
station, dossier = q.get("station", [""])[0], q.get("dossier", ["manual"])[0]
|
||||
if station not in chargeur.stations() or dossier not in DOSSIERS:
|
||||
return self.send_error(400, "Unknown station or labels folder")
|
||||
try:
|
||||
self.repond(lire(station))
|
||||
self.repond(lire(station, dossier))
|
||||
except ValueError as e: # une ligne abîmée à la main : le dire, sans toucher au fichier
|
||||
self.send_error(500, f"labeling/manual/{station}.jsonl unreadable: {e}")
|
||||
self.send_error(500, f"labeling/{dossier}/{station}.jsonl unreadable: {e}")
|
||||
|
||||
def ecrit(self, action):
|
||||
if self.path != "/labels":
|
||||
|
||||
Reference in new issue
Block a user