Labeling tool: the open label's bounds are edited in two UTC date fields and saved with its text; plan point 71, an integrator for the labels

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-02 10:40:24 +01:00
1 parent 3a07d45ffe
commit c72ef6fdf1
4 files changed
+37 -18

No files matched your search

+1 -1
View File
@@ -974,7 +974,7 @@ Règles du journal :
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) et de la retirer (Delete, 2026-11-02) ; ses bornes se corrigent dans le fichier.
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) de corriger ses bornes et de la retirer (Delete, 2026-11-02).
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
@@ -127,6 +127,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur |
| 70 | Des étiquettes proposées par l'analyste, vérifiées par l'expert | Décider, Coder | 48, 68, 69 | 2026-11-02 : les étiquettes d'abord, base de connaissance (D-100) ; étiquettes des events validés en cours |
| 71 | Un intégrateur : ce que deviennent les étiquettes | Décider | 69, 70 | idée du 2026-11-02 ; avis de Claude, à discuter après la revue des étiquettes |
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
@@ -1721,6 +1722,18 @@ Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux
- [ ] Le but 2 (les détecteurs) et les propositions de l'analyste : plus tard.
- [x] Un vérificateur des étiquettes de l'utilisateur, l'agent `label-reviewer` (D-101) : il pointe les incohérences et pose ses questions ; construit le 2026-11-02, premier essai à faire.
### Point 71 : Un intégrateur : ce que deviennent les étiquettes
**Idée de l'utilisateur (2026-11-02).** Avec 43 étiquettes (7 stations), assez pour commencer à construire ; l'utilisateur les revoit d'abord avec le `label-reviewer`. Les étiquettes sont une base de connaissance, mais seulement une base : il faudra un intégrateur.
**Avis de Claude.** L'étiquette sert trois usages, qui demandent chacun leur intégration :
1. **Le savoir écrit** (le mécanisme, les signatures, les faux amis) : existe, `/labels-learner` puis le `documentaliste` (D-099), jamais lancé. Le lancer une fois avant de construire autre chose.
2. **L'analyste mesuré** (D-100 : son travail est de refaire la classification de l'expert sur les plages) : manque. L'analyste lit une plage étiquetée sans l'étiquette, puis on compare ; le texte libre ne se compare pas par script, il faut un juge (un agent qui dit d'accord, en partie, en désaccord) ou une forme structurée.
3. **Les détecteurs, puis l'apprentissage automatique** : manque ; il leur faut une forme structurée (catégorie, capteurs, plage) et des périodes couvertes en entier (point 70, but 2).
- La pièce commune à 2 et 3 : **dériver, d'une étiquette revue, sa forme structurée** (catégorie de la carte, capteurs, cause, preuve), après coup, comme D-098 le prévoyait, l'expert gardant le dernier mot. C'est peut-être cela, l'intégrateur.
- Pas un seul agent qui fait tout : un rôle par responsabilité (D-088) ; l'intégrateur serait un processus, comme `/events-learner`, qui enchaîne des agents existants.
- Questions : l'ordre (1 d'abord, puis la forme structurée ?) ; la forme structurée, dans la ligne de l'étiquette ou à côté ; un juge pour mesurer l'analyste, ou la forme structurée seulement.
---
## Annexe A — Les rapports des agents du 2026-10-23, résumés
@@ -1920,3 +1933,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-11-02 : point 70, demande de l'utilisateur : les étiquettes des events dans les fichiers des stations, que charge son outil ; 30 étiquettes décodées et ajoutées, `labeling/E-xxx.jsonl` abandonnés.
- 2026-11-02 : point 70, l'utilisateur : champ `source` retiré des étiquettes des events, même format que les autres.
- 2026-11-02 : point 70, l'utilisateur : `labeling/manual/` (à la main, vérifiées avec le `label-reviewer`) et `labeling/auto/` (ce que l'analyste trouvera seul) (D-102) ; les 43 étiquettes dans `manual/`.
- 2026-11-02 : point 71 ajouté (idée de l'utilisateur : un intégrateur des étiquettes) : avis de Claude, trois usages, la forme structurée comme pièce commune ; à discuter après la revue des étiquettes.
+21 -16
View File
@@ -5,7 +5,7 @@ metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temp
labeling/manual/<STATION>.jsonl (D-102) : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
enregistre son nouveau texte, Delete la retire ; ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol
enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md).
@@ -50,7 +50,8 @@ PAGE_JS = """
const GRIS = '#6b6b66', BLEU = '#2a78d6', VOIE = 22; // VOIE : px par rangée d'étiquettes
const fig = document.getElementById('fig'), barre = document.getElementById('barre'), menu = document.getElementById('plot');
const texte = document.getElementById('texte'), add = document.getElementById('add'), plage = document.getElementById('plage');
const edition = document.getElementById('edition'), editPlage = document.getElementById('edit-plage'), editTexte = document.getElementById('edit-texte');
const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte');
const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z
const save = document.getElementById('save'), note = document.getElementById('edit-note');
const AIDE = plage.textContent;
// choix : la plage sélectionnée, [debut, fin] au format des étiquettes ; tries : les étiquettes dans l'ordre de la barre ;
@@ -115,10 +116,10 @@ function choisit(c) {
return Plotly.relayout(fig, {shapes: zones()});
}
const modifiee = () => ouverte && editTexte.value.trim() !== ouverte.description;
const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin);
function majEdition(message = '') {
save.disabled = !modifiee() || !editTexte.value.trim();
save.disabled = !modifiee() || !editTexte.value.trim() || !(editDebut.value && editFin.value && editDebut.value < editFin.value);
note.textContent = message;
}
@@ -127,13 +128,14 @@ function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un text
ouverte = l;
edition.hidden = !l;
if (!l) return;
editPlage.textContent = `${lisible(l.debut)} → ${lisible(l.fin)} UTC`;
editDebut.value = l.debut.slice(0, 16);
editFin.value = l.fin.slice(0, 16);
editTexte.value = l.description;
majEdition();
edition.scrollIntoView({block: 'nearest'});
}
editTexte.oninput = () => majEdition();
editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition();
document.getElementById('fermer').onclick = () => ouvre(null);
document.getElementById('supprimer').onclick = async () => {
if (!confirm('Delete this label?')) return;
@@ -147,15 +149,16 @@ document.getElementById('supprimer').onclick = async () => {
};
save.onclick = async () => {
save.disabled = true;
const corps = {station: STATION, avant: ouverte, description: editTexte.value.trim()};
const corps = {station: STATION, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e);
if (!r.ok) { // rien n'est perdu : le texte reste dans la fenêtre
if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre
majEdition();
return alert('Not saved: ' + (r.statusText || r.message));
}
ouverte.description = (await r.json()).description;
editTexte.value = ouverte.description;
const nouvelle = await r.json(); // remplace l'ancienne : un Save retire aussi son champ revue
labels[labels.indexOf(ouverte)] = ouverte = nouvelle;
await dessineBarre();
await Plotly.relayout(fig, {shapes: zones()});
majEdition('Saved');
};
@@ -266,7 +269,7 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
<label>Plot <select id="plot">{options}</select></label>
<div id="fig"></div>
<div id="barre"></div>
<section id="edition" hidden><b id="edit-plage"></b>
<section id="edition" hidden><b>From</b> <input type="datetime-local" id="edit-debut" step="60"> <b>to</b> <input type="datetime-local" id="edit-fin" step="60"> UTC
<textarea id="edit-texte" rows="5"></textarea>
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span><button id="supprimer">Delete</button></p></section>
<p id="plage">Drag on the bar above to select a time range.</p>
@@ -305,15 +308,17 @@ def ajouter(corps):
def modifier(corps):
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte) -> l'étiquette
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte, debut, fin :
ses bornes, facultatives) -> l'étiquette
écrite ; ValueError s'il n'est pas bon."""
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
debut, fin = corps.get("debut", avant["debut"]), corps.get("fin", avant["fin"])
if station not in chargeur.stations():
raise ValueError("unknown station")
if not description:
raise ValueError("empty text")
label = {**avant, "description": description}
label.pop("revue", None) # texte changé : à revoir par le label-reviewer (D-101)
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
raise ValueError("empty text or range")
label = {**avant, "debut": debut, "fin": fin, "description": description} # à leur place : l'ordre des champs ne change pas
label.pop("revue", None) # texte ou bornes changés : à revoir par le label-reviewer (D-101)
return remplace(station, avant, label)
+1 -1
View File
@@ -28,7 +28,7 @@ Détails : `extraction/README.md`.
python3 labeling/labeling.py
```
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/manual/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, puis Save, ou la retirer par Delete. Ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/manual/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte ou les bornes (UTC), puis Save, ou la retirer par Delete. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100).