diff --git a/docs/decisions.md b/docs/decisions.md index e9f9087..4fcdd21 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -974,7 +974,7 @@ Règles du journal : ## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/` - **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes). -- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) et de la retirer (Delete, 2026-11-02) ; ses bornes se corrigent dans le fichier. +- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) de corriger ses bornes et de la retirer (Delete, 2026-11-02). - **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark). - **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout. - **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index 3e04941..e98bf44 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -127,6 +127,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur | | 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur | | 70 | Des étiquettes proposées par l'analyste, vérifiées par l'expert | Décider, Coder | 48, 68, 69 | 2026-11-02 : les étiquettes d'abord, base de connaissance (D-100) ; étiquettes des events validés en cours | +| 71 | Un intégrateur : ce que deviennent les étiquettes | Décider | 69, 70 | idée du 2026-11-02 ; avis de Claude, à discuter après la revue des étiquettes | Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien). @@ -1721,6 +1722,18 @@ Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux - [ ] Le but 2 (les détecteurs) et les propositions de l'analyste : plus tard. - [x] Un vérificateur des étiquettes de l'utilisateur, l'agent `label-reviewer` (D-101) : il pointe les incohérences et pose ses questions ; construit le 2026-11-02, premier essai à faire. +### Point 71 : Un intégrateur : ce que deviennent les étiquettes + +**Idée de l'utilisateur (2026-11-02).** Avec 43 étiquettes (7 stations), assez pour commencer à construire ; l'utilisateur les revoit d'abord avec le `label-reviewer`. Les étiquettes sont une base de connaissance, mais seulement une base : il faudra un intégrateur. + +**Avis de Claude.** L'étiquette sert trois usages, qui demandent chacun leur intégration : +1. **Le savoir écrit** (le mécanisme, les signatures, les faux amis) : existe, `/labels-learner` puis le `documentaliste` (D-099), jamais lancé. Le lancer une fois avant de construire autre chose. +2. **L'analyste mesuré** (D-100 : son travail est de refaire la classification de l'expert sur les plages) : manque. L'analyste lit une plage étiquetée sans l'étiquette, puis on compare ; le texte libre ne se compare pas par script, il faut un juge (un agent qui dit d'accord, en partie, en désaccord) ou une forme structurée. +3. **Les détecteurs, puis l'apprentissage automatique** : manque ; il leur faut une forme structurée (catégorie, capteurs, plage) et des périodes couvertes en entier (point 70, but 2). +- La pièce commune à 2 et 3 : **dériver, d'une étiquette revue, sa forme structurée** (catégorie de la carte, capteurs, cause, preuve), après coup, comme D-098 le prévoyait, l'expert gardant le dernier mot. C'est peut-être cela, l'intégrateur. +- Pas un seul agent qui fait tout : un rôle par responsabilité (D-088) ; l'intégrateur serait un processus, comme `/events-learner`, qui enchaîne des agents existants. +- Questions : l'ordre (1 d'abord, puis la forme structurée ?) ; la forme structurée, dans la ligne de l'étiquette ou à côté ; un juge pour mesurer l'analyste, ou la forme structurée seulement. + --- ## Annexe A — Les rapports des agents du 2026-10-23, résumés @@ -1920,3 +1933,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-11-02 : point 70, demande de l'utilisateur : les étiquettes des events dans les fichiers des stations, que charge son outil ; 30 étiquettes décodées et ajoutées, `labeling/E-xxx.jsonl` abandonnés. - 2026-11-02 : point 70, l'utilisateur : champ `source` retiré des étiquettes des events, même format que les autres. - 2026-11-02 : point 70, l'utilisateur : `labeling/manual/` (à la main, vérifiées avec le `label-reviewer`) et `labeling/auto/` (ce que l'analyste trouvera seul) (D-102) ; les 43 étiquettes dans `manual/`. +- 2026-11-02 : point 71 ajouté (idée de l'utilisateur : un intégrateur des étiquettes) : avis de Claude, trois usages, la forme structurée comme pièce commune ; à discuter après la revue des étiquettes. diff --git a/labeling/labeling.py b/labeling/labeling.py index 1be5833..74b0a82 100644 --- a/labeling/labeling.py +++ b/labeling/labeling.py @@ -5,7 +5,7 @@ metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temp labeling/manual/.jsonl (D-102) : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y -enregistre son nouveau texte, Delete la retire ; ses bornes se corrigent dans ce fichier, puis recharger la page. Au survol +enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md). @@ -50,7 +50,8 @@ PAGE_JS = """ const GRIS = '#6b6b66', BLEU = '#2a78d6', VOIE = 22; // VOIE : px par rangée d'étiquettes const fig = document.getElementById('fig'), barre = document.getElementById('barre'), menu = document.getElementById('plot'); const texte = document.getElementById('texte'), add = document.getElementById('add'), plage = document.getElementById('plage'); -const edition = document.getElementById('edition'), editPlage = document.getElementById('edit-plage'), editTexte = document.getElementById('edit-texte'); +const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte'); +const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z const save = document.getElementById('save'), note = document.getElementById('edit-note'); const AIDE = plage.textContent; // choix : la plage sélectionnée, [debut, fin] au format des étiquettes ; tries : les étiquettes dans l'ordre de la barre ; @@ -115,10 +116,10 @@ function choisit(c) { return Plotly.relayout(fig, {shapes: zones()}); } -const modifiee = () => ouverte && editTexte.value.trim() !== ouverte.description; +const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin); function majEdition(message = '') { - save.disabled = !modifiee() || !editTexte.value.trim(); + save.disabled = !modifiee() || !editTexte.value.trim() || !(editDebut.value && editFin.value && editDebut.value < editFin.value); note.textContent = message; } @@ -127,13 +128,14 @@ function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un text ouverte = l; edition.hidden = !l; if (!l) return; - editPlage.textContent = `${lisible(l.debut)} → ${lisible(l.fin)} UTC`; + editDebut.value = l.debut.slice(0, 16); + editFin.value = l.fin.slice(0, 16); editTexte.value = l.description; majEdition(); edition.scrollIntoView({block: 'nearest'}); } -editTexte.oninput = () => majEdition(); +editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition(); document.getElementById('fermer').onclick = () => ouvre(null); document.getElementById('supprimer').onclick = async () => { if (!confirm('Delete this label?')) return; @@ -147,15 +149,16 @@ document.getElementById('supprimer').onclick = async () => { }; save.onclick = async () => { save.disabled = true; - const corps = {station: STATION, avant: ouverte, description: editTexte.value.trim()}; + const corps = {station: STATION, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()}; const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e); - if (!r.ok) { // rien n'est perdu : le texte reste dans la fenêtre + if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre majEdition(); return alert('Not saved: ' + (r.statusText || r.message)); } - ouverte.description = (await r.json()).description; - editTexte.value = ouverte.description; + const nouvelle = await r.json(); // remplace l'ancienne : un Save retire aussi son champ revue + labels[labels.indexOf(ouverte)] = ouverte = nouvelle; await dessineBarre(); + await Plotly.relayout(fig, {shapes: zones()}); majEdition('Saved'); }; @@ -266,7 +269,7 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
-