diff --git a/CLAUDE.md b/CLAUDE.md index 2649faf..0d54142 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -103,7 +103,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées. - `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`. -- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `.jsonl`, versionné. +- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `.jsonl`, versionné ; un clic sur une étiquette la lit et la modifie. - `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références). - `events-learner/`, `aiguiser/` : les séances de `/events-learner` et de `/aiguiser`, retiré (D-084, D-097), une par dossier `_/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande. - `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`. diff --git a/docs/decisions.md b/docs/decisions.md index 7f73c55..25db5f0 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -974,7 +974,7 @@ Règles du journal : ## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/` - **Statut** : active, à l'essai ; point 68 du plan du journal du matin. -- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier. +- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) ; ses bornes et son retrait se font dans le fichier. - **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark). - **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout. - **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index edae584..a68fdea 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -1580,12 +1580,14 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui **Choix de Claude, à corriger au besoin.** - `labeling/.jsonl`, une ligne par étiquette : `{"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}`, les noms de champs de l'analyste, sans ceux qui bornent. Add écrit une ligne ; un `grep` suffit à chercher ; le diff git se lit. Versionné (`data/` ne l'est pas), hors de `events/` (ses seules portes : `/new-event`, `event-builder`). - Pas de `capteurs` : le texte les dit. -- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier. +- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier (le texte se modifie dans la page depuis le 2026-10-30, voir plus bas). - Un seul fichier de code, `labeling/labeling.py` : la page et son serveur (celui du data loader, plus l'enregistrement) ; de la page Status, seule change la cible du formulaire. - Rien d'autre sur la page : ni images, ni status des détecteurs, que le monitoring montre. **Ajout de l'utilisateur (2026-10-30).** Les métriques système au menu, « System: … » : celles qui ont des valeurs numériques sur la plage. Les identifiants (`SIM_CCID`, `ip`, `ip_*`) ne sont pas lus : `SIM_CCID` a souvent l'air d'un nombre, il serait tracé. Les métriques texte (`link`, `mode`, `last_sync`…) n'ont pas de courbe. +**Ajout de l'utilisateur (2026-10-30, après ses premières étiquettes).** Un clic sur la barre d'une étiquette l'affiche dans une fenêtre sous la barre ; son texte s'y modifie, Save l'enregistre. Save retrouve la ligne par son contenu et ne touche pas aux autres ; si elle a changé à la main entre-temps, il refuse et le dit. Un texte modifié, non enregistré, ne se perd pas sans une question. Les bornes et le retrait restent dans le fichier. + **Les limites à garder.** - Une étiquette de l'expert est ponctuelle : un instant sans étiquette n'y veut pas dire « rien vu », contrairement à l'analyste (point 45). Face aux détecteurs, « trouvées » aurait un sens, « justes » non, tant qu'une plage n'est pas marquée relue en entier ; et `score.py` ne lit pas ces étiquettes, faute de catégorie. L'outil sert à apprendre, pas à calculer un score. - Si l'analyste lit l'étiquette du lot qu'il analyse, il récite : elle lui apprend sur les autres périodes, et peut le mesurer sur la sienne (le test avant et après du point 67). Proposé, pas imposé. @@ -1842,3 +1844,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-30 : point 69 ajouté (idée de l'utilisateur : un processus pour que l'analyste apprenne des étiquettes) : avis de Claude, l'analyste propose, l'utilisateur valide, pas de document nouveau ; `/labels-learner` proposé, à approuver. - 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit. - 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE. +- 2026-10-30 : point 68, demande de l'utilisateur : un clic sur une étiquette la lit dans une fenêtre, Save enregistre son nouveau texte ; essayé sur NIEDERHORN par de vrais gestes, sans toucher aux 13 étiquettes réelles (JUNGFRAU, NORDEND, WILDSTRUBEL). diff --git a/labeling/labeling.py b/labeling/labeling.py index f943092..8816cde 100644 --- a/labeling/labeling.py +++ b/labeling/labeling.py @@ -3,10 +3,11 @@ voit, en langage naturel, sans catégorie ; les données se consultent sur le mo Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans labeling/.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms -de champs de l'analyste (etiquettes.json). Une étiquette se corrige dans ce fichier, puis recharger la page. Les zones -étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent -l'une sous l'autre. Son serveur local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse -(ce script lancé à chaque fois, comme le data loader) et /labels (lire et ajouter). +de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre +chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y +enregistre son nouveau texte ; ses bornes se corrigent, et elle se retire, dans ce fichier, puis recharger la page. Son serveur +local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme +le data loader) et /labels (lire, ajouter, modifier) ; un changement de son code demande de l'arrêter (run.md). Usage : python3 labeling/labeling.py [ [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]] (sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ; page : out/labeling___.html, ouverte) @@ -48,8 +49,12 @@ PAGE_JS = """ const GRIS = '#6b6b66', BLEU = '#2a78d6', VOIE = 22; // VOIE : px par rangée d'étiquettes const fig = document.getElementById('fig'), barre = document.getElementById('barre'), menu = document.getElementById('plot'); const texte = document.getElementById('texte'), add = document.getElementById('add'), plage = document.getElementById('plage'); +const edition = document.getElementById('edition'), editPlage = document.getElementById('edit-plage'), editTexte = document.getElementById('edit-texte'); +const save = document.getElementById('save'), note = document.getElementById('edit-note'); const AIDE = plage.textContent; -let labels = [], choix = null; // choix : la plage sélectionnée, [debut, fin] au format des étiquettes +// choix : la plage sélectionnée, [debut, fin] au format des étiquettes ; tries : les étiquettes dans l'ordre de la barre ; +// ouverte : celle affichée sous la barre +let labels = [], choix = null, tries = [], ouverte = null; const lisible = s => s.slice(0, 16).replace('T', ' '); const marge = () => ({l: 60, r: 20, t: 10, b: 30}); @@ -78,8 +83,8 @@ function dessineFig() { } function dessineBarre() { - const tries = [...labels].sort((a, b) => a.debut < b.debut ? -1 : 1), voies = []; - const voie = tries.map(l => { // la première rangée libre, sinon une nouvelle, comme les status + tries = [...labels].sort((a, b) => a.debut < b.debut ? -1 : 1); + const voies = [], voie = tries.map(l => { // la première rangée libre, sinon une nouvelle, comme les status const r = voies.findIndex(f => f <= l.debut), i = r < 0 ? voies.length : r; voies[i] = l.fin; return i; @@ -88,7 +93,7 @@ function dessineBarre() { return Plotly.react(barre, [{type: 'bar', orientation: 'h', y: voie, base: tries.map(l => lisible(l.debut)), x: tries.map(l => Date.parse(l.fin) - Date.parse(l.debut)), width: 0.85, marker: {color: GRIS}, text: tries.map(l => l.description), textposition: 'inside', insidetextanchor: 'start', textangle: 0, unselected: {marker: {opacity: 1}}, // sinon une sélection les pâlit - hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC
${l.description.replace(/\\n/g, '
')}`)}], + hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC
${l.description.replace(/\\n/g, '
')}
click: read, edit`)}], {height: 40 + VOIE * n, dragmode: 'select', selectdirection: 'h', hovermode: 'closest', plot_bgcolor: '#f2f2ef', showlegend: false, margin: {...marge(), l: f._size.l, r: f._size.r}, uniformtext: {minsize: 9, mode: 'hide'}, xaxis: {type: 'date', range: f.xaxis.range.slice(), showgrid: false}, @@ -108,6 +113,40 @@ function choisit(c) { return Plotly.relayout(fig, {shapes: zones()}); } +const modifiee = () => ouverte && editTexte.value.trim() !== ouverte.description; + +function majEdition(message = '') { + save.disabled = !modifiee() || !editTexte.value.trim(); + note.textContent = message; +} + +function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un texte modifié, non enregistré, ne se perd pas sans le dire + if (modifiee() && !confirm('Discard your changes to this label?')) return; + ouverte = l; + edition.hidden = !l; + if (!l) return; + editPlage.textContent = `${lisible(l.debut)} → ${lisible(l.fin)} UTC`; + editTexte.value = l.description; + majEdition(); + edition.scrollIntoView({block: 'nearest'}); +} + +editTexte.oninput = () => majEdition(); +document.getElementById('fermer').onclick = () => ouvre(null); +save.onclick = async () => { + save.disabled = true; + const corps = {station: STATION, avant: ouverte, description: editTexte.value.trim()}; + const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e); + if (!r.ok) { // rien n'est perdu : le texte reste dans la fenêtre + majEdition(); + return alert('Not saved: ' + (r.statusText || r.message)); + } + ouverte.description = (await r.json()).description; + editTexte.value = ouverte.description; + await dessineBarre(); + majEdition('Saved'); +}; + menu.onchange = dessineFig; texte.oninput = maj; add.onclick = async () => { @@ -132,6 +171,7 @@ dessineFig().then(dessineBarre).then(() => { if (r) choisit(r.map(v => String(v).slice(0, 16).replace(' ', 'T') + 'Z')); }); barre.on('plotly_deselect', () => choisit(null)); + barre.on('plotly_click', ev => ouvre(tries[ev.points[0].pointIndex])); // Lues à chaque chargement, pas écrites dans la page : recharger montre toujours le fichier. fetch('/labels?station=' + encodeURIComponent(STATION)) .then(r => r.ok ? r.json() : Promise.reject(new Error(r.statusText))) @@ -206,12 +246,16 @@ def page(dossier, du=None, au=None): chemin.write_text(f"""Labeling {html.escape(nom)} +textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}} +#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0}}

Labeling, {html.escape(station)}

{chargeur.formulaire(station, du or "", au or "")}
+

Drag on the bar above to select a time range.

@@ -247,6 +291,28 @@ def ajouter(corps): return label +def modifier(corps): + """Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte) -> l'étiquette + écrite ; ValueError s'il n'est pas bon. Retrouvée par son contenu, pas par son rang : le fichier a pu changer à la main + depuis le chargement de la page. Les autres lignes restent telles quelles.""" + station, avant, description = corps["station"], corps["avant"], corps["description"].strip() + if station not in chargeur.stations(): + raise ValueError("unknown station") + if not description: + raise ValueError("empty text") + f = fichier(station) + lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else [] + for i, ligne in enumerate(lignes): + if ligne.strip() and json.loads(ligne) == avant: + label = {**avant, "description": description} + lignes[i] = json.dumps(label, ensure_ascii=False) + provisoire = f.with_name(f.name + ".tmp") # écrit à côté puis remplacé : une coupure ne peut pas abîmer le fichier + provisoire.write_text("\n".join(lignes), encoding="utf-8") + os.replace(provisoire, f) + return label + raise ValueError("this label is no longer in the file, reload the page") + + class Serveur(chargeur.Chargeur): SCRIPT = __file__ @@ -270,16 +336,22 @@ class Serveur(chargeur.Chargeur): except ValueError as e: # une ligne abîmée à la main : le dire, sans toucher au fichier self.send_error(500, f"labeling/{station}.jsonl unreadable: {e}") - def do_POST(self): + def ecrit(self, action): if self.path != "/labels": return self.send_error(404) # Ce fichier sera lu par l'analyste : une autre page du navigateur ne doit pas pouvoir y écrire. if self.headers.get("Origin") not in (None, f"http://127.0.0.1:{PORT}"): return self.send_error(403) try: - self.repond(ajouter(json.loads(self.rfile.read(int(self.headers["Content-Length"]))))) + self.repond(action(json.loads(self.rfile.read(int(self.headers["Content-Length"]))))) except (KeyError, TypeError, AttributeError, ValueError) as e: - self.send_error(400, f"Not a label: {e}") + self.send_error(400, str(e)) + + def do_POST(self): + self.ecrit(ajouter) + + def do_PUT(self): + self.ecrit(modifier) if __name__ == "__main__": diff --git a/run.md b/run.md index 678bac3..c9a1467 100644 --- a/run.md +++ b/run.md @@ -28,7 +28,7 @@ Détails : `extraction/README.md`. python3 labeling/labeling.py ``` -Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/.jsonl`. Une étiquette se corrige dans ce fichier, puis recharger la page. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`. +Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, puis Save. Ses bornes se corrigent, et elle se retire, dans ce fichier, puis recharger la page. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`. Dans le texte, dire la cause et comment on l'a sue (quel plot, quel signe). Étiqueter aussi les cas trompeurs, qui ressemblent à un problème sans en être un : ils donnent les faux amis (point 69 du plan). Le fichier se commite comme le reste (`push.sh`).