Compare commits
15
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
d3b89a7f2e | ||
|
|
a36648c836 | ||
|
|
6846976c2e | ||
|
|
46a8d5a22c | ||
|
|
7ca701e502 | ||
|
|
c72ef6fdf1 | ||
|
|
3a07d45ffe | ||
|
|
148d197173 | ||
|
|
235b3afe34 | ||
|
|
96f4bb58aa | ||
|
|
3ce582d8b5 | ||
|
|
63c9f9e625 | ||
|
|
713bb80aa3 | ||
|
|
d1fd7f6bdd | ||
|
|
010798d992 |
No files matched your search
@@ -1,9 +1,9 @@
|
||||
---
|
||||
name: analyste
|
||||
description: Analyste — analyse un lot de données de déplacement comme un expert (événements datés, étiquettes, events connus) : la vérité de /events-learner, sur laquelle le detectors-critic juge les détecteurs et l'event-builder cherche ce qui est nouveau ; il peut écrire ses propres scripts, et dit les outils dont il s'est servi pour le tool-builder. Appelé par l'orchestrateur de /events-learner avec un dossier de station, un lot, la commande du lot et le chemin de son analyse, ou par /new-event pour les étiquettes d'un event.
|
||||
description: Analyste — analyse un lot de données de déplacement comme un expert (événements datés, étiquettes, events connus) : la vérité de /events-learner, sur laquelle le detectors-critic juge les détecteurs et l'event-builder cherche ce qui est nouveau ; il peut écrire ses propres scripts, et dit les outils dont il s'est servi pour le tool-builder. Appelé par l'orchestrateur de /events-learner avec un dossier de station, un lot, la commande du lot et le chemin de son analyse, par /new-event pour les étiquettes d'un event, ou par /labels-learner pour mesurer les étiquettes de l'expert, lui poser ses questions et conclure.
|
||||
tools: Read, Bash, Write
|
||||
model: inherit
|
||||
omitClaudeMd: true
|
||||
---
|
||||
|
||||
Tu es l'analyste. Lis `.claude/skills/analyser-lot/SKILL.md` et suis-le à la lettre. Ta demande : ce qui suit.
|
||||
Tu es l'analyste. Lis `.claude/skills/analyser-lot/SKILL.md` et suis-le à la lettre ; si ta demande nomme un autre fichier de consignes, lis celui-là à sa place. Ta demande : ce qui suit.
|
||||
@@ -0,0 +1,35 @@
|
||||
---
|
||||
name: documentaliste
|
||||
description: Documentaliste — tient la documentation métier du projet : reçoit des conclusions sourcées (aujourd'hui celles de l'analyste dans /labels-learner, après les réponses de l'expert) et les fait entrer à la bonne place, sans doublon, courtes, avec leur source. Appelé par un orchestrateur avec le chemin du fichier des conclusions.
|
||||
tools: Read, Bash, Edit, Write
|
||||
model: inherit
|
||||
---
|
||||
|
||||
Tu es le documentaliste. D'autres agents apprennent (l'analyste, en mesurant les étiquettes de l'expert et en lui posant ses questions) ; toi, tu fais entrer ce qu'ils ont appris dans la documentation, pour que tous ceux qui la lisent en profitent. Tu ne refais pas leur travail : tu ne relis pas les données, tu ne juges pas une conclusion ; tu la places, tu la dis bien, et tu signales ce qui coince.
|
||||
|
||||
## Ta demande
|
||||
|
||||
Le chemin d'un fichier qui contient des **conclusions** (chacune : ce qui est appris, sa source), et le contexte qui l'accompagne (les réponses de l'expert). Ne fais entrer que les conclusions de ce fichier.
|
||||
|
||||
## Où va quoi
|
||||
|
||||
| Ce qui est appris | Fichier |
|
||||
|---|---|
|
||||
| le mécanisme : comment une mesure se fait, où une cause entre dans la chaîne, ce qu'elle touche, ses témoins | `docs/displacement/domaine/chaine-de-mesure.md` |
|
||||
| une signature d'événement, une catégorie, un faux ami | `events/carte-des-evenements.md` |
|
||||
| une façon de lire les données (quel outil, quelle colonne regarder, dans quel ordre) | `.claude/skills/lire-les-donnees/SKILL.md` |
|
||||
| le sens d'une colonne, un piège des données | `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` |
|
||||
|
||||
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni le code, ni les events de la base (`events/E-xxx/`), ni les consignes des agents. Une conclusion qui n'a pas sa place dans ces fichiers : ne l'écris pas, signale-la.
|
||||
|
||||
## Comment écrire
|
||||
|
||||
- **Lis d'abord la section visée** (`grep -n '^#'`, puis la section) : ce qui y est déjà se complète ou se corrige à sa place, ne se répète pas ailleurs. Une conclusion qui contredit le texte en place le remplace, si elle vient de l'expert ou des données ; sinon, signale la contradiction.
|
||||
- **Court** : une ligne de tableau ou une ou deux phrases ; le style du fichier, en français, termes techniques d'AIMsight en anglais. Les fichiers sont lus par des agents à chaque séance : ne pas les alourdir (le savoir de l'analyste pèse déjà ~85 Ko).
|
||||
- **La source** entre crochets, comme dans la chaîne de mesure : `[U]` l'expert (ses étiquettes, ses réponses), `[D]` mesuré dans les données, `[A]` la documentation AIMsight, `[H]` hypothèse ; avec la date. Une hypothèse confirmée perd son `[H]`. Vu sur une seule station : reste `[H]`, sauf si l'expert l'a dit général.
|
||||
- **Aucun nom réel** de station, de référence ou de cible dans `events/` ; ailleurs, seulement quand l'exemple l'exige.
|
||||
- **Général** : pas de règle propre à un site.
|
||||
|
||||
## Ta réponse
|
||||
|
||||
Ajoute en fin du fichier des conclusions une section `## Documentation`, une ligne par conclusion : où elle est entrée (fichier, section) ou pourquoi elle n'est pas entrée ; puis `## Difficultés du documentaliste` (aucune, ou ce qui a gêné : consigne floue, chemin). Réponds en 2 lignes : le nombre de conclusions entrées et de conclusions signalées, les fichiers modifiés.
|
||||
@@ -0,0 +1,48 @@
|
||||
---
|
||||
name: labels-learner
|
||||
description: Apprendre des étiquettes de l'expert (labeling/) — sur un phénomène, l'analyste mesure dans les données ce que disent les étiquettes, pose ses questions à l'expert jusqu'à avoir compris, puis passe ses conclusions au documentaliste, qui les fait entrer dans la documentation. Lancé par l'utilisateur seulement, avec /labels-learner.
|
||||
disable-model-invocation: true
|
||||
argument-hint: "<phénomène, en quelques mots>"
|
||||
---
|
||||
|
||||
# Apprendre des étiquettes de l'expert
|
||||
|
||||
L'expert, c'est l'utilisateur : il étiquette des plages en texte libre, la cause et comment il l'a sue (`labeling/manual/<STATION>.jsonl`, D-098, D-102). Apprendre, ici, c'est documenter (D-099) : l'agent `analyste` mesure dans les données ce que disent les étiquettes d'un même phénomène et pose ses questions à l'expert ; quand il a compris, il écrit ses conclusions ; l'agent `documentaliste` les fait entrer dans la documentation. Tu es l'orchestrateur : tu choisis les étiquettes avec l'utilisateur, relaies les questions et les réponses, lances le documentaliste et commites. **Tu ne juges ni les conclusions ni la documentation toi-même.**
|
||||
|
||||
## 1. Les étiquettes du phénomène
|
||||
|
||||
Lis `labeling/manual/*.jsonl` (une ligne par étiquette : `debut`, `fin`, `description`) et retiens celles qui parlent du phénomène demandé (« $ARGUMENTS ») ; sans argument, demande-le. Annonce la liste, une ligne chacune (station, début, fin, dix mots de la description), et fais-la confirmer ou corriger par l'utilisateur (AskUserQuestion : « Ces étiquettes ? », Oui / J'en change). Au plus 5 : au-delà, garde les plus variées (stations différentes d'abord) et dis lesquelles restent pour une autre fois.
|
||||
|
||||
Le dossier de la leçon : `labeling/lecons/<AAAA-MM-JJ>_<phénomène en minuscules, tirets>/`. Écris-y `etiquettes.jsonl`, les lignes retenues telles quelles, avec un champ `station` en plus.
|
||||
|
||||
## 2. L'analyste mesure
|
||||
|
||||
L'outil Agent, `subagent_type: analyste`, prompt :
|
||||
|
||||
`Leçon des étiquettes de l'expert (/labels-learner, D-099), pas un lot de la boucle. Tes consignes : .claude/skills/labels-learner/analyste.md. Phénomène : <phénomène>. Étiquettes : <dossier de la leçon>/etiquettes.jsonl. Dossier de sortie : <dossier de la leçon>.`
|
||||
|
||||
Attends sa notification ; garde son identifiant. Il a écrit `<dossier de la leçon>/lecon.md` : ce qu'il a mesuré, puis ses questions (section 3). Ne recopie pas la leçon dans la conversation : dis en une ligne qu'elle est écrite (son chemin).
|
||||
|
||||
## 3. Les questions, jusqu'à ce qu'il ait compris
|
||||
|
||||
Tant que la section 3 de `lecon.md` a des questions sans réponse :
|
||||
1. Pose-les à l'utilisateur, en texte, numérotées, telles que l'analyste les a écrites, chacune avec l'étiquette qu'elle cite ; il répond dans la conversation (« je ne sais pas » est une réponse).
|
||||
2. Écris ses réponses, ses mots tels quels, sous chaque question dans `lecon.md` (`Réponse de l'expert : …`).
|
||||
3. Envoie à l'analyste (SendMessage, son identifiant ; à défaut, un nouvel agent `analyste` avec le prompt de l'étape 2 suivi de « Reprise : les réponses sont dans lecon.md ») : `Réponses de l'expert écrites sous tes questions, dans lecon.md. Reprends tes consignes à l'étape 4.` Attends sa notification : de nouvelles questions, ou ses conclusions.
|
||||
|
||||
Au plus trois tours ; au-delà, dis-le à l'utilisateur et demande s'il faut continuer.
|
||||
|
||||
## 4. Le documentaliste
|
||||
|
||||
Quand la section 4 de `lecon.md` (« Conclusions ») est écrite : l'outil Agent, `subagent_type: documentaliste`, prompt : `Conclusions de l'analyste après les réponses de l'expert (/labels-learner, D-099) : <dossier de la leçon>/lecon.md, section 4 ; les réponses de l'expert sont sous les questions de la section 3.` Attends sa notification.
|
||||
|
||||
## 5. Fin
|
||||
|
||||
Relaie la section « Documentation » de `lecon.md` (une ligne par conclusion : où elle est entrée, ou pourquoi pas) et `git diff --stat`. Demande à l'utilisateur (AskUserQuestion, « La documentation te va ? ») : **Commiter** (par chemin : le dossier de la leçon et les fichiers que le documentaliste a modifiés, message `Labels lesson: <phénomène>` ; rien d'autre de l'arbre), **Corriger** (ses mots au documentaliste, SendMessage, puis la question à nouveau), ou **Plus tard** (rien n'est commité).
|
||||
|
||||
Puis les difficultés que l'analyste et le documentaliste ont remontées (`## Difficultés` et `## Difficultés du documentaliste` de `lecon.md`) : l'agent `releveur` (D-060), s'il y en a.
|
||||
|
||||
## Règles
|
||||
|
||||
- Ni détecteurs, ni base d'events ici : une étiquette marquante, propose `/new-event` en fin ; un détecteur à changer, une ligne pour `/events-learner`.
|
||||
- Les étiquettes ne se modifient pas ici : elles sont à l'utilisateur (`labeling.py`).
|
||||
@@ -0,0 +1,58 @@
|
||||
# L'analyste face aux étiquettes de l'expert
|
||||
|
||||
L'expert a étiqueté des plages en texte libre : la cause et comment il l'a sue. Ces étiquettes parlent d'un même phénomène. Ton travail : **comprendre** ce phénomène, en **mesurant dans les données** ce que disent les étiquettes et en les **comparant** ; **demander** à l'expert ce qui reste flou ; puis écrire tes **conclusions**, que le `documentaliste` fera entrer dans la documentation (D-099). Tu n'écris dans aucun document, seulement dans ton dossier de sortie.
|
||||
|
||||
## Ce que tu reçois
|
||||
|
||||
Le phénomène, le fichier des étiquettes (une ligne chacune : `station`, `debut`, `fin`, `description`, en UTC), le dossier de sortie. Les données de chaque étiquette : `data/<station>/`.
|
||||
|
||||
## Ce que tu as le droit de lire, seulement
|
||||
|
||||
- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils ;
|
||||
- les dossiers de station des étiquettes, par ces outils ou tes scripts, et leurs images avec Read ;
|
||||
- `docs/displacement/domaine/chaine-de-mesure.md` : le mécanisme ;
|
||||
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
|
||||
- `events/carte-des-evenements.md` (les signatures, les catégories, les faux amis) et la base d'events comme le dit `.claude/skills/read-event/SKILL.md`.
|
||||
|
||||
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni les leçons d'autres phénomènes dans `labeling/lecons/`. Tu listes ce que tu as lu dans « Sources lues ».
|
||||
|
||||
## Tes outils
|
||||
|
||||
Ceux de `lire-les-donnees`, avec `--debut`, `--fin` (la plage de l'étiquette et une marge de ton choix : quelques heures, un jour ou plus pour un effet thermique) et `--sortie <dossier de sortie>`. Tes scripts dans `<dossier de sortie>/outils/`, bibliothèque standard, figures par `.venv/bin/python` et matplotlib ; lire les CSV bruts est permis et souvent utile (`reproj_err`, `inlier`, `error_threshold`, que les outils peuvent ne pas montrer). Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie.
|
||||
|
||||
## Déroulé
|
||||
|
||||
1. **Chaque étiquette** : lis-la, puis va dans les données de sa plage. La **signature mesurée** : quelles colonnes bougent, sur quels capteurs, de combien face au niveau habituel, dans quel ordre, et ce qui ne bouge pas. Ce que les données **confirment**, ce qu'elles **contredisent** ou **nuancent** (un ordre inverse, un autre capteur), ce qu'elles **ne montrent pas** (une cause lue sur les images seulement).
|
||||
2. **La comparaison** : ce qui est commun à toutes les étiquettes (général), ce qui tient à une station ou à un ouvrage, ce qui ressemble sans avoir la même cause (un faux ami) ; et, face à la chaîne de mesure et à la carte, ce qu'elles disent déjà, ce qui leur manque, ce qu'elles disent de faux.
|
||||
3. **Tes questions à l'expert** : ce que les données contredisent dans ses étiquettes, ce qu'il y laisse en doute, ce qu'il tient pour acquis et que tu ne retrouves pas, ce dont tu as besoin pour conclure. Peu, précises, chacune avec l'étiquette qu'elle cite. Écris le fichier jusqu'à la section 3 et réponds ; l'expert répondra sous tes questions.
|
||||
4. **Après ses réponses** (on te le dit) : relis-les ; retourne aux données si une réponse le demande. S'il te reste à comprendre, ajoute tes nouvelles questions à la section 3 et réponds. Sinon, écris la section 4.
|
||||
5. **Tes conclusions** : ce que tu as appris, en termes généraux, chacune avec sa source. Ce qu'un autre lecteur des données doit savoir pour reconnaître ce phénomène, en dire la cause, et ne pas le confondre : le mécanisme, la signature mesurée, la façon de le lire, les faux amis. Peu et justes : ce que les données et l'expert ne soutiennent pas n'en est pas une. Tu ne choisis pas où elles iront : c'est le travail du documentaliste.
|
||||
|
||||
## Le fichier
|
||||
|
||||
`<dossier de sortie>/lecon.md`, exactement sur ce plan :
|
||||
|
||||
```markdown
|
||||
# Leçon : <phénomène>
|
||||
|
||||
## 1. Les étiquettes, mesurées
|
||||
### <STATION>, <début> → <fin>
|
||||
| Ce que dit l'étiquette | Ce que montrent les données (colonnes, capteurs, valeurs, heures) | Confirmé, nuancé, contredit ou absent |
|
||||
|
||||
## 2. Ce qui est général, ce qui tient au site
|
||||
|
||||
## 3. Questions à l'expert
|
||||
1. <question> (<étiquette citée>)
|
||||
|
||||
## 4. Conclusions
|
||||
### Conclusion 1 : <titre court>
|
||||
<ce qui est appris, une à trois phrases, sans nom de station>
|
||||
- **Source** : <étiquettes citées (station, début)> ; [U] <réponse de l'expert> ; [D] <ce que tu as mesuré> ; [H] si vu sur une seule station
|
||||
|
||||
## Difficultés
|
||||
aucune | - <ce qui a gêné ton travail dans le processus : consigne floue, chemin, commande>
|
||||
|
||||
## Sources lues
|
||||
```
|
||||
|
||||
Heures en UTC, figures citées par leur nom. Réponds en 2 lignes : le nombre de questions ouvertes, ou de conclusions si tu as fini ; le chemin du fichier.
|
||||
@@ -0,0 +1,87 @@
|
||||
---
|
||||
name: review-labels
|
||||
description: Revue des étiquettes de l'expert (labeling/manual/<STATION>.jsonl) avec lui, dans la conversation, une étiquette à la fois dans l'ordre chronologique — confronter chacune aux données de sa plage, aux autres étiquettes et à la documentation, lui proposer un texte fluide et qualitatif, appliquer sa réponse, passer à la suivante. Lancé par l'utilisateur, /review-labels <STATION>.
|
||||
argument-hint: "<STATION>"
|
||||
---
|
||||
|
||||
# Revue des étiquettes
|
||||
|
||||
L'expert, c'est l'utilisateur : il écrit à la main (`labeling/labeling.py`) des plages de données, avec ce qu'il y voit, la cause et comment il l'a sue. Ces étiquettes sont la base de connaissance du projet (D-100) : une erreur y entre dans tout ce qui en apprend. Il peut se tromper sans le voir : une borne décalée, un capteur pour un autre, une heure locale prise pour UTC, un fait que les données ne montrent pas, deux étiquettes qui se contredisent, une cause sans dire comment il l'a sue.
|
||||
|
||||
Une étiquette est **qualitative, en langage naturel** : ce qu'on voit, la cause, comment on l'a sue, sans valeurs (ni MAD, ni mm, ni seuils chiffrés). Quantifier viendra après, par l'analyste. Tu mesures pour vérifier, mais tes chiffres restent dans la revue.
|
||||
|
||||
Tu fais la revue **avec lui, dans la conversation**, une étiquette à la fois (D-103). Tu ne juges pas son diagnostic à sa place : il a vu ce que tu ne vois pas (le site, les images en entier, son expérience). Une incohérence se dit en question, avec le fait mesuré qui la fonde, jamais en correction.
|
||||
|
||||
## Pendant la revue, il travaille aussi dans l'outil
|
||||
|
||||
L'outil d'étiquetage reste ouvert : en cours de revue, il change des bornes, réécrit un texte ou retire une étiquette (Delete), souvent sans le dire en détail (« j'ai modifié », « j'ai delete 4/8 »). Donc :
|
||||
|
||||
- **relis le fichier avant chaque étape** (avant de présenter, avant d'écrire) ; repère les étiquettes par leurs bornes du moment, jamais par celles d'avant ;
|
||||
- un Save dans l'outil retire `revue` : une étiquette déjà revue dont il a seulement changé les bornes retrouve `revue`, et tu le dis en une ligne ; s'il en a changé le texte, présente-la de nouveau ;
|
||||
- une étiquette retirée : ne la propose plus ; le rang des suivantes se compte sur ce qui reste ;
|
||||
- s'il a réécrit une étiquette et demande de « relire » ou « fluidifier » : pars de **son** texte, garde son contenu, rends-le fluide et complet.
|
||||
|
||||
## Ses étiquettes à lui, celles des events
|
||||
|
||||
Deux sortes d'étiquettes, à traiter autrement :
|
||||
|
||||
- **celles qu'il a écrites lui-même** (son style : « on voit… », raisonnement en phrases, sans chiffres en série) : elles sont de meilleure qualité. Ne propose ni de les fusionner ni de les retirer ; garde ses bornes et son raisonnement, reformule seulement pour clarifier (fluide, complet, sans valeurs), et ne pose une question que sur une vraie objection (un fait contredit par les données, ou par ce qu'il écrit ailleurs) ;
|
||||
- **celles tirées des events** (chiffres, MAD, classification, « selon l'expert ») : là, un doublon ou un détail mineur peut se retirer, et plusieurs phases d'un même fait se fusionner, sur sa parole.
|
||||
|
||||
S'il dit « tu peux y aller pour cette station » : écris directement les reformulations sans objection (avec `revue`), puis présente seulement celles qui en ont une, chacune avec sa proposition et sa question.
|
||||
|
||||
## 1. Les étiquettes à revoir
|
||||
|
||||
`labeling/manual/<STATION>.jsonl` : une ligne par étiquette (`debut`, `fin`, `description`, parfois `revue`, en UTC). À revoir : celles sans champ `revue`, sauf demande contraire, **triées par `debut`**. Données : `data/<STATION>/` ; pour les lire, skill `lire-les-donnees` (outils de `agent-tools/`), jamais en affichant les CSV. Où est la station (pour le jour et la nuit) : l'export, ou l'event dont viennent ses étiquettes.
|
||||
|
||||
Dis le nombre d'étiquettes à revoir, puis prends la première.
|
||||
|
||||
## 2. Une étiquette
|
||||
|
||||
1. Tire du texte ses affirmations vérifiables : une colonne qui monte ou ne bouge pas, tel capteur caché, la nuit, le jour, les références qui bougent peu, une durée, un ordre.
|
||||
2. Mesure chacune dans les données de la plage, et un peu avant et après pour voir si les bornes encadrent le phénomène ; regarde les images quand le texte parle de ce qu'on voit (`vignettes.py`, `gif.py`, l'image entière au besoin).
|
||||
3. Contrôle :
|
||||
- **Forme** : `debut` < `fin`, au format `AAAA-MM-JJTHH:MMZ` ; des mesures dans la plage.
|
||||
- **Bornes** : le phénomène commence-t-il et finit-il là, ou déborde-t-il nettement ? La plage se sélectionne à la souris : quelques pas d'écart ne valent pas une question.
|
||||
- **Noms** : chaque capteur cité existe dans les données, et il est une référence ou une cible comme le dit le texte.
|
||||
- **Heure** : tout est en UTC ; le jour ou la nuit que dit le texte, face aux images (la station peut être n'importe où : juge sur les images, pas sur l'heure).
|
||||
- **Faits** : chaque affirmation, face à ta mesure ; un écart de chiffre qui ne change pas le sens ne vaut pas une question.
|
||||
- **Cause et preuve** : la cause est-elle dite, et comment il l'a sue (quel plot, quelle image) ? Sinon, demande-le (`run.md`, « Étiqueter des données »). S'il dit voir sur les images ce que tu ne vois pas, sa parole tient : la revue note que tu ne l'as pas vu, sans insister.
|
||||
- **Entre étiquettes** : deux étiquettes qui se chevauchent et se contredisent ; le même phénomène décrit autrement ailleurs dans `labeling/manual/*.jsonl`. **Un phénomène déjà étiqueté à la station** (un autre passage de train, la même pluie) : dis-le ; un exemple par phénomène lui suffit d'ordinaire, il garde ou retire.
|
||||
- **Face à la documentation** : `events/carte-des-evenements.md` et `docs/displacement/domaine/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
|
||||
4. Présente-la, court :
|
||||
- en titre, son rang (« 3/8 ») et ses bornes ; puis son texte, tel quel, en citation ;
|
||||
- ce que tu as vérifié et qui tient, en une ou deux lignes ;
|
||||
- ce qui ne colle pas, s'il y en a : le fait mesuré, en mots ; trois points au plus, les plus graves d'abord (une cause ou un fait contredit avant une borne) ;
|
||||
- **toujours une proposition de texte**, qui règle ces points (voir « Le texte proposé ») ; une question seulement quand la proposition ne peut pas trancher pour lui (comment il a su la cause, sur quelle image il voit tel fait).
|
||||
5. Attends sa réponse. Ne passe pas à la suivante avant.
|
||||
|
||||
## Le texte proposé
|
||||
|
||||
Le modèle, ce sont les étiquettes revues de NIEDERHORN (`labeling/manual/NIEDERHORN.jsonl`) :
|
||||
|
||||
- en mots, sans valeurs ni unités ni MAD : « monte presque à 1 », « monte nettement, sans pic isolé », « un petit saut le temps d'une mesure », « loin de leur seuil » ;
|
||||
- dans l'ordre : ce qui se passe et la cause ; ce qu'on voit dans les courbes (cibles, puis références) ; la preuve (« visible sur l'image de HH:MM UTC », ou « déduite » et de quoi) ; le retour à la normale ; la conclusion pour l'ouvrage (« Les voies ne bougent pas : rien à faire. ») ;
|
||||
- des phrases courtes et liées, pas d'énumération entre points-virgules ;
|
||||
- un capteur nommé seulement s'il est le sujet (la cible derrière les feuilles), pas pour lister les plus touchées ;
|
||||
- ni classification (*target-local degradation*…) ni question ouverte (« effet optique ou fléchissement, à revoir ») : elles restent dans l'event ;
|
||||
- une hypothèse reste une hypothèse (« sans doute ») ; rien qu'il n'ait pas dit ou que tu n'aies pas vérifié.
|
||||
|
||||
## 3. Sa réponse
|
||||
|
||||
- « Oui », « tu peux y aller », « modifie directement » : écris le texte proposé, puis `"revue": "<AAAA-MM-JJ du jour>"`.
|
||||
- Il corrige : applique exactement ce qu'il dit (bornes, texte) ; un texte, c'est le sien : tu n'écris que celui qu'il a validé ; puis `revue`.
|
||||
- Il ne sait pas, ou veut y revenir : l'étiquette reste sans `revue`.
|
||||
- Une réponse qui n'est pas nette : ne devine pas, repose la question.
|
||||
|
||||
Modifie le fichier par script, en relisant d'abord le fichier : une ligne JSON par étiquette, les autres lignes telles quelles, les champs dans leur ordre (`revue` en dernier), `ensure_ascii=False` ; vérifie que l'étiquette visée a été trouvée (par ses bornes) et que chaque ligne se relit par `json.loads`. Si elle n'est pas trouvée, il l'a changée dans l'outil : relis, ne force pas.
|
||||
|
||||
La revue ne laisse pas d'autre trace que le fichier des étiquettes et `revue` : dis en une ligne ce qui a changé, et présente l'étiquette suivante.
|
||||
|
||||
À la fin de la station : un bilan dans la réponse (les étiquettes qui restent, revues ; retirées ; restées ouvertes), puis la station suivante. Le commit attend l'accord de l'utilisateur.
|
||||
|
||||
## Règles
|
||||
|
||||
- Tu n'écris que dans `labeling/manual/<STATION>.jsonl`, sur sa parole.
|
||||
- Lecture seule sur les données ; aucun identifiant (`SIM_CCID`, `ip`, `ip_*`) dans une étiquette ; jamais le registre de `anonymize-event`.
|
||||
- Vocabulaire : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` ; pas de pseudo-probabilités.
|
||||
@@ -18,7 +18,7 @@ Cadrage du product owner : sous-projet G, santé des sites et notifications au c
|
||||
- **En attente** : agents LLM côté serveur (D-027) et enquête par API (D-042), documents seulement ; communication avec la caméra (dev container, D-038), en attente de la doc de l'API REST ; détection des sauts et tendances (D-055, onglet `Displacements`), très expérimentale.
|
||||
- **Prochaine étape** :
|
||||
- journal du matin : les points ouverts du plan vivant, sur les consignes de l'utilisateur ; un point validé n'est plus repris ;
|
||||
- les étiquettes de l'expert : l'utilisateur en réalise quelques-unes (`labeling/`, D-098) ; comment l'analyste en apprend reste à décider (point 69 du plan, `/labels-learner` proposé) ;
|
||||
- les étiquettes de l'expert (`labeling/`, D-098, D-100) : 24, revues avec l'utilisateur par `/review-labels` le 2026-11-02 (D-103), sauf celle de PS_DES_COUDRES, sans données ; puis le premier `/labels-learner` (D-099, point 69 du plan), sur la perte de référence, lancé par l'utilisateur ;
|
||||
- la première séance de `/events-learner` avec les rôles revus, lancée par l'utilisateur (points 52 à 56 du plan) ; le releveur et l'améliorateur, communs aux processus automatiques, dans une autre conversation ;
|
||||
- les écarts du handoff, dont « consistent with » face aux phrases catégoriques du journal, quand l'utilisateur les arbitre ;
|
||||
- Cellular, Storage, Temperature : les réponses du spécialiste (`docs/<domaine>/domaine/questions-pour-l-expert.md`, pour Temperature la question 1 de `point-de-depart.md`), puis corrections et guides.
|
||||
@@ -55,6 +55,7 @@ python3 maquettes/support/home.py [début] [fin] # maquette support
|
||||
python3 vues-deplacements/maquette/explore.py [dossier] # page Explore : View, Diagnosis, Displacements, Journal
|
||||
python3 detectors/categories.py <dossier> # événements du journal, une ligne chacun
|
||||
python3 detectors-view/detecteurs.py data/<STATION> [--du D --au F] # page des détecteurs seuls
|
||||
./run.sh # les trois outils du poste : Status, View, Labeling
|
||||
./detectors-view/status.sh # page Status par son data loader : station, dates, Analyse
|
||||
python3 labeling/labeling.py [data/<STATION> --du D --au F] # l'expert étiquette : un plot, une plage, du texte, Add
|
||||
python3 view/view.py [data/<STATION> --du D --au F] # les images IRON : parcourir, zoomer
|
||||
@@ -73,13 +74,13 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
|
||||
### Lire sans saturer le contexte
|
||||
|
||||
- Fichier long (tailles en lignes ci-dessous) : lire son plan (`grep -n '^#' <fichier>`), puis la seule section utile (Read avec `offset` et `limit`).
|
||||
- `docs/decisions.md` (980 l, D-001 à D-098) : index par `grep -n '^## D-' docs/decisions.md`, puis l'entrée citée seulement ; son **Statut** dit si elle est remplacée.
|
||||
- `docs/decisions.md` (990 l, D-001 à D-099) : index par `grep -n '^## D-' docs/decisions.md`, puis l'entrée citée seulement ; son **Statut** dit si elle est remplacée.
|
||||
- `data/` : explorer par script (`common.stations.load_stations`, outils de `agent-tools/`), jamais en affichant les CSV.
|
||||
- Ne pas lire : `docs/superpowers/` (historique, sauf le plan vivant et la spec du support), `out/`, `.venv/`, `graphify-out/`.
|
||||
|
||||
### Racine
|
||||
|
||||
- `README.md` : point d'entrée pour un humain. `run.md` (125 l) : les commandes que lance l'utilisateur (pompage, étiquetage, métriques de qualité par `~/optical_emulator`, `/events-learner`, `/review-event`). `push.sh "<message>"` : pull, commit de tout, push.
|
||||
- `README.md` : point d'entrée pour un humain. `run.md` (125 l) : les commandes que lance l'utilisateur (pompage, étiquetage, métriques de qualité par `~/optical_emulator`, `/events-learner`, `/review-event`). `push.sh "<message>"` : pull, commit de tout, push. `run.sh` : la page Status, View et Labeling, chacun par son data loader.
|
||||
|
||||
### `docs/`
|
||||
|
||||
@@ -103,7 +104,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
|
||||
- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069).
|
||||
- `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur élémentaire par fichier, contrat `detect(mesures)`, classés en événements par `categories.py` ; `archive/` : versions écartées.
|
||||
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, événements des détecteurs en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094), occultés selon `hierarchie-des-status.md` (D-095, regroupement thermique suspendu) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`) et par `/review-event`.
|
||||
- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `<STATION>.jsonl`, versionné.
|
||||
- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre sans catégorie ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles que l'analyste trouvera seul, vide (D-102) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène.
|
||||
- `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références).
|
||||
- `events-learner/`, `aiguiser/` : les séances de `/events-learner` et de `/aiguiser`, retiré (D-084, D-097), une par dossier `<séance>_<STATION>/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande.
|
||||
- `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`.
|
||||
@@ -120,7 +121,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
|
||||
- Jeux de travail : VERMONT pour Energy (D-009, le plus long historique) ; WEISSHORN pour Storage (D-034) ; WEISSHORN et NORDEND pour Cellular (D-030, D-032) et Temperature (D-040) ; à pomper s'ils manquent.
|
||||
- WEISSHORN et NORDEND contiennent des identifiants (`SIM_CCID`, `ip`, `ip_*`) : ne pas les recopier.
|
||||
- Les données des events restent, codées, dans `events/`.
|
||||
- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/events-learner` (`analyste`, `tool-builder`, `detectors-critic`, `detectors-upgrader`, `detectors-control`, `event-builder`), `revue` (`/review-event`), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite).
|
||||
- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/events-learner` (`analyste`, `tool-builder`, `detectors-critic`, `detectors-upgrader`, `detectors-control`, `event-builder`), `revue` (`/review-event`), `documentaliste` (`/labels-learner`, D-099), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `labels-learner` (D-099), `review-labels` (D-103), `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite).
|
||||
- `.devcontainer/` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `out/` : pages et JSON générés.
|
||||
- Tout est versionné (D-014), sauf `out/`, `data/`, `.venv/`, `__pycache__/`, `graphify-out/` et `.env`.
|
||||
|
||||
|
||||
+38
-2
@@ -973,8 +973,44 @@ Règles du journal :
|
||||
- **Conséquence** : une séance de `/events-learner` appelle six agents ; l'analyste, qui peut écrire des scripts, coûtera sans doute plus. Lire en brut garde une part de ce qu'apportait le correcteur, qui a trouvé la seule erreur de lecture commune (rejets des références, WILDSTRUBEL, 2026-10-27). Un changement de `donnees.py` se voit d'une séance à l'autre dans l'historique du benchmark. Sans retrait ni contrôle, les outils peuvent encore grossir : à observer.
|
||||
|
||||
## D-098 — 2026-10-30 — L'expert étiquette lui-même : `labeling/`
|
||||
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin.
|
||||
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; une étiquette se corrige dans le fichier.
|
||||
- **Statut** : active, à l'essai ; point 68 du plan du journal du matin ; complétée par D-100 (les events validés y ont leurs étiquettes).
|
||||
- **Décision** : un outil local et très simple, `labeling/labeling.py`, qui ne sert qu'à se repérer dans le temps et à écrire ; les données se consultent sur le monitoring. Le data loader de la page Status, un plot à la fois (menu Advanced d'Explore, plus les métriques système numériques, sans les identifiants), une barre de temps alignée où l'on sélectionne une plage, du texte, et Add écrit aussitôt. Des étiquettes en langage naturel, **sans catégorie**, dans `labeling/<STATION>.jsonl`, une ligne chacune (`debut`, `fin`, `description`), versionné ; zones grisées sur tous les plots, chevauchements admis ; un clic sur une étiquette permet de lire et de modifier son texte (Save, demande de l'utilisateur, 2026-10-30) de corriger ses bornes et de la retirer (Delete, 2026-11-02).
|
||||
- **Pourquoi** : l'utilisateur, 2026-10-30 : que l'analyste prenne connaissance des phénomènes sur des cas étiquetés par l'expert, en plus de ce qu'on lui explique (point 67) ; pas de catégorie pour ne pas borner, on en déduira après coup ; le but est d'avoir les étiquettes, pas une application. Constat de Claude : la seule vérité du projet était l'analyste (`score.py`, benchmark).
|
||||
- **Options écartées** : l'étiquetage dans la page Status, avec les status des détecteurs, `error_value`, une température et une catégorie facultative (première proposition de Claude) : l'outil doit rester simple, le monitoring montre le reste ; le format de `etiquettes.json` : ses champs obligatoires (catégorie, preuve, capteurs) bornent, et un seul objet JSON se réécrit à chaque ajout.
|
||||
- **Conséquence** : `score.py` ne lit pas ces étiquettes (pas de catégorie, et un instant sans étiquette n'y veut pas dire « rien vu »). Comment l'analyste s'en sert reste à décider, une fois assez d'étiquettes écrites (point 69 du plan : `/labels-learner` proposé). Une étiquette n'entre dans `events/` que par `/new-event` ou l'`event-builder`.
|
||||
|
||||
## D-099 — 2026-11-02 — Apprendre des étiquettes de l'expert : `/labels-learner`
|
||||
- **Statut** : active, à l'essai ; point 69 du plan du journal du matin.
|
||||
- **Décision** : un skill lancé par l'utilisateur, `/labels-learner <phénomène>`. L'orchestrateur retient avec lui au plus cinq étiquettes de `labeling/` sur ce phénomène ; l'agent `analyste`, sur une consigne à part (`.claude/skills/labels-learner/analyste.md`, pas `analyser-lot`), mesure dans les données ce que dit chacune (la signature : colonnes, capteurs, valeurs, ordre), les compare et pose ses questions à l'expert ; l'orchestrateur les relaie, l'analyste reprend avec les réponses, jusqu'à avoir compris (au plus trois tours), puis écrit ses conclusions. Un nouvel agent, le `documentaliste`, qui tient la documentation métier du projet, les fait entrer à leur place (chaîne de mesure, carte des événements, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source ; l'utilisateur relit le diff, puis commit. Rendus dans `labeling/lecons/<date>_<phénomène>/` (`etiquettes.jsonl`, `lecon.md`), versionnés.
|
||||
- **Pourquoi** : l'utilisateur, 2026-10-30 : les étiquettes ne valent que si l'analyste en apprend, et apprendre, ici, c'est documenter ; 2026-11-02, sur ses 13 premières étiquettes : pas de lecture à l'aveugle, il n'en voit pas l'intérêt ; le texte des étiquettes suffit, pas de fiche de station. Le même jour, l'utilisateur : ce que l'analyste apprend doit être documenté ; il peut poser des questions, et quand il a tout compris, il passe ses conclusions à un agent de documentation, nouveau, dont le rôle est de maintenir la documentation du projet. Constat de Claude sur ces étiquettes : elles disent le mécanisme, et la mesure dans les données le précise (deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide, à JUNGFRAU et NORDEND).
|
||||
- **Options écartées** : des propositions présentées une à une à l'utilisateur, appliquées par l'orchestrateur (première version de Claude, le même jour) : les questions à l'expert tiennent lieu de validation, et la documentation a son agent ; la lecture à l'aveugle avant la confrontation (proposition de Claude, pour mesurer l'écart entre l'analyste seul et l'expert) : refusée par l'utilisateur ; une fiche de contexte par station (ouvrage, références) : le texte des étiquettes le dit ; un nouvel agent : l'analyste sait lire les données ; un document de leçons que l'analyste relirait : les acquis vont dans la chaîne de mesure, la carte et `lire-les-donnees` (point 67 : ne pas l'alourdir).
|
||||
- **Conséquence** : le savoir entre par les réponses de l'expert et se relit au diff avant le commit ; une conclusion vue sur une seule station reste `[H]`. Le `documentaliste` est général : d'autres processus pourront lui passer leurs conclusions. La chaîne de mesure n'est pas encore lue par l'analyste de `/events-learner` (point 67) : ce qu'elle apprend ne l'atteint qu'ensuite. Ni détecteurs ni events ici : `/events-learner` et `/new-event`.
|
||||
|
||||
## D-100 — 2026-11-02 — Les étiquettes, base de connaissance ; les events validés y ont les leurs
|
||||
- **Statut** : active ; complète D-098 et D-099.
|
||||
- **Décision** : les étiquettes de l'expert (`labeling/`) sont la base de connaissance la plus fondamentale du projet : des plages de données, avec le diagnostic et la classification de l'expert. Le travail de l'analyste est de refaire cette classification sur des plages. Les events (`events/`) sont gardés, et chaque event **validé** a aussi ses étiquettes, dans le fichier de sa station, `labeling/<STATION>.jsonl`, avec les vrais noms des capteurs (station et noms tirés du registre de `anonymize-event`, les dates sont les mêmes), pour que l'outil les montre avec les autres ; tirées de sa fiche (`event.md`), une étiquette par occurrence du phénomène, le texte disant ce qu'on voit, la cause et comment on l'a sue, la classification, la conséquence ; au même format que les autres (`debut`, `fin`, `description`). Écrites par un agent avec les codes de l'event, puis décodées et ajoutées au fichier de la station par Claude (l'agent ne lit pas le registre).
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-02 : se concentrer d'abord sur les étiquettes faites à la main, sa base de connaissance ; on ne sait pas si les events serviront, mais ils restent utiles ; avec assez d'étiquettes, on pourra penser à des algorithmes d'apprentissage automatique. Un event validé porte son diagnostic : c'est une étiquette de l'expert.
|
||||
- **Options écartées** : garder events et étiquettes séparés (avis de Claude, le même jour : doublon avec la carte des événements, et une fiche n'est pas écrite par l'expert) ; des fichiers à part, `labeling/E-xxx.jsonl`, aux noms codés, ouverts sur les données de l'event (première version, le même jour) : l'outil de l'utilisateur ne charge que les fichiers des stations, un seul système ; reprendre les moments d'`etiquettes.json` (l'analyste sur tout le lot, ceux de E-001 à E-005 pas encore relus, point 48) ; les events « (appris) » (E-012 à E-014) avant `/review-event`.
|
||||
- **Conséquence** : `/labels-learner` et l'outil les lisent comme les autres. Sans champ `source` (retiré à la demande de l'utilisateur, le même jour) : rien ne relie une étiquette à son event, ni une station à son code (D-049). E-001 est sur `PS_DES_COUDRES`, absente de `data/` : son étiquette attend le pompage. Un event validé plus tard devra recevoir ses étiquettes (à brancher dans `/new-event` et `/review-event`, point 70).
|
||||
|
||||
## D-101 — 2026-11-02 — Un vérificateur des étiquettes : l'agent `label-reviewer`
|
||||
- **Statut** : remplacée par D-103 pour la forme (un skill, pas un agent) ; le reste tient.
|
||||
- **Décision** : un agent, `label-reviewer` (`.claude/agents/label-reviewer.md`), appelé depuis la conversation sur un fichier `labeling/<STATION>.jsonl` : pour chaque étiquette sans champ `revue`, il mesure dans les données ce que dit le texte, contrôle la forme, les bornes, les noms des capteurs, l'heure (UTC, jour ou nuit sur les images), la cause et comment elle a été sue, les autres étiquettes et la documentation (carte des événements, chaîne de mesure), puis écrit sa revue dans `labeling/revues/<STATION>.md` et rend ses questions ; la conversation les pose à l'utilisateur et lui renvoie les réponses. Il ne change une étiquette que sur la parole de l'utilisateur ; une étiquette confirmée ou corrigée reçoit `"revue": "<date>"`, qu'un Save de son texte dans l'outil retire.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-02 : un vérificateur qui pointe les incohérences et lui pose des questions pour confirmer ses étiquettes, car il peut simplement faire des erreurs ; les étiquettes sont la base de connaissance (D-100).
|
||||
- **Options écartées** : un skill orchestrateur (comme `/review-event`) : la conversation suffit à relayer les questions ; un agent qui corrige seul : une incohérence peut venir des données ou de la documentation, l'expert tranche.
|
||||
- **Conséquence** : une étiquette porte `revue` une fois vérifiée ; `/labels-learner` ne les distingue pas encore.
|
||||
|
||||
## D-102 — 2026-11-02 — Les étiquettes en deux dossiers : `manual/` et `auto/`
|
||||
- **Statut** : active ; complète D-098, D-100 et D-101.
|
||||
- **Décision** : `labeling/manual/<STATION>.jsonl` reçoit les étiquettes faites à la main (l'outil y lit et y écrit), dont celles des events validés, vérifiées avec le `label-reviewer` ; `labeling/auto/` recevra celles que l'analyste trouvera seul, vide pour l'instant (son format et l'outil qui les montre restent à décider). `/labels-learner` et le `label-reviewer` lisent `manual/`.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-02 : les étiquettes faites ensemble se valident avec le reviewer ; celles que l'analyste trouve seul vont à part.
|
||||
- **Options écartées** : aucune proposée.
|
||||
- **Conséquence** : les 43 étiquettes existantes sont déplacées dans `manual/` ; l'outil ne montre pas encore `auto/`.
|
||||
|
||||
|
||||
## D-103 — 2026-11-02 — La revue des étiquettes, un skill mené dans la conversation : `/review-labels`
|
||||
- **Statut** : active ; remplace la forme de D-101.
|
||||
- **Décision** : l'agent `label-reviewer` devient le skill `review-labels` (`.claude/skills/review-labels/SKILL.md`), que la conversation suit elle-même : `/review-labels <STATION>` prend les étiquettes sans `revue` dans l'ordre chronologique, une à la fois ; pour chacune, les mêmes contrôles que D-101, puis sa présentation à l'utilisateur, ses questions, sa réponse appliquée, et seulement alors la suivante. La revue ne garde pas de fichier à part : l'étiquette revue porte `revue`. Une étiquette est qualitative, en langage naturel, sans valeurs : l'analyste quantifiera ensuite.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-02, après le premier essai sur NIEDERHORN : passer chaque étiquette en revue et la valider ensemble, plutôt que recevoir d'un agent toutes les questions d'une station d'un coup ; les chiffres dans les étiquettes, c'est le travail de l'analyste.
|
||||
- **Options écartées** : garder l'agent et relayer ses questions (le premier essai) : un intermédiaire de plus, et toutes les questions à la fois.
|
||||
- **Conséquence** : `.claude/agents/label-reviewer.md` et `labeling/revues/` sont retirés (l'utilisateur, 2026-11-02 : pas de fichier de revue).
|
||||
@@ -125,7 +125,9 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 66 | Client et spécialiste : la complexité sur demande | Décider | 58, 62, 64 | idée gardée |
|
||||
| 67 | Le savoir métier de l'analyste : le mécanisme, sans plus de pages | Décider | 57 | idée du 2026-10-29 ; trois questions |
|
||||
| 68 | L'expert étiquette lui-même : un outil web | Décider, Coder | — | construit le 2026-10-30 (D-098), `labeling/` ; à essayer par l'utilisateur |
|
||||
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | idée du 2026-10-30 ; l'utilisateur étiquette d'abord, articulation ouverte |
|
||||
| 69 | Apprendre des étiquettes de l'expert : `/labels-learner` | Décider, Coder | 67, 68 | `/labels-learner` construit le 2026-11-02 (D-099) ; premier essai, sur la perte de référence, à lancer par l'utilisateur |
|
||||
| 70 | Des étiquettes proposées par l'analyste, vérifiées par l'expert | Décider, Coder | 48, 68, 69 | 2026-11-02 : les étiquettes d'abord, base de connaissance (D-100) ; étiquettes des events validés en cours |
|
||||
| 71 | Un intégrateur : ce que deviennent les étiquettes | Décider | 69, 70 | idée du 2026-11-02 ; avis de Claude, à discuter après la revue des étiquettes |
|
||||
|
||||
Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien).
|
||||
|
||||
@@ -1580,12 +1582,14 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
|
||||
**Choix de Claude, à corriger au besoin.**
|
||||
- `labeling/<STATION>.jsonl`, une ligne par étiquette : `{"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}`, les noms de champs de l'analyste, sans ceux qui bornent. Add écrit une ligne ; un `grep` suffit à chercher ; le diff git se lit. Versionné (`data/` ne l'est pas), hors de `events/` (ses seules portes : `/new-event`, `event-builder`).
|
||||
- Pas de `capteurs` : le texte les dit.
|
||||
- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier.
|
||||
- Pas de modification ni de suppression dans la page : une ligne à retirer du fichier (le texte se modifie dans la page depuis le 2026-10-30, voir plus bas).
|
||||
- Un seul fichier de code, `labeling/labeling.py` : la page et son serveur (celui du data loader, plus l'enregistrement) ; de la page Status, seule change la cible du formulaire.
|
||||
- Rien d'autre sur la page : ni images, ni status des détecteurs, que le monitoring montre.
|
||||
|
||||
**Ajout de l'utilisateur (2026-10-30).** Les métriques système au menu, « System: … » : celles qui ont des valeurs numériques sur la plage. Les identifiants (`SIM_CCID`, `ip`, `ip_*`) ne sont pas lus : `SIM_CCID` a souvent l'air d'un nombre, il serait tracé. Les métriques texte (`link`, `mode`, `last_sync`…) n'ont pas de courbe.
|
||||
|
||||
**Ajout de l'utilisateur (2026-10-30, après ses premières étiquettes).** Un clic sur la barre d'une étiquette l'affiche dans une fenêtre sous la barre ; son texte s'y modifie, Save l'enregistre. Save retrouve la ligne par son contenu et ne touche pas aux autres ; si elle a changé à la main entre-temps, il refuse et le dit. Un texte modifié, non enregistré, ne se perd pas sans une question. Les bornes et le retrait restent dans le fichier.
|
||||
|
||||
**Les limites à garder.**
|
||||
- Une étiquette de l'expert est ponctuelle : un instant sans étiquette n'y veut pas dire « rien vu », contrairement à l'analyste (point 45). Face aux détecteurs, « trouvées » aurait un sens, « justes » non, tant qu'une plage n'est pas marquée relue en entier ; et `score.py` ne lit pas ces étiquettes, faute de catégorie. L'outil sert à apprendre, pas à calculer un score.
|
||||
- Si l'analyste lit l'étiquette du lot qu'il analyse, il récite : elle lui apprend sur les autres périodes, et peut le mesurer sur la sienne (le test avant et après du point 67). Proposé, pas imposé.
|
||||
@@ -1594,7 +1598,7 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
|
||||
- [x] L'utilisateur approuve la description (2026-10-30).
|
||||
- [x] L'outil : `labeling/labeling.py` (D-098), essayé le 2026-10-30 sur NIEDERHORN du 2026-09-25 au 2026-10-08 par de vrais gestes dans Chrome : sélection et poignées, Add, chevauchement, zoom suivi par la barre, changement de plot, rechargement ; pages de NORDEND (20 Mo, toute la période), CLARIDEN, LENZSPITZE et NADELHORN générées, NORDEND et LENZSPITZE chargées en moins de 2 s, un changement de plot en moins d'une seconde.
|
||||
- [ ] L'utilisateur l'essaie et le valide (commité avant l'essai, à sa demande, le 2026-10-30).
|
||||
- [ ] Quelques cas étiquetés par l'utilisateur ; regarder ensuite ce que l'analyste en tire (point 69).
|
||||
- [x] Quelques cas étiquetés par l'utilisateur (13 au 2026-11-02) ; regarder ensuite ce que l'analyste en tire (point 69).
|
||||
|
||||
### Point 69 : Apprendre des étiquettes de l'expert : `/labels-learner`
|
||||
|
||||
@@ -1650,11 +1654,86 @@ Les cas se croisent : une caméra posée sur un pont a deux ouvrages, celui qui
|
||||
|
||||
**À regarder sur ces étiquettes.** Disent-elles la cause, ou ce qu'on voit ? Comment l'expert l'a su ? Quels plots ? Quelles stations ? Ce qui a gêné dans l'outil.
|
||||
|
||||
- [ ] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données »).
|
||||
- [ ] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus.
|
||||
- [ ] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`).
|
||||
**Les 13 premières étiquettes, lues par Claude (2026-11-02).** 8 à JUNGFRAU (un pont), 4 à NORDEND (une carrière), 1 à WILDSTRUBEL (une route). Toutes disent la cause **et** comment l'expert l'a sue : les plots cités (`corr`, `error_value`, erreur de reprojection, mouvement de la caméra, températures) et les images ; c'est du mécanisme, ce qui manquait à l'analyste (point 67).
|
||||
|
||||
| Phénomène | Étiquettes | Dans la chaîne de mesure ou la carte ? |
|
||||
|---|---|---|
|
||||
| Perte de référence : saut, puis caméra aveugle | JUNGFRAU 06/10, 14-15/10, 26/10, 27/10 ; NORDEND 04/09 11:00 | la ligne « Références » oui ; **le témoin `reproj_err` non** |
|
||||
| Thermique de l'ouvrage (le pont monte en refroidissant), support plus rapide que l'ouvrage, compensation mauvaise | JUNGFRAU 11-12/10, 13/10 | oui (section 3), sans les temps relatifs |
|
||||
| Thermique de la caméra sur un ouvrage qui ne bouge pas (carrière, route) | NORDEND 25-26/09, WILDSTRUBEL 27/09 | oui ; **le type d'ouvrage qui exclut l'effet de l'ouvrage, non** |
|
||||
| Tendance de plusieurs jours avec la baisse des températures | JUNGFRAU 16-19/10 | non |
|
||||
| Visibilité moins bonne, sans coupable | JUNGFRAU 07-08/10 | oui |
|
||||
| Turbulence de jour, bien compensée | WILDSTRUBEL 27/09 | oui |
|
||||
| Toile d'araignée contre l'objectif, saturée : **aucun signal** | NORDEND 03-04/09 nuit, 04/09 16:00 | la toile oui ; **l'angle mort non** |
|
||||
|
||||
**Vérifié dans les données par Claude [D]** (JUNGFRAU, les quatre plages ; NORDEND, 04/09) : une référence est rejetée dès que son `error_value` dépasse son `error_threshold` (0,7 pour REF_G et REF_D, 0,45 pour REF_CT ; 0,4 à NORDEND). Trois références acceptées : `reproj_err` > 0, `inlier` = 1. **Deux** : `reproj_err` = 0,000 sur les deux, `inlier` vide. **Une** : `reproj_err` vide partout. Cela s'explique : la similitude 2D a quatre inconnues (chaîne de mesure, étage 5), deux points en donnent quatre équations, l'ajustement est exact et le résidu nul, sans contrôle ; un point ne suffit pas. C'est la règle « un petit résidu n'est pas une transformation bien contrainte » dans sa forme la plus nette : `reproj_err` = 0 est un mauvais signe, pas un bon. Deux stations, cinq cas : assez général pour la chaîne de mesure, sur la parole de l'utilisateur.
|
||||
- JUNGFRAU 14-15/10 : l'ordre est inverse de celui de l'étiquette : `reproj_err` vide de 02:00 à 04:00 (REF_G et REF_D rejetées, il ne reste que REF_CT), puis 0 de 04:30 à 06:00 (REF_G revenue), puis normal à 06:30.
|
||||
- JUNGFRAU 06/10 : REF_G rejetée une seule mesure, à 06:00 (`error_value` 0,97).
|
||||
- NORDEND 03-04/09, la toile : `error_value` de CTR04 à 0,08 et `reproj_err` normal toute la nuit : rien ne la voit, comme le dit l'étiquette.
|
||||
|
||||
**Ce qu'elles apportent hors des données.** Le contexte de la station, que l'analyste n'a pas : le type d'ouvrage (pont, carrière, route) et ce qu'il exclut ; le nombre de références et où elles sont (hors du pont) ; le fuseau, l'heure du lever lue sur les images (WILDSTRUBEL). Et une règle de lecture : un `error_value` haut n'est pas un problème en soi, ses variations le sont (JUNGFRAU 14-15/10).
|
||||
|
||||
**Les doutes de l'expert, des questions pour lui.** NORDEND 03-04/09 : « le système croit toujours en avoir 3 », « pas clair comment c'est calculé ». JUNGFRAU 11-12/10 : « l'erreur reste très stable, ce qui suggère une mauvaise compensation » : stable, donc pas la vue, donc un mouvement ? JUNGFRAU 13/10 : les températures de la station ne suivent pas clairement.
|
||||
|
||||
**Réponses proposées par Claude aux cinq questions, à trancher.**
|
||||
1. **Par phénomène**, pour dire le général plutôt que le site ; d'abord la perte de référence (cinq étiquettes, deux stations), puis le thermique.
|
||||
2. **À l'aveugle**, pour le premier essai : ni la carte ni la chaîne ne disent `reproj_err` = 0, l'écart se verra ; plages courtes (de 30 min à 6 h), donc peu coûteuses.
|
||||
3. **Oui** : les étiquettes désignent les cas ; une étiquette marquante vers `/new-event` (la toile de NORDEND, un angle mort).
|
||||
4. **À la lumière des étiquettes** : elles tranchent déjà une partie de la chaîne (le témoin des références, le type d'ouvrage) ; on la relit avec les propositions du premier essai.
|
||||
5. **Non**, inchangé (D-098).
|
||||
- Le contexte de la station : une ligne par station (ouvrage, références) que l'analyste lit, ou le texte des étiquettes suffit ? Question nouvelle.
|
||||
|
||||
**Réponses de l'utilisateur (2026-11-02).** Pas de lecture à l'aveugle : il n'en voit pas l'intérêt (question 2). Le texte des étiquettes suffit pour le contexte de la station : pas de fiche de station. Les questions 1, 3, 4 et 5 restent sur la proposition de Claude, sans réponse explicite.
|
||||
|
||||
**Le processus, simplifié en conséquence (Claude, à approuver).** `/labels-learner`, sur un phénomène :
|
||||
1. L'analyste reçoit les étiquettes du phénomène et la chaîne de mesure ; pour chaque étiquette, il va dans les données de sa plage et en tire la **signature mesurée** (quelles colonnes, de combien, dans quel ordre), comme fait ci-dessus pour `reproj_err`.
|
||||
2. Il compare les étiquettes entre elles (ce qui est général, ce qui tient au site) et rend ses **propositions** à la chaîne de mesure, à la carte et à `lire-les-donnees`, chacune sourcée, plus ses **questions** à l'expert, dont ce que les données contredisent.
|
||||
3. L'orchestrateur les présente une à une à l'utilisateur ; rien n'entre sans sa parole.
|
||||
Un seul passage de l'analyste par phénomène, au lieu de deux : moins coûteux ; l'écart entre l'analyste seul et l'expert ne se mesure plus, l'utilisateur n'en voit pas l'usage.
|
||||
|
||||
- [x] L'utilisateur réalise quelques étiquettes (`run.md`, « Étiqueter des données ») : 13 au 2026-11-02.
|
||||
- [x] Les regarder ensemble ; répondre aux questions ci-dessus, décider le processus : lues le 2026-11-02, processus simplifié retenu par l'utilisateur.
|
||||
- [x] S'il est retenu : le skill, et ce que l'agent `analyste` doit pouvoir faire de plus (la confrontation, hors `analyser-lot`). Fait le 2026-11-02 (D-099) : `.claude/skills/labels-learner/SKILL.md` (l'orchestrateur), `analyste.md` (la consigne de l'analyste, à la place d'`analyser-lot`) ; l'agent `analyste` lit la consigne que sa demande nomme ; `run.md`, « Apprendre des étiquettes ».
|
||||
|
||||
**Ajout de l'utilisateur (2026-11-02), qui remplace la validation une à une.** Ce que l'analyste apprend doit être documenté. Il pose ses questions à l'expert tant qu'il n'a pas compris (au plus trois tours) ; quand il a tout compris, il passe ses conclusions à un agent nouveau, le `documentaliste` (`.claude/agents/documentaliste.md`), dont le rôle est de maintenir la documentation du projet : il les place (chaîne de mesure, carte, `lire-les-donnees`, `docs/domaine/`), sans doublon, avec leur source. L'utilisateur relit le diff avant le commit.
|
||||
- [ ] Le premier essai, sur 3 à 5 étiquettes réelles ; corriger le skill.
|
||||
|
||||
### Point 70 : Des étiquettes proposées par l'analyste, vérifiées par l'expert
|
||||
|
||||
**Idée de l'utilisateur (2026-11-02).** Un analyste écrit des étiquettes, l'utilisateur les vérifie à la main ; crainte : trop d'étiquettes, qui noient l'agent. Précision de l'utilisateur, le même jour : deux buts, faire progresser l'agent d'analyse, et optimiser les détecteurs sur une multitude d'étiquettes. Les events restent à part (pas de conversion de `events/` en étiquettes).
|
||||
|
||||
**Avis de Claude : deux buts, deux sortes d'étiquettes.**
|
||||
|
||||
| | 1. Faire progresser l'analyste | 2. Optimiser les détecteurs |
|
||||
|---|---|---|
|
||||
| Qui les lit | un agent (`/labels-learner`) | un script (`score.py`, comme `benchmark.py`) |
|
||||
| Combien | peu : ce dont l'analyste doute | beaucoup : des lots entiers |
|
||||
| Forme | texte libre, `labeling/<STATION>.jsonl` (D-098) | catégorie, capteurs, plage, période couverte en entier, format `etiquettes.json` (D-061) |
|
||||
| Ce que vérifie l'expert | il réécrit avec ses mots | il corrige catégorie et bornes, lot par lot |
|
||||
| Le risque | le cercle : une étiquette de l'analyste lui rend ce qu'il sait déjà ; ses propositions à part (`labeling/propositions/`), jamais lues par `/labels-learner` | la vérification à la main, longue sur des lots denses |
|
||||
|
||||
- **Noyer l'agent** ne vaut que pour le but 1, et `/labels-learner` en retient 5 par phénomène. Pour le but 2, c'est un script qui lit : le nombre ne coûte rien, il en faut beaucoup, et sur des périodes couvertes en entier, pour qu'un instant sans étiquette veuille dire « rien vu » (ce que les étiquettes libres ne disent pas, D-098).
|
||||
- **Le but 2 existe à moitié** : l'analyste étiquette déjà chaque lot de `/events-learner` (`etiquettes.json`), le `detectors-critic` s'y mesure, et le benchmark sur les events (D-069) a des étiquettes figées, dont celles de E-001 à E-005 sont encore à relire (point 48). Manque : garder les étiquettes des lots, les faire vérifier, et un benchmark qui les lit toutes.
|
||||
- Questions : pour le but 2, comment vérifier vite un lot dense (la page Status avec les étiquettes, ou un tableau à cocher) ? Combien de lots vérifiés avant de régler les détecteurs dessus, et lesquels garder hors réglage pour mesurer ? Pour le but 1, un fichier à part ou un champ `auteur` ?
|
||||
|
||||
**Décision de l'utilisateur (2026-11-02, D-100).** D'abord les étiquettes faites à la main : c'est la base de connaissance la plus fondamentale (des plages, le diagnostic et la classification de l'expert) ; le travail de l'analyste est de refaire cette classification sur des plages ; avec assez d'étiquettes, on pourra penser à l'apprentissage automatique. Les events sont gardés, et les validés ont aussi leurs étiquettes, écrites par un agent d'après leur fiche, puis ajoutées au fichier de leur station avec les vrais noms (l'outil ne charge que ceux-là).
|
||||
- [x] Les étiquettes de E-001 à E-011 (validés), par un agent : 30, dans les fichiers des stations, le 2026-11-02 ; relecture par l'utilisateur (ou le `label-reviewer`).
|
||||
- [ ] E-012 à E-014 après `/review-event` ; puis brancher l'étiquette dans `/new-event` et `/review-event`, pour chaque event validé plus tard.
|
||||
- [ ] Le but 2 (les détecteurs) et les propositions de l'analyste : plus tard.
|
||||
- [x] Un vérificateur des étiquettes de l'utilisateur, l'agent `label-reviewer` (D-101) : il pointe les incohérences et pose ses questions ; construit le 2026-11-02, premier essai sur NIEDERHORN le 2026-11-02 ; devenu le skill `/review-labels`, mené dans la conversation, une étiquette à la fois dans l'ordre chronologique (D-103).
|
||||
|
||||
### Point 71 : Un intégrateur : ce que deviennent les étiquettes
|
||||
|
||||
**Idée de l'utilisateur (2026-11-02).** Avec 43 étiquettes (7 stations), assez pour commencer à construire ; l'utilisateur les revoit d'abord avec le `label-reviewer`. Les étiquettes sont une base de connaissance, mais seulement une base : il faudra un intégrateur.
|
||||
|
||||
**Avis de Claude.** L'étiquette sert trois usages, qui demandent chacun leur intégration :
|
||||
1. **Le savoir écrit** (le mécanisme, les signatures, les faux amis) : existe, `/labels-learner` puis le `documentaliste` (D-099), jamais lancé. Le lancer une fois avant de construire autre chose.
|
||||
2. **L'analyste mesuré** (D-100 : son travail est de refaire la classification de l'expert sur les plages) : manque. L'analyste lit une plage étiquetée sans l'étiquette, puis on compare ; le texte libre ne se compare pas par script, il faut un juge (un agent qui dit d'accord, en partie, en désaccord) ou une forme structurée.
|
||||
3. **Les détecteurs, puis l'apprentissage automatique** : manque ; il leur faut une forme structurée (catégorie, capteurs, plage) et des périodes couvertes en entier (point 70, but 2).
|
||||
- La pièce commune à 2 et 3 : **dériver, d'une étiquette revue, sa forme structurée** (catégorie de la carte, capteurs, cause, preuve), après coup, comme D-098 le prévoyait, l'expert gardant le dernier mot. C'est peut-être cela, l'intégrateur.
|
||||
- Pas un seul agent qui fait tout : un rôle par responsabilité (D-088) ; l'intégrateur serait un processus, comme `/events-learner`, qui enchaîne des agents existants.
|
||||
- Questions : l'ordre (1 d'abord, puis la forme structurée ?) ; la forme structurée, dans la ligne de l'étiquette ou à côté ; un juge pour mesurer l'analyste, ou la forme structurée seulement.
|
||||
|
||||
---
|
||||
|
||||
## Annexe A — Les rapports des agents du 2026-10-23, résumés
|
||||
@@ -1842,3 +1921,18 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-30 : point 69 ajouté (idée de l'utilisateur : un processus pour que l'analyste apprenne des étiquettes) : avis de Claude, l'analyste propose, l'utilisateur valide, pas de document nouveau ; `/labels-learner` proposé, à approuver.
|
||||
- 2026-10-30 : point 69, l'utilisateur : d'abord quelques étiquettes, l'articulation reste ouverte ; les pièces, le chemin envisagé et cinq questions notés ; rien de construit.
|
||||
- 2026-10-30 : point 68, demande de l'utilisateur : les métriques système au menu de `labeling.py`, sans les identifiants ; essayées sur cinq stations. Point 59 : `sensor_*_deg_c` vides sur NADELHORN et LENZSPITZE.
|
||||
- 2026-10-30 : point 68, demande de l'utilisateur : un clic sur une étiquette la lit dans une fenêtre, Save enregistre son nouveau texte ; essayé sur NIEDERHORN par de vrais gestes, sans toucher aux 13 étiquettes réelles (JUNGFRAU, NORDEND, WILDSTRUBEL).
|
||||
- 2026-11-02 : point 68, édition des étiquettes commitée. Point 69 : les 13 étiquettes lues ; vérifié dans les données (JUNGFRAU, NORDEND) : deux références acceptées donnent `reproj_err` = 0, une seule le laisse vide ; réponses proposées aux cinq questions, plus le contexte de la station ; choix de l'utilisateur attendu.
|
||||
- 2026-11-02 : point 69, l'utilisateur : pas de lecture à l'aveugle, le texte des étiquettes suffit (pas de fiche de station) ; processus simplifié en un passage par phénomène, à approuver.
|
||||
- 2026-11-02 : point 69, `/labels-learner` construit sur le processus simplifié (D-099) ; reste le premier essai, sur la perte de référence (5 étiquettes, JUNGFRAU et NORDEND), lancé par l'utilisateur.
|
||||
- 2026-11-02 : point 69, demande de l'utilisateur : l'analyste pose ses questions jusqu'à avoir compris, puis passe ses conclusions à un agent nouveau, le `documentaliste`, qui maintient la documentation ; skill, consigne de l'analyste, D-099, `run.md` et `CLAUDE.md` revus.
|
||||
- 2026-11-02 : point 70 ajouté (idée de l'utilisateur : l'analyste propose des étiquettes, l'expert les vérifie ; crainte de noyer l'agent) : avis de Claude, peu de propositions, celles dont l'analyste doute, à part, réécrites par l'expert ; trois questions ; events et étiquettes restent séparés.
|
||||
- 2026-11-02 : point 70, l'utilisateur : deux buts (faire progresser l'analyste ; optimiser les détecteurs sur une multitude d'étiquettes) ; point revu, deux sortes d'étiquettes, questions pour chacune.
|
||||
- 2026-11-02 : point 70, décision de l'utilisateur (D-100) : les étiquettes faites à la main d'abord, base de connaissance ; les events gardés, les validés ont leurs étiquettes dans `labeling/E-xxx.jsonl`, écrites par un agent.
|
||||
- 2026-11-02 : point 70, demande de l'utilisateur : un vérificateur de ses étiquettes ; agent `label-reviewer` construit (D-101), `revue` sur les étiquettes vérifiées, retiré par un Save.
|
||||
- 2026-11-02 : point 70, demande de l'utilisateur : les étiquettes des events dans les fichiers des stations, que charge son outil ; 30 étiquettes décodées et ajoutées, `labeling/E-xxx.jsonl` abandonnés.
|
||||
- 2026-11-02 : point 70, l'utilisateur : champ `source` retiré des étiquettes des events, même format que les autres.
|
||||
- 2026-11-02 : point 70, l'utilisateur : `labeling/manual/` (à la main, vérifiées avec le `label-reviewer`) et `labeling/auto/` (ce que l'analyste trouvera seul) (D-102) ; les 43 étiquettes dans `manual/`.
|
||||
- 2026-11-02 : point 70, l'utilisateur, après le premier essai du `label-reviewer` sur NIEDERHORN : un skill `/review-labels` plutôt qu'un agent, une étiquette à la fois, validée ensemble (D-103).
|
||||
- 2026-11-02 : point 70, revue des étiquettes avec l'utilisateur (`/review-labels`) : 43 → 24, toutes revues sauf PS_DES_COUDRES (pas de données) ; textes qualitatifs, sans valeurs ; doublons et détails mineurs tirés des events retirés, phases d'un même fait fusionnées ; ses propres étiquettes gardées, reformulées.
|
||||
- 2026-11-02 : point 71 ajouté (idée de l'utilisateur : un intégrateur des étiquettes) : avis de Claude, trois usages, la forme structurée comme pièce commune ; à discuter après la revue des étiquettes.
|
||||
@@ -1,8 +0,0 @@
|
||||
{"debut": "2026-10-11T18:05Z", "fin": "2026-10-12T07:33Z", "description": "Les targets sont placées sur un pont et les références pas. On voit clairement que les références bougent assez peu à l'opposé des targets qui bougent beaucoup. Ici il s'agit de la contraction du pont. Comme il s'agit d'un grand ouvrage il prend tu temps à refroidir. Pour des raisons qui lui sont propres, le pont monte en refroidissant. A la nuit tombée, le pont commence à refroidir et donc bouge. A la levée du jour, le phénomène s'inverse. La temporalité du phénomène est longue car le pont est grand, il prend du temps à refroidir. L'erreur reste très stable sur l'ensemble de l'événement, ce qui laisse suggérer que c'est une mauvais compensation de la caméra. Il en va de même pour l'erreur de reprojection, elle augmente un peu mais ce n'est pas significatif. Pour ce qui est des mouvements de la caméra, on voit des comportements similaire avec une temporalité proche de celle du pont. Comme cette dernière est fixée vers le pont il se peut qu'elle bouge avec ce dernier. Il faut cependant garder à l'esprit que la caméra peut bouger par les effets thermiques à un rythme différent du pont et ceci en raison de temps nécessaire pour le refroidissement. Dans ce cas précis, les temporalités sont similaires."}
|
||||
{"debut": "2026-10-13T07:14Z", "fin": "2026-10-13T18:27Z", "description": "Effet thermique dû au réchauffement du pont la journée. Dès le lever du soleil, dès que la température augmente. Le phénomène n'est pas super clair quand on regarde les métriques de température des composants de la caméra mais il peut que ce soit juste une forte différence de temporalité entre les deux. Que les composants chauffent vite alors que le pont prend beaucoup de temps à chauffer. Quoi qu'il en soit, on voit clairement un mouvement de l'ouvrage mal compensé par la caméra et donc un creu dans corr_y sur toute la plage. Ici c'est du au réchauffement du pont durant la journée. Les références, elles ne sont pas sur le pont et donc ne subissent pas le mouvement. On voit que les références restent très stable en position mais aussi en erreur value. Rien de significatif avec l'erreur de reproj donc on peut en conclure que le pont bouge, et c'est normal pour un ouvrage de ce genre. Finalement, la caméra bouge aussi, mais plus vite que le pont. C'est surement dû au fait que le support de la caméra chauffe plus vite que le pont et donc que le mouvement se fait plus rapidement. Cette différence de temporalité est peut-être la cause de la mauvaise compensation de la caméra."}
|
||||
{"debut": "2026-10-14T23:02Z", "fin": "2026-10-15T08:18Z", "description": "Ici on voit clairement des sauts dans corr_x et corr_y avec un retour à la normale ensuite. La tendance haussière est due aux effets thermiques sur le pont. Pour comprendre ce qui s'est passé ici il faut regarder les les error value. On voit que les error value des target sont assez élevées mais pas beaucoup plus que la normale donc pas de changement drastique. En passant, une erreur value haute pour une cible n'est pas un problème en soit, ce sont les variations qui peuvent poser problème. Ceci étant dit, on voit par contre clairement que l'erreur value de REF_d et REF_G montent soudainement. Et l'erreur de reprojection confirme notre observation. Etant donné que les positions des targets sont basées sur le réseau de référence, avec un haut error value sur les référence alors les cibles ne sont plus bien ancrées. Et on le voit encore plus fortement sur l'erreur de reprojection. Elle monte soudainement, ce qui veut dire que la caméra a du mal trouver la transformation qui se calibre sur les référence. La base visuelle est donc davantage instable et les données de déplacement de moins en moins fiable. Soudainement, l'erreur de reprojection passe à 0. Ceci est le signe que la caméra n'est plus capable d'appliquer la transformation de calibration sur les référence. La conséquence, sans réseau de référence, toutes les données de déplacement sont invalidées. C'est impossible de mesurer des mouvements. Ce qui est donc intéressant à dire ici est que les sauts observés sont dû à une perte du réseau de référence à cause d'une mauvaise visibilité de 2 référence. Et comme il ne reste plus que une référence valide, la caméra est incapable de prendre des mesures correctes"}
|
||||
{"debut": "2026-10-06T05:45Z", "fin": "2026-10-06T06:15Z", "description": "Ici on voit clairement un petit jump avec retour à la normal très rapidement. On voit que c'est un jump, cependant il faut comprendre pourquoi il a eu lieu. Le diagnostic est simple : REF_G a un taux d'erreur soudainement très élevé. Sur les images on dirait qu'un camion passe devant, peut-être même qu'il était arrêté devant et a donc caché complètement la cible pendant l'acquisition. Le système perd donc une cible sur 3. Avec deux cibles restantes, la projection calculée a une erreur de 0 car il existe toujours une transformation qui marche sans erreur avec 2 références tout le temps. Cependant cette transformation est bien différente ce celle a 3 référence donc le réseau de base change et la position des cible aussi. Donc le cas est simple : Un jump a lieu car le système perd une référence par obstruction clair sur une référence. Avec seulement 2 références restantes la reporj change et donc un saut des potions se produit. Retour à la normal dès récupération de la référence perdu (juste après le passage du camion)."}
|
||||
{"debut": "2026-10-07T08:36Z", "fin": "2026-10-08T15:00Z", "description": "Ce cas est assez complexe parce que on ne peut pas identifier directement quel est le problème. On y voit beaucoup de perturbations dans les données de déplacement, comme beaucoup de bruit. Sur les images on ne voit pas grand chose, c'est peut-être beaucoup de vent, c'est difficile à dire. Dans les données, tout semble à peu près normal sauf le error value. On voit clairement que l'erreur globale augmente pour la majorité des cibles. Tout se voit moins bien sur les images et cette perte de visibilité induit des mouvements supposés mais non réels de l'ouvrage. Combiné à cela, des effets thermiques qui font que c'est difficile à analyser. Finalement le diagnostic est plutôt simple ici même si on ne trouve pas de coupable direct. La visibilité est moins bonne sur toute la période."}
|
||||
{"debut": "2026-10-16T14:18Z", "fin": "2026-10-19T06:18Z", "description": "Le changement de régime ici est intéressant. Précédemment on observe des clairs phases thermiques avec la dilatation et la contraction du pont. Et d'un coup beaucoup moins, ici on a une tendance haussière sur plusieurs jours. Par la suite ça semble se stabiliser donc on peut raisonnablement écarter un mouvement réel de l'ouvrage. Cependant il y a une forte corrélation avec la température. Mi-octobre la température a chuté et on le voit sur les températures des composants de la caméra. Sur la plage on voit même que la température ne fait que baisser, ce qui casse les cycles thermiques. Cependant il y a peut-être quand même du soleil donc des effets thermiques sur le pont tout de même. Dans cette plage nous pouvons observer une multitude de petite chose comme une perte de visibilité vers la fin de la plage. Cependant, le focus est sur cette tendance qui se corrèle avec la température qui baisse. De plus, les différents événements thermiques de la station montrent que l'ouvrage \"monte\" la nuit quand la température baisse. Donc le mouvement de montée prolongé observé ici est plausible et cohérent avec les effets thermiques déjà observés. Il est donc important d'utiliser la température pour comprendre les données."}
|
||||
{"debut": "2026-10-26T01:56Z", "fin": "2026-10-26T06:35Z", "description": "Un saut dont la cause est la perte de REF_G. On voit sur l'erreur de reprojection qu'elle passe à 0 durant l'événement. Et c'est très mauvais signe. Une erreur de reproj de 0 signifie que le système tourne sur 2 référence seulement alors qu'il faut au moins 3 référence pour faire le travail de calibration (sorte de triangularisation)."}
|
||||
{"debut": "2026-10-27T00:56Z", "fin": "2026-10-27T07:01Z", "description": "Ce cas là est intéressant. On observe un saut de 1h à 2h, suivi d'un mouvement jusqu'à 7h du matin. On voit très clairement sur l'erreur value que 2 des 3 référence monte soudainement. On a donc 2 références presque invisible. Mais l'erreur de reprojection est encore plus intéressante. Vers 1h du matin, elle chute brutalement à 0, indiquant qu'une référence est perdue (on ne tourne plus que sur 2, d'ou la valeur de 0). Puis à 2h du matin, on semble perdre une référence supplémentaire, donc le calcul de la reprojection ne se fait plus, d'ou le manque de valeurs. Dans cette configuration, la caméra est \"aveugle\" et toute mesure est invalidée. Si le problème persiste il faut contrôler la qualité des prismes de référence."}
|
||||
@@ -1,4 +0,0 @@
|
||||
{"debut": "2026-09-03T18:01Z", "fin": "2026-09-04T04:59Z", "description": "Sur les images on peut y voir une toile d'araignée placée devant l'objectif (à courte distance, presque au contact). On pourrait penser qu'il s'agit simplement d'une obstruction comme on en a souvent. Mais il y a une différence majeur et rare. Etant donné la proximité de l'obstacle à l'objectif, ce dernier apparaît blanc (saturation totale) comme les cibles. Par conséquent, il n'y a plus de distinction entre les cibles et la toile d'araignée. Si on regarde la cible CTR04, on voit qu'elle est clairement et totalement cachée mais aucun signal n'est déclenché. Ni error value, ni error reproj ne bouge significativement. L'obstruction passe totalement inaperçue malgré son évidence sur les images. Pour détecter ces situations il faudrait avoir accès aux métriques de qualité. Ce cas peut silencieusement donner de fausses valeurs sans pour autant le détecter par les métriques d'erreur. Comme c'est un système à 3 référence, l'obstruction la fait passer à 2 mais le système croit toujours en avoir 3. Donc la reprojection est plus simple car CTR04 est beaucoup plus large. Il ne m'est pas clair de comment c'est calculé mais ce cas spécifique me semble être une faille du système."}
|
||||
{"debut": "2026-09-04T10:59Z", "fin": "2026-09-04T11:30Z", "description": "Sur un système à 3 référence comme ici, en perdre une seule invalide toutes les mesures. On voit sur l'erreur de reprojection que la valeur passe à 0, on a perdu CTR04 et le système se calibre sur les 2 restantes créant un gros shift le la base. Conclusion, tout bouge."}
|
||||
{"debut": "2026-09-04T16:09Z", "fin": "2026-09-04T18:56Z", "description": "Cas simple de perte de visibilité du plusieurs cibles. On voit sur les images que c'est dû à la toile d'araignée qui bouge devant l'objectif. Cette fois-ci le réseau de référence n'est pas trop affecté. Par contre l'erreur de certaines cibles est très réduite, voir inexistante. En se penchant de plus près on y voit aussi une perturbation avec CTR04, d'oû le mouvement de pas mal de cibles. On a donc deux phénomènes combinés : Perte de quelques cibles et affectation du système de référence."}
|
||||
{"debut": "2026-09-25T16:02Z", "fin": "2026-09-26T08:38Z", "description": "Dans le cas de Nordend on monitor une façade de carrière qui est peu susceptible d'avoir des mouvement thermiques. Contrairement à un pont ou tout autre ouvrage, un pan de montagne aura peu tendance à bouger par contraction et dilatation thermique car très volumineux. On peut donc exclure tout mouvement thermique de la façade. Il reste donc deux événements thermiques : les effets sur l'objectif et ceux sur le support de la caméra. Et quand on regarde les mouvements de la caméra on voit bien qu'elle bouge. A la tombée de la nuit, le pan et le tilt changent. On a donc un mouvement périodique de la caméra calcé sur les cycles jour/nuit. Ce qui est intéressant est qu'on retrouve ces mêmes cycles dans corr_x principalement, ce qui veut dire que la caméra a mal compensé ses propres mouvements. Le diagnostic de ce cas est donc le suivant : La caméra bouge par effet thermique jour/nuit et compense mal ses mouvements sur un ouvrage qui ne bouge pas. On obtient des déformations dans les courbes."}
|
||||
@@ -1 +0,0 @@
|
||||
{"debut": "2026-09-27T04:15Z", "fin": "2026-09-27T12:52Z", "description": "Il ne faut pas oublier dans dans ces plages temporelles que les heures sont en UTC et que les systèmes peuvent être aux 4 coins de la planète. En se basant sur les images, la plage sélectionnée ici correspond à une journée (lever/couché du soleil). On voit un effet thermique sur la caméra celle elle bouge. Il peut soit d'agit d'un effet sur son objectif ou sur sa fixation mais le mouvement est clair. Cependant, l'ouvrage monitoré est une route et cette dernière est peu susceptible de bouger par dilatation/contraction thermique. Quoi qu'il en soit, le système parvient à bien compenser ces phénomène. Par contre Wildstrubel souffre d'un autre phénomène thermique que sont les \"turbulences atmosphériques\" dû aux couches d'air de chaleur différentes. C'est un effet atmosphérique que l'on ne peut pas contourner, c'est physiquement impossible. Globalement bien compensé il se manifeste par des perturbations dans les error value la journée."}
|
||||
Whitespace-only changes.
+125
-18
@@ -2,11 +2,13 @@
|
||||
voit, en langage naturel, sans catégorie ; les données se consultent sur le monitoring. En haut, le data loader de la page
|
||||
Status ; un menu déroulant, un plot à la fois, comme le menu Advanced d'Explore, plus les métriques système numériques de
|
||||
metrics/ (« System: … », sans les identifiants) ; dessous, une barre de temps aux mêmes abscisses, qui suit le zoom : y glisser sélectionne une plage, puis du texte et Add. Add écrit aussitôt une ligne dans
|
||||
labeling/<STATION>.jsonl : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||
de champs de l'analyste (etiquettes.json). Une étiquette se corrige dans ce fichier, puis recharger la page. Les zones
|
||||
étiquetées sont grisées sur tous les plots ; sur la barre, une barre chacune, son texte au survol, celles qui se chevauchent
|
||||
l'une sous l'autre. Son serveur local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse
|
||||
(ce script lancé à chaque fois, comme le data loader) et /labels (lire et ajouter).
|
||||
labeling/manual/<STATION>.jsonl (D-102) : {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "description": "…"}, en UTC, les noms
|
||||
de champs de l'analyste (etiquettes.json). Les zones étiquetées sont grisées sur tous les plots ; sur la barre, une barre
|
||||
chacune, son texte au survol, celles qui se chevauchent l'une sous l'autre. Un clic sur l'une l'affiche dessous, et Save y
|
||||
enregistre son nouveau texte et ses bornes (deux champs de date, en UTC), Delete la retire. Au survol
|
||||
d'une courbe : le capteur, sa valeur et l'heure (UTC). Son serveur
|
||||
local (http://127.0.0.1:8767, lancé en tâche de fond) sert out/ et data/, plus /analyse (ce script lancé à chaque fois, comme
|
||||
le data loader) et /labels (lire, ajouter, modifier, retirer) ; un changement de son code demande de l'arrêter (run.md).
|
||||
Usage : python3 labeling/labeling.py [<dossier de station> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ]]
|
||||
(sans dossier : le data loader seul ; --au exclu ; sans dates, toute la période du dossier ; page :
|
||||
out/labeling_<STATION>_<du>_<au>.html, ouverte)
|
||||
@@ -48,8 +50,13 @@ PAGE_JS = """
|
||||
const GRIS = '#6b6b66', BLEU = '#2a78d6', VOIE = 22; // VOIE : px par rangée d'étiquettes
|
||||
const fig = document.getElementById('fig'), barre = document.getElementById('barre'), menu = document.getElementById('plot');
|
||||
const texte = document.getElementById('texte'), add = document.getElementById('add'), plage = document.getElementById('plage');
|
||||
const edition = document.getElementById('edition'), editTexte = document.getElementById('edit-texte');
|
||||
const editDebut = document.getElementById('edit-debut'), editFin = document.getElementById('edit-fin'); // en UTC, sans le Z
|
||||
const save = document.getElementById('save'), note = document.getElementById('edit-note');
|
||||
const AIDE = plage.textContent;
|
||||
let labels = [], choix = null; // choix : la plage sélectionnée, [debut, fin] au format des étiquettes
|
||||
// choix : la plage sélectionnée, [debut, fin] au format des étiquettes ; tries : les étiquettes dans l'ordre de la barre ;
|
||||
// ouverte : celle affichée sous la barre
|
||||
let labels = [], choix = null, tries = [], ouverte = null;
|
||||
const lisible = s => s.slice(0, 16).replace('T', ' ');
|
||||
const marge = () => ({l: 60, r: 20, t: 10, b: 30});
|
||||
|
||||
@@ -70,7 +77,7 @@ function dessineFig() {
|
||||
// uirevision : le zoom et les capteurs cachés restent d'un plot à l'autre ; l'ordonnée, propre à chaque plot, se recale
|
||||
// uid sans espace ni parenthèse : Plotly s'en sert comme d'un sélecteur CSS
|
||||
return Plotly.react(fig, p.traces.map(t => ({type: 'scatter', mode: t.mode || 'lines', marker: {size: 4}, x: T[t.t], y: t.y, name: t.name, uid: t.name.replace(/\\W/g, '_'),
|
||||
line: t.line, hovertemplate: `${t.name}: %{y}<extra></extra>`})),
|
||||
line: t.line, hovertemplate: `${t.name}: %{y}<br>%{x|%Y-%m-%d %H:%M} UTC<extra></extra>`})),
|
||||
{height: 460, hovermode: 'closest', plot_bgcolor: 'white', margin: marge(), legend: {x: 1.01, y: 1}, uirevision: 1, shapes: zones(),
|
||||
xaxis: {type: 'date', range: [lisible(A), lisible(B)], gridcolor: '#e6e6e2'},
|
||||
yaxis: {title: {text: p.titre}, uirevision: p.titre, gridcolor: '#eeeeea', zeroline: false}},
|
||||
@@ -78,17 +85,18 @@ function dessineFig() {
|
||||
}
|
||||
|
||||
function dessineBarre() {
|
||||
const tries = [...labels].sort((a, b) => a.debut < b.debut ? -1 : 1), voies = [];
|
||||
const voie = tries.map(l => { // la première rangée libre, sinon une nouvelle, comme les status
|
||||
tries = [...labels].sort((a, b) => a.debut < b.debut ? -1 : 1);
|
||||
const voies = [], voie = tries.map(l => { // la première rangée libre, sinon une nouvelle, comme les status
|
||||
const r = voies.findIndex(f => f <= l.debut), i = r < 0 ? voies.length : r;
|
||||
voies[i] = l.fin;
|
||||
return i;
|
||||
});
|
||||
const n = Math.max(1, voies.length), f = fig._fullLayout;
|
||||
return Plotly.react(barre, [{type: 'bar', orientation: 'h', y: voie, base: tries.map(l => lisible(l.debut)),
|
||||
x: tries.map(l => Date.parse(l.fin) - Date.parse(l.debut)), width: 0.85, marker: {color: GRIS}, text: tries.map(l => l.description),
|
||||
x: tries.map(l => Date.parse(l.fin) - Date.parse(l.debut)), width: 0.85, marker: {color: GRIS, line: {color: 'white', width: 2}}, // le liseré sépare deux étiquettes bout à bout
|
||||
text: tries.map(l => l.description),
|
||||
textposition: 'inside', insidetextanchor: 'start', textangle: 0, unselected: {marker: {opacity: 1}}, // sinon une sélection les pâlit
|
||||
hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC<br>${l.description.replace(/\\n/g, '<br>')}`)}],
|
||||
hoverinfo: 'text', hovertext: tries.map(l => `${lisible(l.debut)} → ${lisible(l.fin)} UTC<br>${l.description.replace(/\\n/g, '<br>')}<br><i>click: read, edit</i>`)}],
|
||||
{height: 40 + VOIE * n, dragmode: 'select', selectdirection: 'h', hovermode: 'closest', plot_bgcolor: '#f2f2ef', showlegend: false,
|
||||
margin: {...marge(), l: f._size.l, r: f._size.r}, uniformtext: {minsize: 9, mode: 'hide'},
|
||||
xaxis: {type: 'date', range: f.xaxis.range.slice(), showgrid: false},
|
||||
@@ -108,6 +116,52 @@ function choisit(c) {
|
||||
return Plotly.relayout(fig, {shapes: zones()});
|
||||
}
|
||||
|
||||
const modifiee = () => ouverte && (editTexte.value.trim() !== ouverte.description || editDebut.value + 'Z' !== ouverte.debut || editFin.value + 'Z' !== ouverte.fin);
|
||||
|
||||
function majEdition(message = '') {
|
||||
save.disabled = !modifiee() || !editTexte.value.trim() || !(editDebut.value && editFin.value && editDebut.value < editFin.value);
|
||||
note.textContent = message;
|
||||
}
|
||||
|
||||
function ouvre(l) { // l : l'étiquette à afficher, null pour fermer ; un texte modifié, non enregistré, ne se perd pas sans le dire
|
||||
if (modifiee() && !confirm('Discard your changes to this label?')) return;
|
||||
ouverte = l;
|
||||
edition.hidden = !l;
|
||||
if (!l) return;
|
||||
editDebut.value = l.debut.slice(0, 16);
|
||||
editFin.value = l.fin.slice(0, 16);
|
||||
editTexte.value = l.description;
|
||||
majEdition();
|
||||
edition.scrollIntoView({block: 'nearest'});
|
||||
}
|
||||
|
||||
editTexte.oninput = editDebut.oninput = editFin.oninput = () => majEdition();
|
||||
document.getElementById('fermer').onclick = () => ouvre(null);
|
||||
document.getElementById('supprimer').onclick = async () => {
|
||||
if (!confirm('Delete this label?')) return;
|
||||
const r = await fetch('/labels', {method: 'DELETE', body: JSON.stringify({station: STATION, avant: ouverte})}).catch(e => e);
|
||||
if (!r.ok) return alert('Not deleted: ' + (r.statusText || r.message));
|
||||
labels = labels.filter(l => l !== ouverte);
|
||||
ouverte = null;
|
||||
edition.hidden = true;
|
||||
await dessineBarre();
|
||||
await Plotly.relayout(fig, {shapes: zones()});
|
||||
};
|
||||
save.onclick = async () => {
|
||||
save.disabled = true;
|
||||
const corps = {station: STATION, avant: ouverte, debut: editDebut.value + 'Z', fin: editFin.value + 'Z', description: editTexte.value.trim()};
|
||||
const r = await fetch('/labels', {method: 'PUT', body: JSON.stringify(corps)}).catch(e => e);
|
||||
if (!r.ok) { // rien n'est perdu : le texte et les bornes restent dans la fenêtre
|
||||
majEdition();
|
||||
return alert('Not saved: ' + (r.statusText || r.message));
|
||||
}
|
||||
const nouvelle = await r.json(); // remplace l'ancienne : un Save retire aussi son champ revue
|
||||
labels[labels.indexOf(ouverte)] = ouverte = nouvelle;
|
||||
await dessineBarre();
|
||||
await Plotly.relayout(fig, {shapes: zones()});
|
||||
majEdition('Saved');
|
||||
};
|
||||
|
||||
menu.onchange = dessineFig;
|
||||
texte.oninput = maj;
|
||||
add.onclick = async () => {
|
||||
@@ -132,6 +186,7 @@ dessineFig().then(dessineBarre).then(() => {
|
||||
if (r) choisit(r.map(v => String(v).slice(0, 16).replace(' ', 'T') + 'Z'));
|
||||
});
|
||||
barre.on('plotly_deselect', () => choisit(null));
|
||||
barre.on('plotly_click', ev => ouvre(tries[ev.points[0].pointIndex]));
|
||||
// Lues à chaque chargement, pas écrites dans la page : recharger montre toujours le fichier.
|
||||
fetch('/labels?station=' + encodeURIComponent(STATION))
|
||||
.then(r => r.ok ? r.json() : Promise.reject(new Error(r.statusText)))
|
||||
@@ -206,14 +261,19 @@ def page(dossier, du=None, au=None):
|
||||
chemin.write_text(f"""<!doctype html><html lang="en"><head><meta charset="utf-8"><title>Labeling {html.escape(nom)}</title>
|
||||
<script src="https://cdn.plot.ly/plotly-{get_plotlyjs_version()}.min.js"></script>
|
||||
<style>body{{font-family:system-ui,sans-serif;margin:16px;background:#fff;color:#1a1a19}}
|
||||
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}</style></head><body>
|
||||
textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,button{{font:inherit}} #plage{{margin:8px 0}}
|
||||
#edition{{border:1px solid #d5d5d0;border-radius:6px;padding:8px 12px;margin:8px 0;background:#f7f7f4}} #edition textarea{{margin-top:6px}} #edition p{{margin:6px 0 0;display:flex;gap:6px;align-items:center}}
|
||||
#supprimer{{margin-left:auto;color:#fff;background:#c0392b;border:1px solid #a93226;border-radius:4px;padding:1px 10px}}</style></head><body>
|
||||
<h2>Labeling, {html.escape(station)}</h2>
|
||||
{chargeur.formulaire(station, du or "", au or "")}
|
||||
<label>Plot <select id="plot">{options}</select></label>
|
||||
<div id="fig"></div>
|
||||
<div id="barre"></div>
|
||||
<section id="edition" hidden><b>From</b> <input type="datetime-local" id="edit-debut" step="60"> <b>to</b> <input type="datetime-local" id="edit-fin" step="60"> UTC
|
||||
<textarea id="edit-texte" rows="5"></textarea>
|
||||
<p><button id="save" disabled>Save</button> <button id="fermer">Close</button> <span id="edit-note"></span><button id="supprimer">Delete</button></p></section>
|
||||
<p id="plage">Drag on the bar above to select a time range.</p>
|
||||
<textarea id="texte" rows="3" placeholder="What do we see in this range?"></textarea>
|
||||
<textarea id="texte" rows="5" placeholder="What do we see in this range?"></textarea>
|
||||
<p><button id="add" disabled>Add</button></p>
|
||||
<script>const T = {js(T)}, PLOTS = {js(liste)}, STATION = {js(station)}, A = {js(donnees.iso(a))}, B = {js(donnees.iso(b))};
|
||||
{PAGE_JS}</script>
|
||||
@@ -222,7 +282,7 @@ textarea{{width:100%;box-sizing:border-box;font:inherit;padding:6px}} select,but
|
||||
|
||||
|
||||
def fichier(station):
|
||||
return ICI / f"{station}.jsonl"
|
||||
return ICI / "manual" / f"{station}.jsonl"
|
||||
|
||||
|
||||
def lire(station):
|
||||
@@ -247,6 +307,44 @@ def ajouter(corps):
|
||||
return label
|
||||
|
||||
|
||||
def modifier(corps):
|
||||
"""Le corps d'un Save (station, avant : l'étiquette telle que la page l'a lue, description : le nouveau texte, debut, fin :
|
||||
ses bornes, facultatives) -> l'étiquette
|
||||
écrite ; ValueError s'il n'est pas bon."""
|
||||
station, avant, description = corps["station"], corps["avant"], corps["description"].strip()
|
||||
debut, fin = corps.get("debut", avant["debut"]), corps.get("fin", avant["fin"])
|
||||
if station not in chargeur.stations():
|
||||
raise ValueError("unknown station")
|
||||
if not description or datetime.strptime(debut, FORMAT) >= datetime.strptime(fin, FORMAT):
|
||||
raise ValueError("empty text or range")
|
||||
label = {**avant, "debut": debut, "fin": fin, "description": description} # à leur place : l'ordre des champs ne change pas
|
||||
label.pop("revue", None) # texte ou bornes changés : à revoir par /review-labels (D-103)
|
||||
return remplace(station, avant, label)
|
||||
|
||||
|
||||
def supprimer(corps):
|
||||
"""Le corps d'un Delete (station, avant : l'étiquette telle que la page l'a lue) -> l'étiquette retirée."""
|
||||
if corps["station"] not in chargeur.stations():
|
||||
raise ValueError("unknown station")
|
||||
remplace(corps["station"], corps["avant"], None)
|
||||
return corps["avant"]
|
||||
|
||||
|
||||
def remplace(station, avant, label):
|
||||
"""Remplace l'étiquette avant par label (None : la retire) -> label. Retrouvée par son contenu, pas par son rang : le
|
||||
fichier a pu changer à la main depuis le chargement de la page. Les autres lignes restent telles quelles."""
|
||||
f = fichier(station)
|
||||
lignes = f.read_text(encoding="utf-8").split("\n") if f.exists() else []
|
||||
for i, ligne in enumerate(lignes):
|
||||
if ligne.strip() and json.loads(ligne) == avant:
|
||||
lignes[i:i + 1] = [] if label is None else [json.dumps(label, ensure_ascii=False)]
|
||||
provisoire = f.with_name(f.name + ".tmp") # écrit à côté puis remplacé : une coupure ne peut pas abîmer le fichier
|
||||
provisoire.write_text("\n".join(lignes), encoding="utf-8")
|
||||
os.replace(provisoire, f)
|
||||
return label
|
||||
raise ValueError("this label is no longer in the file, reload the page")
|
||||
|
||||
|
||||
class Serveur(chargeur.Chargeur):
|
||||
SCRIPT = __file__
|
||||
|
||||
@@ -268,18 +366,27 @@ class Serveur(chargeur.Chargeur):
|
||||
try:
|
||||
self.repond(lire(station))
|
||||
except ValueError as e: # une ligne abîmée à la main : le dire, sans toucher au fichier
|
||||
self.send_error(500, f"labeling/{station}.jsonl unreadable: {e}")
|
||||
self.send_error(500, f"labeling/manual/{station}.jsonl unreadable: {e}")
|
||||
|
||||
def do_POST(self):
|
||||
def ecrit(self, action):
|
||||
if self.path != "/labels":
|
||||
return self.send_error(404)
|
||||
# Ce fichier sera lu par l'analyste : une autre page du navigateur ne doit pas pouvoir y écrire.
|
||||
if self.headers.get("Origin") not in (None, f"http://127.0.0.1:{PORT}"):
|
||||
return self.send_error(403)
|
||||
try:
|
||||
self.repond(ajouter(json.loads(self.rfile.read(int(self.headers["Content-Length"])))))
|
||||
self.repond(action(json.loads(self.rfile.read(int(self.headers["Content-Length"])))))
|
||||
except (KeyError, TypeError, AttributeError, ValueError) as e:
|
||||
self.send_error(400, f"Not a label: {e}")
|
||||
self.send_error(400, str(e))
|
||||
|
||||
def do_POST(self):
|
||||
self.ecrit(ajouter)
|
||||
|
||||
def do_PUT(self):
|
||||
self.ecrit(modifier)
|
||||
|
||||
def do_DELETE(self):
|
||||
self.ecrit(supprimer)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -0,0 +1,2 @@
|
||||
{"debut": "2026-09-18T23:20Z", "fin": "2026-09-19T08:00Z", "description": "Tunnel en chantier : l'ouvrage bouge vraiment. La nuit, les références bougent entre elles, mais pas toutes : trois se décalent dans l'image, la quatrième, D-302-C, reste immobile. Leur cohérence se dégrade nettement, et les corrections de la plupart des cibles décrochent sans que leur position dans l'image bouge, sauf autour de D-302-C. Au matin, un groupe de cibles voisines bouge seul dans l'image ; puis tous les capteurs, références comprises, bougent ensemble d'un coup, reviennent en partie et restent décalés. Les déplacements corrigés gardent ensuite un palier, d'autant plus grand que la cible est loin des références ; il reste plus d'une semaine et disparaît le 29.09, après une courte coupure des mesures. Rien ne se voit sur les images (ni obstacle, ni buée, ni changement d'éclairage), et les autres systèmes de mesure du chantier confirment le mouvement. Comme la caméra et les références ont bougé aussi, l'amplitude mesurée est faussée, et la vraie n'est pas établie. Mouvement réel : intervention, le chantier a été arrêté.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-09-18T00:00Z", "fin": "2026-09-18T21:30Z", "description": "Tunnel en chantier. Une seule cible, D-303-A, s'écarte lentement et régulièrement de ses voisines pendant des heures, alors qu'elles ne bougent pas ; son error_value monte avec le glissement, sans atteindre le seuil. Sur les images, sa tache est coupée à gauche par une bande sombre verticale, quand celle de sa voisine du même modèle est un losange entier. Un obstacle, dont on ne voit pas la nature, cache une part croissante de la tache, et son centre mesuré glisse vers la droite. En fin d'après-midi, l'obstacle recule d'un coup : la tache se rouvre et la cible revient en un pas vers ses voisines. Puis l'obstacle regagne, et le glissement reprend. Un saut se juge face aux voisines : celui-ci ramène la cible vers elles, c'est un retour à la normale, et c'est le glissement qui était l'artefact. Un saut qui l'éloignerait de ses voisines serait à traiter tout autrement. L'ouvrage ne bouge pas, mais ce qui est devant la cible est à vérifier.", "revue": "2026-11-02"}
|
||||
@@ -0,0 +1 @@
|
||||
{"debut": "2026-10-17T23:15Z", "fin": "2026-10-18T13:30Z", "description": "Deux cibles jumelles de leurs références : Sellette 3 est sur le même prisme que la référence p1_r, Pont Ernen sur celui de r1_r. Sur les images, une seule tache pour les deux capteurs de chaque paire. Leurs positions dans l'image bougent ensemble, à un écart constant, et leur error_value est la même aux mêmes instants. Leurs corrections restent collées à zéro, de jour comme de nuit, quand une cible ordinaire a son propre niveau et un bruit bien plus grand. Ce n'est pas une panne : c'est une configuration voulue, faute de référence possible dans cette partie du champ ; un même prisme sert de cible et de référence, parce que le système n'accepte pas encore un capteur à deux rôles. Ces cibles mesurent donc la référence que la compensation tient fixe : leur courbe plate ne prouve pas que l'ouvrage est immobile à cet endroit, et chaque épisode qui touche une référence compte un capteur de plus qu'en réalité. C'est un état permanent, sur toutes les mesures de la station : rien à vérifier ni à faire, ces cibles se lisent comme leur référence.", "revue": "2026-11-02"}
|
||||
@@ -0,0 +1,8 @@
|
||||
{"debut": "2026-10-11T18:05Z", "fin": "2026-10-12T07:33Z", "description": "Les cibles sont placées sur un pont, les références ailleurs, hors du pont. Les références bougent peu, les cibles beaucoup : c'est la contraction du pont qui refroidit. Pour des raisons qui lui sont propres, ce pont monte en refroidissant : à la tombée de la nuit, il commence à refroidir et bouge ; au lever du jour, le phénomène s'inverse. Comme l'ouvrage est grand, il met du temps à refroidir, et le mouvement est lent. L'error_value reste très stable sur tout l'événement : les cibles restent bien visibles, ce qui suggère plutôt une mauvaise compensation de la caméra. L'erreur de reprojection augmente un peu, sans que ce soit significatif. La caméra, fixée au pont, bouge à un rythme proche de celui du pont, sans doute avec lui. Il faut cependant garder à l'esprit qu'elle peut bouger par effet thermique à un autre rythme que le pont, parce qu'elle ne met pas le même temps à refroidir ; ici, les deux rythmes sont proches.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-13T07:14Z", "fin": "2026-10-13T18:27Z", "description": "Effet thermique : le pont se réchauffe pendant la journée, dès le lever du soleil, quand la température monte. Le corr_y des cibles se creuse sur toute la plage : un mouvement de l'ouvrage, mal compensé par la caméra. Les références, qui ne sont pas sur le pont, ne subissent pas ce mouvement : elles restent très stables, en position comme en error_value, et l'erreur de reprojection ne montre rien de significatif. On peut donc conclure que le pont bouge, ce qui est normal pour un ouvrage de ce genre. La caméra bouge aussi, mais plus vite que le pont, sans doute parce que son support chauffe plus vite que lui ; cette différence de rythme est peut-être la cause de la mauvaise compensation. Les températures des composants de la caméra ne montrent pas clairement le phénomène, peut-être parce que les composants chauffent vite alors que le pont met longtemps à chauffer.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-14T23:02Z", "fin": "2026-10-15T08:18Z", "description": "Des sauts dans corr_x et corr_y, puis un retour à la normale ; la tendance de fond est l'effet thermique sur le pont. L'error_value des cibles est assez haute, mais pas beaucoup plus que d'habitude : une error_value haute n'est pas un problème en soi, ce sont ses variations qui comptent. En revanche, celle des références REF_D et REF_G monte nettement. Or la position des cibles repose sur le réseau de références : quand les références se voient mal, les cibles ne sont plus bien ancrées. L'erreur de reprojection monte elle aussi : la caméra a du mal à trouver la transformation qui la recale sur les références, et les déplacements deviennent de moins en moins fiables. Puis les deux références sont écartées : avec une seule référence valide, la reprojection n'est plus calculée du tout, et aucune mesure n'est possible. Quand REF_G revient, la reprojection tombe à zéro, signe que le système tourne sur deux références, puis tout revient. Les sauts viennent donc de la perte du réseau de références, causée par la mauvaise visibilité de deux d'entre elles.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-06T05:45Z", "fin": "2026-10-06T06:15Z", "description": "Un camion passe, ou s'arrête, devant la référence REF_G et la cache complètement pendant une acquisition : son error_value saute presque à 1 et le système l'écarte. Il ne reste que deux références sur trois. Avec deux références, il existe toujours une transformation qui les ajuste sans erreur : l'erreur de reprojection tombe à zéro. Mais cette transformation est bien différente de celle à trois références : la base change, et la position de toutes les cibles saute. Le camion est visible sur l'image de 06:00 UTC. Tout revient à la normale dès que la référence réapparaît, juste après le passage du camion. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-07T08:36Z", "fin": "2026-10-08T15:00Z", "description": "Pendant plus d'un jour, l'error_value de la plupart des cibles monte nettement, celle de la référence REF_G aussi, puis tout revient. Sur les images, rien de net, pas d'obstacle : les taches paraissent seulement plus grosses et plus floues, comme si la visibilité baissait sur toute la scène. Peut-être du vent, peut-être autre chose : la cause n'est pas établie. Cette perte de visibilité rend les courbes de déplacement plus bruitées, avec des mouvements apparents qui ne sont pas réels ; des effets thermiques s'y ajoutent, ce qui rend le cas difficile à lire. Le diagnostic reste simple : la visibilité est moins bonne sur toute la période. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-16T14:18Z", "fin": "2026-10-19T06:18Z", "description": "Changement de régime. Jusque-là, on voyait des phases thermiques nettes, la dilatation puis la contraction du pont ; d'un coup, elles s'effacent, et les cibles montent pendant plusieurs jours, puis se stabilisent : on peut raisonnablement écarter un mouvement réel de l'ouvrage. Cette montée suit la température. Mi-octobre, la température chute, ce qu'on voit sur les températures des composants de la caméra, et sur la plage elle ne fait que baisser, ce qui casse les cycles thermiques ; il y a peut-être encore du soleil, donc des effets thermiques sur le pont. Les autres événements thermiques de la station montrent que le pont monte la nuit, quand la température baisse : une montée prolongée pendant une baisse prolongée de la température est donc plausible et cohérente. D'autres petites choses se mêlent à la plage, comme une perte de visibilité vers la fin, mais le phénomène principal est cette montée qui suit la baisse de température. Pour comprendre ces données, il faut regarder la température.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-26T01:56Z", "fin": "2026-10-26T06:35Z", "description": "Un saut dû à la perte de la référence REF_G : sa visibilité baisse peu à peu, son error_value dépasse le seuil et le système l'écarte. L'erreur de reprojection passe à zéro pendant l'événement, et c'est très mauvais signe : le système ne tourne plus que sur deux références, alors qu'il en faut au moins trois pour la calibration, une sorte de triangulation. Tout revient quand REF_G réapparaît.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-27T00:56Z", "fin": "2026-10-27T07:01Z", "description": "Un saut entre 01:00 et 02:00, suivi d'un mouvement jusqu'à 07:00. L'error_value de deux des trois références monte fortement : elles deviennent presque invisibles. L'erreur de reprojection le montre encore mieux : peu après 01:00, elle tombe brutalement à zéro, une référence est perdue et le système ne tourne plus que sur deux ; vers 02:00, il en perd une autre, et la reprojection n'est plus calculée du tout, d'où les valeurs manquantes. Dans cette configuration, la caméra est aveugle et toute mesure est invalide. Si le problème se répète, il faut contrôler l'état des prismes de référence.", "revue": "2026-11-02"}
|
||||
@@ -0,0 +1,5 @@
|
||||
{"debut": "2026-09-30T21:00Z", "fin": "2026-09-30T23:00Z", "description": "Passage d'un train de voyageurs devant une grande partie des cibles, visible sur l'image de 22:00 UTC. L'error_value de ces cibles monte presque à 1 : elles sont entièrement cachées. Le réseau de références, lui, reste intact. Les cibles cachées semblent bouger le temps d'une mesure ; dans les courbes corrigées, les points au-dessus du seuil sont retirés de l'affichage, mais quelques cibles restées sous le seuil gardent un petit saut. Tout revient à la normale dès la mesure suivante. Les voies ne bougent pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-01T04:00Z", "fin": "2026-10-01T11:00Z", "description": "Voies ferrées, la nuit, sous la pluie. Pendant six heures, l'error_value de la plupart des cibles monte nettement, sans pic isolé, puis redescend progressivement quand la pluie cesse. Les références, elles, ne bougent pas, ce qui peut surprendre : elles sont placées plus haut, sur la route au-dessus des voies, et subissent sans doute moins la pluie par effet d'angle. Sur les images, le fond est voilé et bruité, les taches rapetissent, et des gouttes d'eau se voient sur certaines : la pluie est visible. Les gouttes devant l'objectif voilent les taches pendant les heures de pluie. Les voies ne bougent pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-01T11:00Z", "fin": "2026-10-01T14:00Z", "description": "Passage d'un train de marchandises devant une grande partie des cibles, visible sur l'image de 12:00 UTC. L'error_value de ces cibles monte presque à 1 : elles sont entièrement cachées et leurs mesures sont rejetées. Le réseau de références, lui, reste intact. Quelques cibles restées sous le seuil gardent un petit saut le temps d'une mesure. Tout revient à la normale dès la mesure suivante. Les voies ne bougent pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-02T02:00Z", "fin": "2026-10-02T11:00Z", "description": "Voies ferrées, la nuit, sous la pluie. L'error_value de la plupart des cibles monte nettement, sans pic isolé, puis redescend progressivement quand la pluie cesse. Les références tiennent : deux d'entre elles montent un peu en fin de nuit, loin de leur seuil. Sur les images, des gouttes devant l'objectif sont éclairées par le projecteur (image de 08:00 UTC) ; le fond est bruité, les taches rapetissent et certaines disparaissent. Les voies ne bougent pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-10-02T09:00Z", "fin": "2026-10-02T23:00Z", "description": "Voies ferrées. Une plante du premier plan, agitée par le vent, passe par moments devant PWD_IMP_B07_016_C09 : son error_value saute environ une mesure sur deux pendant une douzaine d'heures, puis revient. Sur les images, aux heures des pics, les feuilles couvrent la cible ; aux autres heures, elles sont à côté. Sa voisine PWD_RMP_B12_017_C09 n'est pas touchée (sa hausse du matin vient de la pluie). Les voies ne bougent pas : rien à faire.", "revue": "2026-11-02"}
|
||||
@@ -0,0 +1,6 @@
|
||||
{"debut": "2026-09-03T18:01Z", "fin": "2026-09-04T04:59Z", "description": "Une toile d'araignée est tendue tout près de l'objectif, presque au contact. Sur les images de nuit, éclairée par l'infrarouge, elle sature en blanc comme les cibles : plus rien ne les distingue, et la référence CTR04 est entièrement cachée. Pourtant aucun signal ne se déclenche : l'error_value de CTR04 monte à peine, loin de son seuil, l'erreur de reprojection ne bouge pas, et aucune mesure n'est rejetée. Le système croit toujours voir ses trois références alors qu'il n'en a plus que deux. L'obstruction passe inaperçue malgré son évidence sur les images, et peut fausser des valeurs en silence. Ce cas est rare, et sans doute une faille du système : pour le voir, il faudrait les métriques de qualité.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-09-04T10:59Z", "fin": "2026-09-04T11:30Z", "description": "Carrière, de jour. Le temps d'une seule mesure, l'error_value de tous les capteurs monte ensemble. La référence CTR04 ne disparaît pas : elle perd seulement en visibilité, passe juste au-dessus de son seuil, et le système l'écarte. Sur un système à trois références, en écarter une seule suffit à tout fausser. La compensation se recale sur les deux restantes, dont l'erreur de reprojection et les corrections tombent à zéro, et la base se décale d'un coup : toutes les cibles sautent ensemble, puis reviennent à la mesure suivante, quand CTR04 revient. Sur les images, rien ne cache la référence ; les taches sont seulement un peu moins nettes à cet instant. Pourquoi la visibilité baisse reste inconnu. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-09-04T16:09Z", "fin": "2026-09-04T18:56Z", "description": "La toile d'araignée bouge devant l'objectif, visible sur les images. Cette fois, quelques cibles seulement perdent beaucoup en visibilité : leur error_value monte presque à 1 et elles sont rejetées par moments. Le réseau de références est peu touché, mais CTR04 est un peu perturbée, ce qui fait bouger légèrement une bonne partie des cibles. Deux phénomènes se combinent donc : la perte de quelques cibles et une petite perturbation du réseau de références. Tout revient à la normale en début de soirée. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-09-25T16:02Z", "fin": "2026-09-26T08:38Z", "description": "Carrière. La station surveille une façade rocheuse, trop massive pour se dilater ou se contracter avec la température : on peut exclure un mouvement thermique de l'ouvrage. Restent deux effets thermiques possibles, sur l'objectif et sur le support de la caméra. Les mouvements de la caméra montrent qu'elle bouge : son pan et son tilt dérivent dès la tombée de la nuit, puis reviennent d'un coup au matin, chaque jour ; la plage en montre une nuit. On retrouve le même cycle jour/nuit dans les corrections des cibles, surtout corr_x : la caméra compense mal ses propres mouvements. La caméra bouge donc par effet thermique, et les courbes se déforment alors que l'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-07-28T20:45Z", "fin": "2026-07-31T03:00Z", "description": "Une toile d'araignée s'est tendue devant l'objectif : pendant un peu plus de deux jours, de jour comme de nuit, elle masque tour à tour les trois références et la plupart des cibles, puis part seule. L'error_value des références monte nettement au-dessus de son niveau d'avant, et beaucoup de mesures des cibles sont rejetées. Quand la compensation écarte une ou deux références, les corrections des références restantes tombent à zéro. À certaines de ces bascules, le corr_y de nombreuses cibles saute par paliers, toutes dans le même sens, puis revient ; selon la référence écartée, le saut est net ou presque nul. Ces sauts viennent du changement de références, pas d'un mouvement : les positions brutes n'ont pas de marche, celles des cibles bougent avec celles des références, et le cycle journalier continue. La toile est visible sur les images, en larges bandes floues, la nuit comme le jour, et l'image redevient nette à son départ. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
{"debut": "2026-07-31T20:15Z", "fin": "2026-07-31T20:45Z", "description": "L'araignée elle-même passe devant l'objectif, le soir. Contrairement à une toile, qui ne voile les cibles qu'en partie, son corps, éclairé par l'infrarouge, les cache complètement le temps d'une mesure : l'error_value des références et de la plupart des cibles saute presque à 1, puis revient aussitôt. Elle est visible sur l'image de 20:30 UTC, en grosse tache blanche et floue devant la scène. Une nouvelle toile reste ensuite et voile encore une référence et quelques cibles, plus faiblement. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
@@ -0,0 +1 @@
|
||||
{"debut": "2026-10-13T23:45Z", "fin": "2026-10-14T05:15Z", "description": "La nuit, deux des trois références perdent en visibilité pendant quelques heures, puis reviennent seules à la normale : l'error_value de REF_G et de REF_D monte à plusieurs dizaines de MAD au-dessus de sa médiane (28 et 57 MAD), REF_G en 30 min et pendant 3 h 45, REF_D en 2 h 30 et pendant 5 h 30. REF_CT et toutes les cibles restent à leur niveau habituel (9 MAD au plus) et les positions brutes des cibles n'ont aucune marche. Sur les images, les taches de REF_G et REF_D se réduisent à un point puis retrouvent leur taille, sans aucun obstacle. La cause est de la buée ou de l'eau, brume dans l'air ou buée sur les réflecteurs : déduite, pas vue, rien ne permet de trancher (pas de météo, pas de brouillard général sur l'image de 02:00). La brume voile la tache sans déplacer son centre, donc pas de faux mouvement ; aux bascules de REF_G, corr_x de BJ_G et PBJ_C change un peu de niveau (jusqu'à 0,33), jugé négligeable. Classification : *target-local degradation*, ici sur deux références et non sur des cibles. Système sain, aucune conséquence pour l'ouvrage, rien à faire."}
|
||||
@@ -0,0 +1 @@
|
||||
{"debut": "2026-09-27T04:15Z", "fin": "2026-09-27T12:52Z", "description": "Attention : les heures sont en UTC, et la station peut être n'importe où sur la planète ; d'après les images, la plage correspond à une journée, du lever au coucher du soleil. La caméra bouge par effet thermique, sur son objectif ou sur sa fixation, et le mouvement est net. L'ouvrage surveillé est une route, peu susceptible de bouger par dilatation ou contraction thermique, et le système compense bien ce mouvement de la caméra. Wildstrubel souffre en revanche d'un autre phénomène thermique : la turbulence atmosphérique, due aux couches d'air de températures différentes. C'est un effet physique qu'on ne peut pas contourner. Globalement bien compensé, il se manifeste le jour par des perturbations de l'error_value. L'ouvrage ne bouge pas : rien à faire.", "revue": "2026-11-02"}
|
||||
@@ -28,10 +28,26 @@ Détails : `extraction/README.md`.
|
||||
python3 labeling/labeling.py
|
||||
```
|
||||
|
||||
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/<STATION>.jsonl`. Une étiquette se corrige dans ce fichier, puis recharger la page. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
|
||||
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/manual/<STATION>.jsonl`. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte ou les bornes (UTC), puis Save, ou la retirer par Delete. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
|
||||
|
||||
Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100).
|
||||
|
||||
Dans le texte, dire la cause et comment on l'a sue (quel plot, quel signe). Étiqueter aussi les cas trompeurs, qui ressemblent à un problème sans en être un : ils donnent les faux amis (point 69 du plan). Le fichier se commite comme le reste (`push.sh`).
|
||||
|
||||
# Revoir ses étiquettes (/review-labels)
|
||||
|
||||
Dans une conversation Claude Code : `/review-labels <STATION>`. Claude prend les étiquettes sans `revue` dans l'ordre chronologique, une à la fois : il la confronte aux données, aux autres étiquettes et à la documentation, la présente avec un texte proposé, et attend la réponse avant la suivante. Une étiquette validée ou corrigée reçoit `revue` ; modifier son texte dans l'outil le retire (D-101, D-103).
|
||||
|
||||
# Apprendre des étiquettes (labels-learner)
|
||||
|
||||
Dans Claude Code, à la racine du dépôt :
|
||||
|
||||
```
|
||||
/labels-learner perte de référence
|
||||
```
|
||||
|
||||
Claude propose les étiquettes de `labeling/` qui parlent de ce phénomène (au plus 5) ; confirmer ou corriger la liste. L'analyste les mesure dans les données et écrit `labeling/lecons/<date>_<phénomène>/lecon.md` ; Claude pose ses questions, répondre dans la conversation (« je ne sais pas » compte) ; il y a au plus trois tours. Quand l'analyste a compris, le documentaliste fait entrer ses conclusions dans la chaîne de mesure, la carte des événements ou `lire-les-donnees` ; relire le diff, puis Commiter, Corriger ou Plus tard (D-099).
|
||||
|
||||
# Compléter les métriques de qualité d'une caméra (optical_emulator)
|
||||
|
||||
Les anciennes caméras n'ont pas les six métriques de qualité (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) dans leurs déplacements. `~/optical_emulator` les recalcule à partir des images DIFF, en rejouant sur CPU le calcul du GPU des caméras récentes.
|
||||
|
||||
@@ -0,0 +1,7 @@
|
||||
#!/usr/bin/env bash
|
||||
# Les trois outils du poste, chacun par son data loader (station, dates, « Analyse ») : la page Status des détecteurs,
|
||||
# les images (View) et l'étiquetage (Labeling). Leurs serveurs restent en tâche de fond (ports 8766, 8768, 8767).
|
||||
cd "$(dirname "$0")"
|
||||
./detectors-view/status.sh
|
||||
python3 view/view.py
|
||||
python3 labeling/labeling.py
|
||||
Reference in new issue
Block a user