Score the detectors against every label of the station at each loop batch (D-062, point 45)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
02ed7a4a60
commit
7714a55cfa
12 files changed
+238
-16
No files matched your search
@@ -1 +1 @@
|
||||
<mxfile host="drawio" version="24.7.17"><diagram id="p1" name="1. Vue d'ensemble"><mxGraphModel dx="1400" dy="900" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="1000" math="0" shadow="0"><root><mxCell id="0"/><mxCell id="1" parent="0"/><mxCell id="p1_P1" value="<b>/aiguiser &lt;dossier&gt;</b><br>affine les outils de lecture (D-059)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="40" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P2" value="<b>/boucle &lt;dossier&gt;</b><br>règle les détecteurs du journal (D-057)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="400" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P3" value="<b>@agent-diagnostic data/… [question]</b><br>enquête à la demande sur un cas (D-058)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="760" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P4" value="<b>/nouveau-cas</b><br>ajoute un cas validé (D-048)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="1120" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_lg" value="<b>Légende</b>" style="rounded=0;whiteSpace=wrap;html=1;fillColor=#ffffff;strokeColor=#cccccc;verticalAlign=top;align=left;spacingLeft=8;fontSize=11;" vertex="1" parent="1"><mxGeometry x="1130" y="790" width="330" height="165" as="geometry"/></mxCell><mxCell id="p1_t" value="<b>Processus IA du projet : vue d'ensemble</b><br><font style="font-size:12px">Qui lance quoi, et qui modifie quel bien partagé (au 2026-10-24). Tout est lancé à la main par l'utilisateur.</font>" style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=18;" vertex="1" parent="1"><mxGeometry x="40" y="20" width="900" height="50" as="geometry"/></mxCell><mxCell id="p1_u" value="<b>Utilisateur (l'expert)</b><br>lance chaque processus, fusionne les branches" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;arcSize=12;" vertex="1" parent="1"><mxGeometry x="600" y="85" width="280" height="50" as="geometry"/></mxCell><mxCell id="p1_lecteur" value="<b>lecteur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_correcteur" value="<b>correcteur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="205" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_optimiseur" value="<b>optimiseur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P1f" value="Lit : data/ ; au contrôle final, les cas validés.<br>Garde une modification des outils seulement si la relecture est <i>mieux</i>." style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=11;" vertex="1" parent="1"><mxGeometry x="55" y="360" width="290" height="100" as="geometry"/></mxCell><mxCell id="p1_analyste" value="<b>analyste</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_upgrader" value="<b>upgrader</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_validateur" value="<b>validateur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_builder" value="<b>builder</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P2f" value="Lit : data/ par les outils de lecture ; la base de cas, après sa propre lecture." style="text;html=1;align=left;verticalAlign=top;wLine truncated
|
||||
<mxfile host="drawio" version="24.7.17"><diagram id="p1" name="1. Vue d'ensemble"><mxGraphModel dx="1400" dy="900" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="1000" math="0" shadow="0"><root><mxCell id="0"/><mxCell id="1" parent="0"/><mxCell id="p1_P1" value="<b>/aiguiser &lt;dossier&gt;</b><br>affine les outils de lecture (D-059)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="40" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P2" value="<b>/boucle &lt;dossier&gt;</b><br>règle les détecteurs du journal (D-057)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="400" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P3" value="<b>@agent-diagnostic data/… [question]</b><br>enquête à la demande sur un cas (D-058)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="760" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P4" value="<b>/nouveau-cas</b><br>ajoute un cas validé (D-048)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="1120" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_lg" value="<b>Légende</b>" style="rounded=0;whiteSpace=wrap;html=1;fillColor=#ffffff;strokeColor=#cccccc;verticalAlign=top;align=left;spacingLeft=8;fontSize=11;" vertex="1" parent="1"><mxGeometry x="1130" y="790" width="330" height="165" as="geometry"/></mxCell><mxCell id="p1_t" value="<b>Processus IA du projet : vue d'ensemble</b><br><font style="font-size:12px">Qui lance quoi, et qui modifie quel bien partagé (au 2026-10-24). Tout est lancé à la main par l'utilisateur.</font>" style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=18;" vertex="1" parent="1"><mxGeometry x="40" y="20" width="900" height="50" as="geometry"/></mxCell><mxCell id="p1_u" value="<b>Utilisateur (l'expert)</b><br>lance chaque processus, fusionne les branches" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;arcSize=12;" vertex="1" parent="1"><mxGeometry x="600" y="85" width="280" height="50" as="geometry"/></mxCell><mxCell id="p1_lecteur" value="<b>lecteur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_correcteur" value="<b>correcteur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="205" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_optimiseur" value="<b>optimiseur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P1f" value="Lit : data/ ; au contrôle final, les cas validés.<br>Garde une modification des outils seulement si la relecture est <i>mieux</i>." style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=11;" vertex="1" parent="1"><mxGeometry x="55" y="360" width="290" height="100" as="geometry"/></mxCell><mxCell id="p1_analyste" value="<b>analyste</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_upgrader" value="<b>upgrader</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_validateur" value="<b>validateur</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_builder" value="<b>builder</b>" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P2f" value="Lit : data/ par les outils de lecture ; la base de cas, après sa propre lecture." style="text;html=1;align=left;verticalAlign=top;wLine truncated
|
||||
@@ -695,3 +695,14 @@ Règles du journal :
|
||||
- **Pourquoi** : idée de l'utilisateur : un algorithme de machine learning simple pourrait un jour faire le travail des détecteurs ou les compléter ; il faut d'abord des labels, et chaque lot lu par Claude coûte cher (~8 min 30, ~250 000 jetons) : un lot sans labels relisibles est perdu pour l'apprentissage. La table « Ma lecture » de la critique en avait la matière, mais en texte libre (« ~08:30 », « idem »).
|
||||
- **Options écartées** : construire le modèle maintenant (trop peu de données : 6 jeux, ~30 jours de station, et la boucle n'a pas encore tourné) ; un CSV (une liste de capteurs par moment, et un lot calme, sans ligne, perdrait « lu, rien vu ») ; une table Markdown au format strict (moins lisible pour l'utilisateur) ; des labels écrits après la comparaison aux détecteurs (ils en seraient la copie).
|
||||
- **Conséquence** : D-044 écartait un « modèle appris » dans la couche de correction ; rien n'est rouvert tant qu'aucun modèle n'est décidé. Pistes au point 44 du plan du journal du matin : un arbre de décision peu profond, à côté des détecteurs, validé en laissant une station de côté et testé sur les cas validés ; le rejeu gratuit des détecteurs sur toutes les étiquettes ; la visibilité de l'utilisateur sur les labels.
|
||||
|
||||
## D-062 — 2026-10-25 — Boucle : un score des détecteurs sur toutes les étiquettes
|
||||
- **Statut** : active ; complète D-057 et D-061 ; choix à revoir après la première séance.
|
||||
- **Décision** :
|
||||
- le but de la boucle est la précision de la détection sur tout le lot : chaque mesure classée, valide ou non, avec sa catégorie (l'utilisateur) ;
|
||||
- `.claude/skills/boucle/score.py <dossier>` compare, mesure par mesure et capteur par capteur, les événements des détecteurs (le lot classé avec ses 3 jours d'historique) aux étiquettes de tous les lots de la station ; par catégorie et pour deux niveaux de validité, « à ignorer » (zones grisées) et « prudence » (visibilité réduite, turbulence), il rend « trouvées » (part des mesures étiquetées signalées) et « justes » (part des mesures signalées étiquetées) ;
|
||||
- l'orchestrateur l'écrit au début de chaque lot (`score-avant.txt`) et en fin de séance (`score-fin.txt`) ; l'upgrader et le validateur le relancent après une modification : la catégorie en cause monte sur le lot, sans baisse nette sur les lots d'avant ; le score est un fait, pas un verdict ;
|
||||
- consigne des étiquettes : bornes à la mesure près ; un saut qui dure, la mesure du saut seule (convention du détecteur de sauts).
|
||||
- **Pourquoi** : l'analyste et le validateur jugeaient en mots ; les étiquettes n'étaient lues par personne ; une modification au lot 3 n'était jamais vérifiée sur les lots 1 et 2. L'utilisateur laisse Claude choisir le compte et l'essayer à la première séance.
|
||||
- **Options écartées** (choix de Claude, à revoir) : deux niveaux de validité (la visibilité réduite, données gardées mais moins précises, se perdrait) ; un compte par événement (il ne mesure pas les bornes) ; la validité de toute la station à un instant (les étiquettes sont déjà par capteur) ; un champ `validite` dans les étiquettes (elle se déduit de la catégorie) ; le script dans `journal/` (l'upgrader pourrait le modifier).
|
||||
- **Conséquence** : le rejeu, écarté par D-057 parce qu'il coûtait un regard de Claude, devient gratuit sur les étiquettes. La turbulence est toujours « prudence » au score, forte ou non (l'étiquette ne dit pas sa force). Les trous n'ont pas de mesure, donc pas de score.
|
||||
@@ -93,6 +93,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 |
|
||||
| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard |
|
||||
| 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance |
|
||||
| | **VII. Idées gardées pour plus tard** | | | |
|
||||
| 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente |
|
||||
| 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente |
|
||||
@@ -919,6 +920,40 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
|
||||
**Fini quand.** Chaque lot de la boucle laisse des étiquettes bonnes au contrôle (première étape) ; la suite reste à définir avec l'utilisateur.
|
||||
|
||||
### Point 45 : Le but de la boucle : chaque instant étiqueté, la précision mesurée
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-25). Le but de la boucle n'est pas l'interface (images, frise) : c'est la détection. Sur tout le lot (4 jours), chaque instant doit être classé : données valides ou non, et sa catégorie ; un instant sans anomalie n'a pas besoin d'étiquette, mais aucun événement ne doit manquer. C'est la précision de cette détection que la boucle doit perfectionner, que l'algorithme final soit appris ou analytique.
|
||||
|
||||
**Constaté le 2026-10-25** (spec de la boucle, `critiquer-lot`, `etiquettes.py`, agents).
|
||||
- Conforme : la boucle ne touche qu'aux détecteurs (`journal/*.py`, registre des seuils), jamais à la maquette ; les images ne servent que de preuve à l'analyste. L'analyste lit tout le lot avant les détecteurs ; ses étiquettes couvrent le lot (un instant sans moment : rien vu).
|
||||
- Écarts :
|
||||
1. la validité n'est pas une étiquette : elle se déduit de la catégorie (zone grisée ou non, `ignore` de `categories.py`), sauf pour la turbulence (grisée si forte seulement) et `aucune` ;
|
||||
2. la précision n'est pas mesurée : la comparaison de l'analyste et le jugement du validateur sont qualitatifs (« va dans le bon sens ») ; ni l'upgrader ni le validateur ne lisent les étiquettes ;
|
||||
3. pas de rejeu : une modification faite au lot 3 n'est jamais vérifiée sur les étiquettes des lots 1 et 2 (régression possible) ;
|
||||
4. les images sont vues par vignettes toutes les 2 à 3 h, plus serrées là où les courbes bougent : un événement court et invisible sur les courbes peut manquer aux étiquettes.
|
||||
|
||||
**Proposition de Claude, à discuter.** Un script de score, en bibliothèque standard : la sortie des détecteurs face à toutes les étiquettes déjà écrites, mesure par mesure et capteur par capteur (valide ou non, catégorie) ; par catégorie, la part des instants anormaux trouvés et la part des instants signalés à tort. Le validateur s'en sert : une modification gardée fait monter le score du lot sans le faire baisser sur les lots d'avant. C'est le rejeu gratuit du point 44, avancé. Un champ `validite` explicite dans les étiquettes si la catégorie ne suffit pas.
|
||||
|
||||
**Questions à l'utilisateur.**
|
||||
1. Validité : trois niveaux (valide, avec prudence, à ignorer : les zones actuelles du journal) ou deux ?
|
||||
2. Précision comptée par instant (chaque mesure de chaque capteur) ou par événement (trouvé ou non, bornes à une tolérance près) ?
|
||||
3. Validité par capteur (comme les étiquettes aujourd'hui) ou de toute la station à un instant ?
|
||||
|
||||
**Réponse de l'utilisateur (2026-10-25).** Il ne sait pas encore : Claude essaie l'implémentation qui lui paraît la meilleure, avec un test ; l'utilisateur lancera une séance de la boucle dès qu'il aura des données, puis on adaptera.
|
||||
|
||||
**Fait le 2026-10-25 (D-062).** Choix de Claude : trois niveaux, un compte par mesure, par capteur.
|
||||
- `.claude/skills/boucle/score.py <dossier> [etiquettes.json …]` (défaut : toutes les étiquettes de la station sous `vues-deplacements/boucle/`) : par lot et au total, pour « à ignorer », « prudence » et chaque catégorie, « trouvées » et « justes » ; un lot dont les étiquettes ont des défauts est sauté ; `--test` sur le lot 1 de NORDEND d'octobre (étiquettes copiées des détecteurs : tout juste ; une catégorie oubliée, une étiquette en plus).
|
||||
- L'orchestrateur écrit `<lot>/score-avant.txt` après l'analyste et `<séance>/score-fin.txt` au bilan ; l'upgrader et le validateur le relancent après une modification et le comparent ; consigne du validateur : la catégorie en cause monte sur le lot, sans baisse nette (un événement entier) sur les lots d'avant.
|
||||
- Consigne des étiquettes (`critiquer-lot`) : bornes à la mesure près ; un saut qui dure, la mesure du saut seule (convention de `sauts.py`).
|
||||
- Essai sur les deux seules étiquettes réelles gardées de l'essai de l'analyste (NORDEND, lot 1) : le script tourne (6 512 cases, ~4 s) ; il a montré l'écart de convention du saut de PR17 (l'analyste : 02:30 jusqu'à la fin du lot ; le détecteur : l'instant 02:30), d'où la consigne ; les autres chiffres ne disent rien (deux moments sur sa lecture entière).
|
||||
|
||||
**Étapes.**
|
||||
- [x] Les choix, laissés à Claude (2026-10-25).
|
||||
- [x] Le script de score, l'orchestrateur, l'upgrader et le validateur qui s'en servent (2026-10-25).
|
||||
- [ ] Première séance de la boucle par l'utilisateur : lire `score-avant.txt` et `score-fin.txt`, revoir les trois choix.
|
||||
|
||||
**Fini quand.** Chaque modification de la boucle est jugée sur un score mesuré, sur toutes les étiquettes déjà écrites.
|
||||
|
||||
---
|
||||
|
||||
## Partie VII — Idées gardées pour plus tard
|
||||
@@ -1071,3 +1106,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-24 : point 42 : `/aiguiser` construit (D-059), avec le releveur (D-060) ; essai du lecteur et du correcteur sur le lot 1 de NORDEND : écart « à reprendre », deux défauts ; reste la première séance, par l'utilisateur.
|
||||
- 2026-10-25 : point 44 ajouté (idée de l'utilisateur : un modèle de machine learning entraîné sur les labels de la boucle) ; proposition de Claude notée, à discuter ; rien construit.
|
||||
- 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels.
|
||||
- 2026-10-25 : point 45 ajouté (précision de l'utilisateur : la boucle sert la détection sur tout le lot, chaque instant valide ou non avec sa catégorie) ; écarts constatés (validité implicite, précision non mesurée, pas de rejeu) ; proposition d'un score, trois questions à l'utilisateur ; rien codé.
|
||||
- 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance.
|
||||
Reference in new issue
Block a user