Score the detectors against every label of the station at each loop batch (D-062, point 45)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
02ed7a4a60
commit
7714a55cfa
12 files changed
+238
-16
No files matched your search
@@ -20,7 +20,7 @@ L'analyste et le validateur ne laissent rien de durable eux-mêmes : ce sont les
|
||||
- Récupérer les données : la boucle prend un dossier de station tel quel, au format de `data/<STATION>/` (export « advanced » dans `displacement/`, images dans `images/`), qu'il vienne du pompage (`extraction/pomper.py`, point 27) ou de CSV et d'images téléchargés à la main.
|
||||
- Les autres domaines (Energy, Storage, Cellular, Temperature) : les déplacements seulement.
|
||||
- **L'agent de diagnostic** (`diagnostic`, D-046) : il n'entre pas en jeu ici, à aucun moment il n'a de travail dans la boucle (l'utilisateur, 2026-10-24). Il sert au diagnostic pour l'utilisateur ; on le traitera dans une autre conversation, y compris ce que les cas appris changent pour lui. La boucle ne touche pas à ses consignes ; elle ne fait que compléter la base de cas.
|
||||
- L'exhaustivité : **pas de rejeu** des lots déjà vus, pas de revalidation générale après chaque modification ; on explore des données et on améliore peu à peu (l'utilisateur).
|
||||
- L'exhaustivité : **pas de rejeu** des lots déjà vus par l'analyste, pas de revalidation générale après chaque modification ; on explore des données et on améliore peu à peu (l'utilisateur). Le score (D-062, §5) rejoue les lots d'avant sans regard de Claude, sur leurs étiquettes.
|
||||
- Revalider les cas appris : peut-être plus tard, à la main, pas maintenant (l'utilisateur).
|
||||
- Plusieurs analystes en parallèle : plus tard (annexe).
|
||||
|
||||
@@ -79,6 +79,8 @@ La critique est un skill à part, à la demande de l'utilisateur ; on peut aussi
|
||||
|
||||
**Étiquettes** (D-061, ajoutées le 2026-10-25) : juste après sa lecture, avant la sortie des détecteurs, l'analyste écrit aussi `etiquettes.json`, une entrée par moment de sa lecture (début, fin, capteurs, catégorie du journal, événement de la carte s'il est établi, preuve vue ou déduite), contrôlée par `.claude/skills/critiquer-lot/etiquettes.py` ; le format est dans `critiquer-lot`. Elles ne dépendent pas des détecteurs : ce sont les labels d'un futur modèle appris (point 44 du plan), à garder même si une modification est annulée. Toutes les étiquettes : `vues-deplacements/boucle/*/lot-*/etiquettes.json`.
|
||||
|
||||
**Score** (D-062, point 45 du plan, ajouté le 2026-10-25) : le but de la boucle est la précision de la détection sur tout le lot (l'utilisateur). `python3 .claude/skills/boucle/score.py <dossier>` compare, mesure par mesure et capteur par capteur, les événements des détecteurs aux étiquettes de **tous** les lots de la station : par catégorie et pour deux niveaux de validité (« à ignorer » : les zones grisées ; « prudence » : visibilité réduite et turbulence), « trouvées » (part des mesures étiquetées que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées). L'orchestrateur l'écrit au début de chaque lot (`score-avant.txt`) et en fin de séance (`score-fin.txt`) ; l'upgrader et le validateur le relancent après une modification : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant. Le score est un fait, pas un verdict : l'analyste peut se tromper aussi. Choix de Claude, laissé par l'utilisateur, à revoir après la première séance : trois niveaux plutôt que deux, un compte par mesure plutôt que par événement, par capteur plutôt que pour toute la station. Le script est hors de `journal/` : l'upgrader ne peut pas le modifier.
|
||||
|
||||
### Upgrader : `.claude/agents/upgrader.md`
|
||||
|
||||
Il reprend les suggestions de l'analyste (et la dernière validation, s'il y en a une) et modifie les détecteurs. Outils : Read, Edit, Write, Bash.
|
||||
@@ -115,7 +117,7 @@ Ajouté le 2026-10-24, commun à tous les processus automatiques. Chaque rendu f
|
||||
## 6. Ce que l'utilisateur trouve à la fin
|
||||
|
||||
- La branche `boucle/<AAAA-MM-JJ>_<STATION>` : un commit par étape, lisible avec `git log` ; il la fusionne, n'en garde qu'une partie, ou revient en arrière.
|
||||
- `bilan.md` : une ligne par lot (verdict de l'analyste ; étiquettes ; modification gardée, annulée ou aucune ; cas créés) ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs.
|
||||
- `bilan.md` : une ligne par lot (verdict de l'analyste ; étiquettes ; modification gardée, annulée ou aucune ; cas créés), et le score de fin de séance (`score-fin.txt`) sur toutes les étiquettes de la station ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs.
|
||||
- `docs/ameliorations-processus.md` : les difficultés du processus relevées pendant la séance.
|
||||
|
||||
## 7. Essai et première séance
|
||||
|
||||
@@ -108,3 +108,7 @@ Un orchestrateur (la conversation principale) et un agent par piste, qui rapport
|
||||
## Un modèle appris (point 44 du plan, 2026-10-25)
|
||||
|
||||
- Idée de l'utilisateur : en complément de la boucle, un algorithme de machine learning simple, entraîné sur les labels qu'elle écrit, pour classer les moments dans les catégories du journal ; proposition de Claude (étiquettes strictes et rejeu gratuit d'abord, puis un arbre de décision peu profond, à côté des détecteurs) au point 44, à discuter.
|
||||
|
||||
## Le but de la boucle (point 45 du plan, 2026-10-25)
|
||||
|
||||
- Précision de l'utilisateur : la boucle sert la détection, pas l'interface : sur tout le lot, chaque instant classé (valide ou non, sa catégorie), aucun événement manqué ; c'est la précision de cette détection qu'elle doit perfectionner. Écarts avec la boucle construite et proposition d'un score mesuré au point 45.
|
||||
Reference in new issue
Block a user