Loop: upgrader and validator become detectors-upgrader and detectors-control (D-089)
- detectors-upgrader: makes the detectors better on the batch from the analyst's critique; adds, removes or modifies, removing first; targets the significant events missed or badly bounded, not a perfect match. - detectors-control: the guard against overfitting; never looks at the batch, judges the diff and the benchmark on the event base, decides, and sends its remarks back to the upgrader. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
ba2e9da3ab
commit
21f8cd1db6
14 files changed
+243
-190
No files matched your search
@@ -22,7 +22,7 @@ Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui co
|
||||
|
||||
Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `detectors/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des douze catégories du journal (D-074) par `detectors/categories.py` (`python3 detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`.
|
||||
|
||||
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle <dossier de station> [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base d'events par un builder ; une séance commitée directement sur `master` (D-070), ses rendus dans `boucle/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/boucle_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/boucle/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/boucle-automatique.md`.
|
||||
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle <dossier de station> [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un detectors-upgrader, contrôlé sur la base d'events par un detectors-control (D-089), et ajoute les nouveautés à la base d'events par un builder ; une séance commitée directement sur `master` (D-070), ses rendus dans `boucle/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/boucle_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/boucle/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/boucle-automatique.md`.
|
||||
|
||||
Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il choisit : `/aiguiser <dossier de station> [--du … --au …]` améliore les outils de lecture (`agent-tools/`) et leur mode d'emploi, le skill `lire-les-donnees`, que suivent l'analyste et l'agent de diagnostic : un lecteur lit le lot avec le skill, un correcteur le lit à fond avec ses propres scripts et mesure l'écart, un optimiseur modifie le skill, un changement sans gain est annulé ; commandes des fiches lancées en fin de séance (D-064) ; une séance commitée directement sur `master` (D-077), ses rendus dans `aiguiser/<séance>_<STATION>/lot-NN/` et `bilan.md`, hors de tout dossier de station ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-076) ; spec `contexte/aiguiser-la-lecture.md`.
|
||||
|
||||
|
||||
@@ -10,7 +10,7 @@ L'utilisateur veut que Claude apprenne sur des lots entiers de données de stati
|
||||
1. **de la connaissance** : de nouveaux events, appris sur des événements réels, de la même forme que E-001 à E-005, ajoutés à la même base d'events, `events/` : tous les events sont au même endroit (l'utilisateur) ;
|
||||
2. **des détections optimisées** : des détecteurs mieux réglés.
|
||||
|
||||
L'analyste et le validateur ne laissent rien de durable eux-mêmes : ce sont les juges qui y mènent.
|
||||
L'analyste et le detectors-control ne laissent rien de durable eux-mêmes : ce sont les juges qui y mènent.
|
||||
|
||||
## 2. Buts, non-buts, ce qui serait un échec
|
||||
|
||||
@@ -46,8 +46,8 @@ L'analyste et le validateur ne laissent rien de durable eux-mêmes : ce sont les
|
||||
**Pour chaque lot, dans l'ordre** (dossier `lot-NN/` dans celui de la séance) :
|
||||
1. **Analyste** : il écrit `critique.md`. Commit.
|
||||
2. Verdict « d'accord » : on passe à l'étape 5.
|
||||
3. **Upgrader** : il modifie les détecteurs et écrit `modification-K.md` (K : numéro du passage). Commit.
|
||||
4. **Validateur** : il écrit `validation-K.md`, « accepté » ou « à reprendre ». Commit. « À reprendre » : retour à l'étape 3, l'upgrader lit cette validation. Au plus trois passages de l'upgrader *(choix de Claude)* : à la troisième validation, le validateur n'a plus que deux réponses, « garder » (ça va dans le bon sens) ou « annuler » (l'orchestrateur annule par `git revert` les commits de détecteurs du lot).
|
||||
3. **Detectors-upgrader** : il adapte les détecteurs et écrit `modification-K.md` (K : numéro du passage). Commit.
|
||||
4. **Detectors-control** : il juge la modification sur la base d'events, sans regarder le lot, et écrit `validation-K.md`, « accepté » ou « à reprendre ». Commit. « À reprendre » : retour à l'étape 3, le detectors-upgrader lit ce contrôle. Au plus trois passages du detectors-upgrader *(choix de Claude)* : au troisième contrôle, le detectors-control n'a plus que deux réponses, « garder » (ça va dans le bon sens) ou « annuler » (l'orchestrateur annule par `git revert` les commits de détecteurs du lot).
|
||||
5. **Builder** : s'il y a des nouveautés dans les rendus du lot, il ajoute les events à la base, `events/`, et écrit `builder.md`. Un commit pour les events du lot (ils partagent la ligne d'index).
|
||||
|
||||
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. À la fin, l'orchestrateur écrit `bilan.md` (§6) et le commite.
|
||||
@@ -79,33 +79,36 @@ La critique est un skill à part, à la demande de l'utilisateur ; on peut aussi
|
||||
|
||||
**Étiquettes** (D-061, ajoutées le 2026-10-25) : juste après sa lecture, avant la sortie des détecteurs, l'analyste écrit aussi `etiquettes.json`, une entrée par moment de sa lecture (début, fin, capteurs, catégorie du journal, événement de la carte s'il est établi, preuve vue ou déduite), contrôlée par `.claude/skills/critiquer-lot/etiquettes.py` ; le format est dans `critiquer-lot`. Elles ne dépendent pas des détecteurs : ce sont les labels d'un futur modèle appris (point 44 du plan), à garder même si une modification est annulée. Toutes les étiquettes : `boucle/*/lot-*/etiquettes.json`.
|
||||
|
||||
**Score** (D-062, point 45 du plan, ajouté le 2026-10-25) : le but de la boucle est la précision de la détection sur tout le lot (l'utilisateur). `python3 .claude/skills/boucle/score.py <dossier>` compare, mesure par mesure et capteur par capteur, les événements des détecteurs aux étiquettes de **tous** les lots de la station : par catégorie et pour deux niveaux de validité (« à ignorer » : les zones grisées ; « prudence » : visibilité réduite et turbulence), « trouvées » (part des mesures étiquetées que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées). L'orchestrateur l'écrit au début de chaque lot (`score-avant.txt`) et en fin de séance (`score-fin.txt`) ; l'upgrader et le validateur le relancent après une modification : la catégorie en cause monte sur ce lot, sans baisse nette ailleurs (une autre ligne de ce lot, les lots d'avant) ; un trou n'a pas de case (pas de mesure) : pour lui, la commande du lot dit le bon sens. Le score est un fait, pas un verdict : l'analyste peut se tromper aussi. Choix de Claude, laissé par l'utilisateur, à revoir après la première séance : trois niveaux plutôt que deux, un compte par mesure plutôt que par événement, par capteur plutôt que pour toute la station. Le script est hors de `detectors/` : l'upgrader ne peut pas le modifier.
|
||||
**Score** (D-062, point 45 du plan, ajouté le 2026-10-25) : le but de la boucle est la précision de la détection sur tout le lot (l'utilisateur). `python3 .claude/skills/boucle/score.py <dossier>` compare, mesure par mesure et capteur par capteur, les événements des détecteurs aux étiquettes de **tous** les lots de la station : par catégorie et pour deux niveaux de validité (« à ignorer » : les zones grisées ; « prudence » : visibilité réduite et turbulence), « trouvées » (part des mesures étiquetées que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées). L'orchestrateur l'écrit au début de chaque lot (`score-avant.txt`) et en fin de séance (`score-fin.txt`) ; le detectors-upgrader le relance après une modification, comme un contrôle et non un but (D-089) : la catégorie en cause s'améliore sur ce lot, sans baisse nette ailleurs (une autre ligne de ce lot, les lots d'avant) ; un trou n'a pas de case (pas de mesure) : pour lui, la commande du lot dit le bon sens. Le score est un fait, pas un verdict : l'analyste peut se tromper aussi. Choix de Claude, laissé par l'utilisateur, à revoir après la première séance : trois niveaux plutôt que deux, un compte par mesure plutôt que par événement, par capteur plutôt que pour toute la station. Le script est hors de `detectors/` : le detectors-upgrader ne peut pas le modifier.
|
||||
|
||||
**Benchmark** (D-069, point 48 du plan, ajouté le 2026-10-26 à la demande de l'utilisateur) : chaque event de la base garde son diagnostic à la création, `etiquettes.json` au format des étiquettes de l'analyste, noms codés, figé ; `.claude/skills/boucle/benchmark.py` lance les détecteurs sur chaque event et les compare à ces étiquettes, comme le score (« trouvées », « justes », par catégorie, par cas et au total). Purement analytique, sans agent. L'orchestrateur le lance au début de chaque lot (`benchmark-avant.txt`), après chaque modification (`benchmark-K.txt`) et en fin de séance (`benchmark-fin.txt`), et l'ajoute à l'historique `vues-deplacements/benchmark/historique.csv`, avec la version des détecteurs (commit) ; l'upgrader le relance et le validateur le lit : un recul net est un défaut, une hausse un plus, pas un but (sur une dizaine d'events, les détecteurs se régleraient sur eux, choix de l'utilisateur). Le builder donne ses étiquettes à chaque event créé (`anonymiser.py --etiquettes`) ; E-001 à E-005 ont reçu les leurs d'un passage unique de l'analyste, corrigé par leur fiche (leur `etiquetage.md`). Limite : un event appris ne contient que l'événement ± 6 h, sans les 3 jours d'historique d'un lot.
|
||||
**Benchmark** (D-069, point 48 du plan, ajouté le 2026-10-26 à la demande de l'utilisateur) : chaque event de la base garde son diagnostic à la création, `etiquettes.json` au format des étiquettes de l'analyste, noms codés, figé ; `.claude/skills/boucle/benchmark.py` lance les détecteurs sur chaque event et les compare à ces étiquettes, comme le score (« trouvées », « justes », par catégorie, par cas et au total). Purement analytique, sans agent. L'orchestrateur le lance au début de chaque lot (`benchmark-avant.txt`), après chaque modification (`benchmark-K.txt`) et en fin de séance (`benchmark-fin.txt`), et l'ajoute à l'historique `vues-deplacements/benchmark/historique.csv`, avec la version des détecteurs (commit) ; le detectors-upgrader le relance et le detectors-control juge sur lui seul (D-089) : un event moins bien trouvé ou moins bien borné est un recul, une hausse un plus, pas un but (sur une dizaine d'events, les détecteurs se régleraient sur eux, choix de l'utilisateur). Le builder donne ses étiquettes à chaque event créé (`anonymiser.py --etiquettes`) ; E-001 à E-005 ont reçu les leurs d'un passage unique de l'analyste, corrigé par leur fiche (leur `etiquetage.md`). Limite : un event appris ne contient que l'événement ± 6 h, sans les 3 jours d'historique d'un lot.
|
||||
|
||||
### Upgrader : `.claude/agents/upgrader.md`
|
||||
### Detectors-upgrader : `.claude/agents/detectors-upgrader.md`
|
||||
|
||||
Il reprend les suggestions de l'analyste (et la dernière validation, s'il y en a une) et modifie les détecteurs. Outils : Read, Edit, Write, Bash.
|
||||
Il rend les détecteurs meilleurs sur le lot, d'après la critique de l'analyste, la vérité, qui met déjà l'accent sur ce qui est significatif (et d'après le dernier contrôle, s'il y en a un). Outils : Read, Edit, Write, Bash. Renommé et redéfini le 2026-10-29 (l'utilisateur, D-089).
|
||||
|
||||
- Il ne touche qu'à `detectors/*.py` et au registre des seuils.
|
||||
- **Le plus simple d'abord** *(choix de Claude, contre la complexité)* : changer une constante ; sinon ajuster une règle existante ; sinon une règle nouvelle et courte ; un nouveau détecteur (contrat `detect(mesures)`) en dernier recours.
|
||||
- **Interdits** : pas de nouvelle catégorie (une suggestion qui en demande une va au bilan) ; pas de règle propre à une station, à un capteur ou à une date ; contrat et clés des épisodes inchangés ; bibliothèque standard seulement.
|
||||
- **Tout détecter** (l'utilisateur, 2026-10-26, D-068) : les détecteurs doivent trouver tout ce que l'analyste étiquette ; ce qu'on montre au client n'est pas la question ici. Un réglage pris pour l'affichage (points 13 et 41 du plan, `MISSING`) peut être changé par l'upgrader.
|
||||
- Il vise les événements significatifs du lot que les détecteurs ont manqués, ou mal bornés dans le temps ; pas une sortie identique à la lecture de l'analyste : l'alignement n'a pas à être parfait.
|
||||
- Il ne touche qu'à `detectors/*.py` et au registre des seuils ; sur eux, tout lui est possible : ajouter, retirer ou modifier une constante, une règle, un détecteur.
|
||||
- **Le plus simple d'abord** *(choix de Claude, contre la complexité)* : retirer ou simplifier ; sinon changer une constante ; sinon ajuster une règle existante ; sinon une règle nouvelle et courte ; un nouveau détecteur (contrat `detect(mesures)`) en dernier recours.
|
||||
- **Interdits** : pas de nouvelle catégorie (une suggestion qui en demande une va au bilan) ; chaque catégorie garde au moins un détecteur (D-074) ; pas de règle propre à une station, à un capteur ou à une date ; contrat et clés des épisodes inchangés ; bibliothèque standard seulement.
|
||||
- **Tout détecter** (l'utilisateur, 2026-10-26, D-068) : ce qu'on montre au client n'est pas la question ici. Un réglage pris pour l'affichage (points 13 et 41 du plan, `MISSING`) peut être changé.
|
||||
- Il met à jour le registre des seuils et la docstring du détecteur dans le même changement.
|
||||
- Il relance `categories.py` sur le lot, avant et après, puis le benchmark sur la base d'events (D-069) : un recul net sur un event est un recul, la ligne `a_verifier` de E-004 ne baisse pas ; une hausse est un plus, pas un but.
|
||||
- `modification-K.md` : ce qui a changé et pourquoi, les événements du lot avant et après, ce qu'il n'a pas pu corriger.
|
||||
- Il vérifie seul le lot, puisque le contrôle ne le regarde pas : `categories.py` avant et après, puis le score ; puis le benchmark, sur lequel il sera jugé : un event de la base qui recule se reprend avant de rendre.
|
||||
- `modification-K.md` : ce qui a changé et pourquoi (les deux parties que lit le contrôle, sans données du lot), les événements du lot avant et après, ce qu'il n'a pas pu corriger.
|
||||
|
||||
### Validateur : `.claude/agents/validateur.md`
|
||||
### Detectors-control : `.claude/agents/detectors-control.md`
|
||||
|
||||
Il sait que l'upgrader est passé : il lit la critique, la modification et le diff des détecteurs depuis le début du lot. Il relance `categories.py` sur le lot et vérifie qu'aucun détecteur n'a été sauté au chargement. Il ne refait pas l'analyse des images (l'utilisateur). Outils : Read, Bash, Write ; il ne modifie pas le code.
|
||||
Le garde-fou contre le sur-apprentissage (l'utilisateur, 2026-10-29, D-089) : des détecteurs collés au lot courant, qui perdent en précision sur les events de la base. C'est lui qui décide au final. Outils : Read, Bash, Write ; il ne modifie pas le code.
|
||||
|
||||
- **Ses questions** : la modification répond-elle au défaut relevé par l'analyste ? Va-t-elle dans le bon sens sur ce lot ? Est-elle simple, à la mesure du gain ? Respecte-t-elle les interdits de l'upgrader ?
|
||||
- **Pas trop strict** (consigne forte de l'utilisateur) : aucune modification n'est parfaite, et il y a toujours des imprévus. Il accepte ce qui va dans le bon sens, même imparfait. Il ne renvoie que pour un défaut net : le problème n'est pas réglé, un autre événement du lot est cassé (une autre ligne du score de ce lot baisse net : un événement entier, pas des bornes), la complexité est hors de proportion, un interdit n'est pas respecté. Jamais pour demander ce que l'upgrader ne peut pas faire. Au plus trois remarques, concrètes.
|
||||
- `validation-K.md` : « accepté » ou « à reprendre » avec ses remarques ; à la troisième, « garder » ou « annuler ».
|
||||
- **Il ne regarde pas le lot** : ni ses données, ni la critique, ni le score ; de la modification, seulement « Ce qui a changé » et « Pourquoi ». Il lit le diff des détecteurs depuis le début du lot et les benchmarks avant et après ; pour comprendre un recul, la fiche et les étiquettes de l'event, et les détecteurs sur ses données.
|
||||
- **Ses questions** : les détecteurs se chargent-ils ? La base recule-t-elle (un event moins bien trouvé ou moins bien borné, même si le total monte ; la ligne `a_verifier` de E-004) ? Le code reste-t-il simple ? Les interdits sont-ils respectés ?
|
||||
- Il ne renvoie pas pour la perfection ; il renvoie pour un recul de la base, une complexité hors de proportion, un interdit ou un détecteur sauté. Au plus trois remarques, en termes de détecteurs et de base.
|
||||
- `validation-K.md` : « accepté » ou « à reprendre » avec ses remarques ; au troisième passage, « garder » ou « annuler ».
|
||||
- Avant le 2026-10-29, le validateur jugeait aussi le lot (critique, score) et ne renvoyait que pour « un défaut net » ; il n'a jamais renvoyé une modification, et des mesures signalées à tort sur la base passaient (WILDSTRUBEL, point 52 du plan).
|
||||
|
||||
### Builder : `.claude/agents/builder.md`
|
||||
|
||||
Il construit la base de connaissances (l'utilisateur). Outils : Read, Bash, Write, Edit. Il lit les nouveautés des rendus du lot ; c'est l'analyste qui en signale le plus, mais l'upgrader et le validateur peuvent en noter aussi (l'utilisateur : « pendant toutes ces phases »).
|
||||
Il construit la base de connaissances (l'utilisateur). Outils : Read, Bash, Write, Edit. Il lit les nouveautés des rendus du lot ; c'est l'analyste qui en signale le plus, mais le detectors-upgrader peut en noter aussi (l'utilisateur : « pendant toutes ces phases »).
|
||||
|
||||
- **Une seule base** (l'utilisateur) : `events/`, à côté de E-001 à E-005 ; numéro suivant de l'index (`E-006`…), comme `/new-event`.
|
||||
- **Un event par genre d'événement, pas par occurrence** *(choix de Claude)* : si un event de la base a déjà la même signature, dans sa ligne d'index ou dans sa fiche, rien ; une nouveauté qui contredit le diagnostic d'un event est « déjà connue », la contradiction dite pour l'utilisateur.
|
||||
@@ -142,7 +145,7 @@ Le texte des consignes de chaque agent ; le format exact des messages de commit
|
||||
|
||||
## Annexe : pistes à revoir
|
||||
|
||||
- Plusieurs analystes en parallèle : les lots sont indépendants ; l'upgrader reste seul, pour que deux agents ne modifient jamais le même détecteur.
|
||||
- Plusieurs analystes en parallèle : les lots sont indépendants ; le detectors-upgrader reste seul, pour que deux agents ne modifient jamais le même détecteur.
|
||||
- La revalidation des events appris par l'utilisateur.
|
||||
- Le rejeu sur les lots déjà vus (écarté le 2026-10-24 : trop lourd, pas exhaustif voulu).
|
||||
- Un plafond de lots ou de coût par séance.
|
||||
|
||||
Reference in new issue
Block a user