Optimizer : l'optimisation des détecteurs depuis une analyse (skill improve, ex wf-improve, agents du dépôt agents, benchmark detectors/bench) ; le batch et le scanner archivés
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
010c297f60
commit
2cb0c88a2b
117 files changed
+132
-38
No files matched your search
@@ -1,43 +1,41 @@
|
||||
# Optimizer
|
||||
|
||||
Faire converger les détecteurs AIMsight en continu, à faible coût. Chaque jour pompé devient un batch de 24 h :
|
||||
L'optimisation des détecteurs AIMsight, sur les étiquettes de `labeling/auto`, et rien d'autre. Sur la plage d'une analyse approfondie (faite dans l'app Diagnostic-App), ses étiquettes pour vérité, le skill `improve` :
|
||||
|
||||
1. les détecteurs (le dépôt `~/detectors`, par un lien) passent sur toutes les stations ; leurs événements deviennent des étiquettes, et une figure par station les montre face aux courbes ;
|
||||
2. le `scanner`, un agent léger (Sonnet), regarde chaque figure, note chaque irrégularité (raté, trop, bornes, famille) dans un rapport et la corrige dans une copie des étiquettes, la vérité du batch ;
|
||||
3. s'il a corrigé une station, `/detectors:wf-improve` (le plugin du dépôt `detectors`) améliore les détecteurs sur cette vérité, une seule séance pour toutes les stations corrigées, sous le garde-fou du benchmark sur les étiquettes revues ; ses correctifs sont des commits dans `~/detectors`, rien n'est poussé.
|
||||
1. mesure le score des détecteurs sur la plage, et le benchmark sur toutes les étiquettes de `labeling/auto` ;
|
||||
2. fait corriger les détecteurs par l'`upgrader`, une correction par commit dans `~/detectors` ;
|
||||
3. les fait juger par le `validator`, qui garde, fait retirer ou annule : aucune station ne recule, pas de sur-apprentissage ;
|
||||
4. écrit le bilan de la séance.
|
||||
|
||||
Le mode ciblé de Diagnostic-App (une analyse approfondie, puis « Optimiser les détecteurs ») reste tel quel ; Optimizer en est la version large et légère. Conception : `docs/superpowers/specs/2026-11-13-optimizer-design.md`.
|
||||
L'`upgrader` et le `validator` viennent du dépôt `agents` ; le benchmark (`bench/`), du dépôt `detectors`. Rien n'est poussé.
|
||||
|
||||
## Installer
|
||||
|
||||
```bash
|
||||
ln -s ~/detectors detectors # le dépôt des détecteurs, partagé avec Diagnostic-App
|
||||
ln -s ~/aimsight-data/data data # les données pompées (dépôt aimsight-data), hors de git
|
||||
ln -s ~/labeling labeling # le dépôt des étiquettes : familles.md et la vérité de référence
|
||||
python3 -m venv .venv && .venv/bin/pip install matplotlib
|
||||
ln -s ~/detectors detectors # les détecteurs, partagés avec Diagnostic-App
|
||||
ln -s ~/aimsight-data/data data # les données pompées, hors de git
|
||||
ln -s ~/labeling labeling # les étiquettes : la vérité et les familles
|
||||
ln -s ~/agents agents # les agents génériques (plugin Claude Code)
|
||||
```
|
||||
|
||||
`claude` (Claude Code) doit être sur le `PATH` pour le scan, connecté à l'abonnement Claude (`/login`) : le scan ne tourne jamais sur une clé d'API, `batch.py` l'arrête sinon.
|
||||
`claude` (Claude Code) doit être sur le `PATH`, connecté à l'abonnement Claude (`/login`), jamais à une clé d'API.
|
||||
|
||||
## Lancer
|
||||
|
||||
Par le bouton « Optimiser les détecteurs » de Diagnostic-App, sur une analyse finie ; ou à la main, depuis la racine d'Optimizer :
|
||||
|
||||
```bash
|
||||
python3 batch.py # hier (UTC), toutes les stations de data/
|
||||
python3 batch.py --jour 2026-11-12 # un autre jour
|
||||
python3 batch.py --sans-scan # les détecteurs et les figures seulement
|
||||
env -u ANTHROPIC_API_KEY claude -p "/improve DETECTORS: detectors/. STATION: data/NORDEND. FROM: 2026-11-04. TO: 2026-11-08. \
|
||||
LABELS: labeling/auto/NORDEND.jsonl. REFERENCE: --labels labeling/auto --data data. FAMILIES: labeling/familles.md. \
|
||||
CONTEXT: labeling/auto/analyses/<analyse>/rapport.md. OUT: seances/<analyse>_<AAAAMMJJTHHMMZ>/." \
|
||||
--plugin-dir agents --add-dir ~/detectors --add-dir ~/labeling --add-dir ~/aimsight-data/data \
|
||||
--allowedTools Read,Write,Edit,Bash,Agent --permission-mode acceptEdits
|
||||
```
|
||||
|
||||
Une étape faite ne se refait pas : relancer après `--sans-scan` fait le reste ; supprimer `batches/<jour>/` pour tout refaire. Les agents (`claude -p`) ne voient que le projet : ni les hooks, ni les plugins, ni les serveurs MCP du poste. `batch.py` passe seul sur `.venv` pour les figures.
|
||||
`TO` est exclu. Plusieurs stations sur la même plage : `DATA: data. STATIONS: A,B. LABELS: <dossier de <STATION>.jsonl>` à la place de `STATION` et d'un fichier d'étiquettes.
|
||||
|
||||
## Ce qu'un batch laisse
|
||||
## Ce qu'une séance laisse
|
||||
|
||||
`batches/<jour>/` :
|
||||
- `detecteurs/<STATION>.jsonl` : les étiquettes des détecteurs, coupées au jour (`id`, `debut`, `fin`, `categorie` = la famille, `description`) ;
|
||||
- `verite/<STATION>.jsonl` : les mêmes, corrigées par le scanner ;
|
||||
- `detecteurs.md` : le résumé que lit le scanner ;
|
||||
- `figures/<STATION>.png` : ce qu'il regarde (hors de git) ;
|
||||
- `rapport.md` : ses irrégularités, ses doutes, ce qui lui a manqué ;
|
||||
- `scan.jsonl` : son flux, avec son coût (hors de git) ;
|
||||
- `improve/` : la séance d'amélioration, ses mesures avant et après, `modification.md` (l'upgrader), `validation.md` (le validator), `summary.md` (le bilan), `tools/` (les scripts que ses agents ont écrits, à réutiliser) ; `improve.jsonl`, son flux (hors de git).
|
||||
`seances/<analyse>_<heure>/` (non commité par la séance) : les mesures avant et après (`range-*.txt`, `benchmark-*.txt`), `modification.md` (l'upgrader), `validation.md` (le validator), `summary.md` (le bilan, que l'app affiche sous le rapport de l'analyse), `tools/` (les scripts que les agents ont écrits). Les corrections : des commits `improve: S<n>` dans `~/detectors`, sur sa branche courante.
|
||||
|
||||
`outils/` : de quoi suivre et contrôler un batch à la main. `suivre.py <flux.jsonl>` suit un agent pendant qu'il tourne ; `etape1.py` refait l'étape 1 dans un dossier de travail (vérifier un changement sans toucher à `batches/`) ; les autres lisent les données brutes (`JOUR=AAAA-MM-JJ python3 outils/instants.py NORDEND 00:45 01:30`), venus de l'audit du premier essai. `docs/essais/` : les journaux des essais.
|
||||
`archive/` : l'ancien batch quotidien et son scanner (l'auto-étiquetage par les détecteurs), arrêtés le 2026-11-16. L'architecture des dépôts : `~/Diagnostic-App/docs/architecture.drawio`.
|
||||
Reference in new issue
Block a user