Optimizer : l'optimisation des détecteurs depuis une analyse (skill improve, ex wf-improve, agents du dépôt agents, benchmark detectors/bench) ; le batch et le scanner archivés

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-16 10:59:07 +01:00
1 parent 010c297f60
commit 2cb0c88a2b
117 files changed
+132 -38

No files matched your search

+22 -24
View File
@@ -1,43 +1,41 @@
# Optimizer
Faire converger les détecteurs AIMsight en continu, à faible coût. Chaque jour pompé devient un batch de 24 h :
L'optimisation des détecteurs AIMsight, sur les étiquettes de `labeling/auto`, et rien d'autre. Sur la plage d'une analyse approfondie (faite dans l'app Diagnostic-App), ses étiquettes pour vérité, le skill `improve` :
1. les détecteurs (le dépôt `~/detectors`, par un lien) passent sur toutes les stations ; leurs événements deviennent des étiquettes, et une figure par station les montre face aux courbes ;
2. le `scanner`, un agent léger (Sonnet), regarde chaque figure, note chaque irrégularité (raté, trop, bornes, famille) dans un rapport et la corrige dans une copie des étiquettes, la vérité du batch ;
3. s'il a corrigé une station, `/detectors:wf-improve` (le plugin du dépôt `detectors`) améliore les détecteurs sur cette vérité, une seule séance pour toutes les stations corrigées, sous le garde-fou du benchmark sur les étiquettes revues ; ses correctifs sont des commits dans `~/detectors`, rien n'est poussé.
1. mesure le score des détecteurs sur la plage, et le benchmark sur toutes les étiquettes de `labeling/auto` ;
2. fait corriger les détecteurs par l'`upgrader`, une correction par commit dans `~/detectors` ;
3. les fait juger par le `validator`, qui garde, fait retirer ou annule : aucune station ne recule, pas de sur-apprentissage ;
4. écrit le bilan de la séance.
Le mode ciblé de Diagnostic-App (une analyse approfondie, puis « Optimiser les détecteurs ») reste tel quel ; Optimizer en est la version large et légère. Conception : `docs/superpowers/specs/2026-11-13-optimizer-design.md`.
L'`upgrader` et le `validator` viennent du dépôt `agents` ; le benchmark (`bench/`), du dépôt `detectors`. Rien n'est poussé.
## Installer
```bash
ln -s ~/detectors detectors # le dépôt des détecteurs, partagé avec Diagnostic-App
ln -s ~/aimsight-data/data data # les données pompées (dépôt aimsight-data), hors de git
ln -s ~/labeling labeling # le dépôt des étiquettes : familles.md et la vérité de référence
python3 -m venv .venv && .venv/bin/pip install matplotlib
ln -s ~/detectors detectors # les détecteurs, partagés avec Diagnostic-App
ln -s ~/aimsight-data/data data # les données pompées, hors de git
ln -s ~/labeling labeling # les étiquettes : la vérité et les familles
ln -s ~/agents agents # les agents génériques (plugin Claude Code)
```
`claude` (Claude Code) doit être sur le `PATH` pour le scan, connecté à l'abonnement Claude (`/login`) : le scan ne tourne jamais sur une clé d'API, `batch.py` l'arrête sinon.
`claude` (Claude Code) doit être sur le `PATH`, connecté à l'abonnement Claude (`/login`), jamais à une clé d'API.
## Lancer
Par le bouton « Optimiser les détecteurs » de Diagnostic-App, sur une analyse finie ; ou à la main, depuis la racine d'Optimizer :
```bash
python3 batch.py # hier (UTC), toutes les stations de data/
python3 batch.py --jour 2026-11-12 # un autre jour
python3 batch.py --sans-scan # les détecteurs et les figures seulement
env -u ANTHROPIC_API_KEY claude -p "/improve DETECTORS: detectors/. STATION: data/NORDEND. FROM: 2026-11-04. TO: 2026-11-08. \
LABELS: labeling/auto/NORDEND.jsonl. REFERENCE: --labels labeling/auto --data data. FAMILIES: labeling/familles.md. \
CONTEXT: labeling/auto/analyses/<analyse>/rapport.md. OUT: seances/<analyse>_<AAAAMMJJTHHMMZ>/." \
--plugin-dir agents --add-dir ~/detectors --add-dir ~/labeling --add-dir ~/aimsight-data/data \
--allowedTools Read,Write,Edit,Bash,Agent --permission-mode acceptEdits
```
Une étape faite ne se refait pas : relancer après `--sans-scan` fait le reste ; supprimer `batches/<jour>/` pour tout refaire. Les agents (`claude -p`) ne voient que le projet : ni les hooks, ni les plugins, ni les serveurs MCP du poste. `batch.py` passe seul sur `.venv` pour les figures.
`TO` est exclu. Plusieurs stations sur la même plage : `DATA: data. STATIONS: A,B. LABELS: <dossier de <STATION>.jsonl>` à la place de `STATION` et d'un fichier d'étiquettes.
## Ce qu'un batch laisse
## Ce qu'une séance laisse
`batches/<jour>/` :
- `detecteurs/<STATION>.jsonl` : les étiquettes des détecteurs, coupées au jour (`id`, `debut`, `fin`, `categorie` = la famille, `description`) ;
- `verite/<STATION>.jsonl` : les mêmes, corrigées par le scanner ;
- `detecteurs.md` : le résumé que lit le scanner ;
- `figures/<STATION>.png` : ce qu'il regarde (hors de git) ;
- `rapport.md` : ses irrégularités, ses doutes, ce qui lui a manqué ;
- `scan.jsonl` : son flux, avec son coût (hors de git) ;
- `improve/` : la séance d'amélioration, ses mesures avant et après, `modification.md` (l'upgrader), `validation.md` (le validator), `summary.md` (le bilan), `tools/` (les scripts que ses agents ont écrits, à réutiliser) ; `improve.jsonl`, son flux (hors de git).
`seances/<analyse>_<heure>/` (non commité par la séance) : les mesures avant et après (`range-*.txt`, `benchmark-*.txt`), `modification.md` (l'upgrader), `validation.md` (le validator), `summary.md` (le bilan, que l'app affiche sous le rapport de l'analyse), `tools/` (les scripts que les agents ont écrits). Les corrections : des commits `improve: S<n>` dans `~/detectors`, sur sa branche courante.
`outils/` : de quoi suivre et contrôler un batch à la main. `suivre.py <flux.jsonl>` suit un agent pendant qu'il tourne ; `etape1.py` refait l'étape 1 dans un dossier de travail (vérifier un changement sans toucher à `batches/`) ; les autres lisent les données brutes (`JOUR=AAAA-MM-JJ python3 outils/instants.py NORDEND 00:45 01:30`), venus de l'audit du premier essai. `docs/essais/` : les journaux des essais.
`archive/` : l'ancien batch quotidien et son scanner (l'auto-étiquetage par les détecteurs), arrêtés le 2026-11-16. L'architecture des dépôts : `~/Diagnostic-App/docs/architecture.drawio`.