README, CLAUDE.md, spec : l'amélioration branchée, outils/ et docs/essais/, la coupure à minuit gardée

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-14 15:19:39 +01:00
1 parent ed4cedbe70
commit a55d7c0dc6
3 files changed
+30 -17

No files matched your search

+3 -3
View File
@@ -2,11 +2,11 @@
Optimizer fait converger les détecteurs AIMsight (le dépôt `~/detectors`, par un lien `detectors`) en continu et à faible coût : un batch par jour UTC, toutes les stations ; les détecteurs posent leurs étiquettes, le `scanner` les regarde de loin face aux courbes et note les irrégularités. Il fait cela et rien d'autre. Conception : `docs/superpowers/specs/2026-11-13-optimizer-design.md` ; installer et lancer : `README.md`.
- **Le batch** : `python3 batch.py [--jour AAAA-MM-JJ] [--stations A,B] [--sans-scan]` → `batches/<jour>/` : `detecteurs/<STATION>.jsonl` (les étiquettes des détecteurs), `verite/<STATION>.jsonl` (les mêmes, corrigées par le scanner), `detecteurs.md` (le résumé pour le scanner), `rapport.md` (le sien), `figures/` et `scan.jsonl` (son flux) hors de git.
- **L'agent** : `.claude/agents/scanner.md`, sur Sonnet, lancé par `batch.py` (`claude -p --agent scanner`).
- **Le batch** : `python3 batch.py [--jour AAAA-MM-JJ] [--stations A,B] [--sans-scan]` → `batches/<jour>/` : `detecteurs/<STATION>.jsonl` (les étiquettes des détecteurs), `verite/<STATION>.jsonl` (les mêmes, corrigées par le scanner), `detecteurs.md` (le résumé pour le scanner), `rapport.md` (le sien), `improve/` (la séance de `wf-improve` sur les stations corrigées : bilan `summary.md`, scripts de ses agents `tools/`), `figures/`, `scan.jsonl` et `improve.jsonl` (les flux) hors de git.
- **Les agents** : `.claude/agents/scanner.md`, sur Sonnet (`claude -p --agent scanner`) ; puis `/detectors:wf-improve` (`claude -p --plugin-dir detectors`, ses agents `detectors:upgrader` et `detectors:validator`), une séance sur les stations que le scanner a corrigées. Lancés par `batch.py` sans les réglages du poste (`--setting-sources project,local --strict-mcp-config`).
- **Les liens**, hors de git, en lecture seule : `data/` → `~/aimsight-data/data` (rempli par le pompage du dépôt aimsight-data) ; `labeling/` → `~/labeling` (le dépôt des étiquettes, partagé avec Diagnostic-App) (`familles.md` ; `auto/`, la vérité de référence du benchmark).
- **Les détecteurs** : leur contrat est dans `detectors/CLAUDE.md` ; Optimizer lit `categories.events`, `categories.CATEGORIES` et `scripts/data.py`. Diagnostic-App y pointe par le même lien (une seule copie : un commit de l'un se voit aussitôt chez l'autre) ; son mode ciblé (une analyse approfondie) et ce mode large seront deux appelants du même `/detectors:wf-improve`.
- **Pas encore branché** : l'amélioration (`/detectors:wf-improve` sur la vérité du batch), à rediscuter.
- **Les essais** : `docs/essais/<jour>.md`, un journal par essai de bout en bout ; `outils/`, les scripts de lecture qui en sont restés.
- **Vérifier un changement** : `python3 batch.py --jour <jour> --sans-scan` sur un jour réel, puis regarder les figures.
Règles :
+8 -4
View File
@@ -3,9 +3,10 @@
Faire converger les détecteurs AIMsight en continu, à faible coût. Chaque jour pompé devient un batch de 24 h :
1. les détecteurs (le dépôt `~/detectors`, par un lien) passent sur toutes les stations ; leurs événements deviennent des étiquettes, et une figure par station les montre face aux courbes ;
2. le `scanner`, un agent léger (Sonnet), regarde chaque figure, note chaque irrégularité (raté, trop, bornes, famille) dans un rapport et la corrige dans une copie des étiquettes, la vérité du batch.
2. le `scanner`, un agent léger (Sonnet), regarde chaque figure, note chaque irrégularité (raté, trop, bornes, famille) dans un rapport et la corrige dans une copie des étiquettes, la vérité du batch ;
3. s'il a corrigé une station, `/detectors:wf-improve` (le plugin du dépôt `detectors`) améliore les détecteurs sur cette vérité, une seule séance pour toutes les stations corrigées, sous le garde-fou du benchmark sur les étiquettes revues ; ses correctifs sont des commits dans `~/detectors`, rien n'est poussé.
La suite, l'amélioration des détecteurs par `/detectors:wf-improve` sur cette vérité, n'est pas encore branchée. Le mode ciblé de Diagnostic-App (une analyse approfondie, puis « Optimiser les détecteurs ») reste tel quel ; Optimizer en est la version large et légère. Conception : `docs/superpowers/specs/2026-11-13-optimizer-design.md`.
Le mode ciblé de Diagnostic-App (une analyse approfondie, puis « Optimiser les détecteurs ») reste tel quel ; Optimizer en est la version large et légère. Conception : `docs/superpowers/specs/2026-11-13-optimizer-design.md`.
## Installer
@@ -26,7 +27,7 @@ python3 batch.py --jour 2026-11-12 # un autre jour
python3 batch.py --sans-scan # les détecteurs et les figures seulement
```
Une étape faite ne se refait pas : relancer après `--sans-scan` fait le scan seul ; supprimer `batches/<jour>/` pour tout refaire. `batch.py` passe seul sur `.venv` pour les figures.
Une étape faite ne se refait pas : relancer après `--sans-scan` fait le reste ; supprimer `batches/<jour>/` pour tout refaire. Les agents (`claude -p`) ne voient que le projet : ni les hooks, ni les plugins, ni les serveurs MCP du poste. `batch.py` passe seul sur `.venv` pour les figures.
## Ce qu'un batch laisse
@@ -36,4 +37,7 @@ Une étape faite ne se refait pas : relancer après `--sans-scan` fait le scan s
- `detecteurs.md` : le résumé que lit le scanner ;
- `figures/<STATION>.png` : ce qu'il regarde (hors de git) ;
- `rapport.md` : ses irrégularités, ses doutes, ce qui lui a manqué ;
- `scan.jsonl` : son flux, avec son coût (hors de git).
- `scan.jsonl` : son flux, avec son coût (hors de git) ;
- `improve/` : la séance d'amélioration, ses mesures avant et après, `modification.md` (l'upgrader), `validation.md` (le validator), `summary.md` (le bilan), `tools/` (les scripts que ses agents ont écrits, à réutiliser) ; `improve.jsonl`, son flux (hors de git).
`outils/` : des scripts de lecture des données brutes pour contrôler un batch à la main (`JOUR=AAAA-MM-JJ python3 outils/instants.py NORDEND 00:45 01:30`), venus de l'audit du premier essai ; `docs/essais/` : les journaux des essais.
@@ -1,6 +1,7 @@
# Optimizer : conception
2026-11-13. Statut : approuvée ; étapes 1 et 2 (les détecteurs, le scan) construites, la suite à rediscuter.
2026-11-13. Statut : approuvée ; les trois étapes construites, la tâche VS Code à faire ; premier essai de bout en bout le
2026-11-14 (`docs/essais/2026-11-05.md`).
## L'intention
@@ -72,10 +73,11 @@ existe) ne se refait pas.
il la note dans `batches/<jour>/rapport.md` (station, heures, cas, ce qu'il voit) et l'applique à `verite/<STATION>.jsonl`.
Il finit par `**Verdict**: rien à corriger | irrégularités`. Le script vérifie ensuite la vérité (JSON, clés, famille
connue de `labeling/familles.md`).
3. **L'amélioration**, sur `irrégularités` : `claude -p --plugin-dir detectors "/detectors:wf-improve …"` avec les stations
corrigées, `LABELS: batches/<jour>/verite/`, le jour, `REFERENCE: --labels labeling/auto --data data`, `FAMILIES:
labeling/familles.md`, `CONTEXT: batches/<jour>/rapport.md`, `OUT: batches/<jour>/improve/`.
4. **Le bilan** : `batches/<jour>/summary.md`, le verdict du scanner et le résultat de `wf-improve`.
3. **L'amélioration**, si le scanner a corrigé une station et la vérité est sans erreur : `claude -p --plugin-dir detectors
"/detectors:wf-improve …"` avec `DATA: data`, `STATIONS:` les stations corrigées, `LABELS: batches/<jour>/verite`, le
jour, `REFERENCE: --labels labeling/auto --data data`, `FAMILIES: labeling/familles.md`, `CONTEXT:
batches/<jour>/rapport.md`, `OUT: batches/<jour>/improve/`. Son bilan, `improve/summary.md`, est celui du batch ; ses
agents gardent leurs scripts dans `improve/tools/`.
Le déclenchement : une tâche VS Code « batch », et une ligne après le pompage dans le Planificateur de tâches de Windows.
@@ -84,7 +86,10 @@ listes d'étiquettes et quelques images, sur Sonnet. `wf-improve` coûte ce qu'i
le scanner a noté quelque chose.
**Les limites** : le scanner voit les courbes de loin, il rate ce que la figure ne montre pas (une dérive lente, un capteur
noyé parmi vingt) ; une étiquette qui passe minuit est coupée au jour, ses bornes hors du jour ne se jugent pas. Ses
noyé parmi vingt) ; une étiquette qui passe minuit est coupée au jour, ses bornes hors du jour ne se jugent pas, et un saut
du soir qui revient après minuit reste « not back yet » : les détecteurs ne lisent rien après le jour, comme `score.py`
(avec quelques heures de plus, leurs statistiques changent sur tout le jour, et la vérité ne serait plus « les détecteurs
et les seules corrections du scanner »). Ses
erreurs ne font pas reculer les détecteurs ailleurs : le benchmark sur les étiquettes revues les arrête.
## Le dépôt
@@ -97,14 +102,18 @@ Optimizer/
detectors -> ~/detectors le dépôt detectors, hors de git
data -> ~/aimsight-data/data hors de git, lecture seule
labeling -> ~/labeling hors de git, lecture seule (familles.md, auto/)
batches/<jour>/ detecteurs/, verite/, detecteurs.md, rapport.md ; figures/, scan.jsonl hors de git
à venir : improve/, summary.md
batches/<jour>/ detecteurs/, verite/, detecteurs.md, rapport.md, improve/ ; figures/, scan.jsonl,
improve.jsonl hors de git
outils/ scripts de lecture pour contrôler un batch à la main (venus de l'audit du premier essai)
docs/essais/ un journal par essai de bout en bout
```
La figure, telle que construite : par pas de 15 min (une station qui mesure par rafales, comme SUSTENHORN, ou à deux
cadences, comme NADELHORN, s'y lit comme les autres ; dans chaque pas, l'écart le plus grand, pour qu'un pic d'une mesure
reste) ; les cibles en bruits propres autour de leur médiane du jour, calmes entre ±5 ; les références non tracées
(certaines valent 0 par construction).
reste ; une mesure rejetée n'y est pas tracée, la courbe s'interrompt) ; les cibles en bruits propres autour de leur
médiane du jour, calmes entre ±5 ; les références non tracées (certaines valent 0 par construction), mais leurs rejets
comptés à part, en noir, dans le panneau des rejets. Les étiquettes des détecteurs vont de la mesure d'avant l'événement à
celle d'après (sauf `No data`, déjà d'une mesure à l'autre) : à vérité intacte, le score de plage est à 100 %.
## Mes choix, à corriger