Files
aimsight-optimizer/docs/essais/2026-11-05.md
T

129 lines
9.9 KiB
Markdown
Raw Normal View History

# Essai complet sur le batch du 2026-11-05
Premier passage de bout en bout, le 2026-11-14 : les détecteurs, le scanner, puis l'amélioration (`/detectors:wf-improve`),
orchestrés et surveillés par une session Claude Code (Opus) ; chaque agent contrôlé par un autre. Ce journal se remplit au fil
de l'exécution : ce qui a tourné, ce qui a cassé, ce qui a été corrigé, ce qui reste à décider.
## Le jour
2026-11-05 : les jours du 01 au 07 sont pompés en entier pour 11 stations ; du 11 au 13, seulement en partie (le 11, presque
vide). NIEDERHORN n'a plus rien depuis le 04 (un jour entier de `No data`) ; WILDSTRUBEL, rien en novembre (écartée par le
batch, « sans mesure »). Le 05 tombe aussi dans l'analyse ciblée de NORDEND (`labeling/auto/analyses/NORDEND_2026-11-04T2112_2026-11-07T1412`) :
la vérité du scanner s'y compare à celle d'un analyste.
## 1. Les détecteurs
`python3 batch.py --jour 2026-11-05 --sans-scan` : 1 min 22 s, 12 stations, 73 étiquettes.
- SUSTENHORN, `No data` sur tout le jour alors que les mesures sont là : la station mesure par rafales (3 mesures à 1 min
toutes les 15 min) ; `no_data.py` prend pour cadence l'écart médian (1 min) et voit un trou toutes les 15 min, que
`categories.py` fond en un seul événement. Le même défaut que le scanner avait vu le 12 (en « bornes »).
- SUSTENHORN, trois `Visibility` en double (l'une grisée, l'autre non) aux mêmes heures : déjà vu le 12.
- Le résumé `detecteurs.md` écrivait « 00:00 → 00:00 » pour une étiquette d'un jour entier (sa fin est minuit d'après) :
corrigé, « 24:00 ».
## 2. Le scan
`python3 batch.py --jour 2026-11-05` : 82 s, 27 tours, 0,37 $ en équivalent API (sur l'abonnement, `apiKeySource: none`,
Sonnet) ; 7 irrégularités sur 3 stations, contrôle de la vérité sans erreur ; aucune image de la caméra.
| Station | Étiquette | Cas | Correction du scanner |
|---|---|---|---|
| BREITHORN | D3 Displacement 08:00 | trop | retirée |
| SUSTENHORN | D1 No data, tout le jour | trop | retirée |
| SUSTENHORN | D8, D13, D17 Visibility grisées | trop (doublons) | retirées |
| SUSTENHORN | S1 05:45 → 08:45 | raté | Obstruction ajoutée |
| LENZSPITZE | S1 08:35 → 09:55 | raté | Visibility ajoutée |
Défaut trouvé dans le flux : les sessions `claude -p` du batch chargeaient les réglages personnels du poste (hooks des
plugins superpowers et ponytail, ~19 Ko de consignes injectées au démarrage ; tous les plugins et serveurs MCP de
l'utilisateur). Corrigé : `--setting-sources project,local --strict-mcp-config` (vérifié : plus de hook ni de plugin
utilisateur, toujours l'abonnement). `--bare` n'est pas possible : il impose une clé d'API.
## 3. L'amélioration
Pas encore branchée avant cet essai : `wf-improve` ne prenait qu'une station. Ajouté (detectors 887b313) :
- `DATA`, `STATIONS` et un dossier `LABELS` (un `<STATION>.jsonl` par station), une seule séance pour toutes ; la requête
d'une seule station (Diagnostic-App) ne change pas ;
- `regression.py --from/--to` : la même plage pour toutes les stations (sans, une station sans étiquette faisait planter
`label_range`) ;
- les scripts des agents gardés dans `<OUT>/tools/`, listés dans leurs sorties (`## Tools`) et dans le bilan, pour les
réutiliser (avant : un `mktemp -d` perdu).
`batch.py` lance l'étape 3 quand le scanner a corrigé une station et la vérité est sans erreur : une séance sur les stations
corrigées, sorties dans `batches/<jour>/improve/`, flux dans `improve.jsonl` (hors de git).
Lancée sur la vérité du scanner telle quelle (le test de la boucle autonome, sans retouche), sur BREITHORN, LENZSPITZE,
SUSTENHORN. Ouverture conforme : abonnement, Opus, plugin `detectors` chargé avec `detectors:upgrader` et
`detectors:validator` malgré `--setting-sources project,local`. Le flux contient aussi les messages des sous-agents ; il
n'arrivait que par blocs de 8 Ko (corrigé : écrit ligne à ligne).
L'upgrader (~10 min) :
- **S1** (`no_data.py`) : le pas est le plus grand de l'écart médian et du cycle horaire (une heure divisée par le nombre
médian d'instants par heure) : une station par rafales n'a plus un trou toutes les 15 min. Le `No data` de SUSTENHORN
disparaît.
- **S2** (`visibility.py`) : un épisode diffus (point 8) contenu dans un `Poor visibility` (point 3) n'est plus émis en
double. Les doublons de SUSTENHORN disparaissent.
- Benchmark identique sur toutes les lignes après chaque correctif.
- LENZSPITZE S1 (la correction fausse du scanner, voir l'audit) : écartée, « lecture défendable » des détecteurs, en
« Limits ». SUSTENHORN S1 : un essai de règle (deux mesures rejetées de suite = passage bref) fait passer Obstruction
« correct » de 81 à 46 % sur la plage ; abandonné. BREITHORN D3 : jugé « une règle de plus pour un instant », laissé.
- Il garde `tools/instants.py` (par instant : rejets, capteurs « hauts », `error_value` en MAD), comme demandé.
Le validator (~8 min) : **keep**. Benchmark refait à HEAD, identique à « après » ; aucune ligne ne bouge sur les 11
stations ; S1 sans constante ajoutée, S2 d'une ligne ; rien d'interdit. Sa réserve : le pas de `no_data` ne peut que
monter, une station aux heures à moitié remplies devra avoir un trou plus long pour qu'il se voie ; à surveiller.
Bilan (`batches/2026-11-05/improve/summary.md`) : **modification gardée** ; 29 min, 8 tours de l'orchestrateur, 0 refus de
permission, 2,80 $ en équivalent API (Opus, sur l'abonnement). Une seule erreur d'outil dans le flux : un `sleep 240`
bloqué (l'upgrader voulait attendre son benchmark). L'upgrader édite encore le code par des heredocs Python : ce sont des
modifications, pas des scripts d'analyse, la consigne `tools/` ne les vise pas.
**Ça généralise** : sur les 6 et 7 novembre, que la séance n'a pas vus, les détecteurs d'après (5438b0b) face à ceux
d'avant (887b313), toutes stations : le faux `No data` de SUSTENHORN disparaît aussi les deux jours (S1), ses doublons
`Poor visibility` aussi (S2) ; ailleurs, seules JUNGFRAU et LENZSPITZE bougent, à la marge (les épisodes absorbés d'une
`Poor visibility` de nuit).
## 4. L'audit du scanner
Un agent indépendant (Opus, ~70 min, lecture des données brutes que le scanner n'a pas le droit de lire) a refait le
travail du scanner ; son rapport complet est recopié dans [`2026-11-05-audit-scan.md`](2026-11-05-audit-scan.md), ses
scripts réutilisables dans [`outils/`](../../outils/) du dépôt.
- Les 7 corrections : **5 justes** (BREITHORN D3 ; SUSTENHORN D1, D8, D13, D17), **1 fausse** (LENZSPITZE S1 : une
agitation thermique sans montée de l'`error_value`, déjà sous D1 ; le seul événement distinct est un passage à 09:05),
**1 discutable** (SUSTENHORN S1 : des rejets réels et la bonne famille, mais 5 passages fondus en une étiquette de 3 h, et
10 passages du soir laissés).
- Le raté le plus lourd : NORDEND, face à la vérité de l'analyste. D2 (Visibility 00:45 → 09:30) ne couvre que trois
instants où la référence CTR03 est rejetée et toutes les cibles sautent (deux Obstructions d'une demi-heure pour
l'analyste) ; D9 (« Jump, not back yet » à 23:15) revient à 23:30 (Obstruction pour l'analyste).
- La cause principale n'est pas le scanner mais **la figure** : `min(lim, nan)` rend `lim`, donc chaque mesure rejetée était
dessinée en pic à l'écrêtage (les « pics répétés » de SUSTENHORN, les plateaux de NORDEND) ; et un NaN effaçait la vraie
valeur de son pas de 15 min. Les références ne sont pas tracées : « une référence rejetée, toutes les cibles sautent » était
invisible.
## 5. Les corrections d'Optimizer après l'audit
- **La figure** : un rejet interrompt la courbe (plus de pic) ; dans un pas, une vraie mesure l'emporte toujours sur un rejet ;
le panneau des rejets sépare les références (noir) des cibles (rouge). Vérifié sur le 05 : plus aucun pic à SUSTENHORN, et
à NORDEND les références rejetées tombent à 01:00, 03:30, 23:15 et 23:45, les passages de l'analyste.
- **Le résumé** `detecteurs.md` : les références nommées ; « par rafales » quand la station mesure ainsi (SUSTENHORN :
« une mesure toutes les 1 min » cachait la cadence).
- **Les bornes des étiquettes des détecteurs** : un événement va du premier au dernier point touché, une étiquette de la
mesure d'avant à celle d'après (règles d'étiquetage, `score.py`). Le batch reprenait les bornes des événements : des
étiquettes `debut` = `fin`, interdites, et un score de plage qui n'était pas à 100 % même sans aucune correction (NORDEND
Displacement 1/3, SUSTENHORN Visibility 3/9), du bruit pour l'upgrader. Maintenant élargies d'une mesure (sauf `No data`,
déjà d'une mesure à l'autre), et une étiquette commencée la veille part de la dernière mesure d'avant minuit. À vérité
intacte, le score est à 100 % sur toutes les familles de toutes les stations du 05, à un instant près (FLORIDA,
NADELHORN) : il ne montre plus que les corrections du scanner.
- **Essayé et retiré** : laisser les détecteurs lire 6 h après minuit (pour qu'un saut du soir trouve son retour). Leurs
statistiques portent sur toute la fenêtre lue : les étiquettes du matin changeaient aussi (NORDEND D2 coupée en trois),
et `score.py` (sans ces heures) aurait vu des écarts que personne n'a corrigés. La coupure à minuit reste une limite.
- **Les consignes du scanner** : la figure telle qu'elle est maintenant, les bornes « d'une mesure à l'autre » (à 4 h de
cadence, une anomalie d'une mesure couvre 8 h ; la tolérance des bornes devient « plus d'une heure et plus d'une mesure ») ;
un rejet ou un saut sous une étiquette longue d'une autre famille est un raté ; trois signatures trompeuses (une référence
rejetée quand toutes les cibles sautent : Obstruction ; un même groupe rejeté par moments : Obstruction ; une agitation de
jour sans montée de l'`error_value` : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y
renoncer.
*(en cours)*