batches/2026-11-05/ : détecteurs, vérité, rapport du scanner, improve/ (mesures, modification, validation, bilan, tools/instants.py de l'upgrader) ; docs/essais/ : le journal de l'essai et l'audit ; outils/ : les scripts de lecture de l'audit, réutilisables (JOUR=AAAA-MM-JJ). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.9 KiB
Essai complet sur le batch du 2026-11-05
Premier passage de bout en bout, le 2026-11-14 : les détecteurs, le scanner, puis l'amélioration (/detectors:wf-improve),
orchestrés et surveillés par une session Claude Code (Opus) ; chaque agent contrôlé par un autre. Ce journal se remplit au fil
de l'exécution : ce qui a tourné, ce qui a cassé, ce qui a été corrigé, ce qui reste à décider.
Le jour
2026-11-05 : les jours du 01 au 07 sont pompés en entier pour 11 stations ; du 11 au 13, seulement en partie (le 11, presque
vide). NIEDERHORN n'a plus rien depuis le 04 (un jour entier de No data) ; WILDSTRUBEL, rien en novembre (écartée par le
batch, « sans mesure »). Le 05 tombe aussi dans l'analyse ciblée de NORDEND (labeling/auto/analyses/NORDEND_2026-11-04T2112_2026-11-07T1412) :
la vérité du scanner s'y compare à celle d'un analyste.
1. Les détecteurs
python3 batch.py --jour 2026-11-05 --sans-scan : 1 min 22 s, 12 stations, 73 étiquettes.
- SUSTENHORN,
No datasur tout le jour alors que les mesures sont là : la station mesure par rafales (3 mesures à 1 min toutes les 15 min) ;no_data.pyprend pour cadence l'écart médian (1 min) et voit un trou toutes les 15 min, quecategories.pyfond en un seul événement. Le même défaut que le scanner avait vu le 12 (en « bornes »). - SUSTENHORN, trois
Visibilityen double (l'une grisée, l'autre non) aux mêmes heures : déjà vu le 12. - Le résumé
detecteurs.mdécrivait « 00:00 → 00:00 » pour une étiquette d'un jour entier (sa fin est minuit d'après) : corrigé, « 24:00 ».
2. Le scan
python3 batch.py --jour 2026-11-05 : 82 s, 27 tours, 0,37 $ en équivalent API (sur l'abonnement, apiKeySource: none,
Sonnet) ; 7 irrégularités sur 3 stations, contrôle de la vérité sans erreur ; aucune image de la caméra.
| Station | Étiquette | Cas | Correction du scanner |
|---|---|---|---|
| BREITHORN | D3 Displacement 08:00 | trop | retirée |
| SUSTENHORN | D1 No data, tout le jour | trop | retirée |
| SUSTENHORN | D8, D13, D17 Visibility grisées | trop (doublons) | retirées |
| SUSTENHORN | S1 05:45 → 08:45 | raté | Obstruction ajoutée |
| LENZSPITZE | S1 08:35 → 09:55 | raté | Visibility ajoutée |
Défaut trouvé dans le flux : les sessions claude -p du batch chargeaient les réglages personnels du poste (hooks des
plugins superpowers et ponytail, ~19 Ko de consignes injectées au démarrage ; tous les plugins et serveurs MCP de
l'utilisateur). Corrigé : --setting-sources project,local --strict-mcp-config (vérifié : plus de hook ni de plugin
utilisateur, toujours l'abonnement). --bare n'est pas possible : il impose une clé d'API.
3. L'amélioration
Pas encore branchée avant cet essai : wf-improve ne prenait qu'une station. Ajouté (detectors 887b313) :
DATA,STATIONSet un dossierLABELS(un<STATION>.jsonlpar station), une seule séance pour toutes ; la requête d'une seule station (Diagnostic-App) ne change pas ;regression.py --from/--to: la même plage pour toutes les stations (sans, une station sans étiquette faisait planterlabel_range) ;- les scripts des agents gardés dans
<OUT>/tools/, listés dans leurs sorties (## Tools) et dans le bilan, pour les réutiliser (avant : unmktemp -dperdu).
batch.py lance l'étape 3 quand le scanner a corrigé une station et la vérité est sans erreur : une séance sur les stations
corrigées, sorties dans batches/<jour>/improve/, flux dans improve.jsonl (hors de git).
Lancée sur la vérité du scanner telle quelle (le test de la boucle autonome, sans retouche), sur BREITHORN, LENZSPITZE,
SUSTENHORN. Ouverture conforme : abonnement, Opus, plugin detectors chargé avec detectors:upgrader et
detectors:validator malgré --setting-sources project,local. Le flux contient aussi les messages des sous-agents ; il
n'arrivait que par blocs de 8 Ko (corrigé : écrit ligne à ligne).
L'upgrader (~10 min) :
- S1 (
no_data.py) : le pas est le plus grand de l'écart médian et du cycle horaire (une heure divisée par le nombre médian d'instants par heure) : une station par rafales n'a plus un trou toutes les 15 min. LeNo datade SUSTENHORN disparaît. - S2 (
visibility.py) : un épisode diffus (point 8) contenu dans unPoor visibility(point 3) n'est plus émis en double. Les doublons de SUSTENHORN disparaissent. - Benchmark identique sur toutes les lignes après chaque correctif.
- LENZSPITZE S1 (la correction fausse du scanner, voir l'audit) : écartée, « lecture défendable » des détecteurs, en « Limits ». SUSTENHORN S1 : un essai de règle (deux mesures rejetées de suite = passage bref) fait passer Obstruction « correct » de 81 à 46 % sur la plage ; abandonné. BREITHORN D3 : jugé « une règle de plus pour un instant », laissé.
- Il garde
tools/instants.py(par instant : rejets, capteurs « hauts »,error_valueen MAD), comme demandé.
Le validator (~8 min) : keep. Benchmark refait à HEAD, identique à « après » ; aucune ligne ne bouge sur les 11
stations ; S1 sans constante ajoutée, S2 d'une ligne ; rien d'interdit. Sa réserve : le pas de no_data ne peut que
monter, une station aux heures à moitié remplies devra avoir un trou plus long pour qu'il se voie ; à surveiller.
Bilan (batches/2026-11-05/improve/summary.md) : modification gardée ; 29 min, 8 tours de l'orchestrateur, 0 refus de
permission, 2,80 $ en équivalent API (Opus, sur l'abonnement). Une seule erreur d'outil dans le flux : un sleep 240
bloqué (l'upgrader voulait attendre son benchmark). L'upgrader édite encore le code par des heredocs Python : ce sont des
modifications, pas des scripts d'analyse, la consigne tools/ ne les vise pas.
Ça généralise : sur les 6 et 7 novembre, que la séance n'a pas vus, les détecteurs d'après (5438b0b) face à ceux
d'avant (887b313), toutes stations : le faux No data de SUSTENHORN disparaît aussi les deux jours (S1), ses doublons
Poor visibility aussi (S2) ; ailleurs, seules JUNGFRAU et LENZSPITZE bougent, à la marge (les épisodes absorbés d'une
Poor visibility de nuit).
4. L'audit du scanner
Un agent indépendant (Opus, ~70 min, lecture des données brutes que le scanner n'a pas le droit de lire) a refait le
travail du scanner ; son rapport complet est recopié dans 2026-11-05-audit-scan.md, ses
scripts réutilisables dans outils/ du dépôt.
- Les 7 corrections : 5 justes (BREITHORN D3 ; SUSTENHORN D1, D8, D13, D17), 1 fausse (LENZSPITZE S1 : une
agitation thermique sans montée de l'
error_value, déjà sous D1 ; le seul événement distinct est un passage à 09:05), 1 discutable (SUSTENHORN S1 : des rejets réels et la bonne famille, mais 5 passages fondus en une étiquette de 3 h, et 10 passages du soir laissés). - Le raté le plus lourd : NORDEND, face à la vérité de l'analyste. D2 (Visibility 00:45 → 09:30) ne couvre que trois instants où la référence CTR03 est rejetée et toutes les cibles sautent (deux Obstructions d'une demi-heure pour l'analyste) ; D9 (« Jump, not back yet » à 23:15) revient à 23:30 (Obstruction pour l'analyste).
- La cause principale n'est pas le scanner mais la figure :
min(lim, nan)rendlim, donc chaque mesure rejetée était dessinée en pic à l'écrêtage (les « pics répétés » de SUSTENHORN, les plateaux de NORDEND) ; et un NaN effaçait la vraie valeur de son pas de 15 min. Les références ne sont pas tracées : « une référence rejetée, toutes les cibles sautent » était invisible.
5. Les corrections d'Optimizer après l'audit
- La figure : un rejet interrompt la courbe (plus de pic) ; dans un pas, une vraie mesure l'emporte toujours sur un rejet ; le panneau des rejets sépare les références (noir) des cibles (rouge). Vérifié sur le 05 : plus aucun pic à SUSTENHORN, et à NORDEND les références rejetées tombent à 01:00, 03:30, 23:15 et 23:45, les passages de l'analyste.
- Le résumé
detecteurs.md: les références nommées ; « par rafales » quand la station mesure ainsi (SUSTENHORN : « une mesure toutes les 1 min » cachait la cadence). - Les bornes des étiquettes des détecteurs : un événement va du premier au dernier point touché, une étiquette de la
mesure d'avant à celle d'après (règles d'étiquetage,
score.py). Le batch reprenait les bornes des événements : des étiquettesdebut=fin, interdites, et un score de plage qui n'était pas à 100 % même sans aucune correction (NORDEND Displacement 1/3, SUSTENHORN Visibility 3/9), du bruit pour l'upgrader. Maintenant élargies d'une mesure (saufNo data, déjà d'une mesure à l'autre), et une étiquette commencée la veille part de la dernière mesure d'avant minuit. À vérité intacte, le score est à 100 % sur toutes les familles de toutes les stations du 05, à un instant près (FLORIDA, NADELHORN) : il ne montre plus que les corrections du scanner. - Essayé et retiré : laisser les détecteurs lire 6 h après minuit (pour qu'un saut du soir trouve son retour). Leurs
statistiques portent sur toute la fenêtre lue : les étiquettes du matin changeaient aussi (NORDEND D2 coupée en trois),
et
score.py(sans ces heures) aurait vu des écarts que personne n'a corrigés. La coupure à minuit reste une limite. - Les consignes du scanner : la figure telle qu'elle est maintenant, les bornes « d'une mesure à l'autre » (à 4 h de
cadence, une anomalie d'une mesure couvre 8 h ; la tolérance des bornes devient « plus d'une heure et plus d'une mesure ») ;
un rejet ou un saut sous une étiquette longue d'une autre famille est un raté ; trois signatures trompeuses (une référence
rejetée quand toutes les cibles sautent : Obstruction ; un même groupe rejeté par moments : Obstruction ; une agitation de
jour sans montée de l'
error_value: thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y renoncer.
(en cours)