Files

18 KiB

Essai complet sur le batch du 2026-11-05

Premier passage de bout en bout, le 2026-11-14 : les détecteurs, le scanner, puis l'amélioration (/detectors:wf-improve), orchestrés et surveillés par une session Claude Code (Opus) ; chaque agent contrôlé par un autre. Ce journal se remplit au fil de l'exécution : ce qui a tourné, ce qui a cassé, ce qui a été corrigé, ce qui reste à décider.

Le jour

2026-11-05 : les jours du 01 au 07 sont pompés en entier pour 11 stations ; du 11 au 13, seulement en partie (le 11, presque vide). NIEDERHORN n'a plus rien depuis le 04 (un jour entier de No data) ; WILDSTRUBEL, rien en novembre (écartée par le batch, « sans mesure »). Le 05 tombe aussi dans l'analyse ciblée de NORDEND (labeling/auto/analyses/NORDEND_2026-11-04T2112_2026-11-07T1412) : la vérité du scanner s'y compare à celle d'un analyste.

1. Les détecteurs

python3 batch.py --jour 2026-11-05 --sans-scan : 1 min 22 s, 12 stations, 73 étiquettes.

  • SUSTENHORN, No data sur tout le jour alors que les mesures sont là : la station mesure par rafales (3 mesures à 1 min toutes les 15 min) ; no_data.py prend pour cadence l'écart médian (1 min) et voit un trou toutes les 15 min, que categories.py fond en un seul événement. Le même défaut que le scanner avait vu le 12 (en « bornes »).
  • SUSTENHORN, trois Visibility en double (l'une grisée, l'autre non) aux mêmes heures : déjà vu le 12.
  • Le résumé detecteurs.md écrivait « 00:00 → 00:00 » pour une étiquette d'un jour entier (sa fin est minuit d'après) : corrigé, « 24:00 ».

2. Le scan

python3 batch.py --jour 2026-11-05 : 82 s, 27 tours, 0,37 $ en équivalent API (sur l'abonnement, apiKeySource: none, Sonnet) ; 7 irrégularités sur 3 stations, contrôle de la vérité sans erreur ; aucune image de la caméra.

Station Étiquette Cas Correction du scanner
BREITHORN D3 Displacement 08:00 trop retirée
SUSTENHORN D1 No data, tout le jour trop retirée
SUSTENHORN D8, D13, D17 Visibility grisées trop (doublons) retirées
SUSTENHORN S1 05:45 → 08:45 raté Obstruction ajoutée
LENZSPITZE S1 08:35 → 09:55 raté Visibility ajoutée

Défaut trouvé dans le flux : les sessions claude -p du batch chargeaient les réglages personnels du poste (hooks des plugins superpowers et ponytail, ~19 Ko de consignes injectées au démarrage ; tous les plugins et serveurs MCP de l'utilisateur). Corrigé : --setting-sources project,local --strict-mcp-config (vérifié : plus de hook ni de plugin utilisateur, toujours l'abonnement). --bare n'est pas possible : il impose une clé d'API.

3. L'amélioration

Pas encore branchée avant cet essai : wf-improve ne prenait qu'une station. Ajouté (detectors 887b313) :

  • DATA, STATIONS et un dossier LABELS (un <STATION>.jsonl par station), une seule séance pour toutes ; la requête d'une seule station (Diagnostic-App) ne change pas ;
  • regression.py --from/--to : la même plage pour toutes les stations (sans, une station sans étiquette faisait planter label_range) ;
  • les scripts des agents gardés dans <OUT>/tools/, listés dans leurs sorties (## Tools) et dans le bilan, pour les réutiliser (avant : un mktemp -d perdu).

batch.py lance l'étape 3 quand le scanner a corrigé une station et la vérité est sans erreur : une séance sur les stations corrigées, sorties dans batches/<jour>/improve/, flux dans improve.jsonl (hors de git).

Lancée sur la vérité du scanner telle quelle (le test de la boucle autonome, sans retouche), sur BREITHORN, LENZSPITZE, SUSTENHORN. Ouverture conforme : abonnement, Opus, plugin detectors chargé avec detectors:upgrader et detectors:validator malgré --setting-sources project,local. Le flux contient aussi les messages des sous-agents ; il n'arrivait que par blocs de 8 Ko (corrigé : écrit ligne à ligne).

L'upgrader (~10 min) :

  • S1 (no_data.py) : le pas est le plus grand de l'écart médian et du cycle horaire (une heure divisée par le nombre médian d'instants par heure) : une station par rafales n'a plus un trou toutes les 15 min. Le No data de SUSTENHORN disparaît.
  • S2 (visibility.py) : un épisode diffus (point 8) contenu dans un Poor visibility (point 3) n'est plus émis en double. Les doublons de SUSTENHORN disparaissent.
  • Benchmark identique sur toutes les lignes après chaque correctif.
  • LENZSPITZE S1 (la correction fausse du scanner, voir l'audit) : écartée, « lecture défendable » des détecteurs, en « Limits ». SUSTENHORN S1 : un essai de règle (deux mesures rejetées de suite = passage bref) fait passer Obstruction « correct » de 81 à 46 % sur la plage ; abandonné. BREITHORN D3 : jugé « une règle de plus pour un instant », laissé.
  • Il garde tools/instants.py (par instant : rejets, capteurs « hauts », error_value en MAD), comme demandé.

Le validator (~8 min) : keep. Benchmark refait à HEAD, identique à « après » ; aucune ligne ne bouge sur les 11 stations ; S1 sans constante ajoutée, S2 d'une ligne ; rien d'interdit. Sa réserve : le pas de no_data ne peut que monter, une station aux heures à moitié remplies devra avoir un trou plus long pour qu'il se voie ; à surveiller.

Bilan (batches/2026-11-05/improve/summary.md) : modification gardée ; 29 min, 8 tours de l'orchestrateur, 0 refus de permission, 2,80 $ en équivalent API (Opus, sur l'abonnement). Une seule erreur d'outil dans le flux : un sleep 240 bloqué (l'upgrader voulait attendre son benchmark). L'upgrader édite encore le code par des heredocs Python : ce sont des modifications, pas des scripts d'analyse, la consigne tools/ ne les vise pas.

Ça généralise : sur les 6 et 7 novembre, que la séance n'a pas vus, les détecteurs d'après (5438b0b) face à ceux d'avant (887b313), toutes stations : le faux No data de SUSTENHORN disparaît aussi les deux jours (S1), ses doublons Poor visibility aussi (S2) ; ailleurs, seules JUNGFRAU et LENZSPITZE bougent, à la marge (les épisodes absorbés d'une Poor visibility de nuit).

4. L'audit du scanner

Un agent indépendant (Opus, ~70 min, lecture des données brutes que le scanner n'a pas le droit de lire) a refait le travail du scanner ; son rapport complet est recopié dans 2026-11-05-audit-scan.md, ses scripts réutilisables dans outils/ du dépôt.

  • Les 7 corrections : 5 justes (BREITHORN D3 ; SUSTENHORN D1, D8, D13, D17), 1 fausse (LENZSPITZE S1 : une agitation thermique sans montée de l'error_value, déjà sous D1 ; le seul événement distinct est un passage à 09:05), 1 discutable (SUSTENHORN S1 : des rejets réels et la bonne famille, mais 5 passages fondus en une étiquette de 3 h, et 10 passages du soir laissés).
  • Le raté le plus lourd : NORDEND, face à la vérité de l'analyste. D2 (Visibility 00:45 → 09:30) ne couvre que trois instants où la référence CTR03 est rejetée et toutes les cibles sautent (deux Obstructions d'une demi-heure pour l'analyste) ; D9 (« Jump, not back yet » à 23:15) revient à 23:30 (Obstruction pour l'analyste).
  • La cause principale n'est pas le scanner mais la figure : min(lim, nan) rend lim, donc chaque mesure rejetée était dessinée en pic à l'écrêtage (les « pics répétés » de SUSTENHORN, les plateaux de NORDEND) ; et un NaN effaçait la vraie valeur de son pas de 15 min. Les références ne sont pas tracées : « une référence rejetée, toutes les cibles sautent » était invisible.

5. Les corrections d'Optimizer après l'audit

  • La figure : un rejet interrompt la courbe (plus de pic) ; dans un pas, une vraie mesure l'emporte toujours sur un rejet ; le panneau des rejets sépare les références (noir) des cibles (rouge). Vérifié sur le 05 : plus aucun pic à SUSTENHORN, et à NORDEND les références rejetées tombent à 01:00, 03:30, 23:15 et 23:45, les passages de l'analyste.
  • Le résumé detecteurs.md : les références nommées ; « par rafales » quand la station mesure ainsi (SUSTENHORN : « une mesure toutes les 1 min » cachait la cadence).
  • Les bornes des étiquettes des détecteurs : un événement va du premier au dernier point touché, une étiquette de la mesure d'avant à celle d'après (règles d'étiquetage, score.py). Le batch reprenait les bornes des événements : des étiquettes debut = fin, interdites, et un score de plage qui n'était pas à 100 % même sans aucune correction (NORDEND Displacement 1/3, SUSTENHORN Visibility 3/9), du bruit pour l'upgrader. Maintenant élargies d'une mesure (sauf No data, déjà d'une mesure à l'autre), et une étiquette commencée la veille part de la dernière mesure d'avant minuit. À vérité intacte, le score est à 100 % sur toutes les familles de toutes les stations du 05, à un instant près (FLORIDA, NADELHORN) : il ne montre plus que les corrections du scanner.
  • Essayé et retiré : laisser les détecteurs lire 6 h après minuit (pour qu'un saut du soir trouve son retour). Leurs statistiques portent sur toute la fenêtre lue : les étiquettes du matin changeaient aussi (NORDEND D2 coupée en trois), et score.py (sans ces heures) aurait vu des écarts que personne n'a corrigés. La coupure à minuit reste une limite.
  • Les consignes du scanner : la figure telle qu'elle est maintenant, les bornes « d'une mesure à l'autre » (à 4 h de cadence, une anomalie d'une mesure couvre 8 h ; la tolérance des bornes devient « plus d'une heure et plus d'une mesure ») ; un rejet ou un saut sous une étiquette longue d'une autre famille est un raté ; trois signatures trompeuses (une référence rejetée quand toutes les cibles sautent : Obstruction ; un même groupe rejeté par moments : Obstruction ; une agitation de jour sans montée de l'error_value : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y renoncer.

6. Deuxième itération : le batch du 2026-11-06

Le lendemain dans la boucle : python3 batch.py --jour 2026-11-06, avec la figure, les bornes et les consignes corrigées, sur les détecteurs de la première séance (5438b0b). Étape 1 : 12 stations, 81 étiquettes.

Le scan : 76 s, 27 tours, 0,35 $ en équivalent API ; ouverture isolée (plus aucun plugin ni hook du poste) ; 6 corrections sur 5 stations, aucune image regardée (malgré la consigne nouvelle).

  • 5 « trop » : une Visibility contenue dans une autre de la même famille (FLORIDA D14, JUNGFRAU D6 Heat shimmer, LENZSPITZE D3, NADELHORN D10, SUSTENHORN D6), retirée.
  • 1 « raté » : NADELHORN S1, Obstruction 13:00 → 13:15, « toutes les cibles sautent ensemble à 13:05 et reviennent, une référence rejetée (noir) : un passage devant une référence ». Vérifié sur les données brutes (outils/instants.py) : ref5_mon rejetée à 13:00 et 13:05, les 11 cibles à +66/+70 bruits en x (+15/+19 autour), retour à 13:10 ; juste. La signature que la figure corrigée rend visible, et que la consigne nomme, est trouvée seule.
  • Doutes non corrigés, dont NORDEND D1 : un « Sudden jump, back to normal » de 23:45 la veille à 22:15 sur CTR01 et PR07. C'est categories.py qui fond deux sauts brefs (23:45, 05:00) en un seul événement d'une journée (« the jumps of 2 targets in this period have the same cause ») : à regarder côté détecteurs.

Le batch s'est arrêté avant l'amélioration : le contrôle de la vérité a refusé la ligne No data de NIEDERHORN, qui commençait le 04 à 05:00. Mon défaut : « commencée la veille, à la dernière mesure d'avant minuit » remontait au début d'un trou de trois jours. Corrigé (au plus tôt la veille à 00:00 ; ed695db) ; la ligne refaite (le scanner n'y avait pas touché). Second défaut vu au passage : une ligne refusée comptait comme « retirée », et sa station serait partie dans les stations corrigées ; corrigé. Le garde-fou a fait son travail : pas d'amélioration sur une vérité fautive.

Puis python3 batch.py --jour 2026-11-06 relancé : le contrôle passe, la séance part sur FLORIDA, JUNGFRAU, LENZSPITZE, NADELHORN, SUSTENHORN.

Le score de plage est à 100 % avant toute correction des détecteurs : les 6 corrections du scanner lui sont invisibles. Les 5 retraits ôtent une étiquette dont la famille est déjà posée sur les mêmes instants ; le passage de NADELHORN tombe dans des instants déjà « Obstruction » (un Target obscured d'une journée sur un autre capteur). C'est la limite que score.py annonce lui-même (« par instant et non par capteur ») : ici elle laisse l'upgrader sans cible mesurable et le validator sans gain à mettre en balance.

Claude refuse d'écrire dans les fichiers d'un plugin chargé. L'upgrader s'est vu refuser l'outil Edit sur detectors/scripts/visibility.py (« a sensitive file »), puis même un cp vers ce fichier. Reproduit sur un faux plugin : refusé avec --plugin-dir, accepté sans. La séance charge le plugin depuis le dépôt qu'elle doit modifier ; la première séance n'était passée que par des heredocs Python, opaques au contrôle. Corrigé dans batch.py (d5ee63a) : le plugin se charge d'une copie temporaire (.claude-plugin, skills, agents), les commandes passent par DETECTORS: detectors/, le vrai dépôt (vérifié : le skill et ses deux agents se chargent, l'écriture passe). Diagnostic-App lance la séance de la même façon (--plugin-dir detectors) et doit faire de même. La séance en cours garde l'ancien lancement : elle travaille dans sa copie et doit recopier par un moyen que le contrôle laisse passer.

L'audit du scan du 06

Un second agent indépendant (Opus, ~14 min grâce aux outils de outils/) : 2026-11-06-audit-scan.md.

  • 4 justes, 2 discutables, 0 fausse (le 05 : 5, 1, 1 fausse). Discutables : SUSTENHORN D6 (doublon, mais il garde la grisée, et les deux ont la mauvaise famille) ; NADELHORN S1 (fond juste, début une mesure trop tard).
  • Un peu mieux que le 05 : aucune correction fausse ; les barres noires des références ont servi (NADELHORN S1, la lecture de NORDEND). Les détecteurs eux-mêmes font bien mieux à NORDEND (des Obstructions sur CTR03 au lieu d'une Visibility de 9 h).
  • Les ratés n'ont pas bougé : SUSTENHORN (Visibility au lieu d'Obstruction sur le même groupe de 11, des Displacement sur des passages, 22 passages non couverts, malgré la consigne ajoutée) ; LENZSPITZE (des Displacement « not back yet » dans la perte de visibilité de la nuit, comme le 05) ; NORDEND 04:30-04:45, un passage vu puis écarté « affaire de bornes » ; NADELHORN D8, une Visibility de 17 h posée sur des références perdues (configuration changée ?) ; NEBRASKA mal lu ; CLARIDEN laissé en Thermal sous une température plate. 0 image regardée, deuxième jour de suite.
  • Défauts restants de la figure : l'error_value médiane de tous les capteurs, rejetés compris (de faux pics « toute la scène » à SUSTENHORN, gonflée par des valeurs figées à NADELHORN) ; l'écart à la médiane du jour ; le bruit propre des rafales ; pas d'historique des rejets (Target issue indécidable).

Corrigé ensuite (7e24df0) : l'error_value des capteurs acceptés seulement (vérifié : plus de faux pic à SUSTENHORN) ; jusqu'à 12 capteurs nommés dans le résumé (un groupe se reconnaît) ; consignes : un passage non couvert est un raté quelle que soit l'étiquette voisine, quel doublon garder (la montrée au client), chaque doute de famille demande une image (ou dit pourquoi pas). outils/non_couverts.py remplacé par la version de l'audit, qui juge la couverture capteur par capteur (l'ancienne ne voyait rien sous une étiquette d'une seule cible d'une journée) ; ajoutés : rejets_instants.py, ev_fenetres.py, horaire_jours.py.

La séance du 06 a été arrêtée à la demande de l'utilisateur après ~1 h 10, l'upgrader encore dans ses essais (sa copie de travail, des benchmarks), sans commit : detectors reste à 5438b0b (S1, S2 de la première séance). Dans batches/2026-11-06/improve/ restent les mesures avant et les deux scripts qu'il avait gardés (tools/window.py, tools/brief_debug.py).

Bilan

Ce qui marche

  • La boucle tourne seule de bout en bout : un jour → détecteurs → scanner → wf-improve multi-stations → commits dans detectors, sur l'abonnement, isolée des réglages du poste, avec deux garde-fous qui ont joué (le contrôle de la vérité a bloqué une vérité fautive ; le benchmark n'a laissé passer que des correctifs neutres ailleurs).
  • La première séance a produit deux correctifs généraux et sains (S1 no_data par rafales, S2 doublons Visibility), vérifiés sur deux jours qu'elle n'avait pas vus. L'upgrader a écarté de lui-même la correction fausse du scanner.
  • Coût : scan ~0,35 et ~80 s par jour ; séance ~2,80 et ~30 min (équivalents API, sur l'abonnement).

Ce qui ne marche pas, ou mal

  • Le scanner est le maillon faible. De loin, sur une figure, il corrige surtout des doublons mécaniques ; les erreurs lourdes (famille fausse, passages non couverts, Target issue) restent dans la vérité et reviennent d'un jour à l'autre ; 0 image regardée en deux jours malgré la consigne. Deux audits indépendants (Opus, données brutes) trouvent chaque fois plus d'erreurs dans la vérité que le scanner n'en corrige.
  • Ses corrections sont souvent invisibles au score (par instant, sans les capteurs) : le 06, score de plage à 100 % avant toute correction des détecteurs ; la séance n'a rien de mesurable à améliorer, et le validator rien à peser.
  • La séance chargeait le plugin depuis le dépôt qu'elle modifie : claude refuse alors d'écrire dans ses fichiers (corrigé dans batch.py par une copie du plugin ; Diagnostic-App a le même défaut).
  • La coupure à minuit (« not back yet ») reste une limite.

Si l'on reprend (à décider)

  • Un score par capteur (un champ capteurs dans les étiquettes, score.py qui en tient compte) : sans lui, une bonne part de ce que voit le scanner ne peut pas guider wf-improve.
  • Ou bien renoncer à la vérité du scanner : garder le batch quotidien des détecteurs et ses figures comme veille, et ne lancer wf-improve que sur des étiquettes revues (le mode ciblé de Diagnostic-App), où il a fait ses preuves.
  • L'audit indépendant a fait ce que le scanner devait faire : c'est plutôt de ce côté (un agent qui lit les données par les outils de outils/, sur quelques stations signalées) qu'un scanner utile se trouverait, à un coût plus haut.