Files
aimsight-optimizer/docs/essais/2026-11-05.md
T
maximeandClaude Opus 5.5 ed4cedbe70 Essai du 2026-11-05 : le batch, le scan, la première séance d'amélioration, l'audit du scanner et ses outils
batches/2026-11-05/ : détecteurs, vérité, rapport du scanner, improve/ (mesures, modification, validation, bilan, tools/instants.py de l'upgrader) ; docs/essais/ : le journal de l'essai et l'audit ; outils/ : les scripts de lecture de l'audit, réutilisables (JOUR=AAAA-MM-JJ).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-14 15:18:26 +01:00

9.9 KiB

Essai complet sur le batch du 2026-11-05

Premier passage de bout en bout, le 2026-11-14 : les détecteurs, le scanner, puis l'amélioration (/detectors:wf-improve), orchestrés et surveillés par une session Claude Code (Opus) ; chaque agent contrôlé par un autre. Ce journal se remplit au fil de l'exécution : ce qui a tourné, ce qui a cassé, ce qui a été corrigé, ce qui reste à décider.

Le jour

2026-11-05 : les jours du 01 au 07 sont pompés en entier pour 11 stations ; du 11 au 13, seulement en partie (le 11, presque vide). NIEDERHORN n'a plus rien depuis le 04 (un jour entier de No data) ; WILDSTRUBEL, rien en novembre (écartée par le batch, « sans mesure »). Le 05 tombe aussi dans l'analyse ciblée de NORDEND (labeling/auto/analyses/NORDEND_2026-11-04T2112_2026-11-07T1412) : la vérité du scanner s'y compare à celle d'un analyste.

1. Les détecteurs

python3 batch.py --jour 2026-11-05 --sans-scan : 1 min 22 s, 12 stations, 73 étiquettes.

  • SUSTENHORN, No data sur tout le jour alors que les mesures sont là : la station mesure par rafales (3 mesures à 1 min toutes les 15 min) ; no_data.py prend pour cadence l'écart médian (1 min) et voit un trou toutes les 15 min, que categories.py fond en un seul événement. Le même défaut que le scanner avait vu le 12 (en « bornes »).
  • SUSTENHORN, trois Visibility en double (l'une grisée, l'autre non) aux mêmes heures : déjà vu le 12.
  • Le résumé detecteurs.md écrivait « 00:00 → 00:00 » pour une étiquette d'un jour entier (sa fin est minuit d'après) : corrigé, « 24:00 ».

2. Le scan

python3 batch.py --jour 2026-11-05 : 82 s, 27 tours, 0,37 $ en équivalent API (sur l'abonnement, apiKeySource: none, Sonnet) ; 7 irrégularités sur 3 stations, contrôle de la vérité sans erreur ; aucune image de la caméra.

Station Étiquette Cas Correction du scanner
BREITHORN D3 Displacement 08:00 trop retirée
SUSTENHORN D1 No data, tout le jour trop retirée
SUSTENHORN D8, D13, D17 Visibility grisées trop (doublons) retirées
SUSTENHORN S1 05:45 → 08:45 raté Obstruction ajoutée
LENZSPITZE S1 08:35 → 09:55 raté Visibility ajoutée

Défaut trouvé dans le flux : les sessions claude -p du batch chargeaient les réglages personnels du poste (hooks des plugins superpowers et ponytail, ~19 Ko de consignes injectées au démarrage ; tous les plugins et serveurs MCP de l'utilisateur). Corrigé : --setting-sources project,local --strict-mcp-config (vérifié : plus de hook ni de plugin utilisateur, toujours l'abonnement). --bare n'est pas possible : il impose une clé d'API.

3. L'amélioration

Pas encore branchée avant cet essai : wf-improve ne prenait qu'une station. Ajouté (detectors 887b313) :

  • DATA, STATIONS et un dossier LABELS (un <STATION>.jsonl par station), une seule séance pour toutes ; la requête d'une seule station (Diagnostic-App) ne change pas ;
  • regression.py --from/--to : la même plage pour toutes les stations (sans, une station sans étiquette faisait planter label_range) ;
  • les scripts des agents gardés dans <OUT>/tools/, listés dans leurs sorties (## Tools) et dans le bilan, pour les réutiliser (avant : un mktemp -d perdu).

batch.py lance l'étape 3 quand le scanner a corrigé une station et la vérité est sans erreur : une séance sur les stations corrigées, sorties dans batches/<jour>/improve/, flux dans improve.jsonl (hors de git).

Lancée sur la vérité du scanner telle quelle (le test de la boucle autonome, sans retouche), sur BREITHORN, LENZSPITZE, SUSTENHORN. Ouverture conforme : abonnement, Opus, plugin detectors chargé avec detectors:upgrader et detectors:validator malgré --setting-sources project,local. Le flux contient aussi les messages des sous-agents ; il n'arrivait que par blocs de 8 Ko (corrigé : écrit ligne à ligne).

L'upgrader (~10 min) :

  • S1 (no_data.py) : le pas est le plus grand de l'écart médian et du cycle horaire (une heure divisée par le nombre médian d'instants par heure) : une station par rafales n'a plus un trou toutes les 15 min. Le No data de SUSTENHORN disparaît.
  • S2 (visibility.py) : un épisode diffus (point 8) contenu dans un Poor visibility (point 3) n'est plus émis en double. Les doublons de SUSTENHORN disparaissent.
  • Benchmark identique sur toutes les lignes après chaque correctif.
  • LENZSPITZE S1 (la correction fausse du scanner, voir l'audit) : écartée, « lecture défendable » des détecteurs, en « Limits ». SUSTENHORN S1 : un essai de règle (deux mesures rejetées de suite = passage bref) fait passer Obstruction « correct » de 81 à 46 % sur la plage ; abandonné. BREITHORN D3 : jugé « une règle de plus pour un instant », laissé.
  • Il garde tools/instants.py (par instant : rejets, capteurs « hauts », error_value en MAD), comme demandé.

Le validator (~8 min) : keep. Benchmark refait à HEAD, identique à « après » ; aucune ligne ne bouge sur les 11 stations ; S1 sans constante ajoutée, S2 d'une ligne ; rien d'interdit. Sa réserve : le pas de no_data ne peut que monter, une station aux heures à moitié remplies devra avoir un trou plus long pour qu'il se voie ; à surveiller.

Bilan (batches/2026-11-05/improve/summary.md) : modification gardée ; 29 min, 8 tours de l'orchestrateur, 0 refus de permission, 2,80 $ en équivalent API (Opus, sur l'abonnement). Une seule erreur d'outil dans le flux : un sleep 240 bloqué (l'upgrader voulait attendre son benchmark). L'upgrader édite encore le code par des heredocs Python : ce sont des modifications, pas des scripts d'analyse, la consigne tools/ ne les vise pas.

Ça généralise : sur les 6 et 7 novembre, que la séance n'a pas vus, les détecteurs d'après (5438b0b) face à ceux d'avant (887b313), toutes stations : le faux No data de SUSTENHORN disparaît aussi les deux jours (S1), ses doublons Poor visibility aussi (S2) ; ailleurs, seules JUNGFRAU et LENZSPITZE bougent, à la marge (les épisodes absorbés d'une Poor visibility de nuit).

4. L'audit du scanner

Un agent indépendant (Opus, ~70 min, lecture des données brutes que le scanner n'a pas le droit de lire) a refait le travail du scanner ; son rapport complet est recopié dans 2026-11-05-audit-scan.md, ses scripts réutilisables dans outils/ du dépôt.

  • Les 7 corrections : 5 justes (BREITHORN D3 ; SUSTENHORN D1, D8, D13, D17), 1 fausse (LENZSPITZE S1 : une agitation thermique sans montée de l'error_value, déjà sous D1 ; le seul événement distinct est un passage à 09:05), 1 discutable (SUSTENHORN S1 : des rejets réels et la bonne famille, mais 5 passages fondus en une étiquette de 3 h, et 10 passages du soir laissés).
  • Le raté le plus lourd : NORDEND, face à la vérité de l'analyste. D2 (Visibility 00:45 → 09:30) ne couvre que trois instants où la référence CTR03 est rejetée et toutes les cibles sautent (deux Obstructions d'une demi-heure pour l'analyste) ; D9 (« Jump, not back yet » à 23:15) revient à 23:30 (Obstruction pour l'analyste).
  • La cause principale n'est pas le scanner mais la figure : min(lim, nan) rend lim, donc chaque mesure rejetée était dessinée en pic à l'écrêtage (les « pics répétés » de SUSTENHORN, les plateaux de NORDEND) ; et un NaN effaçait la vraie valeur de son pas de 15 min. Les références ne sont pas tracées : « une référence rejetée, toutes les cibles sautent » était invisible.

5. Les corrections d'Optimizer après l'audit

  • La figure : un rejet interrompt la courbe (plus de pic) ; dans un pas, une vraie mesure l'emporte toujours sur un rejet ; le panneau des rejets sépare les références (noir) des cibles (rouge). Vérifié sur le 05 : plus aucun pic à SUSTENHORN, et à NORDEND les références rejetées tombent à 01:00, 03:30, 23:15 et 23:45, les passages de l'analyste.
  • Le résumé detecteurs.md : les références nommées ; « par rafales » quand la station mesure ainsi (SUSTENHORN : « une mesure toutes les 1 min » cachait la cadence).
  • Les bornes des étiquettes des détecteurs : un événement va du premier au dernier point touché, une étiquette de la mesure d'avant à celle d'après (règles d'étiquetage, score.py). Le batch reprenait les bornes des événements : des étiquettes debut = fin, interdites, et un score de plage qui n'était pas à 100 % même sans aucune correction (NORDEND Displacement 1/3, SUSTENHORN Visibility 3/9), du bruit pour l'upgrader. Maintenant élargies d'une mesure (sauf No data, déjà d'une mesure à l'autre), et une étiquette commencée la veille part de la dernière mesure d'avant minuit. À vérité intacte, le score est à 100 % sur toutes les familles de toutes les stations du 05, à un instant près (FLORIDA, NADELHORN) : il ne montre plus que les corrections du scanner.
  • Essayé et retiré : laisser les détecteurs lire 6 h après minuit (pour qu'un saut du soir trouve son retour). Leurs statistiques portent sur toute la fenêtre lue : les étiquettes du matin changeaient aussi (NORDEND D2 coupée en trois), et score.py (sans ces heures) aurait vu des écarts que personne n'a corrigés. La coupure à minuit reste une limite.
  • Les consignes du scanner : la figure telle qu'elle est maintenant, les bornes « d'une mesure à l'autre » (à 4 h de cadence, une anomalie d'une mesure couvre 8 h ; la tolérance des bornes devient « plus d'une heure et plus d'une mesure ») ; un rejet ou un saut sous une étiquette longue d'une autre famille est un raté ; trois signatures trompeuses (une référence rejetée quand toutes les cibles sautent : Obstruction ; un même groupe rejeté par moments : Obstruction ; une agitation de jour sans montée de l'error_value : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y renoncer.

(en cours)