Essai arrêté : batch du 2026-11-06 (scan, séance interrompue sans commit), audit du scan du 06, bilan de l'essai ; suivre.py --fin

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-14 16:02:49 +01:00
1 parent 7e24df09a0
commit 010c297f60
35 files changed
+904 -2

No files matched your search

+98 -1
View File
@@ -126,4 +126,101 @@ scripts réutilisables dans [`outils/`](../../outils/) du dépôt.
jour sans montée de l'`error_value` : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y
renoncer.
*(en cours)*
## 6. Deuxième itération : le batch du 2026-11-06
Le lendemain dans la boucle : `python3 batch.py --jour 2026-11-06`, avec la figure, les bornes et les consignes corrigées,
sur les détecteurs de la première séance (5438b0b). Étape 1 : 12 stations, 81 étiquettes.
Le scan : 76 s, 27 tours, 0,35 $ en équivalent API ; ouverture isolée (plus aucun plugin ni hook du poste) ; 6 corrections
sur 5 stations, aucune image regardée (malgré la consigne nouvelle).
- 5 « trop » : une Visibility contenue dans une autre de la même famille (FLORIDA D14, JUNGFRAU D6 Heat shimmer,
LENZSPITZE D3, NADELHORN D10, SUSTENHORN D6), retirée.
- 1 « raté » : NADELHORN S1, Obstruction 13:00 → 13:15, « toutes les cibles sautent ensemble à 13:05 et reviennent, une
référence rejetée (noir) : un passage devant une référence ». Vérifié sur les données brutes (`outils/instants.py`) :
`ref5_mon` rejetée à 13:00 et 13:05, les 11 cibles à +66/+70 bruits en x (+15/+19 autour), retour à 13:10 ; juste. La
signature que la figure corrigée rend visible, et que la consigne nomme, est trouvée seule.
- Doutes non corrigés, dont NORDEND D1 : un « Sudden jump, back to normal » de 23:45 la veille à 22:15 sur CTR01 et PR07.
C'est `categories.py` qui fond deux sauts brefs (23:45, 05:00) en un seul événement d'une journée (« the jumps of 2
targets in this period have the same cause ») : à regarder côté détecteurs.
Le batch s'est arrêté avant l'amélioration : **le contrôle de la vérité a refusé** la ligne `No data` de NIEDERHORN, qui
commençait le 04 à 05:00. Mon défaut : « commencée la veille, à la dernière mesure d'avant minuit » remontait au début
d'un trou de trois jours. Corrigé (au plus tôt la veille à 00:00 ; ed695db) ; la ligne refaite (le scanner n'y avait pas
touché). Second défaut vu au passage : une ligne refusée comptait comme « retirée », et sa station serait partie dans les
stations corrigées ; corrigé. Le garde-fou a fait son travail : pas d'amélioration sur une vérité fautive.
Puis `python3 batch.py --jour 2026-11-06` relancé : le contrôle passe, la séance part sur FLORIDA, JUNGFRAU, LENZSPITZE,
NADELHORN, SUSTENHORN.
**Le score de plage est à 100 % avant toute correction des détecteurs** : les 6 corrections du scanner lui sont invisibles.
Les 5 retraits ôtent une étiquette dont la famille est déjà posée sur les mêmes instants ; le passage de NADELHORN tombe
dans des instants déjà « Obstruction » (un `Target obscured` d'une journée sur un autre capteur). C'est la limite que
`score.py` annonce lui-même (« par instant et non par capteur ») : ici elle laisse l'upgrader sans cible mesurable et le
validator sans gain à mettre en balance.
**Claude refuse d'écrire dans les fichiers d'un plugin chargé.** L'upgrader s'est vu refuser l'outil Edit sur
`detectors/scripts/visibility.py` (« a sensitive file »), puis même un `cp` vers ce fichier. Reproduit sur un faux plugin :
refusé avec `--plugin-dir`, accepté sans. La séance charge le plugin depuis le dépôt qu'elle doit modifier ; la première
séance n'était passée que par des heredocs Python, opaques au contrôle. Corrigé dans `batch.py` (d5ee63a) : le plugin se
charge d'une copie temporaire (`.claude-plugin`, `skills`, `agents`), les commandes passent par `DETECTORS: detectors/`, le
vrai dépôt (vérifié : le skill et ses deux agents se chargent, l'écriture passe). **Diagnostic-App lance la séance de la
même façon** (`--plugin-dir detectors`) et doit faire de même. La séance en cours garde l'ancien lancement : elle travaille
dans sa copie et doit recopier par un moyen que le contrôle laisse passer.
### L'audit du scan du 06
Un second agent indépendant (Opus, ~14 min grâce aux outils de `outils/`) : [2026-11-06-audit-scan.md](2026-11-06-audit-scan.md).
- **4 justes, 2 discutables, 0 fausse** (le 05 : 5, 1, 1 fausse). Discutables : SUSTENHORN D6 (doublon, mais il garde la
grisée, et les deux ont la mauvaise famille) ; NADELHORN S1 (fond juste, début une mesure trop tard).
- **Un peu mieux que le 05** : aucune correction fausse ; les barres noires des références ont servi (NADELHORN S1, la
lecture de NORDEND). Les détecteurs eux-mêmes font bien mieux à NORDEND (des Obstructions sur CTR03 au lieu d'une
Visibility de 9 h).
- **Les ratés n'ont pas bougé** : SUSTENHORN (Visibility au lieu d'Obstruction sur le même groupe de 11, des Displacement sur
des passages, 22 passages non couverts, malgré la consigne ajoutée) ; LENZSPITZE (des Displacement « not back yet » dans la
perte de visibilité de la nuit, comme le 05) ; NORDEND 04:30-04:45, un passage vu puis écarté « affaire de bornes » ;
NADELHORN D8, une Visibility de 17 h posée sur des références perdues (configuration changée ?) ; NEBRASKA mal lu ;
CLARIDEN laissé en Thermal sous une température plate. **0 image regardée, deuxième jour de suite.**
- Défauts restants de la figure : l'`error_value` médiane de tous les capteurs, rejetés compris (de faux pics « toute la
scène » à SUSTENHORN, gonflée par des valeurs figées à NADELHORN) ; l'écart à la médiane du jour ; le bruit propre des
rafales ; pas d'historique des rejets (Target issue indécidable).
Corrigé ensuite (7e24df0) : l'`error_value` des capteurs acceptés seulement (vérifié : plus de faux pic à SUSTENHORN) ;
jusqu'à 12 capteurs nommés dans le résumé (un groupe se reconnaît) ; consignes : un passage non couvert est un raté quelle
que soit l'étiquette voisine, quel doublon garder (la montrée au client), chaque doute de famille demande une image (ou dit
pourquoi pas). `outils/non_couverts.py` remplacé par la version de l'audit, qui juge la couverture capteur par capteur
(l'ancienne ne voyait rien sous une étiquette d'une seule cible d'une journée) ; ajoutés : `rejets_instants.py`,
`ev_fenetres.py`, `horaire_jours.py`.
La séance du 06 a été **arrêtée à la demande de l'utilisateur** après ~1 h 10, l'upgrader encore dans ses essais (sa copie
de travail, des benchmarks), sans commit : `detectors` reste à 5438b0b (S1, S2 de la première séance). Dans
`batches/2026-11-06/improve/` restent les mesures avant et les deux scripts qu'il avait gardés (`tools/window.py`,
`tools/brief_debug.py`).
## Bilan
**Ce qui marche**
- La boucle tourne seule de bout en bout : un jour → détecteurs → scanner → `wf-improve` multi-stations → commits dans
`detectors`, sur l'abonnement, isolée des réglages du poste, avec deux garde-fous qui ont joué (le contrôle de la vérité a
bloqué une vérité fautive ; le benchmark n'a laissé passer que des correctifs neutres ailleurs).
- La première séance a produit deux correctifs généraux et sains (S1 `no_data` par rafales, S2 doublons `Visibility`),
vérifiés sur deux jours qu'elle n'avait pas vus. L'upgrader a écarté de lui-même la correction fausse du scanner.
- Coût : scan ~0,35 $ et ~80 s par jour ; séance ~2,80 $ et ~30 min (équivalents API, sur l'abonnement).
**Ce qui ne marche pas, ou mal**
- **Le scanner est le maillon faible.** De loin, sur une figure, il corrige surtout des doublons mécaniques ; les erreurs
lourdes (famille fausse, passages non couverts, Target issue) restent dans la vérité et reviennent d'un jour à l'autre ;
0 image regardée en deux jours malgré la consigne. Deux audits indépendants (Opus, données brutes) trouvent chaque fois
plus d'erreurs dans la vérité que le scanner n'en corrige.
- **Ses corrections sont souvent invisibles au score** (par instant, sans les capteurs) : le 06, score de plage à 100 %
avant toute correction des détecteurs ; la séance n'a rien de mesurable à améliorer, et le validator rien à peser.
- **La séance chargeait le plugin depuis le dépôt qu'elle modifie** : claude refuse alors d'écrire dans ses fichiers
(corrigé dans `batch.py` par une copie du plugin ; Diagnostic-App a le même défaut).
- La coupure à minuit (« not back yet ») reste une limite.
**Si l'on reprend** (à décider)
- Un score par capteur (un champ `capteurs` dans les étiquettes, `score.py` qui en tient compte) : sans lui, une bonne
part de ce que voit le scanner ne peut pas guider `wf-improve`.
- Ou bien renoncer à la vérité du scanner : garder le batch quotidien des détecteurs et ses figures comme veille, et ne
lancer `wf-improve` que sur des étiquettes revues (le mode ciblé de Diagnostic-App), où il a fait ses preuves.
- L'audit indépendant a fait ce que le scanner devait faire : c'est plutôt de ce côté (un agent qui lit les données par les
outils de `outils/`, sur quelques stations signalées) qu'un scanner utile se trouverait, à un coût plus haut.