Essai arrêté : batch du 2026-11-06 (scan, séance interrompue sans commit), audit du scan du 06, bilan de l'essai ; suivre.py --fin
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7e24df09a0
commit
010c297f60
35 files changed
+904
-2
No files matched your search
@@ -126,4 +126,101 @@ scripts réutilisables dans [`outils/`](../../outils/) du dépôt.
|
||||
jour sans montée de l'`error_value` : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y
|
||||
renoncer.
|
||||
|
||||
*(en cours)*
|
||||
## 6. Deuxième itération : le batch du 2026-11-06
|
||||
|
||||
Le lendemain dans la boucle : `python3 batch.py --jour 2026-11-06`, avec la figure, les bornes et les consignes corrigées,
|
||||
sur les détecteurs de la première séance (5438b0b). Étape 1 : 12 stations, 81 étiquettes.
|
||||
|
||||
Le scan : 76 s, 27 tours, 0,35 $ en équivalent API ; ouverture isolée (plus aucun plugin ni hook du poste) ; 6 corrections
|
||||
sur 5 stations, aucune image regardée (malgré la consigne nouvelle).
|
||||
- 5 « trop » : une Visibility contenue dans une autre de la même famille (FLORIDA D14, JUNGFRAU D6 Heat shimmer,
|
||||
LENZSPITZE D3, NADELHORN D10, SUSTENHORN D6), retirée.
|
||||
- 1 « raté » : NADELHORN S1, Obstruction 13:00 → 13:15, « toutes les cibles sautent ensemble à 13:05 et reviennent, une
|
||||
référence rejetée (noir) : un passage devant une référence ». Vérifié sur les données brutes (`outils/instants.py`) :
|
||||
`ref5_mon` rejetée à 13:00 et 13:05, les 11 cibles à +66/+70 bruits en x (+15/+19 autour), retour à 13:10 ; juste. La
|
||||
signature que la figure corrigée rend visible, et que la consigne nomme, est trouvée seule.
|
||||
- Doutes non corrigés, dont NORDEND D1 : un « Sudden jump, back to normal » de 23:45 la veille à 22:15 sur CTR01 et PR07.
|
||||
C'est `categories.py` qui fond deux sauts brefs (23:45, 05:00) en un seul événement d'une journée (« the jumps of 2
|
||||
targets in this period have the same cause ») : à regarder côté détecteurs.
|
||||
|
||||
Le batch s'est arrêté avant l'amélioration : **le contrôle de la vérité a refusé** la ligne `No data` de NIEDERHORN, qui
|
||||
commençait le 04 à 05:00. Mon défaut : « commencée la veille, à la dernière mesure d'avant minuit » remontait au début
|
||||
d'un trou de trois jours. Corrigé (au plus tôt la veille à 00:00 ; ed695db) ; la ligne refaite (le scanner n'y avait pas
|
||||
touché). Second défaut vu au passage : une ligne refusée comptait comme « retirée », et sa station serait partie dans les
|
||||
stations corrigées ; corrigé. Le garde-fou a fait son travail : pas d'amélioration sur une vérité fautive.
|
||||
|
||||
Puis `python3 batch.py --jour 2026-11-06` relancé : le contrôle passe, la séance part sur FLORIDA, JUNGFRAU, LENZSPITZE,
|
||||
NADELHORN, SUSTENHORN.
|
||||
|
||||
**Le score de plage est à 100 % avant toute correction des détecteurs** : les 6 corrections du scanner lui sont invisibles.
|
||||
Les 5 retraits ôtent une étiquette dont la famille est déjà posée sur les mêmes instants ; le passage de NADELHORN tombe
|
||||
dans des instants déjà « Obstruction » (un `Target obscured` d'une journée sur un autre capteur). C'est la limite que
|
||||
`score.py` annonce lui-même (« par instant et non par capteur ») : ici elle laisse l'upgrader sans cible mesurable et le
|
||||
validator sans gain à mettre en balance.
|
||||
|
||||
**Claude refuse d'écrire dans les fichiers d'un plugin chargé.** L'upgrader s'est vu refuser l'outil Edit sur
|
||||
`detectors/scripts/visibility.py` (« a sensitive file »), puis même un `cp` vers ce fichier. Reproduit sur un faux plugin :
|
||||
refusé avec `--plugin-dir`, accepté sans. La séance charge le plugin depuis le dépôt qu'elle doit modifier ; la première
|
||||
séance n'était passée que par des heredocs Python, opaques au contrôle. Corrigé dans `batch.py` (d5ee63a) : le plugin se
|
||||
charge d'une copie temporaire (`.claude-plugin`, `skills`, `agents`), les commandes passent par `DETECTORS: detectors/`, le
|
||||
vrai dépôt (vérifié : le skill et ses deux agents se chargent, l'écriture passe). **Diagnostic-App lance la séance de la
|
||||
même façon** (`--plugin-dir detectors`) et doit faire de même. La séance en cours garde l'ancien lancement : elle travaille
|
||||
dans sa copie et doit recopier par un moyen que le contrôle laisse passer.
|
||||
|
||||
### L'audit du scan du 06
|
||||
|
||||
Un second agent indépendant (Opus, ~14 min grâce aux outils de `outils/`) : [2026-11-06-audit-scan.md](2026-11-06-audit-scan.md).
|
||||
- **4 justes, 2 discutables, 0 fausse** (le 05 : 5, 1, 1 fausse). Discutables : SUSTENHORN D6 (doublon, mais il garde la
|
||||
grisée, et les deux ont la mauvaise famille) ; NADELHORN S1 (fond juste, début une mesure trop tard).
|
||||
- **Un peu mieux que le 05** : aucune correction fausse ; les barres noires des références ont servi (NADELHORN S1, la
|
||||
lecture de NORDEND). Les détecteurs eux-mêmes font bien mieux à NORDEND (des Obstructions sur CTR03 au lieu d'une
|
||||
Visibility de 9 h).
|
||||
- **Les ratés n'ont pas bougé** : SUSTENHORN (Visibility au lieu d'Obstruction sur le même groupe de 11, des Displacement sur
|
||||
des passages, 22 passages non couverts, malgré la consigne ajoutée) ; LENZSPITZE (des Displacement « not back yet » dans la
|
||||
perte de visibilité de la nuit, comme le 05) ; NORDEND 04:30-04:45, un passage vu puis écarté « affaire de bornes » ;
|
||||
NADELHORN D8, une Visibility de 17 h posée sur des références perdues (configuration changée ?) ; NEBRASKA mal lu ;
|
||||
CLARIDEN laissé en Thermal sous une température plate. **0 image regardée, deuxième jour de suite.**
|
||||
- Défauts restants de la figure : l'`error_value` médiane de tous les capteurs, rejetés compris (de faux pics « toute la
|
||||
scène » à SUSTENHORN, gonflée par des valeurs figées à NADELHORN) ; l'écart à la médiane du jour ; le bruit propre des
|
||||
rafales ; pas d'historique des rejets (Target issue indécidable).
|
||||
|
||||
Corrigé ensuite (7e24df0) : l'`error_value` des capteurs acceptés seulement (vérifié : plus de faux pic à SUSTENHORN) ;
|
||||
jusqu'à 12 capteurs nommés dans le résumé (un groupe se reconnaît) ; consignes : un passage non couvert est un raté quelle
|
||||
que soit l'étiquette voisine, quel doublon garder (la montrée au client), chaque doute de famille demande une image (ou dit
|
||||
pourquoi pas). `outils/non_couverts.py` remplacé par la version de l'audit, qui juge la couverture capteur par capteur
|
||||
(l'ancienne ne voyait rien sous une étiquette d'une seule cible d'une journée) ; ajoutés : `rejets_instants.py`,
|
||||
`ev_fenetres.py`, `horaire_jours.py`.
|
||||
|
||||
La séance du 06 a été **arrêtée à la demande de l'utilisateur** après ~1 h 10, l'upgrader encore dans ses essais (sa copie
|
||||
de travail, des benchmarks), sans commit : `detectors` reste à 5438b0b (S1, S2 de la première séance). Dans
|
||||
`batches/2026-11-06/improve/` restent les mesures avant et les deux scripts qu'il avait gardés (`tools/window.py`,
|
||||
`tools/brief_debug.py`).
|
||||
|
||||
## Bilan
|
||||
|
||||
**Ce qui marche**
|
||||
- La boucle tourne seule de bout en bout : un jour → détecteurs → scanner → `wf-improve` multi-stations → commits dans
|
||||
`detectors`, sur l'abonnement, isolée des réglages du poste, avec deux garde-fous qui ont joué (le contrôle de la vérité a
|
||||
bloqué une vérité fautive ; le benchmark n'a laissé passer que des correctifs neutres ailleurs).
|
||||
- La première séance a produit deux correctifs généraux et sains (S1 `no_data` par rafales, S2 doublons `Visibility`),
|
||||
vérifiés sur deux jours qu'elle n'avait pas vus. L'upgrader a écarté de lui-même la correction fausse du scanner.
|
||||
- Coût : scan ~0,35 $ et ~80 s par jour ; séance ~2,80 $ et ~30 min (équivalents API, sur l'abonnement).
|
||||
|
||||
**Ce qui ne marche pas, ou mal**
|
||||
- **Le scanner est le maillon faible.** De loin, sur une figure, il corrige surtout des doublons mécaniques ; les erreurs
|
||||
lourdes (famille fausse, passages non couverts, Target issue) restent dans la vérité et reviennent d'un jour à l'autre ;
|
||||
0 image regardée en deux jours malgré la consigne. Deux audits indépendants (Opus, données brutes) trouvent chaque fois
|
||||
plus d'erreurs dans la vérité que le scanner n'en corrige.
|
||||
- **Ses corrections sont souvent invisibles au score** (par instant, sans les capteurs) : le 06, score de plage à 100 %
|
||||
avant toute correction des détecteurs ; la séance n'a rien de mesurable à améliorer, et le validator rien à peser.
|
||||
- **La séance chargeait le plugin depuis le dépôt qu'elle modifie** : claude refuse alors d'écrire dans ses fichiers
|
||||
(corrigé dans `batch.py` par une copie du plugin ; Diagnostic-App a le même défaut).
|
||||
- La coupure à minuit (« not back yet ») reste une limite.
|
||||
|
||||
**Si l'on reprend** (à décider)
|
||||
- Un score par capteur (un champ `capteurs` dans les étiquettes, `score.py` qui en tient compte) : sans lui, une bonne
|
||||
part de ce que voit le scanner ne peut pas guider `wf-improve`.
|
||||
- Ou bien renoncer à la vérité du scanner : garder le batch quotidien des détecteurs et ses figures comme veille, et ne
|
||||
lancer `wf-improve` que sur des étiquettes revues (le mode ciblé de Diagnostic-App), où il a fait ses preuves.
|
||||
- L'audit indépendant a fait ce que le scanner devait faire : c'est plutôt de ce côté (un agent qui lit les données par les
|
||||
outils de `outils/`, sur quelques stations signalées) qu'un scanner utile se trouverait, à un coût plus haut.
|
||||
Reference in new issue
Block a user