Essai du 2026-11-05 : le batch, le scan, la première séance d'amélioration, l'audit du scanner et ses outils

batches/2026-11-05/ : détecteurs, vérité, rapport du scanner, improve/ (mesures, modification, validation, bilan, tools/instants.py de l'upgrader) ; docs/essais/ : le journal de l'essai et l'audit ; outils/ : les scripts de lecture de l'audit, réutilisables (JOUR=AAAA-MM-JJ).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-14 15:18:26 +01:00
1 parent dab71a9037
commit ed4cedbe70
47 files changed
+1490

No files matched your search

+143
View File
@@ -0,0 +1,143 @@
# Audit du scan du 2026-11-05
Par un agent indépendant de l'essai du 2026-11-14 (voir [2026-11-05.md](2026-11-05.md)), sur le batch tel que le scanner l'a laissé, avant les corrections de la figure et des bornes.
Lecture seule ; données lues par le chargeur des détecteurs (`detectors/scripts/data.py`). « Bruit » : le bruit propre de `batch.py` (médiane des écarts entre deux mesures, jour et 3 jours d'historique), sauf mention. Aucun fichier du dépôt, de `data/`, `labeling/` ou `detectors/` n'a été modifié.
Décompte : **5 justes, 1 fausse, 1 discutable**. Mais la vérité garde des erreurs plus lourdes que celles qu'elle corrige (section « Ratés »), surtout à NORDEND, où elle contredit la vérité de l'analyste.
## 1. Les 7 corrections
| Station | Étiquette | Verdict | Preuve |
|---|---|---|---|
| BREITHORN | D3 (Displacement, COLI22, 08:00→08:00) retirée | **juste** | À 08:00, COLI22 est revenue à son niveau habituel (corr_x +0,047, corr_y +0,065, ev/seuil 0,20, comme le 04/11 de jour et le 05/11 à 12:00) et aucune cible ne dépasse 5 bruits (0/12) : D3 est le retour du véhicule garé de la nuit, lu à tort comme un saut. |
| SUSTENHORN | D1 (No data, toute la journée) retirée | **juste** | 288 instants, écarts de 1 min (×192) et de 13 min (×95) seulement : des mesures dans chaque rafale de la journée. `no_data.py` prend 1 min pour la cadence et voit chacun des 95 écarts de 13 min entre rafales comme un trou ; il les fond en un seul événement du 02/11 00:02 au 06/11 00:00. Le motif donné par le scanner (« un seul trou de 13 min ») est faux, mais la correction est juste. |
| SUSTENHORN | D8 (Visibility grisée, 16:45→16:47) retirée | **juste** (doublon) | Même liste de 11 capteurs, mêmes heures et même famille que D9. Mais la ligne gardée, D9, a la mauvaise famille : voir « Ratés ». |
| SUSTENHORN | D13 (18:45→18:47) retirée | **juste** (doublon) | Identique à D14 (11 capteurs, mêmes heures). Même réserve sur la famille de D14. |
| SUSTENHORN | D17 (23:00→23:02) retirée | **juste** (doublon) | Identique à D18, à un capteur près (D18 ajoute B16_A11). Même réserve sur la famille de D18. |
| SUSTENHORN | S1 ajoutée (Obstruction, 05:45→08:45) | **discutable** | Il y a bien des rejets que rien ne couvre : à 06:01-02, 06:32, 07:31-32, 07:45-46 et 08:31-32, toujours les mêmes 11 capteurs (plus REF07 et une cible à 06:15 et 06:45). Mais il n'y a pas de « pics de corr » : ce sont des rejets que la figure trace à l'écrêtage. S1 fond aussi 5 passages en une étiquette de 3 h, commence à 05:45 au lieu de 06:00, et le même raté revient 10 fois le soir sans être corrigé. |
| LENZSPITZE | S1 ajoutée (Visibility, 08:35→09:55) | **fausse** | La plage est déjà couverte par D1 (Thermal displacement, 00:00→18:30). L'agitation de 07:20 à 09:35 se fait sans montée de l'`error_value` (0,74 à 1,06 fois la nuit), sans perte de netteté (sharpness 0,96 à 1,02 fois la nuit) et sans rejet, pendant que le tilt de la caméra bouge. Selon les règles, c'est donc de l'agitation thermique et non une turbulence. Le seul événement distinct, à 09:05, est un passage bref sur 4 cibles (Obstruction). |
### Détail
**BREITHORN D3.** La nuit du 04 au 05/11, de 20:00 à 04:00 :
- COLI22 s'écarte de −23 bruits en corr_x (ev/seuil 0,77, sans rejet) ;
- POUI22 saute de +28 bruits en x et +72 en y ;
- COLI24 est rejetée.
À 08:00, les trois cibles sont revenues : COLI24 à +0,098, POUI22 à +0,018/−0,124. C'est la signature des véhicules garés la nuit devant le bas de la scène. L'analyste l'étiquette 12 fois en octobre (`labeling/auto/BREITHORN.jsonl`) : Obstruction, une étiquette par nuit, de 16:00 ou 20:00 jusqu'à 08:00. Retirer D3 est juste. Il restait deux choses à corriger (non corrigées) :
- D1 (Displacement sur POUI22) est de trop : même épisode, POUI22 est derrière le véhicule ;
- D2 devrait finir à 08:00, la mesure d'après le dernier point touché, et non à 04:00.
**SUSTENHORN : la cadence en rafales et ce qu'elle fait aux détecteurs.** La station mesure par rafales : 3 mesures à 1 min d'intervalle (hh:00/01/02, :15/16/17…), toutes les 15 min. Le résumé dit « une mesure toutes les 1 min ». Effets sur les détecteurs :
- `no_data.py` : la cadence médiane vaut 1 min, donc chaque écart de 13 min entre rafales est un « trou » (plus de 3 pas manquants). D'où un No data continu sur tout l'historique : c'est D1.
- `visibility.py`, Brief obstruction : un instant n'est retenu que s'il dépasse 3 fois ses voisins, et ses voisins sont les mesures à 1 min de la même rafale. Un passage d'une seule mesure est vu (05:15, 05:31, 09:02, 09:32, 10:31, 15:02, 16:15, 17:15, 18:30, 19:30, 19:32, 20:32, 23:30). Un passage de deux mesures consécutives échoue au test de saillance et n'atteint pas `RUN_MIN` = 3 : il n'est vu nulle part (06:01-02, 07:31-32, 07:45-46, 08:31-32, 16:31-32, 17:00-01, 17:45-46, 18:01-02, 19:15-16, 20:00-01, 20:16-17, 23:15-16). Deux passages isolés (06:32 et 18:15) manquent aussi. Avec trois mesures rejetées (16:45-47, 18:45-47, 23:00-02), on atteint `RUN_MIN` : comme 10 cibles sur 18 sont rejetées, plus de la moitié, la règle des niveaux dit « none », d'où une Visibility, en double (une grisée, une gardée).
- Les bornes des passages d'une mesure tombent sur une seule minute (15:02→15:02), donc `debut` = `fin`, ce que les règles d'étiquetage interdisent.
- Le bruit propre de la figure est calculé surtout sur des paires à 1 min. Il est sous-estimé : le rapport médian au bruit sur des paires d'au moins 10 min vaut 1,5 (de 1,3 à 2,7). La bande ±5 vaut donc environ ±3,3 vrais bruits, et toute la figure paraît agitée.
**SUSTENHORN S1.** Le groupe rejeté est toujours le même, 51 fois dans la journée : les cibles en `*01`/`*02` (B15_B01, B16_A01, B16_A02, B16_B01, B17_A01, B17_B01, B18_A01, B18_B01, B19_A01, B19_B01) et REF07. Les cibles en `*11`/`*12` restent mesurées, et leur ev/seuil médian ne monte pas : 0,063 aux instants de rejet, contre 0,079 sans rejet. C'est une occultation localisée, la même que les Obstructions des détecteurs (D3, D4, D6, D7…) : la famille Obstruction est cohérente, cause déduite (pas de dossier `images/` pour cette station).
Ce que la figure appelle « pics » n'en est pas : pendant ces rejets, les cibles acceptées ne bougent pas (0/8 au-delà de 5 bruits à 07:31-32 ; B16_B11 et B18_B11 restent à leur niveau). C'est le défaut d'écrêtage de la figure (section 4).
Ce qui ne va pas dans S1 :
- sa description (« pics répétés de corr_x et corr_y ») est fausse ;
- elle fond 5 passages en une seule étiquette, alors que les règles demandent une étiquette par passage ;
- `debut` devrait être 06:00, la mesure d'avant le premier rejet de 06:01 ;
- les 10 passages du soir, aussi visibles dans le panneau des rejets, restent non couverts.
Une étiquette de 3 h apprendrait aux détecteurs à fusionner des passages, ce qui serait faux.
**LENZSPITZE S1.** Le script `agitation.py` compare le 05/11 avec la turbulence étiquetée par l'analyste le 19/10 (LENZSPITZE-18, 07:40→10:30). Le 05/11, de 07:20 à 09:35 :
- |Δcorr_x| médian de 2 à 10 bruits par pas (environ 1 la nuit) ;
- `error_value` de 0,74 à 1,06 fois son niveau de la nuit ;
- sharpness de 0,96 à 1,02 fois la nuit ;
- flux de 1,4 à 1,9 fois la nuit (le jour se lève) ;
- tilt de 0,006 à 0,013 puis 0,008.
Le 19/10, au contraire : `error_value` de 1,2 à 1,6 fois la nuit, sharpness de 0,86 à 0,90. Le 05/11 est donc la pose qui s'agite sans que l'`error_value` monte. Les familles le disent (« une agitation de jour, la pose qui s'agite sans que l'`error_value` monte, n'est pas une turbulence »), et les règles d'étiquetage aussi (« l'agitation d'une mesure à l'autre s'écrit dans l'étiquette thermique… elle ne fait pas une Visibility ») : c'est D1, déjà là.
À 09:05, quatre cibles font un pic d'une mesure et reviennent à 09:10-09:15 :
- 1013 (ev 0,07 → 0,42, corr_x +114 bruits) ;
- 1021 (0,23 → 0,59) ;
- 1023 (corr_y +192 bruits) ;
- 1019 (0,12 → 0,43, retour lent).
C'est un passage : Obstruction brève, de 09:00 à 09:10 ou 09:15, que les détecteurs ratent. Le scanner l'a noyé dans une Visibility.
## 2. Les doutes du scanner
| Doute | Ce que disent les données | Aurait-il dû corriger ? |
|---|---|---|
| BREITHORN 00:00–04:00, D1 Displacement ou D2 Obstruction | C'est un véhicule garé la nuit devant COLI22, COLI24 et POUI22 (12 nuits identiques étiquetées Obstruction par l'analyste). D1 est de trop ; D2 doit finir à 08:00. L'image de 00:00 existe, mais elle est très sombre et peu concluante. | Oui pour D1 : même épisode, la famille se décide par le précédent. Le scanner avait 5 images et n'en a regardé aucune. |
| CLARIDEN 10:00–11:30, bosse de ±6 | 7 à 11 cibles entre +5 et +7 bruits à 10:10 et de 10:50 à 11:00, sans rejet ; partout ailleurs, 0 ou 1 cible. | Non : c'est à la limite du seuil, s'abstenir était juste. |
| JUNGFRAU 10:00–24:00 | Voir « Ratés ». Le saut de 13:00 revient chaque jour de soleil, à la même heure ; la chute de 17:45 à 20:00 est couverte par D7 (Displacement), son palier ne demande pas d'étiquette. | Non, rien de sûr ; s'abstenir était juste. |
| LENZSPITZE 02:35–02:50 (D2, D3) | À 02:40, l'`error_value` de 1010, 7013B et 7013H est multipliée par 1,6 à 2,7 sur une mesure, sans effet sur leurs corr (1010 : −0,076 contre −0,073/−0,072). Les décalages des courbes sont ceux de toute la nuit. Selon les familles, cela ne s'étiquette pas : D2 et D3 sont de trop. | Pas avec cette figure : l'écart à la médiane du jour cache tout (section 4). |
| LENZSPITZE, pics de 18:10 et 20:05 | 18:05-18:10 : 1020 à −41 et −47 bruits, 1023 à +38 en corr_y, sans rejet (sous D1). 20:05 : **8003 et 8010 rejetées une mesure** (cibles du groupe des passages, cf. LENZSPITZE-48). | Oui pour 20:05 : un rejet que rien ne couvre est un raté sûr (Obstruction 20:00→20:10). 18:05 reste un doute. |
| MICHIGAN, NEBRASKA D1 (référence rejetée partout) | REFPOU22 et REFCOLH22 sont rejetées à 6 mesures sur 6 chaque jour, du 10/10 au 05/11, puis plus du tout à partir du 07/11. L'analyste les étiquette Target issue (09/10 → fin octobre). C'est Target issue, pas Obstruction. | Impossible sur un seul jour, sans historique : c'est un défaut de méthode, pas du scanner. |
| NADELHORN D7 (09:50, Displacement) | Le corr_y de ref1_mon, ref2_mon et ref3_mon fait un pas de −0,23 (environ 35 bruits) à 09:50 et y reste ; une partie des cibles bouge avec (c2_mon en x : +0,10 → +0,02). | Non : l'étiquette se défend. La figure ne trace pas les références, le pas y était invisible. |
| NORDEND « rien de sûr » | Faux : voir « Ratés ». | Oui. |
## 3. Les ratés du scanner
**NORDEND, face à la vérité de l'analyste (NORDEND-229 à 236), le plus grave.**
- **D2, Visibility 00:45→09:30.** Seuls trois instants sont touchés : 01:00, 01:15 et 03:30. À chacun, la référence CTR03 est rejetée et 17 ou 18 cibles sur 19 sautent ensemble (corr_y de −29 à −33 bruits, corr_x jusqu'à +23). Entre ces instants, et de 03:45 à 09:30, aucune cible ne dépasse 5 bruits, et l'`error_value` médiane reste plate (0,18 à 0,21). L'analyste pose deux Obstructions (231 : 00:45→01:30, fil de toile d'araignée sur CTR03, vu sur l'image de 01:00 ; 233 : 03:15→03:45), plus une troisième sur PR09 (232 : 03:00→09:45). Garder D2 apprendra aux détecteurs qu'une Visibility de 9 h est juste là où la vérité revue dit deux occultations d'une demi-heure.
- Était-ce visible ? La règle des bornes du scanner (plus d'une heure d'écart) suffisait : D2 finit près de 6 h après le dernier saut. Mais deux défauts de la figure trompaient la lecture. Les rejets de CTR01 et PR09 y sont tracés en plateaux à l'écrêtage (+19, +28) de 04:15 à 09:00, ce qui donne l'illusion d'une anomalie qui justifie D2. Et CTR03, une référence, n'est pas tracée : son rejet ne se voit nulle part.
- **D9, Displacement « Jump, not back yet » 23:15→23:45.** CTR03 est rejetée à 23:15 et à 23:45, et 17 cibles sur 19 sautent. Mais à 23:30, tout est revenu (1 cible sur 19 au-delà de 5 bruits), et la figure le montre. « Not back yet » vient de la coupure du batch : les détecteurs n'ont que les mesures d'avant minuit. L'analyste (236) pose une Obstruction de 23:00 au 06/11 10:00 (le fil est vu sur les images de 21:00 et de 23:00, qui existent). Le retour était visible ; la famille demandait l'image de 23:00.
- **D7, Visibility 13:30→15:00** sur CTR02, PR01, PR02 et PR09 : courbes calmes ; seuls CTR01 (rejet habituel) et PR09 à 15:00 sont rejetés. L'analyste pose une seule Obstruction, 235 (14:45→15:15, PR09). D7 est de trop, ou au moins douteuse.
- **D1, Obstruction « Target obscured » sur CTR01** : c'est Target issue selon l'analyste (230 ; CTR01 est rejetée une grande part du temps depuis le 16/10, à 124 mesures sur 260 du lot). Impossible à décider sans historique.
- **Le cycle thermique** : la fin du cycle de la veille (229, 00:00→06:30) n'a aucune étiquette, et D4 + D8 (07:00→20:00) découpent en deux ce que l'analyste pose en un seul cycle (234, jusqu'au lendemain 07:00). Ce n'est pas dans les consignes du scanner ; c'est une convention des détecteurs, à rediscuter.
**SUSTENHORN.**
- Dix passages du soir ne sont couverts par rien : 16:31-32, 17:00-01, 17:32, 17:45-46, 18:01-02, 18:15, 19:15-16, 20:00-01, 20:16-17, 23:15-16. Ce sont les mêmes 11 capteurs, et le panneau des rejets les montre.
- D9, D14 et D18 (Visibility) devraient être des Obstructions : même groupe de capteurs, le reste de la scène intact.
**LENZSPITZE.**
- Le rejet de 8003 et 8010 à 20:05 n'est pas étiqueté.
- **D8, Displacement « Jump, not back yet » 21:20→23:55, sur 16 capteurs** : à partir de 22:00, le flux tombe de 1,24 à 0,15-0,23 fois la nuit, la sharpness de 1,03 à 0,55, et l'`error_value` double. C'est la perte de visibilité de nuit que l'analyste étiquette Visibility à LENZSPITZE (« le flux baisse fortement sur presque toute la scène »). D8 a donc la mauvaise famille, et « not back yet » vient encore de la coupure à minuit. D9 (Visibility) devrait commencer vers 22:00, pas à 22:55. La montée de l'`error_value` se voyait dans le panneau 5.
**JUNGFRAU** : pas de vérité revue pour ce jour, et pas de pose de la caméra.
- **Le saut de 13:00** (BJ_G en corr_x : environ +0,14 entre 12:00 et 13:30, PM_D en corr_y : −0,08) revient chaque jour de soleil à la même heure (11-03 : +0,15 ; 11-07 : +0,30). Il se fait sans montée de l'`error_value` (0,82 à 0,87 fois la nuit) : c'est le soleil sur l'ouvrage, couvert par D4/D5. Pas un raté.
- **La chute de 17:45 à 20:00** (BJ_G en corr_x : −0,68 → −1,21, BJ_C en corr_y : +0,09 → −0,42) est bien plus forte que les autres soirs (11-03 : −0,05 ; 11-04 : à peu près rien). Elle n'est pas revenue le lendemain matin (06/11 00:00 : BJ_G à −1,28). Un Displacement se défend : c'est D7. Son palier, ce que le scanner appelle les « sauts qui restent », ne demande pas d'étiquette à part (le palier se dit dans la description de D7). Seule la fin de D7 est courte : le nouveau niveau est atteint vers 19:30-20:00, et D7 finit à 18:30, soit environ 1 h 30 trop tôt.
- D6 (Visibility 16:45→23:45) : l'`error_value` ne monte que de 1,0 à 1,24 fois la nuit. Douteuse, mais pas sûre.
Le scanner a eu raison de s'abstenir à JUNGFRAU.
## 4. Les défauts de méthode
1. **La figure trace les rejets comme des pics à l'écrêtage** (`batch.py`, l. 132 : `bride = lambda x: max(-lim, min(lim, x))`). `min(lim, nan)` rend `lim`, si bien qu'une mesure rejetée (NaN) est dessinée à +lim, dans corr_x comme dans corr_y. Les NaN que `coupe()` insère dans les trous aussi. C'est la cause de la description fausse de S1 à SUSTENHORN, et c'est ce qui fait paraître justifiée D2 à NORDEND (plateaux de CTR01 et PR09). Correction : `bride = lambda x: x if x != x else max(-lim, min(lim, x))`. Le script `figure_cases.py` refait le calcul de la figure : sans le défaut, il n'y a aucun pic à 06:00, 06:30, 07:30 ni 08:30.
2. Dans chaque pas de 15 min, un NaN qui vient après une valeur la remplace (`not abs(pire) >= abs(nan)` est vrai). Une seule mesure rejetée sur les 3 d'une rafale efface donc la case.
3. **L'écart à la médiane du jour** : un décalage thermique rend « non calme » toute une nuit (LENZSPITZE, NORDEND). Sur une telle courbe, on ne peut plus juger une étiquette brève de trop (LENZSPITZE D2/D3). Mieux : l'écart au niveau local (médiane glissante), comme le fait `non_couverts.py`.
4. **Le bruit propre** est calculé sur des paires de mesures consécutives : avec des rafales, il est sous-estimé d'un facteur 1,5 (jusqu'à 2,7). Mieux : seulement les paires espacées d'au moins un pas de figure.
5. **Les références ne sont pas tracées, et le panneau des rejets ne les distingue pas** : la signature « une référence rejetée, toutes les cibles sautent » (NORDEND, REF07 à SUSTENHORN) est invisible. Il faudrait au moins un marqueur « référence rejetée ».
6. **L'`error_value` médiane sur tous les capteurs** : quand la moitié des capteurs est rejetée (SUSTENHORN, 11 sur 22), la médiane passe de 0,08 à 0,8 et une occultation localisée prend l'air d'une perte de visibilité de toute la scène. Il faudrait la médiane des capteurs non rejetés, ou la part des capteurs au-dessus de leur niveau.
7. **Le batch coupe les détecteurs à minuit** : un événement de la fin du jour devient « not back yet » (NORDEND D9, LENZSPITZE D8), alors que les données du lendemain existent (jusqu'au 13/11). Il faudrait donner quelques heures après le jour, puis couper.
8. **`detecteurs.md`** :
- `courte()` imprime `fin[11:16]`, si bien qu'une étiquette qui finit à minuit le lendemain s'affiche « 00:00 → 00:00 » (SUSTENHORN D1, NIEDERHORN D1) ;
- « une mesure toutes les 1 min » cache la cadence en rafales ;
- rien ne dit quels capteurs sont des références, ni depuis quand une cible est rejetée (CTR01, REFPOU22, REFCOLH22), alors que c'est ce qui décide Target issue ;
- les doublons grisé/gardé ne se distinguent que par « grisé ».
9. **Les consignes du scanner** (`.claude/agents/scanner.md`) :
- « Raté : aucune étiquette ne couvre ce moment » : une étiquette longue (D1 thermique, D2 Visibility) masque tout, et le scanner l'applique de façon incohérente (S1 ajoutée à LENZSPITZE sous D1 ; les sauts de NORDEND tenus pour couverts par D2).
- L'aide-mémoire des familles (« toute la scène, error_value qui monte, beaucoup de rejets » contre « une ou quelques cibles ») omet trois signatures : l'agitation sans montée de l'`error_value`, qui est thermique ; la référence rejetée qui fait sauter toutes les cibles ; un passage qui cache la moitié des capteurs, qui reste une Obstruction.
- Il manque « un événement qui se répète : une étiquette par fois » : d'où S1 à SUSTENHORN.
- La tolérance d'une heure sur les bornes ne va ni aux cadences de 4 h (la fin de D2 à BREITHORN, décalée d'une mesure, soit 4 h, n'est pas une irrégularité selon cette règle) ni aux rafales d'une minute.
- Les 5 images n'ont pas servi : 0 regardée. NORDEND (01:00, 23:00) et BREITHORN se décidaient avec une image chacune. Le scan a duré 82 s en 27 tours, un seul regard par figure. Une consigne pourrait imposer une image pour chaque doute de famille.
- Pas d'historique ni de vérité de référence (`labeling/auto/`) : MICHIGAN, NEBRASKA et le CTR01 de NORDEND restaient indécidables.
## 5. Les scripts
Ceux qui servent encore sont dans `outils/` du dépôt (le jour : la variable `JOUR`, par défaut 2026-11-05) ; les autres, propres à cet audit ou périmés par la correction de la figure, n'ont pas été gardés :
| Script | Ce qu'il fait | À garder ? |
|---|---|---|
| `outils.py` | Fonctions communes : charge une station, bruit propre (option : paires d'au moins N min), écarts en bruits, événements des détecteurs comme `batch.py`. | Oui, les autres en dépendent. |
| `instants.py` | Instant par instant : capteurs, rejets (cibles, références), ev/seuil, cibles les plus écartées (`--pas` contre les rafales). | Oui, le plus utile. |
| `capteurs.py` | Séries brutes de quelques capteurs (corr_x, corr_y, ev/seuil, rejet) sur une plage. | Oui. |
| `agitation.py` | Par instant : agitation des corr, `error_value`, sharpness et flux face à la nuit, pose de la caméra. Sépare turbulence, thermique et perte de visibilité. | Oui. |
| `rejets_jour.py` | Rejets d'un capteur jour par jour sur tout l'historique (test de Target issue). | Oui. |
| `non_couverts.py` | Toutes stations : instants anormaux (rejets non habituels, sauts face au niveau local) qu'aucune étiquette de la vérité ne couvre (hors Thermal). | Oui : base possible d'un contrôle après le scan. |
| `figure_cases.py` | Refait le calcul des cases de la figure ; a montré que les « pics » de SUSTENHORN sont des NaN. | Jusqu'à la correction de `bride`. |
| `episodes_bruts.py` | Épisodes bruts de `visibility.episodes` sur le jour, avant `categories.py`. | Oui, pour déboguer les détecteurs. |
| `sustenhorn.py` | SUSTENHORN : rafales, groupe rejeté, couverture par les étiquettes, rapport des bruits, capteurs des Visibility. | Non, propre à cet audit. |
| `horaire.py` | Valeurs horaires sur plusieurs jours. La colonne de température reste vide (clés horaires qui ne correspondent pas). | Non. |
+129
View File
@@ -0,0 +1,129 @@
# Essai complet sur le batch du 2026-11-05
Premier passage de bout en bout, le 2026-11-14 : les détecteurs, le scanner, puis l'amélioration (`/detectors:wf-improve`),
orchestrés et surveillés par une session Claude Code (Opus) ; chaque agent contrôlé par un autre. Ce journal se remplit au fil
de l'exécution : ce qui a tourné, ce qui a cassé, ce qui a été corrigé, ce qui reste à décider.
## Le jour
2026-11-05 : les jours du 01 au 07 sont pompés en entier pour 11 stations ; du 11 au 13, seulement en partie (le 11, presque
vide). NIEDERHORN n'a plus rien depuis le 04 (un jour entier de `No data`) ; WILDSTRUBEL, rien en novembre (écartée par le
batch, « sans mesure »). Le 05 tombe aussi dans l'analyse ciblée de NORDEND (`labeling/auto/analyses/NORDEND_2026-11-04T2112_2026-11-07T1412`) :
la vérité du scanner s'y compare à celle d'un analyste.
## 1. Les détecteurs
`python3 batch.py --jour 2026-11-05 --sans-scan` : 1 min 22 s, 12 stations, 73 étiquettes.
- SUSTENHORN, `No data` sur tout le jour alors que les mesures sont là : la station mesure par rafales (3 mesures à 1 min
toutes les 15 min) ; `no_data.py` prend pour cadence l'écart médian (1 min) et voit un trou toutes les 15 min, que
`categories.py` fond en un seul événement. Le même défaut que le scanner avait vu le 12 (en « bornes »).
- SUSTENHORN, trois `Visibility` en double (l'une grisée, l'autre non) aux mêmes heures : déjà vu le 12.
- Le résumé `detecteurs.md` écrivait « 00:00 → 00:00 » pour une étiquette d'un jour entier (sa fin est minuit d'après) :
corrigé, « 24:00 ».
## 2. Le scan
`python3 batch.py --jour 2026-11-05` : 82 s, 27 tours, 0,37 $ en équivalent API (sur l'abonnement, `apiKeySource: none`,
Sonnet) ; 7 irrégularités sur 3 stations, contrôle de la vérité sans erreur ; aucune image de la caméra.
| Station | Étiquette | Cas | Correction du scanner |
|---|---|---|---|
| BREITHORN | D3 Displacement 08:00 | trop | retirée |
| SUSTENHORN | D1 No data, tout le jour | trop | retirée |
| SUSTENHORN | D8, D13, D17 Visibility grisées | trop (doublons) | retirées |
| SUSTENHORN | S1 05:45 → 08:45 | raté | Obstruction ajoutée |
| LENZSPITZE | S1 08:35 → 09:55 | raté | Visibility ajoutée |
Défaut trouvé dans le flux : les sessions `claude -p` du batch chargeaient les réglages personnels du poste (hooks des
plugins superpowers et ponytail, ~19 Ko de consignes injectées au démarrage ; tous les plugins et serveurs MCP de
l'utilisateur). Corrigé : `--setting-sources project,local --strict-mcp-config` (vérifié : plus de hook ni de plugin
utilisateur, toujours l'abonnement). `--bare` n'est pas possible : il impose une clé d'API.
## 3. L'amélioration
Pas encore branchée avant cet essai : `wf-improve` ne prenait qu'une station. Ajouté (detectors 887b313) :
- `DATA`, `STATIONS` et un dossier `LABELS` (un `<STATION>.jsonl` par station), une seule séance pour toutes ; la requête
d'une seule station (Diagnostic-App) ne change pas ;
- `regression.py --from/--to` : la même plage pour toutes les stations (sans, une station sans étiquette faisait planter
`label_range`) ;
- les scripts des agents gardés dans `<OUT>/tools/`, listés dans leurs sorties (`## Tools`) et dans le bilan, pour les
réutiliser (avant : un `mktemp -d` perdu).
`batch.py` lance l'étape 3 quand le scanner a corrigé une station et la vérité est sans erreur : une séance sur les stations
corrigées, sorties dans `batches/<jour>/improve/`, flux dans `improve.jsonl` (hors de git).
Lancée sur la vérité du scanner telle quelle (le test de la boucle autonome, sans retouche), sur BREITHORN, LENZSPITZE,
SUSTENHORN. Ouverture conforme : abonnement, Opus, plugin `detectors` chargé avec `detectors:upgrader` et
`detectors:validator` malgré `--setting-sources project,local`. Le flux contient aussi les messages des sous-agents ; il
n'arrivait que par blocs de 8 Ko (corrigé : écrit ligne à ligne).
L'upgrader (~10 min) :
- **S1** (`no_data.py`) : le pas est le plus grand de l'écart médian et du cycle horaire (une heure divisée par le nombre
médian d'instants par heure) : une station par rafales n'a plus un trou toutes les 15 min. Le `No data` de SUSTENHORN
disparaît.
- **S2** (`visibility.py`) : un épisode diffus (point 8) contenu dans un `Poor visibility` (point 3) n'est plus émis en
double. Les doublons de SUSTENHORN disparaissent.
- Benchmark identique sur toutes les lignes après chaque correctif.
- LENZSPITZE S1 (la correction fausse du scanner, voir l'audit) : écartée, « lecture défendable » des détecteurs, en
« Limits ». SUSTENHORN S1 : un essai de règle (deux mesures rejetées de suite = passage bref) fait passer Obstruction
« correct » de 81 à 46 % sur la plage ; abandonné. BREITHORN D3 : jugé « une règle de plus pour un instant », laissé.
- Il garde `tools/instants.py` (par instant : rejets, capteurs « hauts », `error_value` en MAD), comme demandé.
Le validator (~8 min) : **keep**. Benchmark refait à HEAD, identique à « après » ; aucune ligne ne bouge sur les 11
stations ; S1 sans constante ajoutée, S2 d'une ligne ; rien d'interdit. Sa réserve : le pas de `no_data` ne peut que
monter, une station aux heures à moitié remplies devra avoir un trou plus long pour qu'il se voie ; à surveiller.
Bilan (`batches/2026-11-05/improve/summary.md`) : **modification gardée** ; 29 min, 8 tours de l'orchestrateur, 0 refus de
permission, 2,80 $ en équivalent API (Opus, sur l'abonnement). Une seule erreur d'outil dans le flux : un `sleep 240`
bloqué (l'upgrader voulait attendre son benchmark). L'upgrader édite encore le code par des heredocs Python : ce sont des
modifications, pas des scripts d'analyse, la consigne `tools/` ne les vise pas.
**Ça généralise** : sur les 6 et 7 novembre, que la séance n'a pas vus, les détecteurs d'après (5438b0b) face à ceux
d'avant (887b313), toutes stations : le faux `No data` de SUSTENHORN disparaît aussi les deux jours (S1), ses doublons
`Poor visibility` aussi (S2) ; ailleurs, seules JUNGFRAU et LENZSPITZE bougent, à la marge (les épisodes absorbés d'une
`Poor visibility` de nuit).
## 4. L'audit du scanner
Un agent indépendant (Opus, ~70 min, lecture des données brutes que le scanner n'a pas le droit de lire) a refait le
travail du scanner ; son rapport complet est recopié dans [`2026-11-05-audit-scan.md`](2026-11-05-audit-scan.md), ses
scripts réutilisables dans [`outils/`](../../outils/) du dépôt.
- Les 7 corrections : **5 justes** (BREITHORN D3 ; SUSTENHORN D1, D8, D13, D17), **1 fausse** (LENZSPITZE S1 : une
agitation thermique sans montée de l'`error_value`, déjà sous D1 ; le seul événement distinct est un passage à 09:05),
**1 discutable** (SUSTENHORN S1 : des rejets réels et la bonne famille, mais 5 passages fondus en une étiquette de 3 h, et
10 passages du soir laissés).
- Le raté le plus lourd : NORDEND, face à la vérité de l'analyste. D2 (Visibility 00:45 → 09:30) ne couvre que trois
instants où la référence CTR03 est rejetée et toutes les cibles sautent (deux Obstructions d'une demi-heure pour
l'analyste) ; D9 (« Jump, not back yet » à 23:15) revient à 23:30 (Obstruction pour l'analyste).
- La cause principale n'est pas le scanner mais **la figure** : `min(lim, nan)` rend `lim`, donc chaque mesure rejetée était
dessinée en pic à l'écrêtage (les « pics répétés » de SUSTENHORN, les plateaux de NORDEND) ; et un NaN effaçait la vraie
valeur de son pas de 15 min. Les références ne sont pas tracées : « une référence rejetée, toutes les cibles sautent » était
invisible.
## 5. Les corrections d'Optimizer après l'audit
- **La figure** : un rejet interrompt la courbe (plus de pic) ; dans un pas, une vraie mesure l'emporte toujours sur un rejet ;
le panneau des rejets sépare les références (noir) des cibles (rouge). Vérifié sur le 05 : plus aucun pic à SUSTENHORN, et
à NORDEND les références rejetées tombent à 01:00, 03:30, 23:15 et 23:45, les passages de l'analyste.
- **Le résumé** `detecteurs.md` : les références nommées ; « par rafales » quand la station mesure ainsi (SUSTENHORN :
« une mesure toutes les 1 min » cachait la cadence).
- **Les bornes des étiquettes des détecteurs** : un événement va du premier au dernier point touché, une étiquette de la
mesure d'avant à celle d'après (règles d'étiquetage, `score.py`). Le batch reprenait les bornes des événements : des
étiquettes `debut` = `fin`, interdites, et un score de plage qui n'était pas à 100 % même sans aucune correction (NORDEND
Displacement 1/3, SUSTENHORN Visibility 3/9), du bruit pour l'upgrader. Maintenant élargies d'une mesure (sauf `No data`,
déjà d'une mesure à l'autre), et une étiquette commencée la veille part de la dernière mesure d'avant minuit. À vérité
intacte, le score est à 100 % sur toutes les familles de toutes les stations du 05, à un instant près (FLORIDA,
NADELHORN) : il ne montre plus que les corrections du scanner.
- **Essayé et retiré** : laisser les détecteurs lire 6 h après minuit (pour qu'un saut du soir trouve son retour). Leurs
statistiques portent sur toute la fenêtre lue : les étiquettes du matin changeaient aussi (NORDEND D2 coupée en trois),
et `score.py` (sans ces heures) aurait vu des écarts que personne n'a corrigés. La coupure à minuit reste une limite.
- **Les consignes du scanner** : la figure telle qu'elle est maintenant, les bornes « d'une mesure à l'autre » (à 4 h de
cadence, une anomalie d'une mesure couvre 8 h ; la tolérance des bornes devient « plus d'une heure et plus d'une mesure ») ;
un rejet ou un saut sous une étiquette longue d'une autre famille est un raté ; trois signatures trompeuses (une référence
rejetée quand toutes les cibles sautent : Obstruction ; un même groupe rejeté par moments : Obstruction ; une agitation de
jour sans montée de l'`error_value` : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y
renoncer.
*(en cours)*