Optimizer : l'optimisation des détecteurs depuis une analyse (skill improve, ex wf-improve, agents du dépôt agents, benchmark detectors/bench) ; le batch et le scanner archivés

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-16 10:59:07 +01:00
1 parent 010c297f60
commit 2cb0c88a2b
117 files changed
+132 -38

No files matched your search

@@ -0,0 +1,143 @@
# Audit du scan du 2026-11-05
Par un agent indépendant de l'essai du 2026-11-14 (voir [2026-11-05.md](2026-11-05.md)), sur le batch tel que le scanner l'a laissé, avant les corrections de la figure et des bornes.
Lecture seule ; données lues par le chargeur des détecteurs (`detectors/scripts/data.py`). « Bruit » : le bruit propre de `batch.py` (médiane des écarts entre deux mesures, jour et 3 jours d'historique), sauf mention. Aucun fichier du dépôt, de `data/`, `labeling/` ou `detectors/` n'a été modifié.
Décompte : **5 justes, 1 fausse, 1 discutable**. Mais la vérité garde des erreurs plus lourdes que celles qu'elle corrige (section « Ratés »), surtout à NORDEND, où elle contredit la vérité de l'analyste.
## 1. Les 7 corrections
| Station | Étiquette | Verdict | Preuve |
|---|---|---|---|
| BREITHORN | D3 (Displacement, COLI22, 08:00→08:00) retirée | **juste** | À 08:00, COLI22 est revenue à son niveau habituel (corr_x +0,047, corr_y +0,065, ev/seuil 0,20, comme le 04/11 de jour et le 05/11 à 12:00) et aucune cible ne dépasse 5 bruits (0/12) : D3 est le retour du véhicule garé de la nuit, lu à tort comme un saut. |
| SUSTENHORN | D1 (No data, toute la journée) retirée | **juste** | 288 instants, écarts de 1 min (×192) et de 13 min (×95) seulement : des mesures dans chaque rafale de la journée. `no_data.py` prend 1 min pour la cadence et voit chacun des 95 écarts de 13 min entre rafales comme un trou ; il les fond en un seul événement du 02/11 00:02 au 06/11 00:00. Le motif donné par le scanner (« un seul trou de 13 min ») est faux, mais la correction est juste. |
| SUSTENHORN | D8 (Visibility grisée, 16:45→16:47) retirée | **juste** (doublon) | Même liste de 11 capteurs, mêmes heures et même famille que D9. Mais la ligne gardée, D9, a la mauvaise famille : voir « Ratés ». |
| SUSTENHORN | D13 (18:45→18:47) retirée | **juste** (doublon) | Identique à D14 (11 capteurs, mêmes heures). Même réserve sur la famille de D14. |
| SUSTENHORN | D17 (23:00→23:02) retirée | **juste** (doublon) | Identique à D18, à un capteur près (D18 ajoute B16_A11). Même réserve sur la famille de D18. |
| SUSTENHORN | S1 ajoutée (Obstruction, 05:45→08:45) | **discutable** | Il y a bien des rejets que rien ne couvre : à 06:01-02, 06:32, 07:31-32, 07:45-46 et 08:31-32, toujours les mêmes 11 capteurs (plus REF07 et une cible à 06:15 et 06:45). Mais il n'y a pas de « pics de corr » : ce sont des rejets que la figure trace à l'écrêtage. S1 fond aussi 5 passages en une étiquette de 3 h, commence à 05:45 au lieu de 06:00, et le même raté revient 10 fois le soir sans être corrigé. |
| LENZSPITZE | S1 ajoutée (Visibility, 08:35→09:55) | **fausse** | La plage est déjà couverte par D1 (Thermal displacement, 00:00→18:30). L'agitation de 07:20 à 09:35 se fait sans montée de l'`error_value` (0,74 à 1,06 fois la nuit), sans perte de netteté (sharpness 0,96 à 1,02 fois la nuit) et sans rejet, pendant que le tilt de la caméra bouge. Selon les règles, c'est donc de l'agitation thermique et non une turbulence. Le seul événement distinct, à 09:05, est un passage bref sur 4 cibles (Obstruction). |
### Détail
**BREITHORN D3.** La nuit du 04 au 05/11, de 20:00 à 04:00 :
- COLI22 s'écarte de −23 bruits en corr_x (ev/seuil 0,77, sans rejet) ;
- POUI22 saute de +28 bruits en x et +72 en y ;
- COLI24 est rejetée.
À 08:00, les trois cibles sont revenues : COLI24 à +0,098, POUI22 à +0,018/−0,124. C'est la signature des véhicules garés la nuit devant le bas de la scène. L'analyste l'étiquette 12 fois en octobre (`labeling/auto/BREITHORN.jsonl`) : Obstruction, une étiquette par nuit, de 16:00 ou 20:00 jusqu'à 08:00. Retirer D3 est juste. Il restait deux choses à corriger (non corrigées) :
- D1 (Displacement sur POUI22) est de trop : même épisode, POUI22 est derrière le véhicule ;
- D2 devrait finir à 08:00, la mesure d'après le dernier point touché, et non à 04:00.
**SUSTENHORN : la cadence en rafales et ce qu'elle fait aux détecteurs.** La station mesure par rafales : 3 mesures à 1 min d'intervalle (hh:00/01/02, :15/16/17…), toutes les 15 min. Le résumé dit « une mesure toutes les 1 min ». Effets sur les détecteurs :
- `no_data.py` : la cadence médiane vaut 1 min, donc chaque écart de 13 min entre rafales est un « trou » (plus de 3 pas manquants). D'où un No data continu sur tout l'historique : c'est D1.
- `visibility.py`, Brief obstruction : un instant n'est retenu que s'il dépasse 3 fois ses voisins, et ses voisins sont les mesures à 1 min de la même rafale. Un passage d'une seule mesure est vu (05:15, 05:31, 09:02, 09:32, 10:31, 15:02, 16:15, 17:15, 18:30, 19:30, 19:32, 20:32, 23:30). Un passage de deux mesures consécutives échoue au test de saillance et n'atteint pas `RUN_MIN` = 3 : il n'est vu nulle part (06:01-02, 07:31-32, 07:45-46, 08:31-32, 16:31-32, 17:00-01, 17:45-46, 18:01-02, 19:15-16, 20:00-01, 20:16-17, 23:15-16). Deux passages isolés (06:32 et 18:15) manquent aussi. Avec trois mesures rejetées (16:45-47, 18:45-47, 23:00-02), on atteint `RUN_MIN` : comme 10 cibles sur 18 sont rejetées, plus de la moitié, la règle des niveaux dit « none », d'où une Visibility, en double (une grisée, une gardée).
- Les bornes des passages d'une mesure tombent sur une seule minute (15:02→15:02), donc `debut` = `fin`, ce que les règles d'étiquetage interdisent.
- Le bruit propre de la figure est calculé surtout sur des paires à 1 min. Il est sous-estimé : le rapport médian au bruit sur des paires d'au moins 10 min vaut 1,5 (de 1,3 à 2,7). La bande ±5 vaut donc environ ±3,3 vrais bruits, et toute la figure paraît agitée.
**SUSTENHORN S1.** Le groupe rejeté est toujours le même, 51 fois dans la journée : les cibles en `*01`/`*02` (B15_B01, B16_A01, B16_A02, B16_B01, B17_A01, B17_B01, B18_A01, B18_B01, B19_A01, B19_B01) et REF07. Les cibles en `*11`/`*12` restent mesurées, et leur ev/seuil médian ne monte pas : 0,063 aux instants de rejet, contre 0,079 sans rejet. C'est une occultation localisée, la même que les Obstructions des détecteurs (D3, D4, D6, D7…) : la famille Obstruction est cohérente, cause déduite (pas de dossier `images/` pour cette station).
Ce que la figure appelle « pics » n'en est pas : pendant ces rejets, les cibles acceptées ne bougent pas (0/8 au-delà de 5 bruits à 07:31-32 ; B16_B11 et B18_B11 restent à leur niveau). C'est le défaut d'écrêtage de la figure (section 4).
Ce qui ne va pas dans S1 :
- sa description (« pics répétés de corr_x et corr_y ») est fausse ;
- elle fond 5 passages en une seule étiquette, alors que les règles demandent une étiquette par passage ;
- `debut` devrait être 06:00, la mesure d'avant le premier rejet de 06:01 ;
- les 10 passages du soir, aussi visibles dans le panneau des rejets, restent non couverts.
Une étiquette de 3 h apprendrait aux détecteurs à fusionner des passages, ce qui serait faux.
**LENZSPITZE S1.** Le script `agitation.py` compare le 05/11 avec la turbulence étiquetée par l'analyste le 19/10 (LENZSPITZE-18, 07:40→10:30). Le 05/11, de 07:20 à 09:35 :
- |Δcorr_x| médian de 2 à 10 bruits par pas (environ 1 la nuit) ;
- `error_value` de 0,74 à 1,06 fois son niveau de la nuit ;
- sharpness de 0,96 à 1,02 fois la nuit ;
- flux de 1,4 à 1,9 fois la nuit (le jour se lève) ;
- tilt de 0,006 à 0,013 puis 0,008.
Le 19/10, au contraire : `error_value` de 1,2 à 1,6 fois la nuit, sharpness de 0,86 à 0,90. Le 05/11 est donc la pose qui s'agite sans que l'`error_value` monte. Les familles le disent (« une agitation de jour, la pose qui s'agite sans que l'`error_value` monte, n'est pas une turbulence »), et les règles d'étiquetage aussi (« l'agitation d'une mesure à l'autre s'écrit dans l'étiquette thermique… elle ne fait pas une Visibility ») : c'est D1, déjà là.
À 09:05, quatre cibles font un pic d'une mesure et reviennent à 09:10-09:15 :
- 1013 (ev 0,07 → 0,42, corr_x +114 bruits) ;
- 1021 (0,23 → 0,59) ;
- 1023 (corr_y +192 bruits) ;
- 1019 (0,12 → 0,43, retour lent).
C'est un passage : Obstruction brève, de 09:00 à 09:10 ou 09:15, que les détecteurs ratent. Le scanner l'a noyé dans une Visibility.
## 2. Les doutes du scanner
| Doute | Ce que disent les données | Aurait-il dû corriger ? |
|---|---|---|
| BREITHORN 00:00–04:00, D1 Displacement ou D2 Obstruction | C'est un véhicule garé la nuit devant COLI22, COLI24 et POUI22 (12 nuits identiques étiquetées Obstruction par l'analyste). D1 est de trop ; D2 doit finir à 08:00. L'image de 00:00 existe, mais elle est très sombre et peu concluante. | Oui pour D1 : même épisode, la famille se décide par le précédent. Le scanner avait 5 images et n'en a regardé aucune. |
| CLARIDEN 10:00–11:30, bosse de ±6 | 7 à 11 cibles entre +5 et +7 bruits à 10:10 et de 10:50 à 11:00, sans rejet ; partout ailleurs, 0 ou 1 cible. | Non : c'est à la limite du seuil, s'abstenir était juste. |
| JUNGFRAU 10:00–24:00 | Voir « Ratés ». Le saut de 13:00 revient chaque jour de soleil, à la même heure ; la chute de 17:45 à 20:00 est couverte par D7 (Displacement), son palier ne demande pas d'étiquette. | Non, rien de sûr ; s'abstenir était juste. |
| LENZSPITZE 02:35–02:50 (D2, D3) | À 02:40, l'`error_value` de 1010, 7013B et 7013H est multipliée par 1,6 à 2,7 sur une mesure, sans effet sur leurs corr (1010 : −0,076 contre −0,073/−0,072). Les décalages des courbes sont ceux de toute la nuit. Selon les familles, cela ne s'étiquette pas : D2 et D3 sont de trop. | Pas avec cette figure : l'écart à la médiane du jour cache tout (section 4). |
| LENZSPITZE, pics de 18:10 et 20:05 | 18:05-18:10 : 1020 à −41 et −47 bruits, 1023 à +38 en corr_y, sans rejet (sous D1). 20:05 : **8003 et 8010 rejetées une mesure** (cibles du groupe des passages, cf. LENZSPITZE-48). | Oui pour 20:05 : un rejet que rien ne couvre est un raté sûr (Obstruction 20:00→20:10). 18:05 reste un doute. |
| MICHIGAN, NEBRASKA D1 (référence rejetée partout) | REFPOU22 et REFCOLH22 sont rejetées à 6 mesures sur 6 chaque jour, du 10/10 au 05/11, puis plus du tout à partir du 07/11. L'analyste les étiquette Target issue (09/10 → fin octobre). C'est Target issue, pas Obstruction. | Impossible sur un seul jour, sans historique : c'est un défaut de méthode, pas du scanner. |
| NADELHORN D7 (09:50, Displacement) | Le corr_y de ref1_mon, ref2_mon et ref3_mon fait un pas de −0,23 (environ 35 bruits) à 09:50 et y reste ; une partie des cibles bouge avec (c2_mon en x : +0,10 → +0,02). | Non : l'étiquette se défend. La figure ne trace pas les références, le pas y était invisible. |
| NORDEND « rien de sûr » | Faux : voir « Ratés ». | Oui. |
## 3. Les ratés du scanner
**NORDEND, face à la vérité de l'analyste (NORDEND-229 à 236), le plus grave.**
- **D2, Visibility 00:45→09:30.** Seuls trois instants sont touchés : 01:00, 01:15 et 03:30. À chacun, la référence CTR03 est rejetée et 17 ou 18 cibles sur 19 sautent ensemble (corr_y de −29 à −33 bruits, corr_x jusqu'à +23). Entre ces instants, et de 03:45 à 09:30, aucune cible ne dépasse 5 bruits, et l'`error_value` médiane reste plate (0,18 à 0,21). L'analyste pose deux Obstructions (231 : 00:45→01:30, fil de toile d'araignée sur CTR03, vu sur l'image de 01:00 ; 233 : 03:15→03:45), plus une troisième sur PR09 (232 : 03:00→09:45). Garder D2 apprendra aux détecteurs qu'une Visibility de 9 h est juste là où la vérité revue dit deux occultations d'une demi-heure.
- Était-ce visible ? La règle des bornes du scanner (plus d'une heure d'écart) suffisait : D2 finit près de 6 h après le dernier saut. Mais deux défauts de la figure trompaient la lecture. Les rejets de CTR01 et PR09 y sont tracés en plateaux à l'écrêtage (+19, +28) de 04:15 à 09:00, ce qui donne l'illusion d'une anomalie qui justifie D2. Et CTR03, une référence, n'est pas tracée : son rejet ne se voit nulle part.
- **D9, Displacement « Jump, not back yet » 23:15→23:45.** CTR03 est rejetée à 23:15 et à 23:45, et 17 cibles sur 19 sautent. Mais à 23:30, tout est revenu (1 cible sur 19 au-delà de 5 bruits), et la figure le montre. « Not back yet » vient de la coupure du batch : les détecteurs n'ont que les mesures d'avant minuit. L'analyste (236) pose une Obstruction de 23:00 au 06/11 10:00 (le fil est vu sur les images de 21:00 et de 23:00, qui existent). Le retour était visible ; la famille demandait l'image de 23:00.
- **D7, Visibility 13:30→15:00** sur CTR02, PR01, PR02 et PR09 : courbes calmes ; seuls CTR01 (rejet habituel) et PR09 à 15:00 sont rejetés. L'analyste pose une seule Obstruction, 235 (14:45→15:15, PR09). D7 est de trop, ou au moins douteuse.
- **D1, Obstruction « Target obscured » sur CTR01** : c'est Target issue selon l'analyste (230 ; CTR01 est rejetée une grande part du temps depuis le 16/10, à 124 mesures sur 260 du lot). Impossible à décider sans historique.
- **Le cycle thermique** : la fin du cycle de la veille (229, 00:00→06:30) n'a aucune étiquette, et D4 + D8 (07:00→20:00) découpent en deux ce que l'analyste pose en un seul cycle (234, jusqu'au lendemain 07:00). Ce n'est pas dans les consignes du scanner ; c'est une convention des détecteurs, à rediscuter.
**SUSTENHORN.**
- Dix passages du soir ne sont couverts par rien : 16:31-32, 17:00-01, 17:32, 17:45-46, 18:01-02, 18:15, 19:15-16, 20:00-01, 20:16-17, 23:15-16. Ce sont les mêmes 11 capteurs, et le panneau des rejets les montre.
- D9, D14 et D18 (Visibility) devraient être des Obstructions : même groupe de capteurs, le reste de la scène intact.
**LENZSPITZE.**
- Le rejet de 8003 et 8010 à 20:05 n'est pas étiqueté.
- **D8, Displacement « Jump, not back yet » 21:20→23:55, sur 16 capteurs** : à partir de 22:00, le flux tombe de 1,24 à 0,15-0,23 fois la nuit, la sharpness de 1,03 à 0,55, et l'`error_value` double. C'est la perte de visibilité de nuit que l'analyste étiquette Visibility à LENZSPITZE (« le flux baisse fortement sur presque toute la scène »). D8 a donc la mauvaise famille, et « not back yet » vient encore de la coupure à minuit. D9 (Visibility) devrait commencer vers 22:00, pas à 22:55. La montée de l'`error_value` se voyait dans le panneau 5.
**JUNGFRAU** : pas de vérité revue pour ce jour, et pas de pose de la caméra.
- **Le saut de 13:00** (BJ_G en corr_x : environ +0,14 entre 12:00 et 13:30, PM_D en corr_y : −0,08) revient chaque jour de soleil à la même heure (11-03 : +0,15 ; 11-07 : +0,30). Il se fait sans montée de l'`error_value` (0,82 à 0,87 fois la nuit) : c'est le soleil sur l'ouvrage, couvert par D4/D5. Pas un raté.
- **La chute de 17:45 à 20:00** (BJ_G en corr_x : −0,68 → −1,21, BJ_C en corr_y : +0,09 → −0,42) est bien plus forte que les autres soirs (11-03 : −0,05 ; 11-04 : à peu près rien). Elle n'est pas revenue le lendemain matin (06/11 00:00 : BJ_G à −1,28). Un Displacement se défend : c'est D7. Son palier, ce que le scanner appelle les « sauts qui restent », ne demande pas d'étiquette à part (le palier se dit dans la description de D7). Seule la fin de D7 est courte : le nouveau niveau est atteint vers 19:30-20:00, et D7 finit à 18:30, soit environ 1 h 30 trop tôt.
- D6 (Visibility 16:45→23:45) : l'`error_value` ne monte que de 1,0 à 1,24 fois la nuit. Douteuse, mais pas sûre.
Le scanner a eu raison de s'abstenir à JUNGFRAU.
## 4. Les défauts de méthode
1. **La figure trace les rejets comme des pics à l'écrêtage** (`batch.py`, l. 132 : `bride = lambda x: max(-lim, min(lim, x))`). `min(lim, nan)` rend `lim`, si bien qu'une mesure rejetée (NaN) est dessinée à +lim, dans corr_x comme dans corr_y. Les NaN que `coupe()` insère dans les trous aussi. C'est la cause de la description fausse de S1 à SUSTENHORN, et c'est ce qui fait paraître justifiée D2 à NORDEND (plateaux de CTR01 et PR09). Correction : `bride = lambda x: x if x != x else max(-lim, min(lim, x))`. Le script `figure_cases.py` refait le calcul de la figure : sans le défaut, il n'y a aucun pic à 06:00, 06:30, 07:30 ni 08:30.
2. Dans chaque pas de 15 min, un NaN qui vient après une valeur la remplace (`not abs(pire) >= abs(nan)` est vrai). Une seule mesure rejetée sur les 3 d'une rafale efface donc la case.
3. **L'écart à la médiane du jour** : un décalage thermique rend « non calme » toute une nuit (LENZSPITZE, NORDEND). Sur une telle courbe, on ne peut plus juger une étiquette brève de trop (LENZSPITZE D2/D3). Mieux : l'écart au niveau local (médiane glissante), comme le fait `non_couverts.py`.
4. **Le bruit propre** est calculé sur des paires de mesures consécutives : avec des rafales, il est sous-estimé d'un facteur 1,5 (jusqu'à 2,7). Mieux : seulement les paires espacées d'au moins un pas de figure.
5. **Les références ne sont pas tracées, et le panneau des rejets ne les distingue pas** : la signature « une référence rejetée, toutes les cibles sautent » (NORDEND, REF07 à SUSTENHORN) est invisible. Il faudrait au moins un marqueur « référence rejetée ».
6. **L'`error_value` médiane sur tous les capteurs** : quand la moitié des capteurs est rejetée (SUSTENHORN, 11 sur 22), la médiane passe de 0,08 à 0,8 et une occultation localisée prend l'air d'une perte de visibilité de toute la scène. Il faudrait la médiane des capteurs non rejetés, ou la part des capteurs au-dessus de leur niveau.
7. **Le batch coupe les détecteurs à minuit** : un événement de la fin du jour devient « not back yet » (NORDEND D9, LENZSPITZE D8), alors que les données du lendemain existent (jusqu'au 13/11). Il faudrait donner quelques heures après le jour, puis couper.
8. **`detecteurs.md`** :
- `courte()` imprime `fin[11:16]`, si bien qu'une étiquette qui finit à minuit le lendemain s'affiche « 00:00 → 00:00 » (SUSTENHORN D1, NIEDERHORN D1) ;
- « une mesure toutes les 1 min » cache la cadence en rafales ;
- rien ne dit quels capteurs sont des références, ni depuis quand une cible est rejetée (CTR01, REFPOU22, REFCOLH22), alors que c'est ce qui décide Target issue ;
- les doublons grisé/gardé ne se distinguent que par « grisé ».
9. **Les consignes du scanner** (`.claude/agents/scanner.md`) :
- « Raté : aucune étiquette ne couvre ce moment » : une étiquette longue (D1 thermique, D2 Visibility) masque tout, et le scanner l'applique de façon incohérente (S1 ajoutée à LENZSPITZE sous D1 ; les sauts de NORDEND tenus pour couverts par D2).
- L'aide-mémoire des familles (« toute la scène, error_value qui monte, beaucoup de rejets » contre « une ou quelques cibles ») omet trois signatures : l'agitation sans montée de l'`error_value`, qui est thermique ; la référence rejetée qui fait sauter toutes les cibles ; un passage qui cache la moitié des capteurs, qui reste une Obstruction.
- Il manque « un événement qui se répète : une étiquette par fois » : d'où S1 à SUSTENHORN.
- La tolérance d'une heure sur les bornes ne va ni aux cadences de 4 h (la fin de D2 à BREITHORN, décalée d'une mesure, soit 4 h, n'est pas une irrégularité selon cette règle) ni aux rafales d'une minute.
- Les 5 images n'ont pas servi : 0 regardée. NORDEND (01:00, 23:00) et BREITHORN se décidaient avec une image chacune. Le scan a duré 82 s en 27 tours, un seul regard par figure. Une consigne pourrait imposer une image pour chaque doute de famille.
- Pas d'historique ni de vérité de référence (`labeling/auto/`) : MICHIGAN, NEBRASKA et le CTR01 de NORDEND restaient indécidables.
## 5. Les scripts
Ceux qui servent encore sont dans `outils/` du dépôt (le jour : la variable `JOUR`, par défaut 2026-11-05) ; les autres, propres à cet audit ou périmés par la correction de la figure, n'ont pas été gardés :
| Script | Ce qu'il fait | À garder ? |
|---|---|---|
| `outils.py` | Fonctions communes : charge une station, bruit propre (option : paires d'au moins N min), écarts en bruits, événements des détecteurs comme `batch.py`. | Oui, les autres en dépendent. |
| `instants.py` | Instant par instant : capteurs, rejets (cibles, références), ev/seuil, cibles les plus écartées (`--pas` contre les rafales). | Oui, le plus utile. |
| `capteurs.py` | Séries brutes de quelques capteurs (corr_x, corr_y, ev/seuil, rejet) sur une plage. | Oui. |
| `agitation.py` | Par instant : agitation des corr, `error_value`, sharpness et flux face à la nuit, pose de la caméra. Sépare turbulence, thermique et perte de visibilité. | Oui. |
| `rejets_jour.py` | Rejets d'un capteur jour par jour sur tout l'historique (test de Target issue). | Oui. |
| `non_couverts.py` | Toutes stations : instants anormaux (rejets non habituels, sauts face au niveau local) qu'aucune étiquette de la vérité ne couvre (hors Thermal). | Oui : base possible d'un contrôle après le scan. |
| `figure_cases.py` | Refait le calcul des cases de la figure ; a montré que les « pics » de SUSTENHORN sont des NaN. | Jusqu'à la correction de `bride`. |
| `episodes_bruts.py` | Épisodes bruts de `visibility.episodes` sur le jour, avant `categories.py`. | Oui, pour déboguer les détecteurs. |
| `sustenhorn.py` | SUSTENHORN : rafales, groupe rejeté, couverture par les étiquettes, rapport des bruits, capteurs des Visibility. | Non, propre à cet audit. |
| `horaire.py` | Valeurs horaires sur plusieurs jours. La colonne de température reste vide (clés horaires qui ne correspondent pas). | Non. |
+226
View File
@@ -0,0 +1,226 @@
# Essai complet sur le batch du 2026-11-05
Premier passage de bout en bout, le 2026-11-14 : les détecteurs, le scanner, puis l'amélioration (`/detectors:wf-improve`),
orchestrés et surveillés par une session Claude Code (Opus) ; chaque agent contrôlé par un autre. Ce journal se remplit au fil
de l'exécution : ce qui a tourné, ce qui a cassé, ce qui a été corrigé, ce qui reste à décider.
## Le jour
2026-11-05 : les jours du 01 au 07 sont pompés en entier pour 11 stations ; du 11 au 13, seulement en partie (le 11, presque
vide). NIEDERHORN n'a plus rien depuis le 04 (un jour entier de `No data`) ; WILDSTRUBEL, rien en novembre (écartée par le
batch, « sans mesure »). Le 05 tombe aussi dans l'analyse ciblée de NORDEND (`labeling/auto/analyses/NORDEND_2026-11-04T2112_2026-11-07T1412`) :
la vérité du scanner s'y compare à celle d'un analyste.
## 1. Les détecteurs
`python3 batch.py --jour 2026-11-05 --sans-scan` : 1 min 22 s, 12 stations, 73 étiquettes.
- SUSTENHORN, `No data` sur tout le jour alors que les mesures sont là : la station mesure par rafales (3 mesures à 1 min
toutes les 15 min) ; `no_data.py` prend pour cadence l'écart médian (1 min) et voit un trou toutes les 15 min, que
`categories.py` fond en un seul événement. Le même défaut que le scanner avait vu le 12 (en « bornes »).
- SUSTENHORN, trois `Visibility` en double (l'une grisée, l'autre non) aux mêmes heures : déjà vu le 12.
- Le résumé `detecteurs.md` écrivait « 00:00 → 00:00 » pour une étiquette d'un jour entier (sa fin est minuit d'après) :
corrigé, « 24:00 ».
## 2. Le scan
`python3 batch.py --jour 2026-11-05` : 82 s, 27 tours, 0,37 $ en équivalent API (sur l'abonnement, `apiKeySource: none`,
Sonnet) ; 7 irrégularités sur 3 stations, contrôle de la vérité sans erreur ; aucune image de la caméra.
| Station | Étiquette | Cas | Correction du scanner |
|---|---|---|---|
| BREITHORN | D3 Displacement 08:00 | trop | retirée |
| SUSTENHORN | D1 No data, tout le jour | trop | retirée |
| SUSTENHORN | D8, D13, D17 Visibility grisées | trop (doublons) | retirées |
| SUSTENHORN | S1 05:45 → 08:45 | raté | Obstruction ajoutée |
| LENZSPITZE | S1 08:35 → 09:55 | raté | Visibility ajoutée |
Défaut trouvé dans le flux : les sessions `claude -p` du batch chargeaient les réglages personnels du poste (hooks des
plugins superpowers et ponytail, ~19 Ko de consignes injectées au démarrage ; tous les plugins et serveurs MCP de
l'utilisateur). Corrigé : `--setting-sources project,local --strict-mcp-config` (vérifié : plus de hook ni de plugin
utilisateur, toujours l'abonnement). `--bare` n'est pas possible : il impose une clé d'API.
## 3. L'amélioration
Pas encore branchée avant cet essai : `wf-improve` ne prenait qu'une station. Ajouté (detectors 887b313) :
- `DATA`, `STATIONS` et un dossier `LABELS` (un `<STATION>.jsonl` par station), une seule séance pour toutes ; la requête
d'une seule station (Diagnostic-App) ne change pas ;
- `regression.py --from/--to` : la même plage pour toutes les stations (sans, une station sans étiquette faisait planter
`label_range`) ;
- les scripts des agents gardés dans `<OUT>/tools/`, listés dans leurs sorties (`## Tools`) et dans le bilan, pour les
réutiliser (avant : un `mktemp -d` perdu).
`batch.py` lance l'étape 3 quand le scanner a corrigé une station et la vérité est sans erreur : une séance sur les stations
corrigées, sorties dans `batches/<jour>/improve/`, flux dans `improve.jsonl` (hors de git).
Lancée sur la vérité du scanner telle quelle (le test de la boucle autonome, sans retouche), sur BREITHORN, LENZSPITZE,
SUSTENHORN. Ouverture conforme : abonnement, Opus, plugin `detectors` chargé avec `detectors:upgrader` et
`detectors:validator` malgré `--setting-sources project,local`. Le flux contient aussi les messages des sous-agents ; il
n'arrivait que par blocs de 8 Ko (corrigé : écrit ligne à ligne).
L'upgrader (~10 min) :
- **S1** (`no_data.py`) : le pas est le plus grand de l'écart médian et du cycle horaire (une heure divisée par le nombre
médian d'instants par heure) : une station par rafales n'a plus un trou toutes les 15 min. Le `No data` de SUSTENHORN
disparaît.
- **S2** (`visibility.py`) : un épisode diffus (point 8) contenu dans un `Poor visibility` (point 3) n'est plus émis en
double. Les doublons de SUSTENHORN disparaissent.
- Benchmark identique sur toutes les lignes après chaque correctif.
- LENZSPITZE S1 (la correction fausse du scanner, voir l'audit) : écartée, « lecture défendable » des détecteurs, en
« Limits ». SUSTENHORN S1 : un essai de règle (deux mesures rejetées de suite = passage bref) fait passer Obstruction
« correct » de 81 à 46 % sur la plage ; abandonné. BREITHORN D3 : jugé « une règle de plus pour un instant », laissé.
- Il garde `tools/instants.py` (par instant : rejets, capteurs « hauts », `error_value` en MAD), comme demandé.
Le validator (~8 min) : **keep**. Benchmark refait à HEAD, identique à « après » ; aucune ligne ne bouge sur les 11
stations ; S1 sans constante ajoutée, S2 d'une ligne ; rien d'interdit. Sa réserve : le pas de `no_data` ne peut que
monter, une station aux heures à moitié remplies devra avoir un trou plus long pour qu'il se voie ; à surveiller.
Bilan (`batches/2026-11-05/improve/summary.md`) : **modification gardée** ; 29 min, 8 tours de l'orchestrateur, 0 refus de
permission, 2,80 $ en équivalent API (Opus, sur l'abonnement). Une seule erreur d'outil dans le flux : un `sleep 240`
bloqué (l'upgrader voulait attendre son benchmark). L'upgrader édite encore le code par des heredocs Python : ce sont des
modifications, pas des scripts d'analyse, la consigne `tools/` ne les vise pas.
**Ça généralise** : sur les 6 et 7 novembre, que la séance n'a pas vus, les détecteurs d'après (5438b0b) face à ceux
d'avant (887b313), toutes stations : le faux `No data` de SUSTENHORN disparaît aussi les deux jours (S1), ses doublons
`Poor visibility` aussi (S2) ; ailleurs, seules JUNGFRAU et LENZSPITZE bougent, à la marge (les épisodes absorbés d'une
`Poor visibility` de nuit).
## 4. L'audit du scanner
Un agent indépendant (Opus, ~70 min, lecture des données brutes que le scanner n'a pas le droit de lire) a refait le
travail du scanner ; son rapport complet est recopié dans [`2026-11-05-audit-scan.md`](2026-11-05-audit-scan.md), ses
scripts réutilisables dans [`outils/`](../../outils/) du dépôt.
- Les 7 corrections : **5 justes** (BREITHORN D3 ; SUSTENHORN D1, D8, D13, D17), **1 fausse** (LENZSPITZE S1 : une
agitation thermique sans montée de l'`error_value`, déjà sous D1 ; le seul événement distinct est un passage à 09:05),
**1 discutable** (SUSTENHORN S1 : des rejets réels et la bonne famille, mais 5 passages fondus en une étiquette de 3 h, et
10 passages du soir laissés).
- Le raté le plus lourd : NORDEND, face à la vérité de l'analyste. D2 (Visibility 00:45 → 09:30) ne couvre que trois
instants où la référence CTR03 est rejetée et toutes les cibles sautent (deux Obstructions d'une demi-heure pour
l'analyste) ; D9 (« Jump, not back yet » à 23:15) revient à 23:30 (Obstruction pour l'analyste).
- La cause principale n'est pas le scanner mais **la figure** : `min(lim, nan)` rend `lim`, donc chaque mesure rejetée était
dessinée en pic à l'écrêtage (les « pics répétés » de SUSTENHORN, les plateaux de NORDEND) ; et un NaN effaçait la vraie
valeur de son pas de 15 min. Les références ne sont pas tracées : « une référence rejetée, toutes les cibles sautent » était
invisible.
## 5. Les corrections d'Optimizer après l'audit
- **La figure** : un rejet interrompt la courbe (plus de pic) ; dans un pas, une vraie mesure l'emporte toujours sur un rejet ;
le panneau des rejets sépare les références (noir) des cibles (rouge). Vérifié sur le 05 : plus aucun pic à SUSTENHORN, et
à NORDEND les références rejetées tombent à 01:00, 03:30, 23:15 et 23:45, les passages de l'analyste.
- **Le résumé** `detecteurs.md` : les références nommées ; « par rafales » quand la station mesure ainsi (SUSTENHORN :
« une mesure toutes les 1 min » cachait la cadence).
- **Les bornes des étiquettes des détecteurs** : un événement va du premier au dernier point touché, une étiquette de la
mesure d'avant à celle d'après (règles d'étiquetage, `score.py`). Le batch reprenait les bornes des événements : des
étiquettes `debut` = `fin`, interdites, et un score de plage qui n'était pas à 100 % même sans aucune correction (NORDEND
Displacement 1/3, SUSTENHORN Visibility 3/9), du bruit pour l'upgrader. Maintenant élargies d'une mesure (sauf `No data`,
déjà d'une mesure à l'autre), et une étiquette commencée la veille part de la dernière mesure d'avant minuit. À vérité
intacte, le score est à 100 % sur toutes les familles de toutes les stations du 05, à un instant près (FLORIDA,
NADELHORN) : il ne montre plus que les corrections du scanner.
- **Essayé et retiré** : laisser les détecteurs lire 6 h après minuit (pour qu'un saut du soir trouve son retour). Leurs
statistiques portent sur toute la fenêtre lue : les étiquettes du matin changeaient aussi (NORDEND D2 coupée en trois),
et `score.py` (sans ces heures) aurait vu des écarts que personne n'a corrigés. La coupure à minuit reste une limite.
- **Les consignes du scanner** : la figure telle qu'elle est maintenant, les bornes « d'une mesure à l'autre » (à 4 h de
cadence, une anomalie d'une mesure couvre 8 h ; la tolérance des bornes devient « plus d'une heure et plus d'une mesure ») ;
un rejet ou un saut sous une étiquette longue d'une autre famille est un raté ; trois signatures trompeuses (une référence
rejetée quand toutes les cibles sautent : Obstruction ; un même groupe rejeté par moments : Obstruction ; une agitation de
jour sans montée de l'`error_value` : thermique) ; une étiquette par passage ; une image pour un doute de famille avant d'y
renoncer.
## 6. Deuxième itération : le batch du 2026-11-06
Le lendemain dans la boucle : `python3 batch.py --jour 2026-11-06`, avec la figure, les bornes et les consignes corrigées,
sur les détecteurs de la première séance (5438b0b). Étape 1 : 12 stations, 81 étiquettes.
Le scan : 76 s, 27 tours, 0,35 $ en équivalent API ; ouverture isolée (plus aucun plugin ni hook du poste) ; 6 corrections
sur 5 stations, aucune image regardée (malgré la consigne nouvelle).
- 5 « trop » : une Visibility contenue dans une autre de la même famille (FLORIDA D14, JUNGFRAU D6 Heat shimmer,
LENZSPITZE D3, NADELHORN D10, SUSTENHORN D6), retirée.
- 1 « raté » : NADELHORN S1, Obstruction 13:00 → 13:15, « toutes les cibles sautent ensemble à 13:05 et reviennent, une
référence rejetée (noir) : un passage devant une référence ». Vérifié sur les données brutes (`outils/instants.py`) :
`ref5_mon` rejetée à 13:00 et 13:05, les 11 cibles à +66/+70 bruits en x (+15/+19 autour), retour à 13:10 ; juste. La
signature que la figure corrigée rend visible, et que la consigne nomme, est trouvée seule.
- Doutes non corrigés, dont NORDEND D1 : un « Sudden jump, back to normal » de 23:45 la veille à 22:15 sur CTR01 et PR07.
C'est `categories.py` qui fond deux sauts brefs (23:45, 05:00) en un seul événement d'une journée (« the jumps of 2
targets in this period have the same cause ») : à regarder côté détecteurs.
Le batch s'est arrêté avant l'amélioration : **le contrôle de la vérité a refusé** la ligne `No data` de NIEDERHORN, qui
commençait le 04 à 05:00. Mon défaut : « commencée la veille, à la dernière mesure d'avant minuit » remontait au début
d'un trou de trois jours. Corrigé (au plus tôt la veille à 00:00 ; ed695db) ; la ligne refaite (le scanner n'y avait pas
touché). Second défaut vu au passage : une ligne refusée comptait comme « retirée », et sa station serait partie dans les
stations corrigées ; corrigé. Le garde-fou a fait son travail : pas d'amélioration sur une vérité fautive.
Puis `python3 batch.py --jour 2026-11-06` relancé : le contrôle passe, la séance part sur FLORIDA, JUNGFRAU, LENZSPITZE,
NADELHORN, SUSTENHORN.
**Le score de plage est à 100 % avant toute correction des détecteurs** : les 6 corrections du scanner lui sont invisibles.
Les 5 retraits ôtent une étiquette dont la famille est déjà posée sur les mêmes instants ; le passage de NADELHORN tombe
dans des instants déjà « Obstruction » (un `Target obscured` d'une journée sur un autre capteur). C'est la limite que
`score.py` annonce lui-même (« par instant et non par capteur ») : ici elle laisse l'upgrader sans cible mesurable et le
validator sans gain à mettre en balance.
**Claude refuse d'écrire dans les fichiers d'un plugin chargé.** L'upgrader s'est vu refuser l'outil Edit sur
`detectors/scripts/visibility.py` (« a sensitive file »), puis même un `cp` vers ce fichier. Reproduit sur un faux plugin :
refusé avec `--plugin-dir`, accepté sans. La séance charge le plugin depuis le dépôt qu'elle doit modifier ; la première
séance n'était passée que par des heredocs Python, opaques au contrôle. Corrigé dans `batch.py` (d5ee63a) : le plugin se
charge d'une copie temporaire (`.claude-plugin`, `skills`, `agents`), les commandes passent par `DETECTORS: detectors/`, le
vrai dépôt (vérifié : le skill et ses deux agents se chargent, l'écriture passe). **Diagnostic-App lance la séance de la
même façon** (`--plugin-dir detectors`) et doit faire de même. La séance en cours garde l'ancien lancement : elle travaille
dans sa copie et doit recopier par un moyen que le contrôle laisse passer.
### L'audit du scan du 06
Un second agent indépendant (Opus, ~14 min grâce aux outils de `outils/`) : [2026-11-06-audit-scan.md](2026-11-06-audit-scan.md).
- **4 justes, 2 discutables, 0 fausse** (le 05 : 5, 1, 1 fausse). Discutables : SUSTENHORN D6 (doublon, mais il garde la
grisée, et les deux ont la mauvaise famille) ; NADELHORN S1 (fond juste, début une mesure trop tard).
- **Un peu mieux que le 05** : aucune correction fausse ; les barres noires des références ont servi (NADELHORN S1, la
lecture de NORDEND). Les détecteurs eux-mêmes font bien mieux à NORDEND (des Obstructions sur CTR03 au lieu d'une
Visibility de 9 h).
- **Les ratés n'ont pas bougé** : SUSTENHORN (Visibility au lieu d'Obstruction sur le même groupe de 11, des Displacement sur
des passages, 22 passages non couverts, malgré la consigne ajoutée) ; LENZSPITZE (des Displacement « not back yet » dans la
perte de visibilité de la nuit, comme le 05) ; NORDEND 04:30-04:45, un passage vu puis écarté « affaire de bornes » ;
NADELHORN D8, une Visibility de 17 h posée sur des références perdues (configuration changée ?) ; NEBRASKA mal lu ;
CLARIDEN laissé en Thermal sous une température plate. **0 image regardée, deuxième jour de suite.**
- Défauts restants de la figure : l'`error_value` médiane de tous les capteurs, rejetés compris (de faux pics « toute la
scène » à SUSTENHORN, gonflée par des valeurs figées à NADELHORN) ; l'écart à la médiane du jour ; le bruit propre des
rafales ; pas d'historique des rejets (Target issue indécidable).
Corrigé ensuite (7e24df0) : l'`error_value` des capteurs acceptés seulement (vérifié : plus de faux pic à SUSTENHORN) ;
jusqu'à 12 capteurs nommés dans le résumé (un groupe se reconnaît) ; consignes : un passage non couvert est un raté quelle
que soit l'étiquette voisine, quel doublon garder (la montrée au client), chaque doute de famille demande une image (ou dit
pourquoi pas). `outils/non_couverts.py` remplacé par la version de l'audit, qui juge la couverture capteur par capteur
(l'ancienne ne voyait rien sous une étiquette d'une seule cible d'une journée) ; ajoutés : `rejets_instants.py`,
`ev_fenetres.py`, `horaire_jours.py`.
La séance du 06 a été **arrêtée à la demande de l'utilisateur** après ~1 h 10, l'upgrader encore dans ses essais (sa copie
de travail, des benchmarks), sans commit : `detectors` reste à 5438b0b (S1, S2 de la première séance). Dans
`batches/2026-11-06/improve/` restent les mesures avant et les deux scripts qu'il avait gardés (`tools/window.py`,
`tools/brief_debug.py`).
## Bilan
**Ce qui marche**
- La boucle tourne seule de bout en bout : un jour → détecteurs → scanner → `wf-improve` multi-stations → commits dans
`detectors`, sur l'abonnement, isolée des réglages du poste, avec deux garde-fous qui ont joué (le contrôle de la vérité a
bloqué une vérité fautive ; le benchmark n'a laissé passer que des correctifs neutres ailleurs).
- La première séance a produit deux correctifs généraux et sains (S1 `no_data` par rafales, S2 doublons `Visibility`),
vérifiés sur deux jours qu'elle n'avait pas vus. L'upgrader a écarté de lui-même la correction fausse du scanner.
- Coût : scan ~0,35 $ et ~80 s par jour ; séance ~2,80 $ et ~30 min (équivalents API, sur l'abonnement).
**Ce qui ne marche pas, ou mal**
- **Le scanner est le maillon faible.** De loin, sur une figure, il corrige surtout des doublons mécaniques ; les erreurs
lourdes (famille fausse, passages non couverts, Target issue) restent dans la vérité et reviennent d'un jour à l'autre ;
0 image regardée en deux jours malgré la consigne. Deux audits indépendants (Opus, données brutes) trouvent chaque fois
plus d'erreurs dans la vérité que le scanner n'en corrige.
- **Ses corrections sont souvent invisibles au score** (par instant, sans les capteurs) : le 06, score de plage à 100 %
avant toute correction des détecteurs ; la séance n'a rien de mesurable à améliorer, et le validator rien à peser.
- **La séance chargeait le plugin depuis le dépôt qu'elle modifie** : claude refuse alors d'écrire dans ses fichiers
(corrigé dans `batch.py` par une copie du plugin ; Diagnostic-App a le même défaut).
- La coupure à minuit (« not back yet ») reste une limite.
**Si l'on reprend** (à décider)
- Un score par capteur (un champ `capteurs` dans les étiquettes, `score.py` qui en tient compte) : sans lui, une bonne
part de ce que voit le scanner ne peut pas guider `wf-improve`.
- Ou bien renoncer à la vérité du scanner : garder le batch quotidien des détecteurs et ses figures comme veille, et ne
lancer `wf-improve` que sur des étiquettes revues (le mode ciblé de Diagnostic-App), où il a fait ses preuves.
- L'audit indépendant a fait ce que le scanner devait faire : c'est plutôt de ce côté (un agent qui lit les données par les
outils de `outils/`, sur quelques stations signalées) qu'un scanner utile se trouverait, à un coût plus haut.
@@ -0,0 +1,127 @@
# Audit du scan du 2026-11-06
Voir le journal de l'essai, [2026-11-05.md](2026-11-05.md), section 6. Écrit sur le batch tel que le scanner l'a laissé ; la figure et les consignes ont été corrigées ensuite (error_value des capteurs acceptés, passages non couverts, doublons, images).
Par un agent indépendant, le 2026-11-14, sur le batch tel que le scanner l'a laissé (`batches/2026-11-06/`), en lecture seule. Les données sont lues par les outils du dépôt (`outils/`, `JOUR=2026-11-06`) et par quatre scripts de cet audit (liste à la fin). Sauf mention, « bruit » est le bruit propre d'`outils.py`. Aucun fichier du dépôt, de `data/`, `labeling/` ou `detectors/` n'a été modifié.
Décompte : **4 justes, 2 discutables, 0 fausse**. Le 05, c'était 5 justes, 1 fausse et 1 discutable. Mais 5 des 6 corrections sont des retraits mécaniques (une Visibility contenue dans une autre de la même famille). Les erreurs lourdes restent dans la vérité, et deux d'entre elles sont celles du 05 (section 3).
Ce qu'a fait le scanner : 76 s, 27 tours, un seul regard par figure. Il n'a fait aucun appel Bash et n'a regardé **aucune image**, alors que sa consigne lui en accorde cinq (même chose que le 05).
## 1. Les 6 corrections
| Station | Correction | Verdict | Preuve (données brutes) | Ce que disait la variété retirée |
|---|---|---|---|---|
| FLORIDA | D14 retirée (Visibility grisée, 6 capteurs, 20:15→24:00, dans D12, 8 capteurs, 17:00→24:00) | **juste** | De 20:30 à 23:00, les 8 capteurs sont rejetés (6 cibles et p1_r, r1_r ; ev/seuil médian 1,25 à 1,37). Les 6 capteurs de D14 sont inclus dans les 8 de D12, la variété est la même (Poor visibility) et l'épisode aussi : D12 commence à 17:00 (ev 0,82 → 0,99, Sellette 4 à +17 bruits). | Le niveau « none » : plus rien de visible de 20:30 à 23:00, donc « ignorez les courbes », là où D12 dit « moins précis ». C'est le même événement : cela relève de la description de D12. D14 était grisée, le client ne la voyait pas. |
| JUNGFRAU | D6 retirée (Heat shimmer, 17:45→21:15, dans D5 Visibility 15:45→24:00) | **juste** | De 17:45 à 21:15, le \|Δcorr_x\| médian d'un pas vaut 0,4 à 3,8 bruits, comme la nuit (0,4 à 3,0 de 00:00 à 05:00), et l'`error_value` vaut 1,00 à 1,05 fois la nuit. Il n'y a pas de bruit rapide propre à cette plage, et un « air chaud » à la nuit tombée, en novembre, n'a pas de sens. | Une turbulence (un bruit rapide) que les données ne montrent pas : rien n'est perdu. |
| LENZSPITZE | D3 retirée (Heat shimmer grisée, 32 capteurs, 23:55→03:05, dans D2 Visibility 23:55→05:05) | **juste** | Face à la nuit du 05 : flux 0,23 à 0,6, sharpness 0,58 à 0,97, `error_value` ×1,2 à 1,9 de 00:00 à 03:00. C'est la perte de visibilité de la nuit, qui commence le 05 vers 22:00. L'agitation (\|Δx\| de 3 à 6 bruits jusqu'à 03:05, contre 0,5 à 1 après) vient des taches faibles, pas d'un air chaud la nuit. | Que les courbes tremblent jusqu'à 03:05 : c'est vrai, mais c'est l'effet du flux bas, déjà couvert par D2 (« moins précis »). Rien d'utile n'est perdu. |
| NADELHORN | D10 retirée (Visibility grisée, 9 capteurs, 09:55→10:05, dans D8 07:20→24:00) | **juste** (mais garde une D8 fausse) | À 10:00, pic d'une mesure sur les deux caméras (caméra c : ev/seuil 0,97 contre 0,77, 5 cibles rejetées contre 3 ; caméra m_ : ev/seuil 1,86 contre 0,42, 9 cibles rejetées contre 6), au milieu d'un épisode de rejets du matin (08:25 → 10:45). Même famille, même épisode. | Un moment plus sévère (« ignorez ») à 10:00. Le même pic à 09:15-09:20 n'a pas d'étiquette, donc l'information n'était pas cohérente. Le vrai défaut est la ligne gardée : D8 court jusqu'à 24:00 alors qu'après 10:45 elle ne repose que sur des références perdues (section 3). |
| SUSTENHORN | D6 retirée (Visibility, 11 capteurs, 07:02→07:30, dans D5, 11 capteurs, grisée, 06:47→09:15) | **discutable** | C'est un doublon, mais les deux lignes ont la mauvaise famille. De 06:31 à 09:17, le même groupe est rejeté par rafales (B15_B01, B16_A01/A02/B01, B17_A01/B01, B18_A01/B01, B19_A01/B01 et REF07) à 07:00-02, 07:15-17, 07:31-32, 07:46, 08:00-02, 08:17, 09:00-02 et 09:15-17. Les capteurs en `*11`/`*12` restent mesurés (0 rejet). C'est la signature « un même groupe rejeté par moments, le reste mesuré, même la moitié de la scène : Obstruction », ajoutée à sa consigne après le 05. Il fallait changer la famille de D5 et la découper en passages. Il a retiré la seule ligne montrée au client et gardé la grisée. | Rien de plus que D5. |
| NADELHORN | S1 ajoutée (Obstruction, 13:00→13:15) | **discutable (une mesure)** : fond juste, début trop tardif | ref5_mon est rejetée à 13:00 et 13:05 (caméra c), m_ref5_mon à 13:00 (caméra m_). Les 11 cibles sautent de +65 à +70 bruits en x (de +36 à +40 sur la caméra m_), puis reviennent à 13:10 (c) et à 13:15 (m_). Or le point de 13:00 est déjà touché : le début devait être 12:55, la mesure d'avant (règle des bornes : « la mesure juste avant le premier point touché »), comme le fait D7 pour le même passage devant ref5 à 07:15 (07:10→07:20). La fin, 13:15, est juste. La description dit « ±35 » ; le pic vaut +70 bruits en corr_x, écrêté sur la figure. | — |
Les cinq retraits appliquent bien la règle « deux étiquettes de la même famille sur les mêmes heures : l'une est de trop ». Mais le scanner ne l'applique pas aux paires de Target issue de FLORIDA (D1 et D4 sur Pont Ernen, D2 et D3 sur Sellette 3, chaque fois l'une contenue dans l'autre), alors que les règles d'étiquetage disent « une Target issue : une étiquette par cible et par lot ».
## 2. Les doutes du scanner
| Doute | Ce que disent les données | Aurait-il dû corriger ? |
|---|---|---|
| CLARIDEN 18:00→24:00, thermique ou Displacement ? | Dès 17:50, 8 à 10 cibles s'écartent en corr_y, en sens opposés (D-302-B +11 bruits, D-306-B −11). D-302-B revient vers 23:00. D-306-B reste : −0,04 → −0,13 puis −0,16, encore −0,14 le 07/11 à 14:00, puis −0,5 le 07/11 à 19:00. Aucun motif semblable aux mêmes heures du 02 au 05/11, et la température du boîtier est plate (39,8 °C, régulée). | **Oui, la famille.** Ce qui ne suit pas la température n'est pas Thermal (familles.md), et il l'a écrit lui-même. D2 → Displacement (la caméra ou l'ouvrage bouge, cause non établie), avec une fin à 24:00 (D-306-B ne revient pas). Une image de 18:00 aurait pu trancher. |
| JUNGFRAU, Visibility D2 et D5 | L'`error_value` des cibles vaut 1,0 à 1,5 fois celle du 05 aux mêmes heures, et celle de REF_G passe de 0,15 à 0,45 de 21:00 à 24:00. Mais tout reste loin du seuil, avec aucun rejet hors PM_G (habituel), et l'agitation est celle de la nuit. Les dérives sont celles du cycle thermique (D3, D4). | Non : une `error_value` qui monte sans effet sur les corr ne s'étiquette pas, donc D2 et D5 sont probablement de trop, mais rien n'est sûr. S'abstenir était juste. |
| MICHIGAN D1 (Obstruction, REFPOU22) | REFPOU22 est rejetée 6 fois sur 6 chaque jour du 10/10 au 05/11, 3 fois sur 6 le 06/11 (jusqu'à 08:00), puis plus jamais. Les cibles sont calmes (0/14 au-delà de 5 bruits). C'est une Target issue qui finit le 06/11 entre 08:00 et 12:00 ; la fin de D1 (12:00) est juste. | Impossible sans historique (défaut du résumé). |
| NEBRASKA D1 (Obstruction, REFCOLH22) | Même histoire : REFCOLH22 est rejetée chaque jour du 10/10 au 05/11, puis 3 fois sur 6 le 06/11, puis plus jamais. **Les courbes ne sont pas calmes** : 7 à 9 cibles sur 12 passent d'environ +10 à environ −10 bruits en x entre 08:00 et 12:00, au moment même où REFCOLH22 cesse d'être rejetée (la base de la compensation change). D2 (Displacement « Jump, not back yet », COLJ23 et POUH19) est ce saut-là : un changement de références, pas un mouvement de l'ouvrage. | Pour D1, non (pas d'historique). Mais il a mal lu la figure (« courbes calmes ») : le saut de toutes les cibles là où les barres noires s'arrêtent s'y voit nettement. D2 méritait au moins un doute de famille. |
| NORDEND D1 (Displacement, CTR01 et PR07, toute la journée) | CTR01 est rejetée sans interruption de 06:45 à 14:45 (32 mesures sur 96 ce jour-là), et une grande part du temps depuis le 16/10 : c'est la Target issue de l'analyste (NORDEND-230). PR07 n'est rejetée à aucune mesure le 06/11, et l'analyste ne la signale pas ce jour-là. | Le doute était juste. La famille Target issue demande l'historique, mais un « sudden jump, back to normal » sur une cible absente 8 h de suite ne tient pas. Avec l'historique, il fallait passer en Target issue sur CTR01 et retirer PR07. |
| NORDEND 04:30→05:00 | CTR03 est rejetée à 04:30 et à 04:45, et 16 à 17 cibles sur 19 sautent (corr_y de −26 à −28 bruits). Tout est revenu à 05:00. Aucune étiquette ne couvre ces instants. | **Oui.** C'est un passage non couvert, donc un raté, et non une borne : la tolérance d'une heure ne s'applique pas. Il fallait une ligne S 04:15→05:00, ou avancer le début de D4 à 04:15. |
| SNCF01 09:30→15:00 | Les 6 rejetées sont les habituelles (BG.1, CV.6, CV.7, F4.1, F4.3, F4.4, rejetées plus de la moitié du jour, sous D1-D6 et D8-D10). L'agitation de ±5 à 10 bruits touche quelques cibles (P3 à P6, CV.4), sans que l'`error_value` monte (0,70 à 0,73) : c'est une agitation de jour, pas une Visibility. Seuls CV.2 (12:45, 13:30) et CV.4 (13:30, 14:45) sont rejetées sans étiquette. | Non pour la scène. Les trois rejets brefs de CV.2 et CV.4 sont un petit raté (Obstruction), à peine visible dans le panneau 4 (7 ou 8 au lieu de 6). |
| FLORIDA, étiquettes empilées | Massif 2 est rejetée 73 fois sur 96, et ainsi presque chaque jour depuis le 09/10 : c'est une Target issue, que les détecteurs étiquettent en 5 Obstructions grisées (D5, D7, D10, D11, D13). Sellette 6 est rejetée environ la moitié de chaque jour depuis le 01/10 et n'a aucune étiquette à son nom ; ses rejets de 00:00 à 00:45 et de 10:30 à 13:15 ne sont couverts par rien. | Impossible sans historique et sans le nom des cibles rejetées. Les doublons de Target issue (section 1) étaient faisables. |
## 3. Les ratés
**SUSTENHORN, le même raté que le 05, malgré la consigne ajoutée** (le plus grave quant à la méthode).
- Les Visibility D5 et D14 sont posées sur le même groupe de 11 capteurs que les Obstructions D4, D7, D9 à D11, D15 et D17, avec le reste de la scène mesuré. La famille à mettre est Obstruction. La gare (RER) rend les passages de trains plausibles ; il n'y a pas de dossier d'images.
- **Les Displacement D12, D13, D16 et D18** (« Sudden jump, back to normal », sur des cibles en `*11`) tombent exactement sur des rejets du groupe avec REF07 : 15:46 et 16:00, 17:32 et 17:45-46, 19:46-47 et 20:00, 21:46-47. Les cibles restantes y sautent de 5 à 7 bruits, puis reviennent. C'est la signature « référence rejetée, les cibles sautent puis reviennent : Obstruction », écrite dans sa consigne.
- **22 passages non couverts** (34 instants par `nc_capteurs.py`, 26 par `non_couverts.py`) : 06:31-32, 09:46-47, 10:17, 10:30, 12:45-46, 13:32, 13:45, 17:32, 17:45-46, 18:16, 18:31-32, 18:45-46, 19:16-17, 19:30-31, 19:46-47, 20:00, 21:46-47, 22:01-02, 22:16-17, 22:30, 23:02, 23:15. Le panneau 4 montre de 22:00 à 23:15 un bloc rouge et noir sous lequel il n'y a aucune étiquette.
- Ces erreurs étaient visibles, mais la figure les brouille, et le résumé aussi :
- la médiane de l'`error_value` sur tous les capteurs fait un pic (0,08 → 0,80) chaque fois que la moitié de la scène est rejetée, ce qui donne à D5, D6 et D14 l'air d'une Visibility ;
- le résumé écrit « 11 capteurs » sans les nommer, si bien que l'identité des groupes de D5 et de D7 ne se lit pas.
**NADELHORN, D8 Visibility de 07:20 à 24:00 (17 h)** (le plus long).
- À 07:15, m_ref1/2/3 sautent de +280 à +312 bruits. À partir de là, ref1_mon, ref2_mon et m_ref1/2/3 sont rejetés à **chaque** mesure, avec une `error_value` figée (1,22 ; 1,07 ; 2,30 ; 2,21 ; 2,27, identiques à deux décimales sur toute la journée).
- ref3_mon passe aussi à une valeur figée de 0,97 : elle est encore acceptée, ce qui pose la question de ce qu'elle apporte à la compensation.
- Au même instant, l'`error_value` de c6_mon et celle de m_c6_mon s'échangent (0,68 → 0,20 et 0,20 → 0,57).
- ref1_mon est rejetée à 199 mesures sur 288 le 06/11, à 288 sur 288 du 07 au 09/11, puis plus du tout à partir du 11/11. Un changement de configuration de la station est probable (à vérifier sur les images de 07:00 et de 08:00). Ce serait une Target issue, et non le Displacement D6 ni la Visibility D8.
- Après 10:45, les cibles ont leur `error_value` habituelle (c1 à c11 entre 0,55 et 0,78, comme de 03:00 à 07:00) et aucune autre cible n'est rejetée. La Visibility réelle n'est que l'épisode du matin, de 08:25 à 10:45.
- Sur la figure, le panneau 4 reste plat à 8 rejetés de 11:00 à 24:00 et l'`error_value` à 0,7. Une perte de visibilité de 13 h n'a pas cette forme. Le scanner a même retiré D10 « parce qu'incluse dans D8 », ce qui conforte D8.
**LENZSPITZE, D6 et D7 Displacement « Jump, not back yet »**, alors que le scanner a classé la station « cohérente ».
- De 15:30 à 24:00, le flux tombe à 0,15-0,6 fois la nuit, la sharpness à 0,37-0,86, et l'`error_value` monte de ×1,1 à ×2,25 : c'est la perte de visibilité de la nuit (D5).
- Les cibles de D7 (1022, 1024…) sautent vers 19:00-20:00 et reviennent le 07/11 à 05:00, quand la visibilité revient : 1022 est à −0,70 la nuit et à −0,10 à 05:00. Elles avaient fait de même la nuit précédente (1022 à −0,48 à 00:00, −0,04 à 01:00, sous D2).
- C'est l'erreur de D8 le 05, et « not back yet » vient encore de la coupure à minuit. D6 et D7 sont de trop sous D5.
- Le rejet de 8003 à 09:05 (plus 2 sauts, Obstruction 09:00→09:10) n'est pas couvert, comme les 8003 et 8010 du 05 à 20:05.
**NORDEND, face à l'analyste.** Les détecteurs font bien mieux que le 05 : ils posent des Obstructions sur CTR03, là où ils posaient une Visibility de 9 h.
- D2, D3, D4 et D7 couvrent 11 des 13 rejets de CTR03 de la nuit (NORDEND-236 chez l'analyste).
- D6 est identique à NORDEND-238 (PR10, 09:15→09:45).
- D9 couvre le début de NORDEND-239 (21:15→22:15 ; plus aucun rejet de CTR03 après 22:00 ce jour-là).
- Restent :
- le passage de 04:30-04:45, que le scanner a vu, puis écarté à tort comme une affaire de bornes ;
- D1, une Displacement là où il faut une Target issue sur CTR01 ;
- le cycle thermique, qui n'a pas d'étiquette de 00:00 à 06:45 ni de 20:15 à 24:00 (l'analyste pose 234 jusqu'à 07:00, puis 237 de 07:00 au 07/11 06:30). C'est la convention des détecteurs, signalée le 05.
- **La figure corrigée permettait de tout voir.** Chaque pic de toutes les cibles a sa barre noire, et le scanner l'a lu juste (« déjà couverts par les Obstruction »). La barre noire de 04:30-04:45 sous aucune étiquette d'Obstruction se voit aussi : c'est la consigne des bornes qui l'a fait renoncer.
**NEBRASKA** : la figure mal lue (section 2).
**Ce que la figure permettait de voir.**
- Oui pour NORDEND 04:30, pour les blocs non couverts de SUSTENHORN et pour le panneau 4 plat de NADELHORN.
- Mal pour SUSTENHORN : l'`error_value` médiane trompe, et le résumé ne nomme pas les capteurs.
- Non pour LENZSPITZE D6 et D7 (ni flux ni sharpness sur la figure) et pour les Target issue (pas d'historique).
## 4. Les défauts qui restent
**Figure** (`batch.py`, `figure()`). Les défauts 1 (rejets tracés à l'écrêtage), 2 (un NaN qui efface la case) et 5 (rejets des références invisibles) du 05 sont corrigés. Le noir des références a servi : S1 de NADELHORN, la lecture de NORDEND. Restent :
1. **L'`error_value` médiane sur tous les capteurs, rejetés compris** (défaut 6 du 05). À SUSTENHORN, elle fabrique les pics « Visibility ». À NADELHORN, les valeurs figées des références perdues la gonflent toute la journée. Il faudrait la médiane des capteurs non rejetés, ou la part des capteurs au-dessus de leur niveau habituel.
2. **L'écart à la médiane du jour** (défaut 3 du 05). À LENZSPITZE, la nuit de visibilité et le cycle thermique mettent les cibles à ±50, voire ±150 bruits : le rejet de 8003 à 09:05 et le pic de 14:35 s'y perdent.
3. **Le bruit propre, toujours calculé sur des paires consécutives** (défaut 4 du 05) : il est sous-estimé dans les rafales de SUSTENHORN, où tout dépasse les pointillés ±5.
4. **Le panneau 4 ne nomme pas les capteurs rejetés et ne distingue pas les rejets habituels** : le même groupe de 11 à SUSTENHORN, ref1 et ref2 à NADELHORN, Sellette 6 et Massif 2 à FLORIDA. Dans les rafales, le pas de 15 min fond aussi les passages en blocs continus.
5. **Pas de flux ni de sharpness** : la perte de visibilité de la nuit à LENZSPITZE ne se voit que par l'`error_value`, faiblement.
**Résumé** (`detecteurs.md`). Les références sont nommées, les rafales dites, « (la veille) » et « 24:00 » sont lisibles : c'est mieux. Restent :
- les listes de plus de quelques capteurs écrites « N capteurs », d'où des Visibility et des Obstructions sur le même groupe impossibles à rapprocher (SUSTENHORN) ;
- **aucun historique des rejets** : MICHIGAN, NEBRASKA, CTR01 à NORDEND, ref1 à NADELHORN, Massif 2 et Sellette 6 à FLORIDA restent indécidables (déjà signalé le 05) ;
- « une mesure toutes les 0 min » pour NIEDERHORN (cosmétique).
**Consignes** (`.claude/agents/scanner.md`) :
- **les images** : 0 sur 5, pour le deuxième jour de suite. Le « regarde celle de l'heure avant d'y renoncer » n'a aucun effet. Il faudrait l'imposer pour chaque doute de famille (CLARIDEN 18:00, NADELHORN 07:00-08:00), ou faire chercher et lire l'image par `batch.py` ;
- **la tolérance d'une heure sur les bornes** s'est appliquée à un passage non couvert (NORDEND 04:30). Il faudrait écrire : « un passage (des rejets, ou une référence rejetée et toutes les cibles qui sautent) qu'aucune étiquette ne couvre est un raté, quelle que soit la distance à l'étiquette voisine » ;
- **la signature « même groupe rejeté, le reste mesuré : Obstruction »** est écrite, mais n'est pas appliquée ;
- **la règle des doublons** ne dit pas laquelle garder : celle de la bonne famille, sinon celle montrée au client. Elle n'est pas non plus appliquée aux Target issue ;
- il manque trois signatures :
- **les cibles qui sautent toutes quand une référence cesse (ou commence) d'être rejetée** : c'est un changement de références, pas un Displacement (NEBRASKA) ;
- **une Visibility longue posée sur un niveau de rejets constant** (les mêmes capteurs, toute l'après-midi) n'en est pas une (NADELHORN) ;
- **un « not back yet » de fin de journée dans une perte de visibilité** suit la visibilité (LENZSPITZE ; la coupure à minuit l'aggrave).
**Comparaison avec le 05.**
| | 05/11 | 06/11 | |
|---|---|---|---|
| Corrections | 5 justes, 1 fausse, 1 discutable | 4 justes, 0 fausse, 2 discutables | **mieux** : plus de correction fausse, mais 5 des 6 sont mécaniques ; le scanner est plus prudent, pas plus fin |
| Ajout d'un raté | S1 SUSTENHORN (fond 5 passages), S1 LENZSPITZE (fausse) | S1 NADELHORN, juste, rendue possible par le noir des références | **mieux** |
| SUSTENHORN | famille Visibility gardée, 10 passages non couverts | famille Visibility gardée, Displacement sur les passages, 22 passages non couverts | **pareil**, malgré la consigne ajoutée |
| LENZSPITZE | D8, Displacement dans la perte de visibilité de la nuit ; 8003 et 8010 non couverts | D6 et D7, la même erreur ; 8003 non couvert | **pareil** |
| NORDEND | raté grave (D2 Visibility de 9 h) | un passage non couvert, que le scanner a vu puis écarté | **mieux**, mais grâce aux détecteurs |
| Nouveaux ratés | — | NADELHORN D8 et D6 (perte de références), NEBRASKA mal lu, CLARIDEN laissé en Thermal | — |
| Images regardées | 0 sur 5 | 0 sur 5 | **pareil** |
Au total, il est **un peu mieux** : aucune correction fausse, et la figure corrigée sert. Mais sur les ratés, c'est **pareil**. La vérité garde des erreurs de famille plus lourdes que ce qu'il corrige, et elles se répètent d'un jour à l'autre (SUSTENHORN, LENZSPITZE).
À noter : la ligne retirée de JUNGFRAU était la dernière du fichier, et `verite/JUNGFRAU.jsonl` n'a plus de saut de ligne final. Le JSON reste valide.
## 5. Les scripts
Les quatre sont dans `outils/` du dépôt (`nc_capteurs.py` y remplace `non_couverts.py`, sous ce nom) ; ils se lancent depuis `outils/` avec `JOUR=AAAA-MM-JJ`.
| Script | Ce qu'il fait | À garder ? |
|---|---|---|
| `nc_capteurs.py` | Comme `non_couverts.py`, mais une étiquette ne couvre que ses capteurs, lus dans « Détecteurs : variété, capteurs ». « N capteurs », « tous » et une ligne du scanner couvrent tout ; une référence rejetée couverte couvre les sauts de l'instant. `non_couverts.py`, lui, est aveugle dès qu'une étiquette d'une seule cible dure toute la journée (CLARIDEN D1, FLORIDA D1-D4, JUNGFRAU D1, NADELHORN D1-D3, NORDEND D1, SNCF01 D1-D6) : 0 instant non couvert à NORDEND, alors que 04:30-04:45 l'est. | **Oui**, à la place de `non_couverts.py`, dans `outils/`. |
| `rejets_instants.py` | Par instant, le nom des capteurs rejetés (R pour une référence). `instants.py` n'en donne que le nombre. | Oui. |
| `ev_fenetres.py` | Par capteur et par fenêtre horaire : ev/seuil médian et part des mesures rejetées. Il a montré les valeurs figées des références de NADELHORN après 07:15. | Oui. |
| `horaire_jours.py` | Médiane horaire d'une colonne pour quelques capteurs, sur plusieurs jours : un motif revient-il chaque jour ? (CLARIDEN, LENZSPITZE). | Oui (il remplace `horaire.py`, que l'audit du 05 n'avait pas gardé). |
@@ -0,0 +1,133 @@
# Optimizer : conception
2026-11-13. Statut : approuvée ; les trois étapes construites, la tâche VS Code à faire ; premier essai de bout en bout le
2026-11-14 (`docs/essais/2026-11-05.md`).
## L'intention
Faire converger les détecteurs en continu, à faible coût. Chaque jour pompé devient un **batch de 24 h** : les détecteurs
passent sur toutes les stations (gratuit : 3,5 s pour 3 jours de NORDEND) ; un **scanner** léger regarde leurs étiquettes et
les données de loin, note chaque irrégularité dans un rapport ; s'il en a noté, `/detectors:wf-improve` améliore les
détecteurs, sous le garde-fou du benchmark.
Le mode ciblé de Diagnostic-App reste tel quel : une analyse approfondie d'un événement, puis « Optimiser les détecteurs ».
Optimizer en est la version large et légère : il voit toutes les stations, mais de loin, et ne remarque que des
irrégularités.
## Objectifs, non-objectifs, anti-objectifs
- **Objectifs** : une commande par batch, toutes les stations ; un scanner bon marché (une figure et une liste d'étiquettes
par station) ; une seule séance d'amélioration par batch, sur toutes ses irrégularités ; chaque batch laisse une trace
lisible.
- **Non-objectifs** : le pompage (il est dans le dépôt aimsight-data), l'étiquetage pour l'expert, une page web,
les outils de lecture, le contrat des détecteurs.
- **Anti-objectifs** (un échec, même si ça tourne) : une séance légère qui fait reculer les détecteurs sur les étiquettes
revues, donc défait un gain du mode ciblé ; un scanner dont le coût approche celui de l'analyste ; des étiquettes du
scanner mêlées à `labeling/auto/`.
## Les approches
- **Retenue : le scanner corrige les étiquettes des détecteurs.** Les étiquettes des détecteurs du batch sont copiées ; le
scanner applique chaque irrégularité à la copie (retire une fausse alerte, ajoute un oubli, corrige une famille ou une
borne) et la note dans son rapport. La copie corrigée est la vérité de `wf-improve`, son rapport le contexte : le score du
batch ne montre que les corrections.
- Écartée : `wf-improve` qui lirait un rapport sans étiquettes. Plus de score sur la plage pour l'upgrader ni pour le
validator, et deux façons d'améliorer à tenir.
- Écartée : le scanner signale seulement, l'amélioration reste l'analyse de l'app. La boucle ne se ferme pas seule.
## La compatibilité avec le mode ciblé
- **Le même dépôt `detectors`** (une seule copie, `~/detectors`, par un lien), et le même plugin : Diagnostic-App et Optimizer en sont deux appelants.
- **La même vérité de référence** : `labeling/auto/` (le dépôt `~/labeling`, partagé avec Diagnostic-App), où l'app verse les étiquettes de ses analyses. Le
benchmark de chaque séance légère porte donc sur les cas ciblés : une séance qui en ferait reculer un est refusée par le
validator ; et inversement.
- **Les étiquettes du scanner à part**, dans le dossier du batch, jamais versées dans `labeling/auto/` (elles ne sont pas
revues).
- **Un ajout au plugin, compatible** : aujourd'hui `wf-improve` prend une seule station ; un batch en a plusieurs, le même
jour. Le plugin accepte en plus un dossier d'étiquettes, une par station (`<STATION>.jsonl`, comme `REFERENCE`), avec la
même plage pour toutes ; `regression.py` prend `--from`/`--to` pour mesurer ce jour-là. La requête d'une seule station,
celle de l'app, ne change pas. Une seule séance sur toutes les stations coûte moins que plusieurs, et pousse l'upgrader
vers un mécanisme qui revient d'une station à l'autre plutôt que vers un cas.
- **Git** : `detectors` est un lien vers la seule copie du poste : un commit du batch se voit aussitôt dans l'app, et
inversement ; avec `--push`, le batch pousse après. Deux séances ne tournent pas en même temps sur les détecteurs.
## Un batch
Le jour : par défaut le dernier jour UTC complet ; `--jour AAAA-MM-JJ` pour un autre. Un batch déjà fait (son dossier
existe) ne se refait pas.
1. **Les détecteurs** (script, sans LLM) : `categories.events` sur le jour, avec ses 3 jours d'historique, pour chaque
station de `data/` qui a des mesures ce jour-là. Leurs événements deviennent des étiquettes (`id`, `debut`, `fin`,
`categorie` = la famille, `description` = le texte de l'événement), coupées au jour :
`batches/<jour>/detecteurs/<STATION>.jsonl`, copiées dans `batches/<jour>/verite/`. Pour chaque station, une figure
`batches/<jour>/figures/<STATION>.png` : `corr_x` et `corr_y` des cibles sur les 24 h, les étiquettes en bandes colorées
par famille, et une bande des mesures manquantes ou rejetées (`error_value` au-dessus du seuil).
2. **Le scan** (`claude -p`, agent `scanner`, Sonnet) : pour chaque station, il lit la liste de ses étiquettes et regarde sa
figure ; une image de la caméra au besoin, quelques-unes au plus pour tout le batch. Il ne lit jamais les CSV. Chaque
irrégularité :
- **raté** : les courbes bougent ou manquent, aucune étiquette ;
- **trop** : une étiquette sur des courbes plates, mesures présentes et acceptées ;
- **bornes** : l'étiquette commence trop tard, finit trop tôt, déborde sur du calme ;
- **famille** : la forme dit une autre famille (une onde diurne, une seule cible qui s'écarte, un trou) ;
il la note dans `batches/<jour>/rapport.md` (station, heures, cas, ce qu'il voit) et l'applique à `verite/<STATION>.jsonl`.
Il finit par `**Verdict**: rien à corriger | irrégularités`. Le script vérifie ensuite la vérité (JSON, clés, famille
connue de `labeling/familles.md`).
3. **L'amélioration**, si le scanner a corrigé une station et la vérité est sans erreur : `claude -p --plugin-dir detectors
"/detectors:wf-improve …"` avec `DATA: data`, `STATIONS:` les stations corrigées, `LABELS: batches/<jour>/verite`, le
jour, `REFERENCE: --labels labeling/auto --data data`, `FAMILIES: labeling/familles.md`, `CONTEXT:
batches/<jour>/rapport.md`, `OUT: batches/<jour>/improve/`. Son bilan, `improve/summary.md`, est celui du batch ; ses
agents gardent leurs scripts dans `improve/tools/`.
Le déclenchement : une tâche VS Code « batch », et une ligne après le pompage dans le Planificateur de tâches de Windows.
**L'ordre de grandeur** : une figure coûte environ 1 500 tokens ; pour 13 stations, une vingtaine de milliers, plus les
listes d'étiquettes et quelques images, sur Sonnet. `wf-improve` coûte ce qu'il coûte dans l'app, et seulement les jours où
le scanner a noté quelque chose.
**Les limites** : le scanner voit les courbes de loin, il rate ce que la figure ne montre pas (une dérive lente, un capteur
noyé parmi vingt) ; une étiquette qui passe minuit est coupée au jour, ses bornes hors du jour ne se jugent pas, et un saut
du soir qui revient après minuit reste « not back yet » : les détecteurs ne lisent rien après le jour, comme `score.py`
(avec quelques heures de plus, leurs statistiques changent sur tout le jour, et la vérité ne serait plus « les détecteurs
et les seules corrections du scanner »). Ses
erreurs ne font pas reculer les détecteurs ailleurs : le benchmark sur les étiquettes revues les arrête.
## Le dépôt
```
Optimizer/
README.md, CLAUDE.md
batch.py le batch et ses figures (matplotlib, .venv ; claude sur le PATH)
.claude/agents/scanner.md
detectors -> ~/detectors le dépôt detectors, hors de git
data -> ~/aimsight-data/data hors de git, lecture seule
labeling -> ~/labeling hors de git, lecture seule (familles.md, auto/)
batches/<jour>/ detecteurs/, verite/, detecteurs.md, rapport.md, improve/ ; figures/, scan.jsonl,
improve.jsonl hors de git
outils/ scripts de lecture pour contrôler un batch à la main (venus de l'audit du premier essai)
docs/essais/ un journal par essai de bout en bout
```
La figure, telle que construite : par pas de 15 min (une station qui mesure par rafales, comme SUSTENHORN, ou à deux
cadences, comme NADELHORN, s'y lit comme les autres ; dans chaque pas, l'écart le plus grand, pour qu'un pic d'une mesure
reste ; une mesure rejetée n'y est pas tracée, la courbe s'interrompt) ; les cibles en bruits propres autour de leur
médiane du jour, calmes entre ±5 ; les références non tracées (certaines valent 0 par construction), mais leurs rejets
comptés à part, en noir, dans le panneau des rejets. Les étiquettes des détecteurs vont de la mesure d'avant l'événement à
celle d'après (sauf `No data`, déjà d'une mesure à l'autre) : à vérité intacte, le score de plage est à 100 %.
## Mes choix, à corriger
- Le scanner sur Sonnet ; `wf-improve` sur le modèle par défaut, comme dans l'app.
- Une seule séance d'amélioration par batch, sur toutes les stations corrigées.
- Pas de push sans `--push`.
- Le dépôt en français, comme Diagnostic-App (le dépôt `detectors` reste en anglais).
## L'ordre de construction
1. Le dépôt (liens, `CLAUDE.md`), l'étape 1 et la figure ; un coup d'œil sur un jour réel.
2. Le scanner, sur ce jour ; on lit son rapport ensemble.
3. L'ajout au plugin, l'amélioration, la tâche VS Code.
## Laissé au constructeur
La mise en page de la figure, le nombre d'images de la caméra permises au scanner, le format exact d'une ligne du rapport.