Loop FLORIDA lot 01: modification 1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 18:19:23 +01:00
1 parent 4629434765
commit ec3d18e012
3 files changed
+103 -3

No files matched your search

@@ -0,0 +1,91 @@
# Lot 01 : modification 1
## Ce qui a changé
- `vues-deplacements/detectors/visibilite.py`, règle 1 (mesure « haute ») ajustée. Avant : `error_value > médiane + 10 MAD` **et** `> 2 × médiane`. Après : `> médiane + 10 MAD` **et** (`> 2 × médiane` **ou** rejetée, `> error_threshold`, et `> 1,2 × médiane`). Une cible dont le niveau habituel est de 0,6 ne double jamais : sa perte de visibilité ne pouvait pas être vue. La condition « rejetée » est désormais calculée une seule fois et sert aussi à la règle 4 (Target obscured), qui reste inchangée.
- Constante nouvelle `FACTEUR_REJET = 1.2` : elle écarte un capteur dont le niveau est au ras de son seuil (C24 de C-009 : niveau 0,68 pour un seuil de 0,7, rejeté à ×1,04 ; sans ce garde-fou, une `visibilite_reduite` à tort sur 19 capteurs le matin du mouvement de C-009). Toute valeur entre 1,1 et 1,3 donne le même résultat, sur le lot comme au benchmark.
- La docstring a été mise à jour (point 1, et une ligne FLORIDA dans « Résultats »), ainsi que le registre `vues-deplacements/contexte/seuils-du-journal.md` (ligne `FACTEUR_REJET`, réglée sur la boucle FLORIDA, lot 01).
## Pourquoi
S1 : les brouillards de FLORIDA (18/10 matin et nuit, 20-21/10, 23/10, 24-25/10) sortaient en `cible_masquee`, faute de capteurs « hauts » en nombre suffisant pour une Poor visibility. Les sauts de `corr` de ces épisodes n'étaient donc pas absorbés. Ils sortent maintenant en `visibilite_nulle`, et trois des cinq `saut_bref` en trop sont absorbés.
## Avant / après sur le lot
Avant :
```
2026-10-18T05:15Z → 2026-10-18T07:15Z cible_masquee grisé | visibilite | 3 capteurs | absorbés : —
2026-10-18T21:00Z → 2026-10-19T01:00Z cible_masquee grisé | visibilite | 3 capteurs | absorbés : —
2026-10-19T09:00Z → 2026-10-19T10:15Z trou gardé | trous | tous les capteurs | absorbés : —
2026-10-20T15:30Z → 2026-10-21T16:30Z cible_masquee grisé | visibilite | 4 capteurs | absorbés : —
2026-10-21T08:30Z → 2026-10-21T09:15Z visibilite_nulle grisé | visibilite | 3 capteurs | absorbés : sauts 10-16T10:45, sauts 10-16T11:15
2026-10-21T13:00Z → 2026-10-21T13:00Z saut_bref grisé | sauts | 2 capteurs | absorbés : —
2026-10-21T16:15Z → 2026-10-21T16:15Z saut_bref grisé | sauts | 1 capteurs | absorbés : —
2026-10-23T12:30Z → 2026-10-23T14:30Z saut_bref grisé | sauts | 4 capteurs | absorbés : —
2026-10-23T13:15Z → 2026-10-23T18:45Z cible_masquee grisé | visibilite | 3 capteurs | absorbés : —
2026-10-23T17:30Z → 2026-10-23T22:00Z saut_bref grisé | sauts | 1 capteurs | absorbés : —
2026-10-24T22:00Z → 2026-10-25T19:45Z cible_masquee grisé | visibilite | 5 capteurs | absorbés : —
2026-10-25T01:00Z → 2026-10-25T04:45Z visibilite_nulle grisé | visibilite | 2 capteurs | absorbés : —
2026-10-25T11:00Z → 2026-10-25T20:15Z saut_bref grisé | sauts | 1 capteurs | absorbés : —
```
Après :
```
2026-10-18T05:15Z → 2026-10-18T06:00Z visibilite_nulle grisé | visibilite | 5 capteurs | absorbés : sauts 10-16T10:45, sauts 10-16T11:15
2026-10-18T06:15Z → 2026-10-18T06:30Z visibilite_reduite gardé | visibilite | 2 capteurs | absorbés : —
2026-10-18T21:30Z → 2026-10-18T23:45Z visibilite_nulle grisé | visibilite | 4 capteurs | absorbés : —
2026-10-19T00:00Z → 2026-10-19T00:00Z visibilite_reduite gardé | visibilite | 1 capteurs | absorbés : —
2026-10-19T09:00Z → 2026-10-19T10:15Z trou gardé | trous | tous les capteurs | absorbés : —
2026-10-20T22:15Z → 2026-10-20T23:00Z visibilite_reduite gardé | visibilite | 2 capteurs | absorbés : visibilite 10-20T22:45
2026-10-20T22:30Z → 2026-10-21T15:15Z visibilite_nulle grisé | visibilite | 4 capteurs | absorbés : visibilite 10-20T23:15, visibilite 10-21T01:15, visibilite 10-21T13:15
2026-10-21T01:00Z → 2026-10-21T01:00Z visibilite_reduite gardé | visibilite | 2 capteurs | absorbés : —
2026-10-21T13:00Z → 2026-10-21T13:00Z visibilite_reduite gardé | visibilite | 4 capteurs | absorbés : sauts 10-21T13:00
2026-10-21T15:30Z → 2026-10-21T15:30Z visibilite_reduite gardé | visibilite | 1 capteurs | absorbés : —
2026-10-21T16:15Z → 2026-10-21T16:15Z saut_bref grisé | sauts | 1 capteurs | absorbés : —
2026-10-23T13:30Z → 2026-10-23T18:45Z cible_masquee grisé | visibilite | 1 capteurs | absorbés : —
2026-10-23T14:00Z → 2026-10-23T15:00Z visibilite_nulle grisé | visibilite | 6 capteurs | absorbés : sauts 10-23T12:30
2026-10-23T17:30Z → 2026-10-23T22:00Z saut_bref grisé | sauts | 1 capteurs | absorbés : —
2026-10-24T22:15Z → 2026-10-25T07:00Z visibilite_nulle grisé | visibilite | 4 capteurs | absorbés : —
2026-10-25T12:30Z → 2026-10-25T15:15Z visibilite_reduite gardé | visibilite | 2 capteurs | absorbés : sauts 10-25T11:00, visibilite 10-25T14:00, visibilite 10-25T14:45
2026-10-25T13:45Z → 2026-10-25T14:30Z visibilite_nulle grisé | visibilite | 4 capteurs | absorbés : visibilite 10-25T14:30
2026-10-25T15:30Z → 2026-10-25T18:45Z visibilite_nulle grisé | visibilite | 4 capteurs | absorbés : —
```
Ce qui a bougé : les cinq `cible_masquee` deviennent des `visibilite_nulle`, sauf un reste sur Sellette 4 le 23/10, de 13:30 à 18:45. Sur les cinq `saut_bref` en trop, trois sont absorbés (21/10 13:00, 23/10 12:30, 25/10 11:00) ; deux restent (21/10 16:15, 23/10 17:30). Ce qui a été perdu : les bornes. Les épisodes ne couvrent plus que les cœurs, où les cibles sont rejetées à 10 MAD. Le niveau « none »/« reduced », calculé mesure par mesure, alterne et les découpe en morceaux ; des `visibilite_reduite` d'une à quelques mesures apparaissent entre deux `visibilite_nulle`. Le trou et le reste n'ont pas changé.
## Score
Lot 01 de FLORIDA (seul lot de la station) :
```
avant après
à ignorer 1048/2212 (47 %) 1048/1053 (100 %) → 600/2212 (27 %) 600/609 (99 %)
prudence 0/604 (0 %) — → 0/604 (0 %) 0/26 (0 %)
cible_masquee 0/2 (0 %) 0/991 (0 %) → 0/2 (0 %) 0/22 (0 %)
saut_bref — 0/96 (0 %) → — 0/20 (0 %)
visibilite_nulle 44/2210 (2 %) 44/44 (100 %) → 574/2210 (26 %) 574/578 (99 %)
visibilite_reduite 0/604 (0 %) — → 0/604 (0 %) 0/44 (0 %)
```
La catégorie en cause monte : `visibilite_nulle` passe de 2 à 26 % de trouvées, justes à 99 %. La validité « à ignorer » baisse, de 47 à 27 % de trouvées : la `cible_masquee` d'avant grisait aussi ces mesures, sous une fausse catégorie et plus large (20/10 15:30 → 22:30 compris). Les épisodes de visibilité ne prennent que les cœurs, et ses creux en « reduced » ne sont pas grisés. Aucun événement n'est perdu ni signalé à tort ; seules les bornes reculent.
## Benchmark
```
C-005 toutes 209/537 (39 %) 209/220 (95 %) → 209/537 (39 %) 209/224 (93 %)
passage 44/53 (83 %) 44/46 (96 %) → 44/53 (83 %) 44/50 (88 %)
à ignorer 55/196 (28 %) 55/57 (96 %) → 55/196 (28 %) 55/61 (90 %)
total passage 48/404 (12 %) 48/55 (87 %) → 48/404 (12 %) 48/59 (81 %)
à ignorer 778/1878 (41 %) 778/7476 (10 %) → 778/1878 (41 %) 778/7480 (10 %)
```
C-005 : deux capteurs de plus dans les trains du 30/09 22:00 et du 01/10 12:00 (17 → 19 et 19 → 21 capteurs), les mêmes événements. Rien d'autre ne bouge ; C-004 inchangé (`a_verifier` 163/639, 163/523).
`grep -E '^total +toutes'` :
```
avant : total toutes 8838/17368 (51 %) 8838/16707 (53 %)
après : total toutes 8838/17368 (51 %) 8838/16711 (53 %)
```
## Pas corrigé
- **S2 (référence au-dessus de son seuil, non rejetée)** : r1_r et Pont Ernen, du 22/10 au 24/10, ne déclenchent toujours rien. Leur MAD sur l'export (0,15) est gonflé par la dégradation elle-même, ce qui met 10 MAD hors d'atteinte (au-delà de 1,6). Il faudrait une mesure « non vue » au seul seuil, sans comparaison à son propre niveau : c'est la version simple archivée (`archive/visibilite_simple.py`), écartée au point 11 (C-001, C-002, C-003 et C-004 reculaient). Une règle propre aux références n'y suffit pas non plus : Pont Ernen est une cible et la Poor visibility demande deux capteurs. Le suivi de la compensation par le `corr` d'une référence serait une règle nouvelle, pas courte. Ce point est laissé à l'utilisateur.
- **S1, en partie** : (a) les épisodes ne couvrent que les cœurs (rejets à 10 MAD). Le début du 20/10 (15:30 → 22:15, Sellette 4 et 5 rejetées entre 0,70 et 0,78) et les montées de l'`error_value` sous le seuil restent dehors. Descendre à 5 MAD (`K_CIBLE`) pour les rejets donnait 41 % sur le lot, mais le PA_9 de C-003 (Target obscured chaque matin) passait en `visibilite_reduite` à tort : écarté. (b) Le niveau calculé mesure par mesure (point 38) alterne « none »/« reduced » quand seules Sellette 4 et 5 sont rejetées (2 capteurs habituellement vus sur 6). Lisser ces creux en « none » (un creux de moins de 3 mesures entre deux « none ») donnait 32 % au lieu de 26 %, sans changer le benchmark. Je ne l'ai pas gardé : 7 lignes de plus pour 6 points. (c) La `cible_masquee` de Sellette 4 le 23/10 (13:30 → 18:45) reste, car ses rejets sont pour la plupart hors du cœur 14:00-15:00. (d) Deux `saut_bref` restent (21/10 16:15, 23/10 17:30). (e) Massif 2, Sellette 6, r1_r et Pont Ernen ne sont jamais « hauts » (niveau déjà au-dessus du seuil, ou MAD gonflé). Les épisodes comptent donc 4 à 6 capteurs, quand l'analyste en compte 8.
- **Trous d'un pas et Sellette 5 le 20/10 05:30** (mineurs, selon la critique) : non traités. `MISSING` vaut 2 pas, et deux rejets restent sous `CIBLE_MIN`.
## Nouveautés
- 2026-10-16T10:45Z → 2026-10-25T22:15Z et 2026-10-16T11:15Z → 2026-10-25T14:00Z : `sauts` sort sur Sellette 3 et sur Pont Ernen deux « Sudden jump, back to normal » de 9 jours. Ce sont les deux cibles jumelles d'une référence, au `corr` à 0 ± 0,0003 (la moindre bosse y fait des centaines de bruits). Une Poor visibility qui les chevauche les absorbe : ce sont les « absorbés : sauts 10-16T10:45, 10-16T11:15 » de la critique, absorbés avant par l'événement du 21/10 et maintenant par celui du 18/10. Non traité ici, la critique n'en fait pas une suggestion. À regarder au prochain lot : un capteur au bruit quasi nul, dans `sauts`.
## Difficultés
- L'arbre de travail contenait déjà, avant mon passage, des changements non commités hors de mon périmètre (`agents/diagnostic/outils/donnees.py`, `ensemble.py`, `inventaire.py`, `.claude/skills/lire-les-donnees/SKILL.md`, `docs/domaine/colonnes-des-deplacements.md`, `extraction/README.md`). `donnees.py` est le chargeur des détecteurs. Je n'y ai pas touché ; mes mesures avant et après ont tourné avec ces changements, donc elles sont comparables entre elles. Le benchmark avant a pu tourner sans eux : seul C-005 diffère, et l'écart s'explique par ma règle (vérifié en remettant l'ancienne `visibilite.py`). L'orchestrateur devra séparer ces fichiers de mon commit.
@@ -19,6 +19,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `CIBLE_MIN` | 3 | — |
| | `CIBLE_ECART` | 6 h | feuilles de C-005 (7 rejets en 12 h) |
| | `ECART` | 2,5 pas | gigue des horodatages |
| | `FACTEUR_REJET` | 1,2 | boucle FLORIDA, lot 01 : un rejet à 10 MAD est haut sans doubler (cibles au niveau 0,6) ; écarte C24 de C-009 (0,68, rejetée à ×1,04) |
| | `MOITIE` | 0,5 | niveau « none » (point 38) : NORDEND 09/10 23:00 (68 % rejetées) contre pluie de C-005 (24 à 33 %) |
| `sauts` | `K` | 20 bruits | C-001 (à 15, deux cibles saines grisées) ; ne pas baisser pour les trains, vus par `visibilite` (point 12) |
| | `K_PIC` | 6 bruits | pic d'un pas commun à plusieurs cibles : boucle NORDEND, lot 01 (secousses de toute l'image, 6 à 11 bruits) |
+11 -3
View File
@@ -1,7 +1,9 @@
"""Journal du matin : visibilité / taux d'erreur de reconnaissance (error_value), un épisode grisé par moment douteux.
Méthode (seuils provisoires ci-dessous) :
1. Mesure « haute » : error_value > médiane + 10 MAD et > 2 × médiane du capteur sur l'export (relatif au capteur, pas au seuil).
1. Mesure « haute » : error_value > médiane + 10 MAD du capteur sur l'export, et > 2 × médiane, ou rejetée (> error_threshold)
et > 1,2 × médiane : un capteur au niveau habituel de 0,6 ne double jamais, et FLORIDA (boucle, lot 01) montrait ses brouillards
en Target obscured.
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule),
sans référence (global_ref) parmi eux : un pic d'un pas qui touche les références n'est pas un obstacle devant des
cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré.
@@ -33,6 +35,9 @@ Résultats (2026-10-23 ; vérité : agents/diagnostic/cas/INDEX.md) :
(parois ruisselantes), 09.10 20:45 → 23:45 (17 rejets à 23:00, retour à 00:00), 13.10 09:45 → 10:30, 14.10 05:15 → 06:30
(taches pâles à l'aube) ; Brief obstruction 12.10 14:15 (09.10 18:45 touche CTR04 : plus montrée depuis le lot 01) ;
Target obscured surtout CTR01, PR04, PR09 (souvent rejetées) : à vérifier.
- FLORIDA (boucle, lot 01 ; cibles au niveau 0,6 pour un seuil de 0,7) : les brouillards du 18.10, du 20-21.10, du 23.10 et
du 24-25.10, avant en Target obscured, en Poor visibility (none et reduced en alternance, cœur seul : à 10 MAD) ; la référence
r1_r au-dessus de son seuil du 22.10 au 24.10 reste manquée (son MAD de 0,15 rend 10 MAD hors d'atteinte).
Version simple essayée le 2026-10-24 (point 11 du plan), à la demande de l'utilisateur : part des cibles rejetées au-dessus
de leur seuil, sans comparer chaque capteur à son propre niveau. Moins bonne sur cinq jeux sur six (buée de C-001 manquée,
@@ -59,6 +64,8 @@ COUPURE = timedelta(hours=2) # provisoire : accalmie qui sépare deux épisodes
SAILLIE = 3 # provisoire : un train ressort d'au moins 3 fois les instants voisins (C-005 : 5 à 17 contre 0 à 2 ;
# la toile de C-002 varie de 2 à 9 d'un pas à l'autre)
CIBLE_ECART = timedelta(hours=6) # provisoire, réglé sur C-005 (feuilles : 7 rejets en 12 h, jusqu'à 5 h d'écart)
FACTEUR_REJET = 1.2 # provisoire : un rejet à 10 MAD compte aussi (boucle FLORIDA, lot 01 : niveaux de 0,6, ×2 hors d'atteinte) ;
# écarte C24 de C-009 (niveau 0,68 au ras du seuil 0,7, rejeté à ×1,04)
MOITIE = 0.5 # provisoire : « on ne voit rien » ; réglé sur NORDEND (09.10 23:00 : 68 % rejetées) et C-005 (pluie : 24 à 33 %)
@@ -111,9 +118,10 @@ def detect(mesures):
x = m["error_value"]
if x is None:
continue
if x > med + K_MAD * mad and x > FACTEUR * med:
rejete = m["error_threshold"] and x > m["error_threshold"]
if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med):
hautes.setdefault(s, []).append(m["t"])
if s not in refs and m["error_threshold"] and x > m["error_threshold"] and x > med + K_CIBLE * mad:
if s not in refs and rejete and x > med + K_CIBLE * mad:
rejets.setdefault(s, []).append(m["t"])
par_t = {} # t -> {capteurs hauts}
for s, ts in hautes.items():