Loop NORDEND lot 01: modification 1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 15:37:54 +01:00
1 parent 2285de4190
commit 073cd387d4
4 files changed
+123 -5

No files matched your search

@@ -0,0 +1,89 @@
# Lot 01 : modification 1
## Ce qui a changé
- `vues-deplacements/journal/sauts.py`, nouvelle règle courte (point 6 de la docstring) : un **pic commun d'un pas**. Au même instant, au moins `PIC_MIN` cibles s'écartent d'au moins `K_PIC` bruits (leur propre bruit de mesure à mesure) de leurs deux mesures voisines, du même côté. Chacune reçoit alors un saut revenu, même sous `K`. Ces sauts entrent dans le groupement existant (`GAP`) : près d'un saut durable, ils ne grisent rien. Deux constantes nouvelles : `K_PIC` = 6 bruits et `PIC_MIN` = 3 cibles. `K` reste à 20. Fonction `_pics` (5 lignes) et 4 lignes dans `detect`.
- `vues-deplacements/journal/visibilite.py`, règle existante ajustée (point 2 de la docstring) : une « Brief obstruction » qui touche une référence (`global_ref`) n'est plus montrée. L'instant reste écarté des suites de « Poor visibility », comme avant. Pas de constante.
- `vues-deplacements/contexte/seuils-du-journal.md` : lignes `K_PIC` et `PIC_MIN` ajoutées sous `sauts`, réglées sur le lot 01 de la boucle NORDEND.
- Docstrings des deux détecteurs mises à jour : la méthode, plus les résultats sur les six jeux et sur ce lot.
## Pourquoi
- **S2** : à chaque secousse d'un pas de toute l'image, plusieurs cibles sautent ensemble de 6 à 11 fois leur bruit, puis reviennent. Ces pics restaient sans gris parce que `K` est absolu (20 bruits). On ne peut pas baisser `K` : à 15, deux cibles saines de C-001 sont déjà grisées. La règle juge donc le pic face au bruit de chaque cible, et seulement quand plusieurs cibles piquent au même pas, comme le propose S2.
- **Partie 3, « catégorie fausse »** : `passage` le 01/09 à 11:15. Le pic touche les références (CTR04 la plus forte), alors que la carte définit le passage par « références intactes ».
## Avant / après sur le lot
`python3 vues-deplacements/journal/categories.py out/pompage/NORDEND --du 2026-09-01 --au 2026-09-04 --tranche 4 2>&1`
Avant :
```
== 2026-09-01T00:00Z → 2026-09-04T00:00Z : 2
2026-09-01T11:15Z → 2026-09-01T11:15Z passage grisé | 10 capteurs | absorbés : —
2026-09-03T23:00Z → 2026-09-03T23:45Z visibilite_reduite gardé | 4 capteurs | absorbés : sauts 09-03T23:00
```
Après (aucune ligne `sauté`) :
```
== 2026-09-01T00:00Z → 2026-09-04T00:00Z : 5
2026-09-01T15:45Z → 2026-09-01T16:00Z saut_bref grisé | 5 capteurs | absorbés : —
2026-09-02T09:45Z → 2026-09-02T09:45Z saut_bref grisé | 3 capteurs | absorbés : —
2026-09-03T13:30Z → 2026-09-03T13:30Z saut_bref grisé | 3 capteurs | absorbés : —
2026-09-03T16:45Z → 2026-09-03T16:45Z saut_bref grisé | 4 capteurs | absorbés : —
2026-09-03T23:00Z → 2026-09-03T23:45Z visibilite_reduite gardé | 4 capteurs | absorbés : sauts 09-03T23:00
```
Lecture :
- Les secousses du 03/09 à 13:30 (PR15, PR12, PR16) et à 16:45 (PR14, PR07, PR18, PR08) sont grisées.
- Le faux passage de 11:15 a disparu.
- La visibilité réduite du 03/09 au soir est inchangée.
- Deux pics de plus tombent dans des moments que l'analyste a classés en cycle thermique : le 01/09 de 15:45 à 16:00 et le 02/09 à 09:45. Ce sont pourtant des secousses d'un pas du même genre. La médiane brute de tous les capteurs, références comprises, fait un pic d'un pas : `x` +0,17 px à 15:45 et −0,15 px à 16:00 ; `y` −0,54 px le 02/09 à 09:45, contre −0,39 px le 03/09 à 13:30. Aucune constante ne les sépare : `K_PIC` = 7 les écarterait sur ce lot, mais garderait le 03/09 à 13:30 de justesse, avec 3 cibles. Ce serait un réglage sur un seul lot.
Contrôle sur les six jeux de réglage (`categories.py` sur chacun, sortie avant et après comparée) :
- **C-001** : identique.
- **C-003** : les « passages » du 02/09 à 12:00 et du 03/09 à 08:15 ne sont plus montrés : ils touchaient R1 et R2, sous la turbulence grisée. Celui du 04/09 à 14:00 reste (véhicule vu, sans référence).
- **C-004** : les « passages » du 18/09 à 13:40 et du 20/09 à 06:20 ne sont plus montrés. Ils touchaient R1 à R3, et la fiche dit « aucune cause externe ». Le « Lasting shift » du mouvement est inchangé : ses pics du 19/09 à 06:30 et 06:50 restent dedans, non grisés.
- **C-005** : les quatre trains restent. Celui du 01/10 à 12:00 passe de 16 à 19 capteurs, car il absorbe le pic.
- **C-002** : la toile absorbe deux pics de plus.
- **NORDEND d'octobre** :
- le passage du 09/10 à 18:45, qui touchait CTR04, n'est plus montré ;
- un `saut_bref` de 3 cibles apparaît le 13/10 à 12:30 ;
- PR17 reste `a_verifier`, non grisé. Il est groupé avec le pic du 08/10 à 02:15, et l'événement passe de 1 à 3 capteurs : la phrase devient « 3 targets shifted; 1 of them stayed shifted ».
Sur le reste de l'export de septembre, hors lot (`--tranche 3`, rien d'étiqueté) :
- 9 « passages » disparaissent : tous touchaient CTR04 ;
- 5 `saut_bref` d'un pas apparaissent, de 3 à 5 cibles.
## Score
`python3 .claude/skills/boucle/score.py out/pompage/NORDEND`. Un seul lot étiqueté pour la station, aucun lot d'avant.
| lot-01 | trouvées avant → après | justes avant → après |
|---|---|---|
| à ignorer | 0/102 (0 %) → 7/102 (7 %) | 0/10 (0 %) → 7/20 (35 %) |
| passage | — → — | 0/10 (0 %) → — (plus rien de signalé) |
| saut_bref | 0/24 (0 %) → 7/24 (29 %) | — → 7/20 (35 %) |
Inchangés : prudence et visibilite_reduite (16/36, 16/16), cible_masquee (0/78), dilatation_thermique (0/251), contraction_thermique (0/50).
Les 13 cases signalées à tort sont celles des pics du 01/09 de 15:45 à 16:00 (10 cases) et du 02/09 à 09:45 (3), dans les moments thermiques de l'analyste (voir plus haut). Les 17 cases de saut bref encore manquées :
- au 03/09 à 13:30, PR01, PR08, PR09, PR11 et PR14 restent sous 6 bruits face à leurs deux voisines (PR01 5,7, PR09 5,2) ;
- PR07, rejetée à 13:30 (pas de `corr`) ;
- tout le pas de 13:45 (9 cibles) ;
- PR05 à 16:45 ;
- le saut de PR07 seule, le 03/09 à 09:00.
## Pas corrigé
- **S1, le reste quotidien de la bascule de la caméra (`thermique`)**, non traité. Le cycle est bien vu dans `corr` (8 cibles sur 19 répétées), mais le détecteur demande aussi la moitié des cibles et une sinusoïde de 24 h (ici 4 sur 19). Ce sont deux choix de l'utilisateur :
- point 13 du plan : la petite vague de `corr` de NORDEND n'est pas signalée, `PART` reste à 0,5, et on ne dit pas au client que la caméra bouge ;
- point 41 : le profil répété **et** la sinusoïde.
Suivre S1, c'est reconnaître le cycle sans la forme en vague, par cible et face au mouvement commun brut. Cela revient à défaire ces choix et à ajouter un mécanisme nouveau. C'est à l'utilisateur de décider, pas à une règle de la boucle.
- **Trous d'un ou deux pas** (01/09 à 01:00, 03/09 de 01:30 à 01:45) : `MISSING` = 2 est une consigne de l'utilisateur (2026-10-23). Non changé.
- **`cible_masquee` de CTR01 le 01/09** : 2 rejets, sous `CIBLE_MIN` = 3. L'analyste juge l'importance faible (référence locale, mesures déjà hors courbe). Non changé.
- **Saut de PR07 seule le 03/09 à 09:00** (10 bruits) : une seule cible, sous `K`. La règle du pic commun ne vise que plusieurs cibles. Non changé.
## Nouveautés
- Les secousses d'un pas de toute l'image ne sont pas réservées aux après-midi calmes. Elles sont nombreuses de jour, aussi pendant la bascule et le retour de la caméra : la médiane brute `y` fait souvent des allers-retours d'un pas de 0,3 à 0,5 px entre 08:00 et 14:00 (01, 02 et 03/09). Dans ces fenêtres, le pic d'une cible ne se distingue pas de celui d'une secousse « isolée ». Une étiquette « thermique » sur toute la fenêtre et une étiquette « saut bref » sur le pas se recouvrent donc forcément.
- Sur tout l'export de septembre de NORDEND, chaque « Brief obstruction » touche CTR04 : 11 instants, `visibilite.py` lancé en un seul passage. Ce sont des pics de toute l'image, pas des obstacles devant des cibles. Aucun ne ressemble aux trains de C-005, dont les références restent intactes.
## Difficultés
- S1 demande de reconnaître le cycle autrement que par la sinusoïde, ce qui revient sur des choix validés du plan (points 13 et 41). La consigne interdit les nouvelles catégories, mais ne dit pas quoi faire d'une suggestion qui contredit un choix déjà tranché par l'utilisateur. Je l'ai mise dans « Pas corrigé » plutôt que de la coder.
- `score.py` ne compte que les lots étiquetés de la boucle : ici ce seul lot, sans lot d'avant. Rien ne mesure un recul sur les cas C-001 à C-005, sur lesquels les seuils ont été réglés. J'ai comparé moi-même la sortie de `categories.py` sur les six jeux, avant et après.
- `CLAUDE.md` et `run.md` étaient déjà modifiés dans l'arbre de travail avant mon passage. Je n'y ai pas touché ; ils ne font pas partie de cette modification.
@@ -19,6 +19,8 @@ Registre au 2026-10-24 (point 17 du plan), vérifié contre le code.
| | `ECART` | 2,5 pas | gigue des horodatages |
| | `MOITIE` | 0,5 | niveau « none » (point 38) : NORDEND 09/10 23:00 (68 % rejetées) contre pluie de C-005 (24 à 33 %) |
| `sauts` | `K` | 20 bruits | C-001 (à 15, deux cibles saines grisées) ; ne pas baisser pour les trains, vus par `visibilite` (point 12) |
| | `K_PIC` | 6 bruits | pic d'un pas commun à plusieurs cibles : boucle NORDEND, lot 01 (secousses de toute l'image, 6 à 11 bruits) |
| | `PIC_MIN` | 3 cibles | boucle NORDEND, lot 01 (3 à 5 cibles par secousse) |
| | `BASE` | 4 mesures | 1 h à 15 min |
| | `GAP` | 1 h | — |
| | `BACK_H` | 24 h | C-002 (paliers jusqu'à 11 h 30) |
+21
View File
@@ -10,6 +10,9 @@
4. Les sauts qui se suivent à moins d'une heure, toutes cibles confondues, font un seul épisode (mode commun) ;
une seule cible durable (ou trop récente) suffit à ne pas griser l'épisode.
5. Références globales exclues ; mesures rejetées (corr vides) sautées.
6. Pic commun (lot 01 de la boucle NORDEND, 2026-10-26) : au même instant, au moins PIC_MIN cibles s'écartent d'au moins
K_PIC bruits de leurs deux mesures voisines, du même côté (toute l'image secouée un pas) : un saut revenu pour chacune,
même sous K. Il entre dans les épisodes du point 4 (près d'un saut durable, il ne grise rien).
Résultats (2026-10-23, K = 20) :
- C-001 PS des Coudres : rien (vérité : rien côté sauts).
@@ -26,6 +29,11 @@ Résultats (2026-10-23, K = 20) :
- NORDEND octobre : PR17 seule en « Lasting shift » le 08/10 02:30 ; cinq épisodes communs grisés (07/10 19:45,
08/10 07:15, 09/10 08:45 et 21:15, 14/10 05:15 : 4 à 15 cibles, aller-retour en moins de 5 h) ; PR15 08/10 04:45,
un instant grisé.
Pic commun (K_PIC = 6, PIC_MIN = 3, 2026-10-26) : NORDEND, lot du 01 au 04/09 : secousses du 03/09 13:30 (3 cibles) et
16:45 (4) grisées, aussi 01/09 15:45 → 16:00 et 02/09 09:45, mêmes secousses d'un pas pendant la bascule de la caméra ;
NORDEND octobre : un pic de 3 cibles le 13/10 12:30, et PR17 (08/10 02:30) groupé avec le pic de 02:15, « 3 targets,
1 stayed shifted », toujours non grisé ; C-002, C-005 : pics absorbés par la toile et les trains ; C-004 : les pics du
mouvement (19/09 06:30, 06:50) restent dans le « Lasting shift » ; C-001, C-003 : rien.
"""
import statistics
import sys
@@ -37,6 +45,8 @@ import donnees # noqa: E402
K = 20 # provisoire, réglé sur C-001 : à 15, deux cibles saines y sont grisées (17 et 18 bruits) ; les trains de
# C-005 (17 et 19 bruits) sont attrapés par visibilite : ne pas baisser K
K_PIC = 6 # provisoire : pic d'un pas commun à plusieurs cibles (secousses de NORDEND, 6 à 11 bruits, lot 01 de la boucle)
PIC_MIN = 3 # provisoire : cibles qui piquent au même pas pour un pic commun (une ou deux : bruit ordinaire)
BASE = 4 # mesures qui font le niveau d'avant (1 h à 15 min)
GAP = timedelta(hours=1) # deux sauts à moins d'une heure, toutes cibles confondues : un seul épisode
BACK_H = 24 # provisoire : retour en moins d'un jour = artefact (C-002 : paliers jusqu'à 11 h 30)
@@ -72,9 +82,17 @@ def _sauts(t, v):
return out
def _pics(t, v):
"""Instants où la mesure s'écarte d'au moins K_PIC bruits de ses deux voisines, du même côté (pic d'un pas)."""
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
return [t[i] for i in range(1, len(v) - 1) if noise and (v[i] - v[i - 1]) * (v[i] - v[i + 1]) > 0
and min(abs(v[i] - v[i - 1]), abs(v[i] - v[i + 1])) >= K_PIC * noise]
def detect(mesures):
"""{capteur: [mesure]} (donnees.charger) -> épisodes du journal, triés par début."""
found = [] # (début, fin, état, capteur)
pics = {} # instant -> cibles qui y font un pic d'un pas
for name, ms in mesures.items():
if donnees.est_reference(ms):
continue
@@ -85,6 +103,9 @@ def detect(mesures):
t, v = [m["t"] for m in kept], [m[axe] for m in kept]
# un saut qui n'est pas revenu finit avec lui-même, pas avec les données (sa barre cachait les autres)
found += [(t[a], t[b] if state == "back" else t[a], state, name) for a, b, state in _sauts(t, v)]
for u in _pics(t, v):
pics.setdefault(u, set()).add(name)
found += [(u, u, "back", s) for u, cs in pics.items() if len(cs) >= PIC_MIN for s in cs] # pic commun : revenu
groups = [] # un saut qui n'est pas revenu ne compte que par son instant : sa fin est souvent celle des données
for s, e, state, name in sorted(found):
if groups and s <= groups[-1]["until"] + GAP:
+11 -5
View File
@@ -2,7 +2,9 @@
Méthode (seuils provisoires ci-dessous) :
1. Mesure « haute » : error_value > médiane + 10 MAD et > 2 × médiane du capteur sur l'export (relatif au capteur, pas au seuil).
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule).
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule),
sans référence (global_ref) parmi eux : un pic d'un pas qui touche les références n'est pas un obstacle devant des
cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré.
3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants
où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées.
4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h
@@ -19,16 +21,18 @@ Résultats (2026-10-23 ; vérité : agents/diagnostic/cas/INDEX.md) :
- NORDEND juillet (C-002, toile 28.07 20:45 → 31.07 03:00, reprise 31.07 20:30) : Poor visibility 28.07 20:45 → 31.07 02:45 (20 capteurs)
et 31.07 20:30 → fin (18), références comprises.
- WILDSTRUBEL (C-003, turbulence de jour) : pas de Poor visibility (error_value ×1,5 à ×3 seulement : laissé au détecteur turbulence) ;
3 Brief obstruction de jour (02.09 12:00, 03.09 08:15, 04.09 14:00 : un véhicule sur la route à 14:00, image) ; PA_9 en
3 Brief obstruction de jour (02.09 12:00, 03.09 08:15, 04.09 14:00 : un véhicule sur la route à 14:00, image ; les deux
premières touchent des références et ne sont plus montrées depuis le lot 01 de la boucle NORDEND) ; PA_9 en
Target obscured chaque matin dès 04:30, jusqu'à 06:45, 08:15 ou 12:00 (soleil sur la cible, probable).
- CLARIDEN (C-004, mouvement réel) : rien sur le groupe à error_value durablement haute (bon) ; Brief obstruction 18.09 13:40
et 20.09 06:20 (tunnel : taches assombries, non établi) ; Target obscured PR-284 19.09 18:30 → 18:50.
et 20.09 06:20 (tunnel : taches assombries, non établi ; références touchées, plus montrées depuis le lot 01) ;
Target obscured PR-284 19.09 18:30 → 18:50.
- NIEDERHORN (C-005) : trains 30.09 22:00, 01.10 12:00 et 21:00, 02.10 21:00 (celui du 03.10 10:00, 2 cibles, manqué) ;
pluie 01.10 06:00 → 11:00 et 02.10 03:00 → 11:00 (vérité 05:00 et 03:00 → 11:00), références intactes ; feuilles 02.10 10:00 → 22:00.
- NORDEND octobre (cas/2026-10_NORDEND) : Poor visibility 07.10 17:15 → 08.10 12:15 (buée du 08.10 02:30), 09.10 07:45 → 14:00
(parois ruisselantes), 09.10 20:45 → 23:45 (17 rejets à 23:00, retour à 00:00), 13.10 09:45 → 10:30, 14.10 05:15 → 06:30
(taches pâles à l'aube) ; Brief obstruction 09.10 18:45 et 12.10 14:15 ; Target obscured surtout CTR01, PR04, PR09
(souvent rejetées) : à vérifier.
(taches pâles à l'aube) ; Brief obstruction 12.10 14:15 (09.10 18:45 touche CTR04 : plus montrée depuis le lot 01) ;
Target obscured surtout CTR01, PR04, PR09 (souvent rejetées) : à vérifier.
Version simple essayée le 2026-10-24 (point 11 du plan), à la demande de l'utilisateur : part des cibles rejetées au-dessus
de leur seuil, sans comparer chaque capteur à son propre niveau. Moins bonne sur cinq jeux sur six (buée de C-001 manquée,
@@ -124,6 +128,8 @@ def detect(mesures):
voisins = [n(instants[j]) for j in (i - 1, i + 1) if 0 <= j < len(instants)]
if n(t) >= BREF_MIN and n(t) >= SAILLIE * max(voisins):
brefs.add(t)
if par_t[t] & refs: # références touchées : pas un obstacle devant des cibles (carte : références intactes)
continue
out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came "
"back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))