Add the loop's end-of-session page and a detector benchmark on the case base
- End-of-session page for /boucle: the session's curves, the analyst's labels against the detectors' events per category, a plain score table and the benchmark (comparaison.py, D-066) - Detectors moved to vues-deplacements/detectors/ (D-067) - Detectors must detect everything; what the client sees is a separate layer (D-068) - Benchmark: each case keeps its labels from creation (etiquettes.json), benchmark.py scores the detectors on every case, history in vues-deplacements/benchmark/historique.csv; run by /boucle at each lot, after each change and at the end, read by the upgrader and validator; labels for C-001..C-005 from one analyst pass corrected by their files, C-006..C-008 from lot 01 (D-069) - Fixes from the releveur's notes: /boucle arguments and other sessions, branch name in the spec, detector name in categories.py output, learned case header, anonymiser.py (camera/, no empty CSVs, --etiquettes), ensemble.py (clock-aligned steps, title), plages.py (same-sign merge), labeling request written into /nouveau-cas - Also carries the other session's uncommitted D-065 edits in the same files; data/, .gitignore, pomper.py and stations.py are left out Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6b3d058a67
commit
d5bae7a696
57 files changed
+1727
-157
No files matched your search
@@ -4,7 +4,7 @@
|
||||
|
||||
**But :** une page `Journal` dans Explore, que le client lit comme le journal du matin : ses courbes de déplacement sur quelques jours et, dessous, **ce qui s'est passé**, une catégorie claire par événement, la zone invalidée quand il faut l'ignorer, et les images quand elles montrent la cause.
|
||||
|
||||
**Architecture :** des détecteurs élémentaires (un fichier chacun dans `vues-deplacements/journal/`) trouvent des épisodes dans l'export « advanced » ; un classement les regroupe en **événements catégorisés** (catégories de la carte des événements) ; chaque catégorie déclenche son **processus** (invalider la zone, montrer les images, demander une vérification) ; la maquette Explore (`vues-deplacements/maquette/`) les affiche. Plus tard : les données pompées en masse depuis la plateforme et une boucle où Claude critique et règle les détecteurs hors ligne.
|
||||
**Architecture :** des détecteurs élémentaires (un fichier chacun dans `vues-deplacements/detectors/`) trouvent des épisodes dans l'export « advanced » ; un classement les regroupe en **événements catégorisés** (catégories de la carte des événements) ; chaque catégorie déclenche son **processus** (invalider la zone, montrer les images, demander une vérification) ; la maquette Explore (`vues-deplacements/maquette/`) les affiche. Plus tard : les données pompées en masse depuis la plateforme et une boucle où Claude critique et règle les détecteurs hors ligne.
|
||||
|
||||
**Technique :** Python, bibliothèque standard pour le calcul ; plotly.js 4.1.1 (CDN) dans le gabarit HTML ; `.venv` (plotly, matplotlib) pour le poste de dev et les vignettes ; Chrome headless pour les captures.
|
||||
|
||||
@@ -27,7 +27,7 @@
|
||||
- **Seuils** : chacun est commenté « provisoire, réglé sur C-00x » (règle « aucun seuil sans source » du `CLAUDE.md`, adaptée à l'exploration) et inscrit au registre, `vues-deplacements/contexte/seuils-du-journal.md` (point 17).
|
||||
- **Identifiants** (`SIM_CCID`, `ip`, secrets de l'application) jamais recopiés ; ne jamais lire de `.env`.
|
||||
- **Lecture seule** : rien n'écrit dans la base de la plateforme ni dans les dépôts `~/monitoring-dashboard-*` ; Claude ne se connecte jamais à la base, l'utilisateur lance l'extraction.
|
||||
- **Contrat d'un détecteur** (inchangé) : `vues-deplacements/journal/<nom>.py` expose `detect(mesures) -> list[dict]`, `mesures = donnees.charger(dossier)` (`agents/diagnostic/outils/donnees.py`) ; épisode `{"start": iso, "end": iso, "kind": "<nom>", "label": str, "text": str, "ignore": bool, "sensors": [str]}` (heures `donnees.iso`, `sensors` vide = tous) ; un `__main__` qui imprime une ligne par épisode.
|
||||
- **Contrat d'un détecteur** (inchangé) : `vues-deplacements/detectors/<nom>.py` expose `detect(mesures) -> list[dict]`, `mesures = donnees.charger(dossier)` (`agents/diagnostic/outils/donnees.py`) ; épisode `{"start": iso, "end": iso, "kind": "<nom>", "label": str, "text": str, "ignore": bool, "sensors": [str]}` (heures `donnees.iso`, `sensors` vide = tous) ; un `__main__` qui imprime une ligne par épisode.
|
||||
- **Décisions** : une décision prise en conversation va dans `docs/decisions.md` (sous D-056 ou nouvelle entrée) ; un savoir métier nouveau dans `docs/displacement/domaine/` ; l'état du chantier dans « État et prochaine étape » de `CLAUDE.md` (qui doit rester sous 200 lignes, D-012).
|
||||
- **Commit** seulement quand l'utilisateur le demande.
|
||||
- **Cas de la base** : un cas n'y entre que sur demande de l'utilisateur (`/nouveau-cas`) ; noms codés dans `agents/diagnostic/cas/`.
|
||||
@@ -91,9 +91,12 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard |
|
||||
| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) |
|
||||
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, lancé le 2026-10-26 avec le point 27 |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, lancé le 2026-10-26 avec le point 27 ; `data/` hors de git, repompage à lancer (D-065) |
|
||||
| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard |
|
||||
| 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance |
|
||||
| 46 | La page de fin de séance : l'analyste face aux détecteurs | Coder | 31, 45 | codé le 2026-10-26 (D-066) ; à regarder après la prochaine séance |
|
||||
| 47 | Les détecteurs doivent tout détecter ; l'affichage à part | Décider, Coder | 13, 41, 45 | règle posée le 2026-10-26 (D-068) ; détecteurs à changer par la boucle ; couche d'affichage à faire |
|
||||
| 48 | Un benchmark des détecteurs sur la base de cas | Décider, Coder | 45, 46 | construit le 2026-10-26 (D-069) ; étiquettes de C-001 à C-005 à relire par l'utilisateur |
|
||||
| | **VII. Idées gardées pour plus tard** | | | |
|
||||
| 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente |
|
||||
| 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente |
|
||||
@@ -145,10 +148,10 @@ Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilit
|
||||
| `turbulence.py` (106 l) | agitation d'une mesure à l'autre **et** `error_value`, face au calme du capteur | `Heat shimmer` | si agitation ≥ 2× | C-003 (04:00-15:00, les trois jours) | rien ailleurs ; marge faible sur le matin de CLARIDEN (point 14) |
|
||||
| `trous.py` (37 l) | cadence de l'export | `No data` | jamais | NORDEND 15/10 22:30 → 16/10 01:15 | — |
|
||||
|
||||
- Chargement : `explore.py` charge tous les `vues-deplacements/journal/*.py` qui ont `detect` (un fichier sans `detect` est ignoré ; un détecteur qui plante est sauté avec un message).
|
||||
- Chargement : `explore.py` charge tous les `vues-deplacements/detectors/*.py` qui ont `detect` (un fichier sans `detect` est ignoré ; un détecteur qui plante est sauté avec un message).
|
||||
|
||||
**Étapes.**
|
||||
- [x] Lancer chaque détecteur seul sur un jeu qu'il connaît bien (`python3 vues-deplacements/journal/<nom>.py <dossier>`) et montrer sa sortie à l'utilisateur, une ligne par épisode.
|
||||
- [x] Lancer chaque détecteur seul sur un jeu qu'il connaît bien (`python3 vues-deplacements/detectors/<nom>.py <dossier>`) et montrer sa sortie à l'utilisateur, une ligne par épisode.
|
||||
- [x] Pour chaque détecteur, lui dire en une phrase ce qu'il regarde et la principale erreur connue (tableau ci-dessus).
|
||||
|
||||
**Fini quand.** L'utilisateur sait quel point de la partie III ouvrir pour chaque défaut qu'il voit.
|
||||
@@ -240,22 +243,22 @@ Précision de l'utilisateur, le même soir : le gros saut, c'est généralement
|
||||
**Pourquoi.** Une seule étiquette par moment, la catégorie et non le nom du détecteur.
|
||||
|
||||
**Fichiers.**
|
||||
- Créer : `vues-deplacements/journal/categories.py` (pas de fonction `detect` : le chargeur l'ignore comme détecteur).
|
||||
- Créer : `vues-deplacements/detectors/categories.py` (pas de fonction `detect` : le chargeur l'ignore comme détecteur).
|
||||
- Modifier : `vues-deplacements/maquette/explore.py` (`journal()` l. 172-185 déménage dans `categories.py` ; `build()` appelle `categories.evenements(mesures)`).
|
||||
|
||||
**Interfaces.**
|
||||
- `CATEGORIES: dict[str, dict]` : clé → `{"label": str, "ignore": bool, "process": "images" | "aucun" | "verifier", "ordre": int}`, recopié du tableau validé au point 5.
|
||||
- `detecteurs() -> list[module]` : les modules de `vues-deplacements/journal/*.py` qui ont `detect` (le code actuel de `explore.journal`, déplacé tel quel).
|
||||
- `detecteurs() -> list[module]` : les modules de `vues-deplacements/detectors/*.py` qui ont `detect` (le code actuel de `explore.journal`, déplacé tel quel).
|
||||
- `classer(episodes: list[dict], references: set[str]) -> list[dict]` : événements triés par `start`, chacun `{"start", "end", "category", "label", "text", "ignore", "sensors", "process", "episodes": [épisodes absorbés ou d'origine]}` ; `references` = capteurs `global_ref` (pour la phrase : « including the reference points »).
|
||||
- `evenements(mesures) -> list[dict]` : `classer` appliqué aux épisodes de tous les détecteurs ; c'est ce que la page reçoit dans `D.journal`.
|
||||
- `__main__` : `python3 vues-deplacements/journal/categories.py <dossier>` imprime une ligne par événement : début, fin, catégorie, grisé ou non, nombre de capteurs, nombre d'épisodes absorbés. C'est aussi l'outil de tri du point 30.
|
||||
- `__main__` : `python3 vues-deplacements/detectors/categories.py <dossier>` imprime une ligne par événement : début, fin, catégorie, grisé ou non, nombre de capteurs, nombre d'épisodes absorbés. C'est aussi l'outil de tri du point 30.
|
||||
|
||||
**Étapes.**
|
||||
- [x] Écrire `CATEGORIES` depuis le tableau du point 5 et la table de correspondance (`kind`, `label` du détecteur) → catégorie.
|
||||
- [x] Déplacer le chargement de `explore.journal()` dans `categories.detecteurs()` ; `explore.build()` met `categories.evenements(mesures)` dans `D.journal` ; garder les épisodes bruts dans `D.episodes` pour la couche support (point 23).
|
||||
- [x] Écrire `classer` : correspondance, puis absorption (chevauchement dans le temps), puis fusion des voisins de même catégorie (< 1 h).
|
||||
- [x] Laisser `text` provisoire (celui de l'épisode principal) : les phrases viennent au point 9.
|
||||
- [x] Lancer `python3 vues-deplacements/journal/categories.py vues-deplacements/cas/2026-10_NORDEND/NORDEND` : le 14/10 à 05:15, une seule ligne `visibilite_perdue` avec un épisode `sauts` absorbé ; le 08/10 à 02:30, une ligne `a_verifier` (PR17), à part.
|
||||
- [x] Lancer `python3 vues-deplacements/detectors/categories.py vues-deplacements/cas/2026-10_NORDEND/NORDEND` : le 14/10 à 05:15, une seule ligne `visibilite_perdue` avec un épisode `sauts` absorbé ; le 08/10 à 02:30, une ligne `a_verifier` (PR17), à part.
|
||||
- [x] Lancer sur `data/CLARIDEN` : le 19/09 à 06:10, `a_verifier`, non grisé.
|
||||
|
||||
**Fini quand.** Les deux contrôles ci-dessus passent ; la page se construit encore (annexe B).
|
||||
@@ -403,7 +406,7 @@ Restent, comme prévu, pour d'autres points : « Target hidden » grise toutes l
|
||||
- [x] Un statut de visibilité du jour dans la vue client et chez le support : maintenant ou plus tard ?
|
||||
|
||||
**Fichiers.**
|
||||
- Modifier : `vues-deplacements/journal/visibilite.py` (version simple du point 11) : les épisodes portent un niveau ; contrat d'épisode : champ facultatif `"level": "reduced" | "none"` (les autres détecteurs ne le mettent pas).
|
||||
- Modifier : `vues-deplacements/detectors/visibilite.py` (version simple du point 11) : les épisodes portent un niveau ; contrat d'épisode : champ facultatif `"level": "reduced" | "none"` (les autres détecteurs ne le mettent pas).
|
||||
- Modifier : `vues-deplacements/maquette/explore_template.html` : une bande de statut sous les courbes du Journal, au-dessus de la frise.
|
||||
|
||||
**Étapes.**
|
||||
@@ -435,13 +438,13 @@ Chaque point : on le règle sur les cas, on relance les six jeux, on met à jour
|
||||
- Risque connu : la buée de C-001 reste **sous le seuil** des références ; c'est pour cela que la v0 compare chaque capteur à son propre niveau. La version simple la manquera peut-être : le mesurer et le dire à l'utilisateur, qui tranche (simple et imparfait d'abord, selon sa règle).
|
||||
|
||||
**Étapes.**
|
||||
- [x] Mettre la v0 de côté : la copier dans `vues-deplacements/journal/archive/visibilite_v0.py` (le chargeur ne lit que `journal/*.py`, pas les sous-dossiers).
|
||||
- [x] Réécrire `vues-deplacements/journal/visibilite.py` en version simple, même contrat, labels du point 9.
|
||||
- [x] Mettre la v0 de côté : la copier dans `vues-deplacements/detectors/archive/visibilite_v0.py` (le chargeur ne lit que `detectors/*.py`, pas les sous-dossiers).
|
||||
- [x] Réécrire `vues-deplacements/detectors/visibilite.py` en version simple, même contrat, labels du point 9.
|
||||
- [x] Lancer les six jeux ; un tableau v0 contre version simple, face à la vérité du point 10 : ce que la simple attrape, ce qu'elle manque (C-001, le train à 2 cibles, les feuilles, les obstructions de WILDSTRUBEL).
|
||||
- [x] Montrer le tableau à l'utilisateur ; garder la simple si elle suffit à ses yeux, sinon ne reprendre de la v0 que ce qui manque. Choix de l'utilisateur le 2026-10-24 : **la v0 reste en service** (`journal/visibilite.py`), la simple est gardée dans `journal/archive/visibilite_simple.py`.
|
||||
- [x] Montrer le tableau à l'utilisateur ; garder la simple si elle suffit à ses yeux, sinon ne reprendre de la v0 que ce qui manque. Choix de l'utilisateur le 2026-10-24 : **la v0 reste en service** (`detectors/visibilite.py`), la simple est gardée dans `detectors/archive/visibilite_simple.py`.
|
||||
- [x] Docstring (méthode et résultats) et registre du point 17 à jour. La docstring de la v0 dit l'essai et son résultat ; le registre ne change pas (constantes de la v0 ; celles de la simple restent dans l'archive).
|
||||
|
||||
**La v0, pour mémoire** (de nouveau dans `journal/visibilite.py` depuis le choix du 2026-10-24) : mesure « haute » = `error_value` > médiane + `K_MAD` (10) MAD **et** > `FACTEUR` (2) × médiane du capteur, sur tout l'export ; `Brief obstruction` si ≥ `BREF_MIN` (3) capteurs hauts à un instant, `SAILLIE` (3) fois plus qu'aux instants voisins ; `Poor visibility` : suites d'au moins `SUITE_MIN` (3) mesures hautes, réunies entre capteurs (≥ 2), réduites aux instants où ≥ `FRAC` (15 %) du pic est haut, coupées par une accalmie de `COUPURE` (2 h) ; `Target obscured` : une cible rejetée et à plus de `K_CIBLE` (5) MAD, au moins `CIBLE_MIN` (3) fois à moins de `CIBLE_ECART` (6 h) ; `ECART` 2,5 pas entre deux mesures d'une suite. Ses défauts connus, à ne corriger que si l'on en garde des morceaux :
|
||||
**La v0, pour mémoire** (de nouveau dans `detectors/visibilite.py` depuis le choix du 2026-10-24) : mesure « haute » = `error_value` > médiane + `K_MAD` (10) MAD **et** > `FACTEUR` (2) × médiane du capteur, sur tout l'export ; `Brief obstruction` si ≥ `BREF_MIN` (3) capteurs hauts à un instant, `SAILLIE` (3) fois plus qu'aux instants voisins ; `Poor visibility` : suites d'au moins `SUITE_MIN` (3) mesures hautes, réunies entre capteurs (≥ 2), réduites aux instants où ≥ `FRAC` (15 %) du pic est haut, coupées par une accalmie de `COUPURE` (2 h) ; `Target obscured` : une cible rejetée et à plus de `K_CIBLE` (5) MAD, au moins `CIBLE_MIN` (3) fois à moins de `CIBLE_ECART` (6 h) ; `ECART` 2,5 pas entre deux mesures d'une suite. Ses défauts connus, à ne corriger que si l'on en garde des morceaux :
|
||||
- `Target obscured` est la sortie la plus bruitée : à NORDEND d'octobre, CTR01, PR04 et PR09, souvent rejetées, donnent des épisodes jusqu'à un jour ; l'image du 13/10 à 20:00 paraît normale ;
|
||||
- le train du 03/10 10:00 (C-005, 2 cibles) est manqué (`BREF_MIN` = 3) ;
|
||||
- la pluie du 01/10 commence à 06:00 contre 05:00 dans la vérité ;
|
||||
@@ -451,7 +454,7 @@ Chaque point : on le règle sur les cas, on relance les six jeux, on met à jour
|
||||
|
||||
**Fini quand.** L'utilisateur a choisi entre la version simple et la v0, sur le tableau des six jeux.
|
||||
|
||||
**Essai du 2026-10-24.** v0 déplacée (`git mv`) dans `journal/archive/visibilite_v0.py`, toujours lançable ; version simple écrite dans `journal/visibilite.py` : une cible est rejetée au-dessus de son seuil ; seules comptent les cibles vues au moins la moitié du temps (PM_G à PS des Coudres, sept références « e » à NIEDERHORN, rejetées 100 % du temps, sont écartées) ; `Poor visibility` quand au moins `NIVEAU` des cibles sont rejetées sur deux mesures ou plus (une mesure basse tolérée entre deux hautes), `Brief obstruction` sur une seule, `Target obscured` quand une cible est rejetée la plupart du temps (au moins la moitié de ses mesures) au moins 3 fois à moins de 6 h, la station voyant clair. `NIVEAU` balayé de 0,15 à 0,3 face à 18 instants de vérité : 0,2 est le meilleur.
|
||||
**Essai du 2026-10-24.** v0 déplacée (`git mv`) dans `detectors/archive/visibilite_v0.py`, toujours lançable ; version simple écrite dans `detectors/visibilite.py` : une cible est rejetée au-dessus de son seuil ; seules comptent les cibles vues au moins la moitié du temps (PM_G à PS des Coudres, sept références « e » à NIEDERHORN, rejetées 100 % du temps, sont écartées) ; `Poor visibility` quand au moins `NIVEAU` des cibles sont rejetées sur deux mesures ou plus (une mesure basse tolérée entre deux hautes), `Brief obstruction` sur une seule, `Target obscured` quand une cible est rejetée la plupart du temps (au moins la moitié de ses mesures) au moins 3 fois à moins de 6 h, la station voyant clair. `NIVEAU` balayé de 0,15 à 0,3 face à 18 instants de vérité : 0,2 est le meilleur.
|
||||
|
||||
| Jeu | v0 | Simple (`NIVEAU` 0,2) |
|
||||
|---|---|---|
|
||||
@@ -466,7 +469,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
|
||||
### Point 12 : `sauts` : régler
|
||||
|
||||
**Ce qui existe.** `vues-deplacements/journal/sauts.py` : bruit = médiane des écarts d'une mesure à la suivante ; saut = mesure à ≥ `K` (20) bruits de la médiane des `BASE` (4) mesures d'avant ; revenu si `BASE` mesures de suite à moins de la moitié du saut en moins de `BACK_H` (24 h), ou si le jour d'après la cible est à sa place habituelle (premier jour de l'export) ou à celle de la veille ; sauts à moins de `GAP` (1 h) toutes cibles confondues = un épisode ; une seule cible durable suffit à ne pas griser. Depuis le 2026-10-23, un saut non revenu finit avec lui-même (sa barre couvrait la ligne).
|
||||
**Ce qui existe.** `vues-deplacements/detectors/sauts.py` : bruit = médiane des écarts d'une mesure à la suivante ; saut = mesure à ≥ `K` (20) bruits de la médiane des `BASE` (4) mesures d'avant ; revenu si `BASE` mesures de suite à moins de la moitié du saut en moins de `BACK_H` (24 h), ou si le jour d'après la cible est à sa place habituelle (premier jour de l'export) ou à celle de la veille ; sauts à moins de `GAP` (1 h) toutes cibles confondues = un épisode ; une seule cible durable suffit à ne pas griser. Depuis le 2026-10-23, un saut non revenu finit avec lui-même (sa barre couvrait la ligne).
|
||||
|
||||
**Défauts connus.**
|
||||
- `K` = 20 : à 15, on attrape les trois cibles du train de NIEDERHORN (17 et 19 bruits) mais deux cibles saines de PS des Coudres sont grisées (17 et 18 bruits) ; aucun seuil ne sépare proprement les deux.
|
||||
@@ -487,7 +490,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
|
||||
### Point 13 : `thermique` : ce que voit vraiment le client
|
||||
|
||||
**Ce qui existe.** `vues-deplacements/journal/thermique.py`, sur `corr_x`, `corr_y` par cible : profil horaire sur les jours UTC d'au moins `HEURES_MIN` (20) heures ; un axe a un cycle si chaque jour ressemble aux autres (corrélation ≥ `REPRO`, 0,6) ; cycle de la station si ≥ `PART` (la moitié) des cibles ; heures chaudes = écart au niveau de nuit (`NUIT`, 8 heures les plus plates) ≥ `CHAUD` (0,3) × amplitude ; un épisode par jour complet qui ressemble aux autres (≥ `JOUR`, 0,5).
|
||||
**Ce qui existe.** `vues-deplacements/detectors/thermique.py`, sur `corr_x`, `corr_y` par cible : profil horaire sur les jours UTC d'au moins `HEURES_MIN` (20) heures ; un axe a un cycle si chaque jour ressemble aux autres (corrélation ≥ `REPRO`, 0,6) ; cycle de la station si ≥ `PART` (la moitié) des cibles ; heures chaudes = écart au niveau de nuit (`NUIT`, 8 heures les plus plates) ≥ `CHAUD` (0,3) × amplitude ; un épisode par jour complet qui ressemble aux autres (≥ `JOUR`, 0,5).
|
||||
|
||||
**La découverte.** Le cycle jour / nuit est dans les **positions brutes** de presque toutes les stations (NORDEND de juillet 1,8 px, WILDSTRUBEL 3,2 px, NIEDERHORN 4,6 px, NORDEND d'octobre 0,78 px), en mode commun (caméra ou mât qui se courbe), et la **compensation l'enlève**. Seule PS des Coudres le garde dans `corr` (11 cibles sur 11, 0,17 px, jusqu'à 0,5 à 0,9 px en `corr_y` sur BJ, PBJ et PM, 08:00 → 18:00, même forme que dans les positions brutes : les cibles bougent vraiment par rapport aux références, par dilatation de l'ouvrage ou compensation partielle, non tranché). NORDEND d'octobre garde un petit cycle (9 cibles sur 19, 0,02 px, soit environ 1 mm avec 55,5 mm/px, juste sous le seuil ; à `PART` = 0,4 : 8 épisodes, sans les 08 et 09/10, jours couverts et du saut de PR17). CLARIDEN n'a aucun cycle sur 3 jours, même brut (non expliqué).
|
||||
|
||||
@@ -505,7 +508,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
|
||||
### Point 14 : `turbulence` : midis agités et marge de CLARIDEN
|
||||
|
||||
**Ce qui existe.** `vues-deplacements/journal/turbulence.py` : par capteur et par heure, agitation = médiane de |Δ`corr_x`| + |Δ`corr_y`| sur 3 h, et médiane de l'`error_value`, rapportées au quartile bas du capteur ; heure turbulente si ≥ `PART` (la moitié) des capteurs ≥ `RATIO` (1,5) × leur calme **et** `error_value` médiane ≥ `RATIO_ERR` (1,5) × la calme ; épisode d'au moins `DUREE_MIN` (3 h), écarté si plus de `REJET_MAX` (15 %) de rejets (c'est alors de la mauvaise visibilité) ; grisé si agitation ≥ `FORT` (2×). Résultat : WILDSTRUBEL seule, trois jours, ×2,3 à ×2,6, tous grisés ; rien ailleurs. Sans le critère `error_value`, faux positifs partout (8 épisodes à PS des Coudres, 14 à NORDEND d'octobre).
|
||||
**Ce qui existe.** `vues-deplacements/detectors/turbulence.py` : par capteur et par heure, agitation = médiane de |Δ`corr_x`| + |Δ`corr_y`| sur 3 h, et médiane de l'`error_value`, rapportées au quartile bas du capteur ; heure turbulente si ≥ `PART` (la moitié) des capteurs ≥ `RATIO` (1,5) × leur calme **et** `error_value` médiane ≥ `RATIO_ERR` (1,5) × la calme ; épisode d'au moins `DUREE_MIN` (3 h), écarté si plus de `REJET_MAX` (15 %) de rejets (c'est alors de la mauvaise visibilité) ; grisé si agitation ≥ `FORT` (2×). Résultat : WILDSTRUBEL seule, trois jours, ×2,3 à ×2,6, tous grisés ; rien ailleurs. Sans le critère `error_value`, faux positifs partout (8 épisodes à PS des Coudres, 14 à NORDEND d'octobre).
|
||||
|
||||
**Points ouverts.**
|
||||
- Midis agités sans hausse de l'`error_value` à PS des Coudres et NORDEND d'octobre (50 à 100 % des capteurs un peu plus agités à midi) : turbulence légère à signaler, ou rien ?
|
||||
@@ -524,7 +527,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
|
||||
### Point 15 : `trous` : libellé et sens
|
||||
|
||||
**Ce qui existe.** `vues-deplacements/journal/trous.py` : cadence = écart médian entre instants de mesure ; trou si plus de `MISSING` (2) pas manquent ; label « No data », jamais grisé ; le texte dit que l'export n'a rien, pas que la station était arrêtée (règle : un trou n'est pas une coupure).
|
||||
**Ce qui existe.** `vues-deplacements/detectors/trous.py` : cadence = écart médian entre instants de mesure ; trou si plus de `MISSING` (2) pas manquent ; label « No data », jamais grisé ; le texte dit que l'export n'a rien, pas que la station était arrêtée (règle : un trou n'est pas une coupure).
|
||||
|
||||
**Étapes.**
|
||||
- [x] Harmoniser le label avec le point 9 (« No data » ou « Data gap »). Déjà fait aux points 5 et 6 : « No data » partout.
|
||||
@@ -539,7 +542,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
**Pourquoi.** La carte (section 3) et le vocal de l'utilisateur en citent : « plus assez de références, il y a un peu tout qui bouge », la dérive lente, la neige, l'éclairage.
|
||||
|
||||
**Pistes, de la plus simple à la plus dure** (une à la fois, sur demande) :
|
||||
- [x] **Dérive lente** (`Slow drift`, à vérifier) : fait le 2026-10-24, autrement que prévu : pas de fichier `derive.py` (la tendance se calcule sur l'export horaire, hors du contrat `detect(mesures)`), mais les tendances déjà calculées par l'onglet `Displacements` reprises par `explore.build` en événements `derive_lente`, jamais grisés, en trait rouge fin dans la frise ; NORDEND d'octobre : « PR06 drifts slowly and steadily: +0.7 mm in 10 days. Keep watching it. » (6 → 15/10) ; aucune tendance sur les cinq autres jeux. Texte d'origine : réutiliser `find_trend` de `vues-deplacements/maquette/explore.py` (Theil-Sen et tau de Kendall sur les niveaux journaliers de l'export horaire, 5 jours au moins, D-055) dans un détecteur `vues-deplacements/journal/derive.py` ; tendance de PR06 à NORDEND d'octobre (+0,7 mm en 10 jours) comme contrôle.
|
||||
- [x] **Dérive lente** (`Slow drift`, à vérifier) : fait le 2026-10-24, autrement que prévu : pas de fichier `derive.py` (la tendance se calcule sur l'export horaire, hors du contrat `detect(mesures)`), mais les tendances déjà calculées par l'onglet `Displacements` reprises par `explore.build` en événements `derive_lente`, jamais grisés, en trait rouge fin dans la frise ; NORDEND d'octobre : « PR06 drifts slowly and steadily: +0.7 mm in 10 days. Keep watching it. » (6 → 15/10) ; aucune tendance sur les cinq autres jeux. Texte d'origine : réutiliser `find_trend` de `vues-deplacements/maquette/explore.py` (Theil-Sen et tau de Kendall sur les niveaux journaliers de l'export horaire, 5 jours au moins, D-055) dans un détecteur `vues-deplacements/detectors/derive.py` ; tendance de PR06 à NORDEND d'octobre (+0,7 mm en 10 jours) comme contrôle.
|
||||
- [x] **Références masquées** (« plus assez de références, tout bouge ») : couvert, sans catégorie à part (utilisateur, 2026-10-24) : la phrase de la perte de visibilité dit « including the reference targets » (point 38) et les sauts communs y sont absorbés. Texte d'origine : un épisode `visibilite` qui touche des `global_ref` **et** un saut commun de nombreuses cibles qui revient (C-002) ; catégorie à part ou phrase de `visibilite_perdue` ; à décider avec l'utilisateur. Règles du projet : ne rien construire sur `inlier` binaire ; `sigma0` seul et le nombre de références ne suffisent jamais.
|
||||
- [x] **Tout a bougé** contre **références masquées** : remis, impossible sur les mesures seules (2026-10-24). Texte d'origine : impossible sur les mesures seules (Barcelone, `docs/displacement/domaine/incident-de-barcelone.md`) ; reste `a_verifier`, avec les images.
|
||||
- [x] **Éclairage, voisin trop brillant** : remis à plus tard, en attente d'un cas de l'utilisateur (2026-10-24). Texte d'origine : créneaux jour / nuit sur une ou quelques cibles (C-003) ; à essayer seulement si l'utilisateur apporte un cas.
|
||||
@@ -555,7 +558,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
|
||||
**Étapes.**
|
||||
- [x] Trancher avec l'utilisateur : la sinusoïde remplace-t-elle la méthode actuelle de `thermique.py` (profil horaire répété), ou s'y ajoute-t-elle ?
|
||||
- [x] Coder dans `vues-deplacements/journal/thermique.py` : cycle de la station si la plupart des cibles ont un R² au-dessus d'un seuil (provisoire, registre du point 17) ; un épisode par demi-vague, montée « Thermal expansion », descente « Thermal contraction », ou un épisode par jour (à trancher) ; données gardées, non grisées.
|
||||
- [x] Coder dans `vues-deplacements/detectors/thermique.py` : cycle de la station si la plupart des cibles ont un R² au-dessus d'un seuil (provisoire, registre du point 17) ; un épisode par demi-vague, montée « Thermal expansion », descente « Thermal contraction », ou un épisode par jour (à trancher) ; données gardées, non grisées.
|
||||
- [x] Catégorie et phrase : la catégorie `cycle_thermique` devient l'effet périodique (carte, section 4 ; phrase à valider, par exemple « The structure expands in the day heat and contracts at night: this daily wave is normal. »).
|
||||
- [x] Vérifier sur les six jeux : PS des Coudres trouvé, CLARIDEN et NORDEND d'octobre rien, NIEDERHORN expliqué ; capture.
|
||||
- [ ] Quand des données à grosses vagues arriveront (pompage, partie VI, ou le projet dont l'utilisateur se souvient), les essayer en premier.
|
||||
@@ -573,7 +576,7 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL
|
||||
**Étapes.**
|
||||
- [x] Recopier ce registre dans `vues-deplacements/contexte/seuils-du-journal.md` et le tenir à jour à chaque point de la partie III.
|
||||
|
||||
**Fini quand.** Le fichier existe et colle au code (`grep -n '# provisoire' vues-deplacements/journal/*.py`).
|
||||
**Fini quand.** Le fichier existe et colle au code (`grep -n '# provisoire' vues-deplacements/detectors/*.py`).
|
||||
|
||||
---
|
||||
|
||||
@@ -780,13 +783,13 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
|
||||
**Interfaces.**
|
||||
- Consomme : `categories.evenements(mesures)` (point 6) ; `donnees.filtrer(mesures, debut, fin)`.
|
||||
- Produit : `python3 vues-deplacements/journal/categories.py <dossier> [--du AAAA-MM-JJ --au AAAA-MM-JJ] [--tranche 3]` : une table par tranche (début, fin, catégorie, grisé, capteurs, épisodes absorbés), plus une ligne « rien » pour les tranches calmes.
|
||||
- Produit : `python3 vues-deplacements/detectors/categories.py <dossier> [--du AAAA-MM-JJ --au AAAA-MM-JJ] [--tranche 3]` : une table par tranche (début, fin, catégorie, grisé, capteurs, épisodes absorbés), plus une ligne « rien » pour les tranches calmes.
|
||||
|
||||
**Étapes.**
|
||||
- [x] Ajouter `--du`, `--au`, `--tranche` (jours, défaut 3) au `__main__` de `categories.py` ; chaque tranche est classée seule (comme le verrait le client un matin). Fait avec `--tranche` sans valeur par défaut (sans elle, un seul passage, l'usage documenté ailleurs), plus `--historique` (voir plus bas).
|
||||
- [x] Lancer sur NORDEND d'octobre en tranches de 3 jours ; comparer à un seul passage sur 11 jours : noter ce qui change (point d'attention 5).
|
||||
|
||||
**Fait le 2026-10-24.** `python3 vues-deplacements/journal/categories.py <dossier> --tranche 3 [--historique 3] [--du AAAA-MM-JJ --au AAAA-MM-JJ]` : un en-tête par tranche (« == début → fin : n » ou « rien »), puis une ligne par événement comme avant ; sans `--tranche`, la sortie d'avant, inchangée (vérifié). Résultat sur NORDEND d'octobre (11 jours, 4 tranches) :
|
||||
**Fait le 2026-10-24.** `python3 vues-deplacements/detectors/categories.py <dossier> --tranche 3 [--historique 3] [--du AAAA-MM-JJ --au AAAA-MM-JJ]` : un en-tête par tranche (« == début → fin : n » ou « rien »), puis une ligne par événement comme avant ; sans `--tranche`, la sortie d'avant, inchangée (vérifié). Résultat sur NORDEND d'octobre (11 jours, 4 tranches) :
|
||||
|
||||
| | Passage unique | Tranches seules | Tranches + 3 jours d'historique |
|
||||
|---|---|---|---|
|
||||
@@ -819,7 +822,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
- [x] Construire la boucle : plan `docs/superpowers/plans/2026-10-24-boucle-automatique.md`, tâches 1 à 6 (skills `boucle` et `critiquer-lot`, agents `analyste`, `upgrader`, `validateur`, `builder`, fenêtre d'`anonymiser.py`, D-057).
|
||||
- [x] Essai (2026-10-24) : l'analyste seul sur le lot 1 de NORDEND d'octobre (05/10 → 09/10) : verdict « suggestions » (deux : une référence rejetée qui fausse la compensation de toutes les cibles, fondue dans un épisode au lieu d'être grisée ; un nombre de capteurs faux dans la phrase de la buée), une nouveauté (halo sur la vitre sous PR17 au saut du 08/10 02:30, cause non établie), la buée du 07/10 au 08/10 retrouvée ; 53 appels d'outils, ~250 000 jetons, 8 min 30 (Opus, effort élevé ; les images pèsent le plus). **Fonctionnement validé par l'utilisateur le 2026-10-24.**
|
||||
- [ ] Première séance (tâche 7 du plan), **par l'utilisateur seul**, plus tard : sur de nouvelles données, lot par lot (il choisit les lots, traités indépendamment ; « on verra comment on fait »), quand les autres développements seront faits ; Claude ne la lance pas. Ensuite, Claude fait les contrôles de la tâche 7 et résume le bilan.
|
||||
- [ ] Préparer la séance sur NORDEND de septembre (idée de l'utilisateur, 2026-10-26 : « prévoir et créer les lots »), **après `/aiguiser` sur les mêmes données** (point 42, choix de l'utilisateur le même jour) ; pompage en cours dans `out/pompage/NORDEND/`, depuis le 01/09. **Aucun lot à créer** : `/boucle` les découpe elle-même, ce sont les tranches de `categories.py --tranche 4` (essayé sur les 4 premiers jours pompés : un lot, 7 événements). À préparer : les 3 jours d'historique (29 au 31/08, même commande avec `--du 2026-08-29` : la relance ne prend que ce qui manque), sinon lancer la séance avec `--du 2026-09-04` ; les images (`--images`, pompées après tous les déplacements) ; garder `out/pompage/NORDEND/` (hors git, D-014) : les étiquettes de septembre ne se comptent que sur ce dossier ; choisir les lots : le tri sans image du mois (`categories.py out/pompage/NORDEND --tranche 4`, gratuit) donne les événements de chaque lot, l'utilisateur choisit.
|
||||
- [ ] Préparer la séance sur NORDEND de septembre (idée de l'utilisateur, 2026-10-26 : « prévoir et créer les lots »), **après `/aiguiser` sur les mêmes données** (point 42, choix de l'utilisateur le même jour) ; septembre pompé dans `data/NORDEND/` (d'abord dans `out/pompage/`, D-065), depuis le 01/09. **Aucun lot à créer** : `/boucle` les découpe elle-même, ce sont les tranches de `categories.py --tranche 4` (essayé sur les 4 premiers jours pompés : un lot, 7 événements). À préparer : les 3 jours d'historique (29 au 31/08, même commande avec `--du 2026-08-29` : la relance ne prend que ce qui manque), sinon lancer la séance avec `--du 2026-09-04` ; les images (`--images`, pompées après tous les déplacements) ; garder `data/NORDEND/` (hors git, D-065) : les étiquettes de septembre ne se comptent que sur les données de NORDEND ; choisir les lots : le tri sans image du mois (`categories.py data/NORDEND --tranche 4`, gratuit) donne les événements de chaque lot, l'utilisateur choisit.
|
||||
- Règle (point 30, D-056) : chaque tranche est classée avec 3 jours d'historique, le défaut de l'outil.
|
||||
|
||||
**Fini quand.** Une séance complète a eu lieu et son bilan est dans `donnees-et-boucle.md`.
|
||||
@@ -863,7 +866,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
- [x] Construction (tâches 1 à 5 du plan, D-059) : skill `lire-les-donnees`, agents `lecteur`, `correcteur`, `optimiseur`, skill `/aiguiser`, avec le releveur (D-060).
|
||||
- [x] Essai (2026-10-24) : lecteur et correcteur sur le lot 1 de NORDEND d'octobre, sans l'optimiseur ; écart `à reprendre`, deux défauts (positions brutes devant une vague commune ; chaque capteur face à lui-même) ; ~210 000 et ~136 000 jetons ; détail au §9 de la spec.
|
||||
- [ ] Première séance, **par l'utilisateur seul**, dans une session neuve : `/aiguiser <dossier> [--du … --au …]` ; Claude ne la lance pas (tâche 6 du plan).
|
||||
- [ ] **Avant `/boucle`** (l'utilisateur, 2026-10-26 : les données de septembre sont nombreuses, d'abord affiner la lecture) : première séance sur NORDEND, lot du 01 au 04/09 pompé (`/aiguiser out/pompage/NORDEND --du 2026-09-01 --au 2026-09-05`, un lot), quand les images seront pompées (aucune encore le 2026-10-26). Constaté sur ces jours avec les outils actuels : 22 capteurs sur un même graphique, couleurs répétées (CTR02 et PR17 en bleu, CTR03, PR08 et PR18 en orange), on ne sait plus qui est qui ; beaucoup de petits moments (PR04 rejetée 323 fois sur 12 jours, CTR01 plus haute chaque jour, pics à 1,0 de PR07 et PR16 le 03/09 vers 22:00, après-midi agité du 04/09, deux creux de CTR04 en `corr_x` le 04/09 vers 11:15 et 13:45) ; un trou d'une ou deux mesures chaque nuit vers 01:00 ; `inventaire.py` liste un à un les ~800 fichiers de métriques du dossier pompé (880 lignes, 72 ko) : à raccourcir avant la séance si l'utilisateur le veut.
|
||||
- [ ] **Avant `/boucle`** (l'utilisateur, 2026-10-26 : les données de septembre sont nombreuses, d'abord affiner la lecture) : première séance sur NORDEND, lot du 01 au 04/09 pompé (`/aiguiser data/NORDEND --du 2026-09-01 --au 2026-09-05`, un lot), quand les images seront pompées (aucune encore le 2026-10-26). Constaté sur ces jours avec les outils actuels : 22 capteurs sur un même graphique, couleurs répétées (CTR02 et PR17 en bleu, CTR03, PR08 et PR18 en orange), on ne sait plus qui est qui ; beaucoup de petits moments (PR04 rejetée 323 fois sur 12 jours, CTR01 plus haute chaque jour, pics à 1,0 de PR07 et PR16 le 03/09 vers 22:00, après-midi agité du 04/09, deux creux de CTR04 en `corr_x` le 04/09 vers 11:15 et 13:45) ; un trou d'une ou deux mesures chaque nuit vers 01:00 ; `inventaire.py` liste un à un les ~800 fichiers de métriques du dossier pompé (880 lignes, 72 ko) : à raccourcir avant la séance si l'utilisateur le veut.
|
||||
|
||||
**Fini quand.** `/aiguiser` est construit et son essai montré à l'utilisateur ; les séances, il les lance lui-même.
|
||||
|
||||
@@ -888,6 +891,8 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
|
||||
- [ ] Mouvements de la caméra (demande de l'utilisateur, 2026-10-26) : `pan`, `tilt`, `scale`, `rotation`, `sigma0` à la minute, médiane et bornes, par la lecture du visualiseur de la plateforme (`get_shifts_aggregate(..., "cam_movements_1min")`, comme `fetch_cam_movements_frame`), un CSV par jour dans `camera/` ; aucun outil du projet ne les lit encore. Essayé le 2026-10-26 sur le 30/07 de NORDEND (C-002) : 2 s, 70 lignes, une par mesure (toutes les 15 min, min = max) ; sur les 95 instants des déplacements, 70 ont une pose de la caméra (pan de −0,059 à −0,010, tilt de −0,089 à −0,020), dont 7 seulement un `sigma0`, les mêmes que l'export « advanced » ; les 25 autres, surtout de 15:15 à 22:45, n'ont ni pose ni `sigma0` : pas de recalage de la caméra. La pose existe donc là où l'export n'a pas de `sigma0`. Reste le 29/07.
|
||||
- [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
||||
- [x] `data/` hors de git, seule sortie du pompage (l'utilisateur, 2026-10-26, D-065) : `.gitignore`, `run.md`, `extraction/README.md`, `/aiguiser`, `/boucle` et `/nouveau-cas` sur `data/<SERIE>` ; plus de `out/pompage/`.
|
||||
- [ ] L'utilisateur vide `data/` et repompe les plages des exports reçus, élargies (commandes données le 2026-10-26) ; `out/pompage/NORDEND/` copié dans `data/NORDEND/` à la fin de la séance `/boucle` en cours ; numéro de série de PS des Coudres à trouver (URL de sa page System). Puis Claude vérifie : `inventaire.py`, `categories.py`, les scripts des domaines sur VERMONT, WEISSHORN et NORDEND.
|
||||
|
||||
**Fini quand.** Une commande donnée par Claude remplit `data/<STATION>/` sur la période choisie, et sa relance ne télécharge que ce qui manque.
|
||||
|
||||
@@ -927,7 +932,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
**L'idée** (l'utilisateur, 2026-10-25). Le but de la boucle n'est pas l'interface (images, frise) : c'est la détection. Sur tout le lot (4 jours), chaque instant doit être classé : données valides ou non, et sa catégorie ; un instant sans anomalie n'a pas besoin d'étiquette, mais aucun événement ne doit manquer. C'est la précision de cette détection que la boucle doit perfectionner, que l'algorithme final soit appris ou analytique.
|
||||
|
||||
**Constaté le 2026-10-25** (spec de la boucle, `critiquer-lot`, `etiquettes.py`, agents).
|
||||
- Conforme : la boucle ne touche qu'aux détecteurs (`journal/*.py`, registre des seuils), jamais à la maquette ; les images ne servent que de preuve à l'analyste. L'analyste lit tout le lot avant les détecteurs ; ses étiquettes couvrent le lot (un instant sans moment : rien vu).
|
||||
- Conforme : la boucle ne touche qu'aux détecteurs (`detectors/*.py`, registre des seuils), jamais à la maquette ; les images ne servent que de preuve à l'analyste. L'analyste lit tout le lot avant les détecteurs ; ses étiquettes couvrent le lot (un instant sans moment : rien vu).
|
||||
- Écarts :
|
||||
1. la validité n'est pas une étiquette : elle se déduit de la catégorie (zone grisée ou non, `ignore` de `categories.py`), sauf pour la turbulence (grisée si forte seulement) et `aucune` ;
|
||||
2. la précision n'est pas mesurée : la comparaison de l'analyste et le jugement du validateur sont qualitatifs (« va dans le bon sens ») ; ni l'upgrader ni le validateur ne lisent les étiquettes ;
|
||||
@@ -958,6 +963,65 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
|
||||
---
|
||||
|
||||
### Point 46 : La page de fin de séance : l'analyste face aux détecteurs
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-26). À la fin d'une séance de la boucle, une page : la plage en largeur avec les courbes, dessous la classification de l'agent et celle des scripts analytiques, pour voir le diagnostic de l'un et de l'autre sur la même plage. Séance après séance, sur des lots différents, la boucle doit faire coïncider les deux.
|
||||
|
||||
**Fait le 2026-10-26 (D-066).** `.claude/skills/boucle/comparaison.py <dossier> <séance>` écrit `out/boucle_<séance>.html`, ouverte en fin de séance (§7 du skill `boucle`) : `corr_x` et `corr_y` de tous les capteurs (gris, références plus foncées, nom au survol), une ligne par catégorie présente, la barre bleue de l'analyste au-dessus de la barre orange des détecteurs (survol : capteurs, preuve, description ou phrase) ; en bas, en gris, la ligne « hors catégorie » : les moments `aucune` de l'analyste, vus mais hors des catégories du journal, sans effet sur les courbes le plus souvent, ou une nouveauté (C-007 et C-008 en viennent) ; retirés un moment à la demande de l'utilisateur (« rien d'anormal »), remis en gris parce qu'ils ne disent pas « tout va bien » ; sous la figure, le score de la séance (`score.py` sur ses étiquettes). Zoom par sélection, pas à la molette (l'utilisateur). Vérifié par capture sur la séance `2026-10-26T1414Z_NORDEND` (01 → 04/09).
|
||||
|
||||
**Étapes.**
|
||||
- [x] La page, branchée en fin de séance (2026-10-26).
|
||||
- [ ] L'utilisateur la regarde après sa prochaine séance : courbes `corr` ou `x`/`y`, lignes des catégories absentes, une page par séance ou pour toutes les étiquettes de la station.
|
||||
|
||||
**Fini quand.** À chaque séance, l'utilisateur voit d'un coup d'œil où l'analyste et les détecteurs divergent.
|
||||
|
||||
---
|
||||
|
||||
### Point 47 : Les détecteurs doivent tout détecter ; l'affichage à part
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-26). « Les détecteurs doivent tout détecter. Ce qu'on montre au client ou pas n'est pas la question ici. » Sur le lot 01 de NORDEND (01 → 04/09), l'upgrader avait laissé le cycle thermique sur quelques cibles (suggestion S1) et les trous d'un ou deux pas, parce que ces réglages avaient été pris pour ce que voit le client (points 13 et 41, `MISSING`) ; le score les comptait « manqués » (301 mesures sur 370 étiquetées).
|
||||
|
||||
**Fait le 2026-10-26 (D-068).** Règle « tout détecter » dans les consignes de l'upgrader et du validateur, la spec de la boucle et le registre des seuils : un réglage pris pour l'affichage ne les arrête plus. Les points 13 et 41 restent validés pour ce qu'ils disent de l'affichage ; leur côté détection est rouvert.
|
||||
|
||||
**Étapes.**
|
||||
- [x] La règle dans les consignes de la boucle (2026-10-26).
|
||||
- [ ] Les détecteurs changés par la boucle (une séance, ou une reprise du lot 01) : cycle thermique sur quelques cibles, trous d'un pas, cible masquée sous `CIBLE_MIN`.
|
||||
- [ ] La couche d'affichage : ce qu'on montre au client parmi tout ce que trouvent les détecteurs (avec l'utilisateur, plus tard) ; d'ici là, l'onglet `Journal` montre tout.
|
||||
|
||||
**Fini quand.** Le score mesure la détection seule, et l'onglet `Journal` filtre ce qu'il montre au client.
|
||||
|
||||
---
|
||||
|
||||
### Point 48 : Un benchmark des détecteurs sur la base de cas
|
||||
|
||||
**L'idée** (l'utilisateur, 2026-10-26, après le relevé du releveur « premier lot sans lot d'avant, cas de réglage hors du score »). Une étape benchmark dans `/boucle` : lancer les détecteurs sur les cas de la base et mesurer leur correspondance avec le diagnostic de l'agent. Chaque cas garde le diagnostic fait à sa création, pour que le benchmark soit purement analytique ; versionné, le score quantifié à chaque passage ; les agents qui améliorent les détecteurs en tiennent compte.
|
||||
|
||||
**Proposition de Claude (à valider).**
|
||||
- **Le diagnostic d'un cas** : `etiquettes.json` dans son dossier, au format des étiquettes de l'analyste (D-061), noms codés (`"station": "C-xxx"`, capteurs `C1`, `R1`…), figé à la création comme le cas. Le benchmark est alors `score.py` lancé sur le dossier du cas avec ce fichier : rien à recoder. Essai du 2026-10-26, dans le scratchpad : les moments du lot 01 dans la fenêtre de C-006, recodés par le registre, donnent 6 moments, contrôle `etiquettes.py` « bon », et `score.py` tourne sans changement (`saut_bref` : 6 mesures trouvées sur 24, 6 justes sur 7).
|
||||
- **Cas appris** : `anonymiser.py` recopie, avec une option, les moments de l'analyste du lot qui touchent la fenêtre du cas, bornés à la fenêtre et codés ; le builder s'en sert à la création.
|
||||
- **Cas validés C-001 à C-005** (pas d'étiquettes) : un passage unique de l'analyste, étiquettes seules, puis figées ; l'utilisateur les relit sur une page de comparaison.
|
||||
- **`benchmark.py`** (à côté de `score.py`) : le score sur chaque cas et au total, par catégorie ; une ligne par passage, cas et catégorie dans `vues-deplacements/benchmark/historique.csv` (date, séance, lot, étape, version des détecteurs `git rev-parse --short HEAD:vues-deplacements/detectors`, cas, catégorie, étiquetées, signalées, les deux) : la courbe du score dans le temps, version par version.
|
||||
- **Dans `/boucle`** : au début de la séance (point de départ) ; après chaque modification, lancé par l'upgrader et lu par le validateur (un recul net est un défaut, une hausse un plus, pas un but : sur une dizaine de cas, les détecteurs se régleraient sur eux) ; après le builder, les nouveaux cas y entrent ; en fin de séance, au bilan et sur la page. Il remplace le contrôle « Cas de la base » par `categories.py`, ajouté le même jour.
|
||||
- **Limite** : la fenêtre d'un cas appris est l'événement ± 6 h, sans les 3 jours d'historique d'un lot ; le benchmark mesure les détecteurs sur ce que le cas contient (piste : plus d'historique pour les mesures, les images restant à la fenêtre).
|
||||
|
||||
**Questions à l'utilisateur.**
|
||||
1. Le « diagnostic de l'agent » d'un cas : les étiquettes de l'analyste (mesurables), pas le rapport de l'agent de diagnostic (D-046, du texte) ?
|
||||
2. C-001 à C-005 : un passage unique de l'analyste, que l'utilisateur relit ?
|
||||
3. Le benchmark : garde-fou et bonus pour l'upgrader, pas un but à atteindre ?
|
||||
|
||||
**Réponses de l'utilisateur (2026-10-26).** Oui aux trois : « les étiquettes sont faites pour ça » ; passage unique de l'analyste sur C-001 à C-005, qu'il relira ; le benchmark en garde-fou et bonus.
|
||||
|
||||
**Fait le 2026-10-26 (D-069).** `anonymiser.py --etiquettes` (et son test) ; étiquettes de C-006 à C-008 recopiées du lot 01 de la séance de NORDEND, codées ; celles de C-001 à C-005 par cinq analystes en parallèle, lecture propre puis correction par la fiche (`vues-deplacements/benchmark/etiquetage/C-00x.md`) ; `.claude/skills/boucle/benchmark.py` et `vues-deplacements/benchmark/historique.csv` ; branchement dans `/boucle` (orchestrateur aux trois moments, upgrader, validateur, builder, bilan, page de fin de séance), dans `/nouveau-cas` et la spec de l'agent de diagnostic (§11.1) ; le contrôle « Cas de la base » par `categories.py` est remplacé.
|
||||
|
||||
**Étapes.**
|
||||
- [x] Les réponses de l'utilisateur.
|
||||
- [x] Étiquettes des cas, `benchmark.py` et son historique, branchement dans `/boucle` (2026-10-26).
|
||||
- [ ] L'utilisateur relit les étiquettes de C-001 à C-005.
|
||||
|
||||
**Fini quand.** Chaque modification des détecteurs a un score sur toute la base de cas, gardé dans l'historique avec la version des détecteurs.
|
||||
|
||||
---
|
||||
|
||||
## Partie VII — Idées gardées pour plus tard
|
||||
|
||||
### Point 33 : Les autres métriques de certains projets
|
||||
@@ -991,7 +1055,7 @@ Comme pour les statuts des métriques système (Energy, Storage, Cellular, Tempe
|
||||
|
||||
### Point 37 : Ménage : commit, `CLAUDE.md`, Mermaid, sorties
|
||||
|
||||
- [x] **Commit** : rien n'est commité depuis le 2026-10-23. Fichiers de cette conversation : `vues-deplacements/journal/` (5 détecteurs), `vues-deplacements/maquette/explore.py`, `explore_template.html`, `spec.md`, `vues-deplacements/contexte/journal-du-matin.md`, `lissage.md`, `donnees-et-boucle.md`, `docs/displacement/domaine/carte-des-evenements.md`, `extraction/`, `docs/decisions.md` (D-056), `CLAUDE.md`, `vues-deplacements/CLAUDE.md`, ce plan. Déjà modifiés avant par l'utilisateur : `CLAUDE.md`, `docs/ameliorations-faq.md` ; `graphify-out/` n'est pas de cette conversation. Commit sur demande seulement, en séparant ce qui est de l'utilisateur. Fait le 2026-10-24 : commits `4ac95ae` (points 1 à 10), `86547f0` (11 à 17, 38, 41), puis celui des points 18 à 26, 30, 39, 40 et de ce ménage ; aucun fichier de l'utilisateur dans ces changements.
|
||||
- [x] **Commit** : rien n'est commité depuis le 2026-10-23. Fichiers de cette conversation : `vues-deplacements/detectors/` (5 détecteurs), `vues-deplacements/maquette/explore.py`, `explore_template.html`, `spec.md`, `vues-deplacements/contexte/journal-du-matin.md`, `lissage.md`, `donnees-et-boucle.md`, `docs/displacement/domaine/carte-des-evenements.md`, `extraction/`, `docs/decisions.md` (D-056), `CLAUDE.md`, `vues-deplacements/CLAUDE.md`, ce plan. Déjà modifiés avant par l'utilisateur : `CLAUDE.md`, `docs/ameliorations-faq.md` ; `graphify-out/` n'est pas de cette conversation. Commit sur demande seulement, en séparant ce qui est de l'utilisateur. Fait le 2026-10-24 : commits `4ac95ae` (points 1 à 10), `86547f0` (11 à 17, 38, 41), puis celui des points 18 à 26, 30, 39, 40 et de ce ménage ; aucun fichier de l'utilisateur dans ces changements.
|
||||
- [x] **`CLAUDE.md`** fait 202 lignes (limite 200, D-012) : raccourcir la puce « Prochaine étape » (la plus longue) en renvoyant à ce plan. Fait le 2026-10-24 : 199 lignes (phrase redite des « Règles de travail » retirée, les deux puces Energy réunies) ; puces du journal du matin et « Prochaine étape » mises à l'état du jour (onze catégories, courbes nettoyées, points en attente) ; `vues-deplacements/CLAUDE.md` aussi (onze catégories).
|
||||
- [x] **Mermaid** de la carte : à rendre une fois (point 3). Déjà fait au point 3 (arbre rendu sans erreur, journal du plan).
|
||||
- [x] **Sorties** : `data/NORDEND` et le cas `vues-deplacements/cas/2026-10_NORDEND/NORDEND` écrivent tous deux `out/vues_deplacements_NORDEND.html` ; capturer juste après la construction, ou nommer la sortie par le chemin du dossier. Fait le 2026-10-24 : un dossier de cas écrit la page au nom du cas (`out/vues_deplacements_2026-10_NORDEND.html`), `data/NORDEND` garde `out/vues_deplacements_NORDEND.html` ; `CLAUDE.md`, spec et annexe B à jour.
|
||||
@@ -1015,8 +1079,8 @@ Huit agents, un par piste, lancés par l'orchestrateur ; tous ont rendu leur tra
|
||||
|
||||
Depuis `/home/maxime/Support-Agent`.
|
||||
|
||||
- **Un détecteur seul** : `python3 vues-deplacements/journal/<nom>.py <dossier>` (`<nom>` : `visibilite`, `sauts`, `thermique`, `turbulence`, `trous`).
|
||||
- **Les événements catégorisés** (après le point 6) : `python3 vues-deplacements/journal/categories.py <dossier>` ; en tranches (point 30) : `... <dossier> --tranche 3` (3 jours d'historique par défaut).
|
||||
- **Un détecteur seul** : `python3 vues-deplacements/detectors/<nom>.py <dossier>` (`<nom>` : `visibilite`, `sauts`, `thermique`, `turbulence`, `trous`).
|
||||
- **Les événements catégorisés** (après le point 6) : `python3 vues-deplacements/detectors/categories.py <dossier>` ; en tranches (point 30) : `... <dossier> --tranche 3` (3 jours d'historique par défaut).
|
||||
- **Construire la page sans l'ouvrir** : `.venv/bin/python -c "import sys; sys.path.insert(0,'vues-deplacements/maquette'); import explore; print(explore.page('<dossier>'))"`.
|
||||
- **Construire et ouvrir** : `python3 vues-deplacements/maquette/explore.py [dossier]` (défaut : le cas NORDEND d'octobre ; s'ouvre sur l'onglet View).
|
||||
- **Ouvrir sur l'onglet Journal** : `"/mnt/c/Program Files/Google/Chrome/Application/chrome.exe" "file://///wsl.localhost/Ubuntu/home/maxime/Support-Agent/out/vues_deplacements_<STATION>.html#tab=journal"` (en arrière-plan : la commande ne rend la main qu'à la fermeture si Chrome n'était pas ouvert).
|
||||
@@ -1039,7 +1103,7 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-24 : point 4 : brainstorming relu section par section ; précision de l'utilisateur : une anomalie est tout ce qui sort de la norme (courbes pas plates), presque toujours sans gravité, parfois grave (Barcelone, voûte du pont qui s'affaisse) ; reportée dans D-056, `CLAUDE.md`, le brainstorming, la carte et `incident-de-barcelone.md`. Reste : la validation du point 4.
|
||||
- 2026-10-24 : **point 4 validé** par l'utilisateur. Point 5 commencé.
|
||||
- 2026-10-24 : **point 5 validé** par l'utilisateur : huit catégories, règles et sept recommandations telles quelles ; écrites dans la carte (section 4, lignes « No data » et cycle thermique retouchées) et sous D-056 ; attendu de C-002 au point 10 mis à jour. Prochain : point 6, le classement.
|
||||
- 2026-10-24 : point 6 fait : `vues-deplacements/journal/categories.py` (catégories, absorption, fusion), page branchée sur les événements (frise par catégorie) ; contrôles NORDEND et CLARIDEN passés ; écarts à l'interface notés au point 6 ; reste la validation de l'utilisateur.
|
||||
- 2026-10-24 : point 6 fait : `vues-deplacements/detectors/categories.py` (catégories, absorption, fusion), page branchée sur les événements (frise par catégorie) ; contrôles NORDEND et CLARIDEN passés ; écarts à l'interface notés au point 6 ; reste la validation de l'utilisateur.
|
||||
- 2026-10-24 : **point 6 validé** par l'utilisateur. Point 7 commencé.
|
||||
- 2026-10-24 : point 7 fait : bouton `▶ Images` et timelapse dans la page (marge de 1 à 6 h, 4 images par seconde, bord rouge pendant l'événement) ; contrôles NORDEND (14/10) et PS des Coudres (nuit du 13/10 sans image) passés ; reste le réglage à l'œil et la validation de l'utilisateur.
|
||||
- 2026-10-24 : **point 7 validé** par l'utilisateur (marge et vitesse gardées). Prochain : point 8, la page Journal catégorique et plus simple.
|
||||
@@ -1051,7 +1115,7 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-24 : **point 10 validé** par l'utilisateur (six captures) : la partie II, le journal catégorique, est faite, sauf le point 38 (statuts de visibilité, après le point 11). `CLAUDE.md` mis à jour. Prochain : point 11.
|
||||
- 2026-10-24 : travail des points 1 à 10 commité (`4ac95ae`). Point 11 commencé.
|
||||
- 2026-10-24 : point 11 : version simple de `visibilite` écrite et comparée à la v0 sur les six jeux (tableau au point 11) : moins bonne sur cinq jeux, grise le vrai mouvement de CLARIDEN ; recommandation : remettre la v0 ; choix de l'utilisateur attendu.
|
||||
- 2026-10-24 : point 11 : l'utilisateur garde la v0 de `visibilite` (remise dans `journal/visibilite.py`), la version simple va dans `journal/archive/visibilite_simple.py`.
|
||||
- 2026-10-24 : point 11 : l'utilisateur garde la v0 de `visibilite` (remise dans `detectors/visibilite.py`), la version simple va dans `detectors/archive/visibilite_simple.py`.
|
||||
- 2026-10-24 : **point 11 validé** par l'utilisateur (v0 gardée). Point 38 commencé.
|
||||
- 2026-10-24 : point 38 fait : deux niveaux de visibilité (« Reduced », « No visibility ») codés dans `visibilite.py`, `categories.py` et la page ; décision sous D-056 ; carte, spec, registre (`MOITIE`) et point 5 à jour ; reste la validation de l'utilisateur.
|
||||
- 2026-10-24 : **point 38 validé** par l'utilisateur. Point 12 commencé.
|
||||
@@ -1116,4 +1180,12 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-26 : point 31 : préparer la séance sur NORDEND de septembre (idée de l'utilisateur) : aucun lot à créer, `/boucle` les découpe ; restent l'historique (29 au 31/08), les images, garder `out/pompage/NORDEND/`, choisir les lots sur le tri gratuit du mois.
|
||||
- 2026-10-26 : point 42 : l'utilisateur fait passer `/aiguiser` avant `/boucle`, sur NORDEND du 01 au 04/09 (données nombreuses) ; constats des outils actuels sur ces jours (graphique illisible à 22 capteurs, inventaire de 880 lignes sur un dossier pompé) ; séance à lancer par l'utilisateur quand les images seront là.
|
||||
- 2026-10-26 : point 28 : sens des images DIFF et IRON lu dans le manuel de la station (DIFF : les réflecteurs, contraste renforcé, l'image mesurée ; IRON : la scène), noté dans `docs/domaine/images-de-la-camera.md` ; l'utilisateur les juge peu utiles pour `/boucle` et `/aiguiser` : `--diff` sorti de la commande de `run.md`, gardé en option.
|
||||
- 2026-10-26 : point 43 : `data/` sort de git et devient la seule sortie du pompage (demande de l'utilisateur, D-065) ; `/aiguiser`, `/boucle`, `/nouveau-cas` branchés dessus ; les exports reçus à la main seront retirés et leurs plages repompées, élargies (commandes données à l'utilisateur).
|
||||
- 2026-10-26 : point 31 : une séance de la boucle lancée à la demande de l'utilisateur (NORDEND, 01 → 04/09, un lot, dossier `out/pompage/NORDEND`) : 23 étiquettes, modification gardée (`saut_bref` de 0 à 7 mesures trouvées sur 24, faux passage retiré), cas C-006 à C-008 appris ; bilan `vues-deplacements/boucle/2026-10-26T1414Z_NORDEND/bilan.md`, sur la branche `boucle/2026-10-26T1414Z_NORDEND`.
|
||||
- 2026-10-26 : point 46 ajouté et codé (idée de l'utilisateur : la page de fin de séance, l'analyste face aux détecteurs, D-066).
|
||||
- 2026-10-26 : dossier des détecteurs renommé `vues-deplacements/detectors/` (demande de l'utilisateur, D-067).
|
||||
- 2026-10-26 : point 47 ajouté (l'utilisateur : les détecteurs doivent tout détecter, l'affichage au client est une autre question, D-068) ; règle posée dans les consignes de la boucle ; page de fin de séance : score en tableau lisible.
|
||||
- 2026-10-26 : point 31 : relevés du releveur sur la séance de NORDEND traités (13 entrées de `docs/ameliorations-processus.md`) : arguments de `/boucle` (nom de station, `--au` exclu), autre session dans le dépôt, nom de branche de la spec, cas de la base relancés par l'upgrader à chaque modification, détecteur imprimé par `categories.py`, en-tête des fiches apprises, `anonymiser.py` (`camera/`, plus de CSV vides), `ensemble.py` (pas calés sur l'horloge, titre) et `plages.py` (fusion du même sens) ; les 59 commandes des fiches passent.
|
||||
- 2026-10-26 : point 48 ajouté (idée de l'utilisateur : un benchmark des détecteurs sur la base de cas, versionné, pris en compte par l'upgrader) ; proposition de Claude (étiquettes figées dans chaque cas, `score.py` réutilisé, historique CSV), essai sur C-006 ; trois questions à l'utilisateur ; rien construit.
|
||||
- 2026-10-26 : point 48 : l'utilisateur dit oui aux trois choix ; benchmark construit (D-069) : étiquettes dans chaque cas, `benchmark.py`, historique, branché dans `/boucle` et `/nouveau-cas` ; reste la relecture des étiquettes de C-001 à C-005 par l'utilisateur.
|
||||
- 2026-10-26 : point 43 : métriques système dans `data/<SERIE>/metrics/` (demande de l'utilisateur) ; `pomper.py` y écrit, `load_stations` y lit aussi ; fichiers de CLARIDEN et NIEDERHORN déplacés.
|
||||
Reference in new issue
Block a user