diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyse.md b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyse.md new file mode 100644 index 0000000..75eef02 --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyse.md @@ -0,0 +1,46 @@ +# Analyse : métrique de qualité des points, LENZSPITZE + +## La question + +David veut un graphique de « la métrique de qualité des points » pour son rapport aux CFF, et savoir si on pourra l'exporter vers Geovis. + +## Quelle métrique + +Retenue : `error_value`, rapportée au seuil de chaque point (`error_threshold`, 0,7 pour tous sauf 1008 à 0,5). C'est la seule métrique de qualité par point que la caméra livre déjà au client (dans l'export horaire, `_error` = moyenne horaire des `error_value`, `labeling/connaissances/colonnes-des-deplacements.md`) et celle qui décide si une mesure est jugée fiable. Les six métriques d'image (`peak` … `snr`, `labeling/connaissances/metriques-de-qualite.md`) sont remplies sur LENZSPITZE mais ne sont pas livrées au client : écartées, à proposer seulement si David parle d'autre chose. + +## Faits + +Commande : `.venv/bin/python support/2026-11-12_LENZSPITZE_metrique-qualite/figure.py` (figure et tableau ci-dessous). + +- Données : 41 points (29 cibles, 12 références), 5 945 instants toutes les 5 min, du 2026-10-16 02:10 au 2026-11-05 10:10 UTC (`inventaire.py`). Rien après le 05.11 10:10 dans `data/`. +- Médiane horaire du rapport `error_value / seuil` : la plupart des cibles restent sous 0,3 ; 1023 autour de 0,58 (plus haut de toutes, jamais au-dessus du seuil) ; 1022 0,32 ; 1008 0,27 (seuil plus bas). +- Heures au-dessus du seuil (sur 489) : cibles 101B 22, 202H 19, 102H 17, 201B 16, 1002 14, 1008 13, 7013H 10, les autres 0 à 5 ; références 8012 35, 8013 27, 8014 22, 8011 20, 8010 17. +- Ces heures se groupent en quelques nuits, les mêmes points à la fois : 17.10, 23.10, 26.10 et 27.10 (nuits du 26 au 27.10 déjà expliquées au client, perte de visibilité nocturne, cas du 2026-10-28). Depuis le 28.10, presque aucune heure au-dessus du seuil. + +## Ce qui reste non établi + +- Si David pense bien à `error_value` : `insufficient evidence`, la question ne le précise pas. +- Le format exact de l'export FTP d'Inogy (horaire avec `_error` ou non) : non vérifié. +- Geovis : dépend de l'intégration MQTT (Marc, Amberg), hors de ce que les données disent. + +## Figures + +- `metrique-qualite_LENZSPITZE.png` : une ligne par point, une colonne par heure, bleu clair à foncé jusqu'au seuil, rouge au-dessus, gris sans mesure. + +## Hors question (pour Marc) + +- 1023 a un `error_value` nettement plus haut que les autres cibles et très stable depuis le 26.10 (~0,58 du seuil) ; il n'a pas de motif dans `lentzpitze_patterns.json`. +- Données pompées jusqu'au 05.11 10:10 seulement : à repomper si David veut la période jusqu'à aujourd'hui. + +## Choix final (2026-11-12) + +La capture de la section 4.4 du rapport de David (`capture.png`) montre qu'il parle des métriques d'image, qui disent l'origine d'une dégradation. La heatmap `metrique-qualite_LENZSPITZE.png` est donc abandonnée : elle n'illustre pas ce texte, est trop dense imprimée, et fait passer 1023 pour le pire point (le niveau d'`error_value` suit la forme de la tache, pas la qualité). Elle classait aussi 1024, 8003 et 8010 (`ref`, des références locales traitées comme cibles) parmi les références. + +Retenues, d'après l'analyste (`analyste/analyse-metriques.md`, figures par `analyste/figures.py`) : +- `analyste/fig1_visibilite_nuit-26-10_LENZSPITZE.png` : perte de visibilité, nuit du 25 au 26.10 ; +- `analyste/fig2_occultation_92H_30-10_LENZSPITZE.png` : 92H masqué par un engin de levage, 30.10 ; +- `analyste/fig3_vue-ensemble_hors-seuil_LENZSPITZE.png` : proposée en annexe, non jointe. + +À vérifier par Marc avant l'envoi : que l'erreur de mesure déclenche ou non une alarme, et que le flux n'est livré nulle part au client (la deuxième remarque du mail sur son texte s'appuie là-dessus). + +Hors question (pour Marc), ajouts de l'analyste : 13 instants isolés où le même groupe de points perd sa cible le temps d'une mesure, alors que les images de la même minute les montrent visibles (ex. 03.11 19:30) ; l'étiquette « No data » du 23.10 au 26.10 dans `labeling/auto/LENZSPITZE.jsonl` est fausse (données des 24 et 25.10 présentes), non modifiée. diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/analyse-metriques.md b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/analyse-metriques.md new file mode 100644 index 0000000..c698777 --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/analyse-metriques.md @@ -0,0 +1,107 @@ +# Métriques de qualité des points : LENZSPITZE (Crissier), 2026-10-16T00:00Z → 2026-11-05T11:00Z (UTC) + +Demande : illustrer la section 4.4 du rapport Inogy aux CFF, « Métrique de la qualité des points » (`capture.png`, `demande.md`). Selon ce texte, les métriques de chaque point identifient l'origine d'une dégradation, et les images archivées la confirment. Le graphique doit donc montrer **pourquoi** une mesure se dégrade, pas seulement **qu'elle** se dégrade. + +Abréviations des commandes (toutes lancées depuis la racine du dépôt) : +- `INV` = `python3 agent-tools/inventaire.py data/LENZSPITZE/ --debut 2026-10-16T00:00Z --fin 2026-11-05T11:00Z` +- `ST` = `python3 support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/stats.py` ; ses sorties sont rangées dans `outils/points.txt`, `outils/correl.txt`, `outils/episode_2610.txt` et `outils/jours.txt` +- `QC` = `python3 agent-tools/qualite.py data/LENZSPITZE/ --calme 2026-10-28T00:00Z/2026-11-01T00:00Z`. La référence calme (28-31.10) est choisie d'après `qualite.py --commun --pas 1d` : ces jours ont des rapports à 1. Du 16 au 20.10, le flux des cibles vaut 1,2 à 1,6 fois cette référence (autre régime d'exposition), et il glisse à 0,77 le 05.11. +- `VIG` = `.venv/bin/python agent-tools/vignettes.py data/LENZSPITZE/ … --sortie support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail` + +## 1. Ce que disent les métriques + +### Les données +- 41 points, dont 9 références globales (`8002`, `8004`, `8011` à `8014`, `8017`, `8019`, `92H`) et 32 cibles. Les 5 945 instants sont espacés de 5 min, du 16.10 02:10 au 05.11 10:10, et la pose de la caméra est connue à chaque instant. Les six métriques d'image sont remplies sur toutes les lignes. Les images sont horaires, 482 en tout (`INV`). +- `1024`, `8003` et `8010` ont le motif `ref` mais ne portent ni `reproj_err` ni `inlier`. Ils n'entrent donc pas dans la compensation et `INV` les compte comme cibles. La figure existante les range parmi les références (voir § 3.4). +- Distances et tailles des motifs : `data/LENZSPITZE/lentzpitze_patterns.json` (`distance_mm`, `corners`). `1023` et `8019` n'y figurent pas, leur distance est inconnue. Les cibles `10xx` sont posées sur les deux files de rail de la voie (vignettes du 17.10, `travail/LENZSPITZE_vignettes_zone1400-900-700-350_*`), de 12 à 64 m de la caméra. Les références et `8003`/`8010` sont au-delà, jusqu'à 176 m. + +### Niveau habituel par point (`ST points`) +- Médiane de `error_value / seuil` : de 0,07 à 0,32 pour tous les points sauf `1023`, qui est à 0,58. Le 95ᵉ centile reste sous 0,5 pour 32 points sur 41. +- **Le niveau habituel ne dépend pas de la distance** (Spearman −0,20 sur 39 points), mais **de la forme de la tache** : il suit la `sharpness` médiane (Spearman −0,74). Les points les plus « hauts » sont des taches grandes et saturées, toutes proches : `1022` 0,32 (17 m), `1020` 0,29 (21 m), `1021` 0,26 (16 m), `8017` 0,25 (15 m), `1024` 0,21 (12 m). Leur `pk/max` est à 1 ou presque, leur `fwhm` de 5,6 à 7,4 px et leur `sharpness` basse. `1023` a la même signature : `fwhm` 7,0, `sharpness` 0,028, `pk/max` 0,75. Un `error_value` habituel plus élevé ne veut donc pas dire un point moins bon. **C'est le piège de lecture principal d'un graphique d'`error_value` brut.** +- `8011`, `8012` et `8013` ont une `dominance` permanente de 0,50 à 0,70, contre moins de 0,03 ailleurs. Ces trois références sont à 13 px l'une de l'autre dans l'image ((2056,947), (2043,947), (2030,935), `ST points` et `x`, `y` de l'export), pour des motifs de 16 à 18 px : chaque fenêtre voit donc sa voisine. Cette `dominance` est structurelle et ne dit rien de la qualité. `8012` est aussi la référence la plus souvent rejetée (7,1 % des mesures, `ST points` ; 424 mesures selon `INV`). +- Cibles les plus souvent au-dessus du seuil : `101B` 4,5 %, `202H` 4,0 %, `8010` 4,0 %, `102H` 3,7 %, `201B` 3,4 %, `1008` 3,2 % (`ST points`). Ce sont les points lointains, ou petits et peu lumineux (`target05` à 47 m, 16 à 18 px ; `8010` à 176 m). `1008` a un seuil plus bas (0,5 au lieu de 0,7) et un `pk/max` de 0,06, le plus faible des cibles. Quant aux cibles proches de 30 m et moins, elles ne passent presque jamais le seuil : 0 à 0,2 %. + +### Épisodes de dégradation +1. **Nuits des 26 et 27.10 : perte de visibilité, vue sur les images.** Le 26.10, le flux de toutes les références et des cibles lointaines tombe à 0 entre 02:00 et 06:00. Sur ces 4 h, `error_value` dépasse le seuil sur 49 à 50 mesures pour tous les points à 89 m ou plus, et pour `92H`, `8014`, `101B`, `102H`, `201B`, `202H` et `7013H` (47 à 56 m). Les points à 30 m ou moins gardent 40 à 90 % de leur flux et ne passent jamais le seuil : `1021` au plus à 0,41 du seuil, `8017` à 0,24 (`ST episode 2026-10-26T02:00+00:00 2026-10-26T06:00+00:00`, `outils/episode_2610.txt`). Les images le montrent : à 03:00, `8002`, `202H` et la file lointaine ont disparu alors que `1021` reste net, et le 29.10 à 03:01 tout est visible (`VIG --zone 1000,650,1900,700 --heures 2026-10-26T03:00Z,2026-10-29T03:00Z --contraste 10,120`, et figure 1). Les rejets commencent dès 00:15 (`101B`) et durent jusque vers 08:10 (`8012`, `INV`). La compensation tourne sans aucune référence de 02:05 à 06:55 (`INV`, « Références retenues »). La nuit du 27.10 est semblable, de 00:00 à 08:50, avec 3 à 4 références retenues (`INV`). Ces deux jours font à eux seuls 8 % de mesures de cibles hors seuil, et 20 à 21 % pour les références, contre moins de 2 % les autres jours (`ST jours`). Les nuits du 17.10 (01:00-05:00) et du 22-23.10 (20:20-04:00) suivent le même ordre, références lointaines d'abord, puis la file `101B`/`102H`/`201B`/`202H` (`INV`), en plus court. La cause atmosphérique précise (brouillard, brume) n'est **pas** établie : l'image montre la perte de visibilité, elle ne montre pas de brouillard. +2. **30.10 13:55 : `92H` masqué, cause vue sur l'image.** Le flux de `92H` tombe à 4 % de son niveau habituel, puis remonte à 22 % à 14:00. Sur la même mesure, son `snr` tombe à 0,29 et sa `sharpness` à 0,20. Aucun autre point ne bouge (`ST episode 2026-10-30T13:55+00:00 2026-10-30T14:00+00:00`, ligne brute `grep '^2026-10-30 1[34]' …_20261030.csv`). L'image de 14:01 montre la flèche et la charge d'un engin de levage contre `92H`, absentes à 13:01 et à 15:01 (`VIG --capteurs 92H --heures 2026-10-30T13:01Z,2026-10-30T14:01Z,2026-10-30T15:01Z --rayon 50 --fixe`). Pendant ce temps, `error_value` monte de 0,07 à 0,22, **sous le seuil de 0,7** : la mesure est livrée comme valable et `92H` reste dans la compensation (`inlier` = 1, `reproj_err` de 0,05 à 0,16). Seul le flux signale l'obstacle. +3. **13 instants isolés : un groupe fixe de points perd sa cible le temps d'une mesure.** Les instants sont les suivants : 17.10 05:01 et 11:55, 19.10 08:00, 20.10 06:55 et 12:05, 21.10 08:55, 22.10 03:40, 23.10 17:00, 24.10 21:00, 28.10 10:55, 29.10 07:55, 30.10 07:55, 03.11 19:30 (`INV`, rejets de `1006` et `1010`). Le groupe est toujours le même : les cibles paires `1002` à `1022`, `1024`, `7013B`, `7013H`, `8003`, `8010`, et les références `8002`, `8004`, `8019` et `92H`. Le 03.11 à 19:30, pour 20 points, le `peak` est au niveau du fond (18 à 81), le `flux` est à 0, le `snr` est de 3 à 15 et la `dominance` de 0,55 à 0,93 : la cible est absente de la fenêtre. Leurs voisins impairs (`1001`, `1003`, …), situés à quelques pixels, restent intacts (`grep '^2026-11-03 19:(25|30)' …_20261103.csv`, `QC --table flux --debut 2026-11-03T19:20Z --fin 2026-11-03T19:40Z --pas 5min`). Sur les images prises à la même minute, les points sont visibles : `1002` et `92H` le 19.10 à 08:00, et le groupe entier le 23.10 à 17:00, avec la même scène qu'à 18:01 (`VIG --capteurs 1001,1002,92H,1024 --heures 2026-10-19T07:01Z,2026-10-19T08:00Z,… --rayon 40` ; `VIG --zone 950,650,1150,450 --heures 2026-10-23T17:00Z,2026-10-23T18:00Z --contraste 10,120`). **La cause n'est pas établie.** Elle peut être un passage sur la voie entre la caméra et la file paire, à une autre seconde que l'image, ou une panne d'acquisition propre à ce groupe. Ces instants sont à ne pas montrer au client tant que la cause n'est pas connue. +4. **04.11 22:25, pendant l'essai d'Inogy (vers 22:30).** Le temps d'une mesure, le flux de `1006` tombe à 14 % et celui de `1008` à 25 % ; `1008` est rejetée (seuil 0,5). Le flux de `1012` monte d'environ 50 % de 22:20 à 23:00 environ, et celui de `1015` baisse d'environ 18 % à partir de 22:35 (`QC --table flux --debut 2026-11-04T21:30Z --fin 2026-11-04T23:59Z --pas 5min`). Il n'y a pas d'image entre 22:00 et 23:01, et rien n'est visible sur ces deux-là (`VIG --zone 1450,950,550,250 --heures 2026-11-04T21:00Z,2026-11-04T22:00Z,2026-11-04T23:01Z,2026-11-05T00:01Z --contraste 10,150`). Le passage d'une personne près de `1006`-`1016` est compatible, mais il n'est pas vu. +5. **Autres épisodes, sans cause vue.** Le 27.10 à 22:05, le flux de `1007` tombe à 3,6 % puis remonte en 1 h 30 ; `error_value` monte au plus à 0,16, et les images de 22:01 et 23:00 ne montrent rien (`python3 agent-tools/resume.py … --colonne flux --capteurs 1007,1015,1021,1005,1009 --debut 2026-10-27T21:30Z --fin 2026-10-27T23:40Z`, et `VIG`). Le 18.10 après-midi, le flux des cibles de jour baisse jusqu'à 0,12 (médiane des cibles de 13 à 18 h) sous un ciel couvert, et `1001` est rejetée à 7 mesures (`QC --capteurs … --debut 2026-10-18T12:00Z --fin 2026-10-18T18:00Z`, image de 15:01). Le 01 et le 02.11, la `dominance` et la `fwhm` montent et le `snr` baisse alors que le flux reste entier, sans rejet (figure `travail/LENZSPITZE_qualite-commun_*.png`). +6. **Salissure du prisme : rien dans ce lot ne le montre.** Du 02 au 05.11, le flux médian des cibles glisse de 0,92 à 0,77, alors que celui des références reste à 0,95-1,00 (`qualite.py --commun --pas 1d`). C'est trop court et trop peu pour conclure ; il faut le suivre après un repompage. + +### Relation entre métriques d'image et `error_value` +- Sur un même point au cours du temps, `error_value` monte quand la lumière baisse. La corrélation de Spearman médiane par point vaut −0,40 avec `peak`, −0,38 avec `flux`, −0,39 avec `sharpness`, −0,26 avec `fwhm`, −0,23 avec `snr` et +0,02 avec `dominance` (`ST correl`, `outils/correl.txt`). Ces liens sont modestes : `error_value` ne bouge vraiment que quand la cible est presque perdue. +- `error_value` plafonne vers 0,95-0,99, soit 1,4 fois le seuil (lignes brutes du 03.11 19:30, et figure 1). Au-dessus du seuil, elle dit seulement « perdu ». Le `flux` porte l'ampleur sur quatre décades : 0,1 % à 100 %. +- Ce qui explique quoi : + - le `flux`, avec le `snr`, dit si la cible est vue et combien. Selon que la baisse touche tous les points, d'autant plus qu'ils sont loin, ou un seul point, on distingue une **visibilité réduite** d'une **occultation** ; + - la `sharpness` et la `fwhm` disent la forme de la tache, et donc le niveau habituel d'`error_value` (taches saturées et larges) ; + - la `dominance` dit une ambiguïté, mais elle est faussée en permanence sur `8011`-`8013` ; + - le `peak` sature (`pk/max` ≥ 0,95) sur 7 points et ne dit plus rien sur eux. + +## 2. Ce qui a du sens pour un client ferroviaire +| Métrique | Pour le rapport | Pourquoi | +|---|---|---| +| `error_value` / seuil | **oui, comme alarme** | Le client la reçoit déjà (`_error` de l'horaire). Le seuil est l'alarme de son texte. À montrer rapportée au seuil, jamais comme note de qualité d'un point (niveau habituel lié à la forme de la tache, § 1). Elle ne dit pas la cause et peut rester sous le seuil devant un obstacle (`92H`). | +| `flux` (en % du niveau habituel du point) | **oui, la meilleure** | Elle se lit sans formation (« lumière renvoyée par la cible ») et porte la cause : toute la scène, graduée par la distance, signe une visibilité réduite ; un point seul, une occultation. Elle voit ce qu'`error_value` ne voit pas. Il faut la rapporter au niveau du point (la valeur brute varie d'un facteur 100 entre points), à la même heure. | +| `snr` | oui en appui, pas seule | Elle suit le `flux` dans les deux épisodes ; c'est un terme de spécialiste, à mettre en annexe si on la montre. | +| `sharpness`, `fwhm` | non | Ce sont des métriques de forme, sans lecture directe pour le client. La `fwhm` est tronquée au disque et bouge peu. Elles montent ou baissent aussi sur les points saturés : risque de contresens. | +| `dominance` | non | Elle est élevée en permanence sur trois références voisines (`8011`-`8013`) sans défaut réel, ce qui est trompeur. | +| `peak` | non | Elle sature sur 7 points et dépend de l'exposition. | + +## 3. Graphiques proposés +Script : `.venv/bin/python support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/figures.py`. Il régénère les trois figures (PNG à 150 dpi), et `outils/stats.py` donne les chiffres. Le flux « habituel » de chaque point est la médiane de son flux à la même heure UTC sur les jours calmes du 28 au 31.10. + +### 3.1 `fig1_visibilite_nuit-26-10_LENZSPITZE.png` (à mettre dans la section 4.4) +- **Ce qu'elle montre.** En haut, la même zone de l'image une nuit normale (29.10 03:01) et la nuit du 26.10 (03:00), avec trois points entourés à 16, 47 et 133 m. En bas, de 20:00 le 25.10 à 11:00 le 26.10, l'erreur de mesure rapportée au seuil, puis la lumière renvoyée en % du niveau habituel (échelle log). +- **Message.** L'erreur dit **qu'**il y a un problème : 202H et 8002 passent le seuil vers 00:30 et 02:00. La lumière renvoyée dit **pourquoi** : elle baisse jusqu'à 0,1 % d'autant plus tôt et plus fort que le point est loin, pendant que le point proche garde l'essentiel de la sienne. C'est la signature d'une visibilité réduite sur la ligne de visée, que l'image confirme (les points lointains ont disparu). Ce n'est ni un défaut des cibles ni un mouvement de la voie. +- **Légende proposée.** « Figure X : nuit du 26.10.2026 à Crissier. En haut : image de la caméra une nuit normale et pendant l'épisode. En bas : erreur de mesure de trois points rapportée au seuil d'alarme, et lumière renvoyée par chaque cible (en % de son niveau habituel). La perte de lumière, croissante avec la distance, identifie une baisse de visibilité ; l'image la confirme. Heures UTC. » +- **Limite.** La nature exacte du phénomène (brouillard, brume, pluie) n'est pas établie par nos données : écrire « baisse de visibilité », pas « brouillard ». Pendant l'épisode, l'erreur plafonne (≈ 1,4 × seuil) : elle ne mesure plus l'ampleur. + +### 3.2 `fig2_occultation_92H_30-10_LENZSPITZE.png` (à mettre dans la section 4.4) +- **Ce qu'elle montre.** Trois vues de la zone de `92H`, avant (13:01), pendant (14:01, engin de levage) et après (15:01), puis l'erreur et la lumière de `92H` face à deux autres références de 12:30 à 15:30 le 30.10. +- **Message.** Un obstacle temporaire passe devant un seul point : sa lumière tombe à 4 % pendant une mesure, celle des autres ne bouge pas, et l'image montre l'obstacle. L'erreur, elle, reste sous le seuil. **C'est l'illustration directe de la phrase « présence d'un obstacle temporaire »**, et du fait que la métrique d'image voit ce que la seule erreur de mesure ne déclenche pas. +- **Légende proposée.** « Figure Y : 30.10.2026, point 92H. Un engin de levage passe devant le point (image de 14:01) ; la lumière renvoyée par la cible chute à 4 % à 13:55, sans effet sur les autres points, puis revient. L'erreur de mesure reste sous le seuil : c'est la métrique de lumière qui signale l'obstacle. Heures UTC. » +- **Limite.** L'image est horaire. Celle de 14:01 montre l'engin contre `92H`, avec une tache réduite mais visible, 6 min après le minimum (13:55), qu'aucune image ne couvre. Le cercle est décalé d'une dizaine de pixels à gauche de la tache, parce que la conversion des positions est provisoire sur cette station. `92H` est une référence, pas une cible de voie : à dire si Inogy préfère un point de voie (aucun cas de cible de voie avec image n'a été trouvé, § 1.4-1.5). Le message « l'erreur reste sous le seuil » peut inquiéter : voir les questions ouvertes. + +### 3.3 `fig3_vue-ensemble_hors-seuil_LENZSPITZE.png` (annexe, facultative) +- **Ce qu'elle montre.** La part des mesures de chaque jour au-dessus du seuil, par point, les points étant classés du plus lointain au plus proche (distance en m). +- **Message.** Les dépassements se concentrent sur quelques nuits (17, 22-23, 26 et 27.10) et sur les points lointains ; les points à moins de 30 m ne passent presque jamais le seuil ; depuis le 28.10, il n'y a presque plus de dépassement. +- **Légende proposée.** « Figure Z : part des mesures au-dessus du seuil d'alarme, par point et par jour, du 16.10 au 05.11.2026 (points classés par distance à la caméra). » +- **Limite.** Le pas journalier efface les événements d'une mesure (`92H` le 30.10). Les cases claires « moins de 2 % » viennent en partie des 13 instants de cause non établie (§ 1.3). Une fausse lecture est possible : la figure ne dit pas la cause, seulement où et quand. + +### 3.4 Avis sur la figure existante (`metrique-qualite_LENZSPITZE.png`) +**Je ne la garde pas pour la section 4.4**, et je la remplace en annexe par la figure 3. Raisons : +- elle n'illustre pas le texte du client : elle montre `error_value` seule, donc **que** la mesure se dégrade, jamais **pourquoi** ; +- elle est trop dense pour une page imprimée : 41 lignes × 489 heures, six bleus voisins difficiles à distinguer ; +- elle est trompeuse : `1023` y paraît le pire point en permanence (0,58) alors que c'est un effet de forme de tache, et la médiane horaire efface les occultations d'une mesure (`92H` le 30.10 n'apparaît pas) ; +- elle comporte une erreur de classement : `1024`, `8003` et `8010` sont rangés parmi les références alors qu'ils n'entrent pas dans la compensation, et `analyse.md` compte 12 références au lieu de 9. + +Si elle reste, il faut au minimum trier par distance, passer au pas journalier et corriger le classement : c'est la figure 3. + +## 4. Questions ouvertes pour le support +- Les 13 instants « groupe pair » (§ 1.3) : passage sur la voie ou panne d'acquisition ? L'image archivée est-elle prise au même instant que la mesure ? Question pour Marc et le fabricant. +- `92H` caché à 4 % de son flux reste dans la compensation (`inlier` = 1) avec un `error_value` sous le seuil. Faut-il le dire au client tel quel (« l'erreur seule ne suffit pas ») ou formuler plus prudemment ? À arbitrer avant envoi (règle de ne pas alarmer). +- Le texte du client cite « salissure du prisme » et « phénomène météorologique ». Nos données n'en montrent pas de cas prouvé sur ce lot : faut-il lui suggérer de garder ces termes comme exemples génériques ? +- « Visibles sur la plateforme et une alarme sera générée » : le flux n'est aujourd'hui ni livré (seul `_error` l'est) ni sous alarme. À confirmer avec Marc avant que le rapport l'affirme, avec le lien vers la question Geovis. +- Le glissement du flux des cibles du 02 au 05.11 : à suivre après un repompage, ce qui sert aussi la question de la salissure. +- L'étiquette « No data » de `labeling/auto/LENZSPITZE.jsonl` (23.10 23:55 → 26.10 00:00) est contredite par les données présentes (12 000 lignes par jour les 24 et 25.10, 24 images le 25.10). Elle est à signaler au responsable des étiquettes : je ne l'ai pas modifiée. + +## 5. Outils +| Outil | Existant ou à moi | Pour quoi (moment, question) | Ce qu'il a montré | Ce qui a manqué ou encombré | +|---|---|---|---|---| +| `inventaire.py` (commande `INV`) | existant | sources, rejets datés, références retenues | les 13 instants du groupe pair, les nuits de rejets, la compensation sans référence le 26.10 | sortie longue, coupée en largeur (`cut`) | +| `qualite.py --commun --pas 1d` puis `--table flux --pas 5min` | existant | choix de la référence calme, épisodes du 04.11, du 03.11 et du 17.10 | changement de régime 16-20.10 ; flux à 0 sur le groupe pair ; `1006`/`1008` le 04.11 | rien | +| `qualite.py --figure --metriques sharpness` | existant | vue d'ensemble des six métriques | nuits du 26 et du 27.10 ; turbulence probable les 01 et 02.11 | rien | +| `resume.py --colonne flux/error_value --pas 5min` | existant | `1007` le 27.10, `92H` le 30.10 | chute de flux sans rejet | rien | +| `vignettes.py` (`--zone`, `--fixe`, `--contraste`) | existant | images aux instants des épisodes | engin de levage contre `92H` ; disparition des points lointains le 26.10 ; points visibles aux instants du groupe pair | images seulement horaires | +| `outils/stats.py` | à moi | niveaux par point face à la distance et à la taille, Spearman, extrêmes d'un épisode, part hors seuil par jour | niveau d'`error_value` lié à la `sharpness`, pas à la distance ; gradient de distance du 26.10 | aucun outil ne croise les métriques avec les distances et tailles de `lentzpitze_patterns.json` | +| `figures.py` | à moi | figures du rapport | figures 1 à 3 | `graphique.py` ne compose ni vignettes ni courbes en rapport au niveau habituel | + +## Difficultés +- Le skill `analyser-lot` impose un plan (lot, étiquettes, catégories) fait pour le benchmark, pas pour une demande de support. J'ai suivi sa lecture et rendu ce que demandait l'appelant ; `etiquettes.json` n'a pas été produit, car il n'était pas demandé. +- Le skill interdit de lire `labeling/auto/`, mais la demande le cite. Je l'ai lu après ma propre lecture, pour situer les épisodes et contrôler. +- `lire-les-donnees` dit « n'écris aucun autre script », alors qu'`analyser-lot` autorise des scripts dans `outils/`. J'ai suivi `analyser-lot` et la demande, qui demande un script. +- La mission a été recadrée en cours de route (section 4.4 du client). + +## Sources lues +`.claude/skills/analyser-lot/SKILL.md` ; `.claude/skills/lire-les-donnees/SKILL.md` ; `labeling/connaissances/metriques-de-qualite.md` ; `labeling/connaissances/colonnes-des-deplacements.md` (section LENZSPITZE et suivantes) ; `labeling/auto/LENZSPITZE.jsonl` (cité par la demande) ; `support/2026-11-12_LENZSPITZE_metrique-qualite/` (`demande.md`, `analyse.md`, `reponse.md`, `figure.py`, `metrique-qualite_LENZSPITZE.png`, `capture.png`) ; `data/LENZSPITZE/` (exports advanced, `lentzpitze_patterns.json`, images). Non lus faute de temps : `labeling/carte-des-etiquettes.md`, `labeling/familles.md`, `chaine-de-mesure.md`, `pieges-des-donnees.md`, `events/`. diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig1_visibilite_nuit-26-10_LENZSPITZE.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig1_visibilite_nuit-26-10_LENZSPITZE.png new file mode 100644 index 0000000..a7fc6c6 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig1_visibilite_nuit-26-10_LENZSPITZE.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig2_occultation_92H_30-10_LENZSPITZE.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig2_occultation_92H_30-10_LENZSPITZE.png new file mode 100644 index 0000000..033d9f0 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig2_occultation_92H_30-10_LENZSPITZE.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig3_vue-ensemble_hors-seuil_LENZSPITZE.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig3_vue-ensemble_hors-seuil_LENZSPITZE.png new file mode 100644 index 0000000..a39d7e5 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/fig3_vue-ensemble_hors-seuil_LENZSPITZE.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/figures.py b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/figures.py new file mode 100644 index 0000000..0079432 --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/figures.py @@ -0,0 +1,154 @@ +"""Figures du rapport Inogy/CFF, section 4.4 « Métrique de la qualité des points », LENZSPITZE (Crissier). +Usage (racine du dépôt) : .venv/bin/python support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/figures.py +Écrit fig1_*.png, fig2_*.png, fig3_*.png dans ce dossier. Lecture seule de data/LENZSPITZE/.""" +import sys +from collections import defaultdict +from datetime import datetime, timedelta, timezone +from pathlib import Path + +import matplotlib +matplotlib.use("Agg") +import matplotlib.dates as mdates +import matplotlib.pyplot as plt +import numpy as np +from matplotlib.colors import BoundaryNorm, ListedColormap +from PIL import Image + +ICI = Path(__file__).parent +sys.path.insert(0, str(ICI / "outils")) +from stats import charger, motifs, reference_calme # noqa: E402 + +IMAGES = Path("data/LENZSPITZE/images") +UTC = timezone.utc +plt.rcParams.update({"font.size": 11, "axes.spines.top": False, "axes.spines.right": False}) +COUL = ["#1b6ca8", "#e08a00", "#b5272b"] # proche, moyen, lointain / point touché + + +def t(s): + return datetime.fromisoformat(s).replace(tzinfo=UTC) + + +def image(nom): + return np.asarray(Image.open(next(IMAGES.glob(nom + "*.jpg"))).convert("L")) + + +def vignette(ax, nom, zone, titre, points, serie, vmin=10, vmax=120, rayon=22): + """Zone x, y, l, h de l'image ; cercle et nom de chaque point à sa position (x, y) de la mesure la plus proche.""" + x0, y0, l, h = zone + ax.imshow(image(nom)[y0:y0 + h, x0:x0 + l], cmap="gray", vmin=vmin, vmax=vmax, extent=[x0, x0 + l, y0 + h, y0]) + ti = datetime.strptime(nom[:14], "%Y%m%dT%H%MZ").replace(tzinfo=UTC) + for nom_p, c in points: + d = min(serie[nom_p], key=lambda d: abs(d["t"] - ti)) + ax.add_patch(plt.Circle((d["x"], d["y"]), rayon, fill=False, color=c, lw=2)) + ax.annotate(nom_p, (d["x"], d["y"]), xytext=(16, -16), textcoords="offset points", color=c, fontsize=11, fontweight="bold") + ax.set_title(titre, fontsize=11) + ax.set_xticks([]); ax.set_yticks([]) + + +def series(serie, nom, t0, t1): + """Temps, error_value / seuil, flux en % du flux habituel (même heure UTC, jours calmes 28-31.10).""" + s = [d for d in serie[nom] if t0 <= d["t"] <= t1] + ref = reference_calme(serie[nom], "flux") + return ([d["t"] for d in s], [d["error_value"] / d["error_threshold"] for d in s], + [max(d["flux"], 1e-9) / ref[d["t"].hour] * 100 for d in s]) + + +def panneaux(axe, axf, serie, points, t0, t1, instants): + for nom, c, lab in points: + tt, ev, fl = series(serie, nom, t0, t1) + axe.plot(tt, ev, color=c, lw=1.8, label=lab) + axf.plot(tt, fl, color=c, lw=1.8, label=lab) + axe.axhline(1, color="black", ls="--", lw=1.2) + axe.text(t0, 1.03, " seuil d'alarme (mesure jugée peu fiable au-dessus)", va="bottom", fontsize=9) + axe.set_ylabel("erreur de mesure\n(error_value / seuil)") + axe.set_ylim(0, 1.6) + axf.set_yscale("log") + axf.set_ylim(0.05, 300) + axf.set_yticks([0.1, 1, 10, 100], ["0,1 %", "1 %", "10 %", "100 %"]) + axf.axhline(100, color="grey", ls=":", lw=1) + axf.set_ylabel("lumière renvoyée par la cible\n(flux, % du niveau habituel)") + for ax in (axe, axf): + for ti in instants: + ax.axvline(ti, color="grey", lw=1, ls=":") + ax.set_xlim(t0, t1) + ax.grid(axis="y", color="#dddddd", lw=0.6) + axf.xaxis.set_major_formatter(mdates.DateFormatter("%d.%m %H:%M", tz=UTC)) + axf.set_xlabel("heure UTC") + axe.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), frameon=False, fontsize=10) + + +def fig1(serie): + """Perte de visibilité nocturne du 26.10 : la lumière renvoyée baisse d'autant plus que le point est loin.""" + pts = [("1021", COUL[0], "1021 (16 m)"), ("202H", COUL[1], "202H (47 m)"), ("8002", COUL[2], "8002 (133 m)")] + fig = plt.figure(figsize=(16, 10), dpi=150) + g = fig.add_gridspec(3, 2, height_ratios=[1.0, 1, 1], hspace=0.3, wspace=0.04) + zone = (1000, 700, 1900, 700) + vignette(fig.add_subplot(g[0, 0]), "20261029T0301Z", zone, "Nuit normale : 29.10 à 03:01 UTC", + [(n, c) for n, c, _ in pts], serie) + vignette(fig.add_subplot(g[0, 1]), "20261026T0300Z", zone, "Nuit du 26.10 à 03:00 UTC : les points lointains ne sont plus visibles", + [(n, c) for n, c, _ in pts], serie) + axe, axf = fig.add_subplot(g[1, :]), fig.add_subplot(g[2, :]) + axf.sharex(axe) + panneaux(axe, axf, serie, pts, t("2026-10-25T20:00"), t("2026-10-26T11:00"), [t("2026-10-26T03:00")]) + fig.suptitle("LENZSPITZE (Crissier) : perte de visibilité dans la nuit du 26.10.2026", fontsize=14, x=0.02, ha="left") + fig.subplots_adjust(left=0.08, right=0.86, top=0.93, bottom=0.07) + fig.savefig(ICI / "fig1_visibilite_nuit-26-10_LENZSPITZE.png") + + +def fig2(serie): + """Occultation du point 92H par une flèche de grue le 30.10 : seul le flux de 92H s'effondre.""" + pts = [("92H", COUL[2], "92H (56 m)"), ("8002", COUL[1], "8002 (133 m)"), ("8017", COUL[0], "8017 (15 m)")] + fig = plt.figure(figsize=(16, 10), dpi=150) + g = fig.add_gridspec(3, 3, height_ratios=[1.25, 1, 1], hspace=0.35, wspace=0.04) + zone = (900, 620, 380, 260) + for i, (nom, tit) in enumerate([("20261030T1301Z", "13:01 UTC : avant"), + ("20261030T1401Z", "14:01 UTC : charge d'un engin de levage contre 92H"), + ("20261030T1501Z", "15:01 UTC : après")]): + vignette(fig.add_subplot(g[0, i]), nom, zone, tit, [("92H", COUL[2])], serie, vmin=0, vmax=255, rayon=30) + axe, axf = fig.add_subplot(g[1, :]), fig.add_subplot(g[2, :]) + axf.sharex(axe) + panneaux(axe, axf, serie, pts, t("2026-10-30T12:30"), t("2026-10-30T15:30"), [t("2026-10-30T14:01")]) + fig.suptitle("LENZSPITZE (Crissier) : point 92H masqué par un obstacle temporaire, 30.10.2026", fontsize=14, x=0.02, ha="left") + fig.subplots_adjust(left=0.08, right=0.86, top=0.93, bottom=0.07) + fig.savefig(ICI / "fig2_occultation_92H_30-10_LENZSPITZE.png") + + +def fig3(serie): + """Vue d'ensemble : part des mesures au-dessus du seuil, par point (trié par distance) et par jour.""" + meta = motifs() + jours = sorted({d["t"].date() for s in serie.values() for d in s}) + noms = sorted(serie, key=lambda n: -meta.get(n, {}).get("dist_m", -1)) + M = np.zeros((len(noms), len(jours))) + for i, n in enumerate(noms): + c = defaultdict(lambda: [0, 0]) + for d in serie[n]: + k = c[d["t"].date()] + k[0] += 1 + k[1] += d["error_value"] > d["error_threshold"] + for j, jo in enumerate(jours): + M[i, j] = 100 * c[jo][1] / c[jo][0] if c[jo][0] else np.nan + bornes = [0, 0.001, 2, 10, 30, 101] + cmap = ListedColormap(["#ffffff", "#fde0c5", "#f59e5b", "#d9541e", "#8c1d04"]); cmap.set_bad("#dddddd") + fig, ax = plt.subplots(figsize=(16, 11), dpi=150) + im = ax.imshow(M, aspect="auto", interpolation="nearest", cmap=cmap, norm=BoundaryNorm(bornes, cmap.N)) + lab = [f"{n} ({meta[n]['dist_m']:.0f} m)" if n in meta else f"{n} (distance inconnue)" for n in noms] + ax.set_yticks(range(len(noms)), lab, fontsize=9) + ax.set_xticks(range(len(jours)), [f"{j:%d.%m}" for j in jours], fontsize=9) + ax.set_xticks(np.arange(-0.5, len(jours)), minor=True); ax.set_yticks(np.arange(-0.5, len(noms)), minor=True) + ax.grid(which="minor", color="#eeeeee", lw=0.5); ax.tick_params(which="minor", length=0) + ax.set_xlabel("jour (UTC) ; 16.10 et 05.11 partiels") + ax.set_title("LENZSPITZE (Crissier) : part des mesures au-dessus du seuil d'alarme, par point et par jour\n" + "points classés du plus lointain (en haut) au plus proche", fontsize=13, loc="left") + cb = fig.colorbar(im, ax=ax, fraction=0.025, pad=0.02, ticks=[0.0005, 1, 6, 20, 65]) + cb.ax.set_yticklabels(["0 %", "moins de 2 %", "2 à 10 %", "10 à 30 %", "plus de 30 %"]) + cb.set_label("mesures du jour au-dessus du seuil") + fig.tight_layout() + fig.savefig(ICI / "fig3_vue-ensemble_hors-seuil_LENZSPITZE.png") + + +if __name__ == "__main__": + serie = charger() + fig1(serie) + fig2(serie) + fig3(serie) + print("\n".join(str(p) for p in sorted(ICI.glob("fig*.png")))) diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/correl.txt b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/correl.txt new file mode 100644 index 0000000..847aa4e --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/correl.txt @@ -0,0 +1,43 @@ +Spearman, par point, error_value ~ métrique (sur toutes les mesures du lot) ; médiane sur les points, puis par point + 1001 peak -0.32 flux -0.19 sharpness -0.27 fwhm +0.54 dominance +0.45 snr -0.41 + 1002 peak -0.49 flux -0.52 sharpness -0.50 fwhm -0.31 dominance -0.14 snr -0.17 + 1003 peak -0.40 flux -0.38 sharpness -0.32 fwhm +0.09 dominance +0.23 snr -0.48 + 1004 peak -0.42 flux -0.45 sharpness -0.23 fwhm -0.60 dominance -0.38 snr +0.12 + 1005 peak -0.56 flux -0.53 sharpness -0.54 fwhm -0.37 dominance +0.15 snr -0.14 + 1006 peak -0.21 flux +0.31 sharpness -0.54 fwhm +0.39 dominance +0.41 snr -0.48 + 1007 peak -0.67 flux -0.63 sharpness -0.66 fwhm -0.28 dominance -0.01 snr -0.18 + 1008 peak -0.85 flux -0.85 sharpness -0.94 fwhm -0.71 dominance +0.86 snr -0.91 + 1009 peak -0.00 flux +0.19 sharpness -0.73 fwhm +0.27 dominance +0.50 snr -0.64 + 1010 peak -0.53 flux -0.53 sharpness -0.49 fwhm -0.11 dominance +0.04 snr -0.51 + 1011 peak -0.18 flux -0.10 sharpness -0.71 fwhm +0.32 dominance +0.64 snr -0.75 + 1012 peak -0.61 flux -0.62 sharpness -0.65 fwhm -0.33 dominance +0.52 snr -0.68 + 1013 peak -0.68 flux -0.73 sharpness -0.72 fwhm -0.63 dominance +0.01 snr -0.46 + 1014 peak -0.54 flux -0.60 sharpness -0.38 fwhm -0.61 dominance +0.20 snr -0.37 + 1015 peak -0.82 flux -0.80 sharpness -0.47 fwhm -0.45 dominance -0.27 snr -0.26 + 1016 peak -0.58 flux -0.65 sharpness +0.03 fwhm -0.53 dominance -0.45 snr +0.24 + 1017 peak -0.40 flux +0.41 sharpness -0.83 fwhm +0.32 dominance +0.66 snr -0.78 + 1018 peak +0.28 flux +0.28 sharpness -0.12 fwhm -0.23 dominance -0.17 snr +0.03 + 1019 peak -0.62 flux -0.68 sharpness -0.21 fwhm -0.64 dominance -0.69 snr +0.40 + 101B peak -0.40 flux -0.39 sharpness -0.88 fwhm -0.33 dominance +0.75 snr -0.80 + 1020 peak -0.63 flux -0.66 sharpness -0.02 fwhm -0.62 dominance -0.31 snr +0.28 + 1021 peak -0.58 flux -0.70 sharpness +0.66 fwhm -0.51 dominance -0.67 snr +0.67 + 1022 peak -0.30 flux -0.28 sharpness +0.53 fwhm -0.56 dominance -0.66 snr +0.60 + 1023 peak -0.45 flux -0.56 sharpness +0.71 fwhm -0.73 dominance -0.63 snr +0.62 + 1024 peak -0.23 flux -0.41 sharpness +0.34 fwhm -0.26 dominance -0.26 snr +0.37 + 102H peak -0.40 flux -0.38 sharpness -0.43 fwhm -0.19 dominance -0.09 snr -0.18 + 201B peak -0.57 flux -0.49 sharpness -0.29 fwhm -0.21 dominance +0.02 snr -0.23 + 202H peak -0.23 flux -0.57 sharpness -0.26 fwhm -0.69 dominance +0.04 snr -0.12 + 7013B peak -0.32 flux -0.28 sharpness -0.55 fwhm -0.01 dominance +0.04 snr -0.34 + 7013H peak -0.18 flux -0.21 sharpness -0.09 fwhm -0.15 dominance +0.02 snr -0.06 + 8002 peak +0.07 flux +0.07 sharpness -0.29 fwhm -0.00 dominance +0.35 snr -0.49 + 8003 peak -0.17 flux -0.11 sharpness -0.54 fwhm -0.23 dominance +0.72 snr -0.77 + 8004 peak -0.18 flux -0.10 sharpness -0.82 fwhm -0.35 dominance +0.93 snr -0.94 + 8010 peak -0.15 flux -0.17 sharpness -0.34 fwhm -0.48 dominance +0.24 snr -0.36 + 8011 peak -0.23 flux -0.36 sharpness -0.11 fwhm -0.30 dominance -0.07 snr -0.07 + 8012 peak -0.28 flux -0.05 sharpness +0.00 fwhm +0.70 dominance -0.32 snr +0.39 + 8013 peak -0.15 flux -0.06 sharpness -0.06 fwhm +0.51 dominance -0.81 snr +0.79 + 8014 peak -0.89 flux -0.90 sharpness -0.91 fwhm -0.16 dominance -0.09 snr +0.01 + 8017 peak -0.52 flux +0.91 sharpness -0.86 fwhm +0.13 dominance -0.03 snr -0.63 + 8019 peak -0.26 flux +0.71 sharpness -0.76 fwhm -0.11 dominance -0.03 snr -0.30 + 92H peak -0.34 flux -0.30 sharpness -0.39 fwhm -0.16 dominance +0.18 snr -0.21 +médiane : peak -0.40 flux -0.38 sharpness -0.39 fwhm -0.26 dominance +0.02 snr -0.23 diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/episode_2610.txt b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/episode_2610.txt new file mode 100644 index 0000000..75c9578 --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/episode_2610.txt @@ -0,0 +1,43 @@ +Épisode 2026-10-26T02:00+00:00 → 2026-10-26T06:00+00:00 : par point, extrêmes sur la plage (rapports à la référence calme 28.10–01.11, même heure) +point dist_m ev/seuil_max n>seuil flux_min snr_min sharp_min fwhm_max dom_max +8010 176.1 1.39 50 -0.000 0.004 0.027 1.73 108.1 +8011 150.1 1.40 50 0.000 0.082 0.034 1.38 2.0 +8002 133.3 1.41 49 -0.000 0.005 0.025 1.57 103.8 +8003 132.0 1.41 50 -0.000 0.006 0.036 1.47 117.3 +8012 130.0 1.40 50 0.000 0.127 0.041 1.85 1.5 +8013 96.1 1.43 50 -0.000 0.130 0.041 1.87 1.4 +8004 88.9 1.40 50 0.000 0.009 0.045 1.67 85.0 +1002 64.0 0.27 0 0.086 0.272 0.435 1.04 2.2 +1001 63.7 1.37 36 0.000 0.010 0.067 1.34 67.0 +1003 59.2 1.09 4 0.004 0.038 0.087 1.03 17.1 +1004 59.2 0.40 0 0.025 0.259 0.309 1.01 1.9 +92H 55.9 1.41 50 0.000 0.005 0.015 1.27 69.8 +1005 54.4 1.23 31 0.003 0.021 0.069 1.05 38.9 +1006 54.4 0.24 0 0.012 0.347 0.368 1.03 1.5 +1008 49.7 1.15 6 0.039 0.354 0.243 1.10 1.4 +1007 49.6 1.22 6 0.003 0.027 0.059 1.11 23.2 +8014 48.8 1.37 50 0.002 0.021 0.093 1.23 12.8 +7013B 47.7 0.25 0 0.041 0.153 0.236 1.02 3.0 +7013H 47.7 1.40 40 0.001 0.004 0.018 1.47 124.2 +201B 47.2 1.41 50 0.000 0.003 0.024 1.67 166.0 +202H 47.2 1.40 50 0.000 0.004 0.028 1.91 118.4 +101B 46.9 1.40 50 0.001 0.006 0.034 1.70 89.8 +102H 46.9 1.41 50 -0.000 0.004 0.022 1.44 107.8 +1009 44.8 0.18 0 0.032 0.451 0.453 1.01 1.3 +1010 44.7 0.26 0 0.117 0.216 0.284 1.02 2.3 +1012 39.9 0.21 0 0.181 0.303 0.437 1.01 2.1 +1011 39.8 1.12 6 0.004 0.014 0.024 1.05 41.2 +1014 35.1 0.18 0 0.377 0.510 0.619 1.02 1.4 +1013 35.0 0.85 0 0.016 0.041 0.042 1.01 12.0 +1016 30.4 0.36 0 0.575 0.820 0.923 1.02 1.2 +1015 30.2 0.30 0 0.034 0.115 0.215 1.04 4.0 +1018 25.9 0.42 0 0.451 1.107 0.990 0.90 0.8 +1017 25.4 0.18 0 0.628 1.063 1.024 1.03 1.0 +1020 21.3 0.39 0 0.644 0.920 0.959 1.00 1.1 +1019 21.0 0.36 0 0.757 0.970 0.949 1.01 1.0 +1022 16.6 0.41 0 0.495 0.610 0.825 1.15 2.0 +1021 16.2 0.41 0 0.600 0.875 0.985 1.01 1.1 +8017 15.2 0.24 0 0.867 1.013 1.061 1.02 1.1 +1024 12.2 0.27 0 0.411 0.893 0.969 1.08 1.6 +8019 - 0.26 0 0.866 0.856 1.035 1.09 1.2 +1023 - 0.71 0 0.560 0.912 0.934 0.99 1.0 diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/jours.txt b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/jours.txt new file mode 100644 index 0000000..33d507d --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/jours.txt @@ -0,0 +1,22 @@ +jour cibles %>seuil réf. %>seuil +2026-10-16 0.04 4.01 +2026-10-17 1.85 7.07 +2026-10-18 0.13 0.00 +2026-10-19 0.10 0.32 +2026-10-20 0.33 0.53 +2026-10-21 0.29 0.49 +2026-10-22 0.72 4.51 +2026-10-23 1.40 5.03 +2026-10-24 0.91 0.19 +2026-10-25 0.95 1.13 +2026-10-26 8.00 20.91 +2026-10-27 7.64 20.15 +2026-10-28 0.17 0.71 +2026-10-29 0.15 0.11 +2026-10-30 0.15 0.15 +2026-10-31 0.04 0.04 +2026-11-01 0.04 0.00 +2026-11-02 0.04 0.00 +2026-11-03 0.19 0.19 +2026-11-04 0.03 0.04 +2026-11-05 0.07 0.17 diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/points.txt b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/points.txt new file mode 100644 index 0000000..b8b1356 --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/points.txt @@ -0,0 +1,49 @@ +point type motif dist_m taille ev/seuil_med p95 %rej flux_med snr_med sharp_med fwhm_med dom_med pk/max +1023 cib - - - 0.58 0.88 0.3 365027 1795 0.028 7.04 0.005 0.75 +1022 cib target02 16.6 54.0 0.32 0.46 0.1 224387 1169 0.032 5.62 0.008 0.52 +1020 cib target02 21.3 42.0 0.29 0.36 0.1 76097 754 0.046 4.28 0.010 0.24 +8012 réf global_ref 130.0 17.0 0.29 1.08 7.1 17899 26 0.041 2.78 0.646 0.18 +1008 cib target02 49.7 17.0 0.27 0.82 3.2 8676 73 0.047 2.85 0.084 0.06 +8019 réf global_ref - - 0.27 0.33 0.2 457459 605 0.039 5.93 0.024 1.00 +1021 cib target 16.2 47.0 0.26 0.47 0.0 762699 1134 0.027 6.81 0.010 1.00 +8013 réf global_ref 96.1 15.5 0.26 1.01 5.3 16756 26 0.048 3.15 0.698 0.12 +8017 réf global_ref 15.2 48.5 0.25 0.29 0.0 1034366 335 0.017 7.44 0.030 1.00 +1016 cib target02 30.4 30.0 0.24 0.42 0.2 58044 1036 0.063 4.01 0.007 0.26 +8011 réf global_ref 150.1 17.5 0.24 0.76 3.9 30523 37 0.049 3.41 0.498 0.18 +8010 cib ref 176.1 13.5 0.22 0.49 4.0 12693 604 0.074 3.28 0.009 0.11 +1024 cib ref 12.2 85.5 0.21 0.42 0.0 767371 1045 0.025 7.17 0.009 1.00 +1017 cib target 25.4 34.0 0.18 0.31 0.0 495867 1205 0.041 5.55 0.007 1.00 +8004 réf global_ref 88.9 12.5 0.15 0.43 3.1 6998 311 0.043 3.36 0.013 0.04 +1019 cib target 21.0 42.0 0.15 0.66 0.0 98280 694 0.047 4.56 0.013 0.30 +202H cib target05 47.2 15.5 0.14 0.62 4.0 32104 703 0.051 4.32 0.009 0.15 +101B cib target05 46.9 16.5 0.14 0.82 4.5 11626 400 0.050 3.48 0.012 0.07 +1001 cib target 63.7 16.0 0.13 0.29 1.4 26689 271 0.092 2.84 0.015 0.17 +8003 cib ref 132.0 16.0 0.13 0.29 1.7 8329 436 0.054 3.32 0.010 0.06 +1015 cib target 30.2 42.5 0.12 0.36 0.0 214710 1801 0.051 5.09 0.005 0.70 +1018 cib target02 25.9 37.5 0.12 0.32 0.2 278792 1170 0.053 5.07 0.009 0.86 +1011 cib target 39.8 25.5 0.12 0.30 0.3 136694 1775 0.066 4.35 0.004 0.71 +8014 réf global_ref 48.8 54.5 0.12 0.95 4.7 78770 111 0.008 7.36 0.114 0.11 +92H réf global_ref 55.9 29.0 0.11 0.22 3.0 180757 869 0.061 4.37 0.011 0.72 +1007 cib target 49.6 24.0 0.11 0.21 0.3 61528 382 0.087 2.84 0.014 0.43 +201B cib target05 47.2 17.5 0.10 0.33 3.4 50736 1015 0.057 4.17 0.006 0.27 +1014 cib target02 35.1 31.0 0.10 0.21 0.2 26611 676 0.050 4.13 0.009 0.11 +1009 cib target 44.8 29.0 0.10 0.25 0.0 181035 559 0.076 3.50 0.012 0.95 +1005 cib target 54.4 16.5 0.09 0.26 0.7 38440 334 0.102 2.83 0.013 0.29 +1013 cib target 35.0 34.5 0.09 0.47 0.2 63695 1016 0.060 3.97 0.007 0.29 +1002 cib target02 64.0 20.0 0.08 0.44 3.0 16642 270 0.090 2.90 0.019 0.11 +1004 cib target02 59.2 19.5 0.08 0.26 1.5 33021 208 0.094 2.99 0.028 0.19 +7013B cib target05 47.7 13.5 0.08 0.17 0.2 89067 1342 0.076 3.89 0.006 0.51 +1006 cib target02 54.4 16.0 0.08 0.29 0.2 171638 260 0.090 3.03 0.027 0.99 +1010 cib target02 44.7 18.5 0.07 0.28 0.2 46389 1145 0.058 3.95 0.006 0.26 +1003 cib target 59.2 14.0 0.07 0.18 0.3 48467 301 0.095 2.89 0.015 0.31 +102H cib target05 46.9 18.0 0.07 0.33 3.7 50091 832 0.080 3.37 0.009 0.34 +7013H cib target05 47.7 18.5 0.07 0.21 2.2 95751 1430 0.076 3.90 0.006 0.54 +8002 réf global_ref 133.3 19.5 0.07 0.29 1.3 30253 646 0.089 3.38 0.009 0.20 +1012 cib target02 39.9 25.5 0.07 0.33 0.3 32113 771 0.060 3.98 0.008 0.15 +Spearman ev/seuil médian ~ distance (n=39) : -0.20 +Spearman ev/seuil médian ~ taille (n=39) : +0.18 +Spearman ev/seuil médian ~ snr médian (n=41) : -0.05 +Spearman ev/seuil médian ~ flux médian (n=41) : +0.14 +Spearman ev/seuil médian ~ sharpness médian (n=41) : -0.74 +Spearman ev/seuil médian ~ dominance médian (n=41) : +0.20 +Spearman ev/seuil médian ~ fwhm médian (n=41) : +0.32 diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/stats.py b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/stats.py new file mode 100644 index 0000000..cd9c80a --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/stats.py @@ -0,0 +1,152 @@ +"""Chiffres de l'analyse des métriques de qualité, LENZSPITZE, lot 2026-10-16 → 2026-11-05T11:00Z. +Usage (racine du dépôt) : python3 support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/outils/stats.py [section] +Sections : points (défaut), episode, correl, jours. Lecture seule de data/LENZSPITZE/.""" +import csv, glob, json, math, statistics, sys +from collections import defaultdict +from datetime import datetime + +DOSSIER = "data/LENZSPITZE" +DEBUT, FIN = datetime.fromisoformat("2026-10-16T00:00+00:00"), datetime.fromisoformat("2026-11-05T11:00+00:00") +CALME = (datetime.fromisoformat("2026-10-28T00:00+00:00"), datetime.fromisoformat("2026-11-01T00:00+00:00")) +METRIQUES = ["peak", "flux", "sharpness", "fwhm", "dominance", "snr"] + + +def charger(): + """Une liste de dicts par capteur, triée par temps ; valeurs float (None si vide).""" + serie = defaultdict(list) + for f in sorted(glob.glob(f"{DOSSIER}/displacement/*_advanced_*.csv")): + for r in csv.DictReader(open(f)): + t = datetime.fromisoformat(r["time_utc"]) + if not DEBUT <= t <= FIN: + continue + d = {"t": t} + for k in ["error_value", "error_threshold", "reproj_err", "x", "y"] + METRIQUES: + d[k] = float(r[k]) if r[k] else None + d["motif"] = r["pattern_type"] + serie[r["sensor_name"]].append(d) + for s in serie.values(): + s.sort(key=lambda d: d["t"]) + return serie + + +def motifs(): + d = json.load(open(f"{DOSSIER}/lentzpitze_patterns.json")) + out = {} + for v in d.values(): + if isinstance(v, dict) and "sensor_name" in v: + c = v["corners"] + out[str(v["sensor_name"])] = {"dist_m": v["distance_mm"] / 1000, "taille_px": (c[1][0] - c[0][0] + c[1][1] - c[0][1]) / 2, + "motif": v["pattern_type"]} + return out + + +def reference_calme(mesures, m): + """Médiane de la métrique m par heure UTC du jour sur les jours calmes.""" + par_h = defaultdict(list) + for d in mesures: + if CALME[0] <= d["t"] < CALME[1] and d[m] is not None: + par_h[d["t"].hour].append(d[m]) + return {h: statistics.median(v) for h, v in par_h.items()} + + +def rang(v): + o = sorted(range(len(v)), key=v.__getitem__) + r = [0] * len(v) + for i, j in enumerate(o): + r[j] = i + return r + + +def spearman(a, b): + ra, rb = rang(a), rang(b) + return statistics.correlation(ra, rb) if len(a) > 2 else float("nan") + + +def points(serie, meta): + print("point type motif dist_m taille ev/seuil_med p95 %rej flux_med snr_med sharp_med fwhm_med dom_med pk/max") + pkmax = max(d["peak"] for s in serie.values() for d in s if d["peak"] is not None) + lignes = [] + for n, s in serie.items(): + glob_ref = any(d["reproj_err"] is not None for d in s) + ev = [d["error_value"] / d["error_threshold"] for d in s] + rej = sum(e > 1 for e in ev) / len(ev) * 100 + med = {m: statistics.median(d[m] for d in s if d[m] is not None) for m in METRIQUES} + q = statistics.quantiles(ev, n=20)[-1] + mm = meta.get(n, {}) + lignes.append((n, "réf" if glob_ref else "cib", s[0]["motif"] or "-", mm.get("dist_m"), mm.get("taille_px"), + statistics.median(ev), q, rej, med, med["peak"] / pkmax)) + lignes.sort(key=lambda l: -l[5]) + for n, ty, mo, di, ta, e, q, rj, med, pk in lignes: + print(f"{n:6} {ty:4} {mo:10} {di if di else '-':>6} {ta if ta else '-':>6} {e:12.2f} {q:5.2f} {rj:5.1f} {med['flux']:9.0f} {med['snr']:8.0f}" + f" {med['sharpness']:9.3f} {med['fwhm']:8.2f} {med['dominance']:8.3f} {pk:6.2f}") + # niveau habituel face à la distance, la taille, le snr (rangs, tous points avec motif) + av = [l for l in lignes if l[3] is not None] + for nom, idx in (("distance", 3), ("taille", 4)): + print(f"Spearman ev/seuil médian ~ {nom} (n={len(av)}) : {spearman([l[5] for l in av], [l[idx] for l in av]):+.2f}") + for m in ("snr", "flux", "sharpness", "dominance", "fwhm"): + print(f"Spearman ev/seuil médian ~ {m} médian (n={len(lignes)}) : {spearman([l[5] for l in lignes], [l[8][m] for l in lignes]):+.2f}") + + +def correl(serie): + """Par point, sur le lot, Spearman entre error_value et chaque métrique (rapport à la référence calme).""" + print("Spearman, par point, error_value ~ métrique (sur toutes les mesures du lot) ; médiane sur les points, puis par point") + tous = defaultdict(list) + for n, s in sorted(serie.items()): + ligne = [] + for m in METRIQUES: + v = [(d["error_value"], d[m]) for d in s if d[m] is not None] + r = spearman([a for a, _ in v], [b for _, b in v]) + tous[m].append(r) + ligne.append(f"{m} {r:+.2f}") + print(f" {n:6} " + " ".join(ligne)) + print("médiane : " + " ".join(f"{m} {statistics.median(tous[m]):+.2f}" for m in METRIQUES)) + + +def episode(serie, meta, debut, fin): + """Par point : error_value/seuil max, rapport flux min / snr min / sharpness min / dominance max à la réf. calme.""" + t0, t1 = datetime.fromisoformat(debut), datetime.fromisoformat(fin) + print(f"Épisode {debut} → {fin} : par point, extrêmes sur la plage (rapports à la référence calme {CALME[0]:%d.%m}–{CALME[1]:%d.%m}, même heure)") + print("point dist_m ev/seuil_max n>seuil flux_min snr_min sharp_min fwhm_max dom_max") + rows = [] + for n, s in serie.items(): + ref = {m: reference_calme(s, m) for m in ("flux", "snr", "sharpness", "fwhm", "dominance")} + pl = [d for d in s if t0 <= d["t"] <= t1] + if not pl: + continue + def rap(m, f): + v = [d[m] / ref[m][d["t"].hour] for d in pl if d[m] is not None and ref[m].get(d["t"].hour)] + return f(v) if v else float("nan") + ev = [d["error_value"] / d["error_threshold"] for d in pl] + rows.append((n, meta.get(n, {}).get("dist_m"), max(ev), sum(e > 1 for e in ev), rap("flux", min), rap("snr", min), + rap("sharpness", min), rap("fwhm", max), rap("dominance", max))) + rows.sort(key=lambda r: -(r[1] or 0)) + for r in rows: + print(f"{r[0]:6} {r[1] if r[1] else '-':>6} {r[2]:12.2f} {r[3]:8d} {r[4]:9.3f} {r[5]:8.3f} {r[6]:9.3f} {r[7]:9.2f} {r[8]:8.1f}") + + +def jours(serie): + """Par jour : part des mesures au-dessus du seuil, cibles / références globales.""" + c = defaultdict(lambda: [0, 0, 0, 0]) + for n, s in serie.items(): + glob_ref = any(d["reproj_err"] is not None for d in s) + for d in s: + k = c[d["t"].date()] + k[2 * glob_ref] += 1 + k[2 * glob_ref + 1] += d["error_value"] > d["error_threshold"] + print("jour cibles %>seuil réf. %>seuil") + for j in sorted(c): + a = c[j] + print(f"{j} {100 * a[1] / a[0]:6.2f} {100 * a[3] / max(a[2], 1):6.2f}") + + +if __name__ == "__main__": + sec = sys.argv[1] if len(sys.argv) > 1 else "points" + serie = charger() + if sec == "points": + points(serie, motifs()) + elif sec == "correl": + correl(serie) + elif sec == "jours": + jours(serie) + elif sec == "episode": + episode(serie, motifs(), sys.argv[2], sys.argv[3]) diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_qualite-commun_20261016T0210Z_20261105T1010Z.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_qualite-commun_20261016T0210Z_20261105T1010Z.png new file mode 100644 index 0000000..cae000c Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_qualite-commun_20261016T0210Z_20261105T1010Z.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_qualite-sharpness_20261016T0210Z_20261105T1010Z.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_qualite-sharpness_20261016T0210Z_20261105T1010Z.png new file mode 100644 index 0000000..e9e98cc Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_qualite-sharpness_20261016T0210Z_20261105T1010Z.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_1001-1002-92H-1024_190701-190800-170401-170500.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_1001-1002-92H-1024_190701-190800-170401-170500.png new file mode 100644 index 0000000..c0d8092 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_1001-1002-92H-1024_190701-190800-170401-170500.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_1007-1015-1021-1005_272100-272201-272300_contraste.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_1007-1015-1021-1005_272100-272201-272300_contraste.png new file mode 100644 index 0000000..dd5106b Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_1007-1015-1021-1005_272100-272201-272300_contraste.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_92H_301301-301401-301501_fixe.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_92H_301301-301401-301501_fixe.png new file mode 100644 index 0000000..b8f1c39 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_92H_301301-301401-301501_fixe.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone100-600-1900-500_92H-8002-8004-1002-1001-8012-1024-1022_231601-231700.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone100-600-1900-500_92H-8002-8004-1002-1001-8012-1024-1022_231601-231700.png new file mode 100644 index 0000000..57564d2 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone100-600-1900-500_92H-8002-8004-1002-1001-8012-1024-1022_231601-231700.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1000-650-1900-700_8011-8012-8013-8002-101B-202H-1001-1021-1024-8017_260300-290300_contraste.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1000-650-1900-700_8011-8012-8013-8002-101B-202H-1001-1021-1024-8017_260300-290300_contraste.png new file mode 100644 index 0000000..28e1c4d Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1000-650-1900-700_8011-8012-8013-8002-101B-202H-1001-1021-1024-8017_260300-290300_contraste.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1400-900-700-350_1008-1010-1012-1006-1004-1014_170900-171001-171101.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1400-900-700-350_1008-1010-1012-1006-1004-1014_170900-171001-171101.png new file mode 100644 index 0000000..d03dadc Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1400-900-700-350_1008-1010-1012-1006-1004-1014_170900-171001-171101.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1450-950-550-250_1006-1008-1012-1015-1016-1010-1007_042100-042200-042301-050001_contraste.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1450-950-550-250_1006-1008-1012-1015-1016-1010-1007_042100-042200-042301-050001_contraste.png new file mode 100644 index 0000000..292ceeb Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone1450-950-550-250_1006-1008-1012-1015-1016-1010-1007_042100-042200-042301-050001_contraste.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone830-550-500-400_92H_301301-301401-301501.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone830-550-500-400_92H_301301-301401-301501.png new file mode 100644 index 0000000..019cdf7 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone830-550-500-400_92H_301301-301401-301501.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone950-650-1150-450_92H-8002-8004-1002-1001-1022-7013H-8010_231700-231800_contraste.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone950-650-1150-450_92H-8002-8004-1002-1001-1022-7013H-8010_231700-231800_contraste.png new file mode 100644 index 0000000..b78e2e6 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/analyste/travail/LENZSPITZE_vignettes_zone950-650-1150-450_92H-8002-8004-1002-1001-1022-7013H-8010_231700-231800_contraste.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/capture.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/capture.png new file mode 100644 index 0000000..f31a22e Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/capture.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/demande.md b/support/2026-11-12_LENZSPITZE_metrique-qualite/demande.md new file mode 100644 index 0000000..ef7811b --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/demande.md @@ -0,0 +1,32 @@ +# LENZSPITZE : métrique de qualité des points + +- **Statut** : prêt à envoyer (Marc relit avant l'envoi) +- **Reçu le** : 2026-11-12 (mail de David Marty, Inogy, après le 06.11) +- **Station** : LENZSPITZE, déduite de « Crissier » (fil « Crissier 04.11.2026 ») +- **Plage** : toute la période disponible, 2026-10-16 02:10 → 2026-11-05 10:10 UTC (rien dans le mail ; rapport pour les CFF ; dernières données pompées) +- **Question** : un graphique de la métrique de qualité des points pour son rapport aux CFF ; et, plus tard, cette métrique peut-elle aller sur Geovis ? +- **Séries** : tous les points ; correspondance client → `sensor_name` non établie (les noms de l'export sont gardés) + +## Mail du client + +> Bonjour tout le monde, +> +> je suis en train de finaliser le rapport pour les cff +> +> on parle de métrique de qualité des points. +> +> Est-ce que tu pourrais me sortir un graphique de cette métrique ? Est-ce que dans un futur on peut l'exporter sur Geovis ? +> +> Salutations +> +> David + +Fil précédent (05-06.11) : activité sur les voies le 04.11 vers 22:30 UTC (un essai d'Inogy), export FTP interrompu du 02.11 14:00 au 05.11 23:03, intégration API vers Geovis par MQTT en discussion entre Marc et Amberg. + +## Capture du client (transmise par Maxime, 2026-11-12) + +![Section 4.4 du rapport de David, « Métrique de la qualité des points »](capture.png) + +Le texte de David : les métriques de qualité associées à chaque point permettent d'identifier l'origine d'une dégradation de mesure (occlusion, phénomène météorologique, salissure du prisme) ; les images archivées les complètent (train, obstacle temporaire, conditions environnementales) et réduisent les déplacements sur site ; ces métriques sont visibles sur la plateforme et un dépassement de seuil génère une alarme de fonction. Puis « Mettre graphique ». + +Lecture : il parle des métriques d'image (le **pourquoi** d'une dégradation), pas seulement d'`error_value` ; le graphique doit illustrer ce paragraphe. diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/figure.py b/support/2026-11-12_LENZSPITZE_metrique-qualite/figure.py new file mode 100644 index 0000000..684a1db --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/figure.py @@ -0,0 +1,65 @@ +"""Métrique de qualité des points (error_value / error_threshold), médiane horaire, une ligne par point. +Usage : .venv/bin/python support/2026-11-12_LENZSPITZE_metrique-qualite/figure.py""" +import csv, glob, statistics +from collections import defaultdict +from datetime import datetime, timedelta +from pathlib import Path +import matplotlib +matplotlib.use("Agg") +import matplotlib.pyplot as plt +import matplotlib.dates as mdates +from matplotlib.colors import ListedColormap, BoundaryNorm +from matplotlib.patches import Patch +import numpy as np + +ICI = Path(__file__).parent +REFS = {"ref", "global_ref"} +val, kind = defaultdict(list), {} +for f in sorted(glob.glob("data/LENZSPITZE/displacement/*.csv")): + for r in csv.DictReader(open(f)): + t = datetime.fromisoformat(r["time_utc"]).replace(minute=0, second=0, tzinfo=None) + val[(r["sensor_name"], t)].append(float(r["error_value"]) / float(r["error_threshold"])) + kind[r["sensor_name"]] = r["pattern_type"] + +heures = sorted({t for _, t in val}) +h0, h1 = heures[0], heures[-1] +grille = [h0 + timedelta(hours=i) for i in range(int((h1 - h0).total_seconds() // 3600) + 1)] +cibles = sorted(s for s in kind if kind[s] not in REFS) +refs = sorted(s for s in kind if kind[s] in REFS) +lignes = cibles + refs +M = np.full((len(lignes), len(grille)), np.nan) +for i, s in enumerate(lignes): + for j, t in enumerate(grille): + if (s, t) in val: + M[i, j] = statistics.median(val[(s, t)]) + +# ramp bleu (clair = bonne qualité) jusqu'au seuil, rouge au-dessus +bleus = ["#cde2fb", "#9ec5f4", "#6da7ec", "#3987e5", "#256abf", "#104281"] +cmap = ListedColormap(bleus); cmap.set_over("#d03b3b"); cmap.set_bad("#e6e6e6") +norm = BoundaryNorm(np.linspace(0, 1, len(bleus) + 1), cmap.N) + +fig, ax = plt.subplots(figsize=(16, 10), dpi=150) +x0, x1 = mdates.date2num(grille[0]), mdates.date2num(grille[-1] + timedelta(hours=1)) +im = ax.imshow(M, aspect="auto", interpolation="nearest", cmap=cmap, norm=norm, + extent=[x0, x1, len(lignes) - 0.5, -0.5]) +ax.set_yticks(range(len(lignes)), lignes, fontsize=7) +ax.axhline(len(cibles) - 0.5, color="black", lw=1.5) +ax.text(x1, len(cibles) / 2, " cibles", va="center", rotation=90, fontsize=9) +ax.text(x1, len(cibles) + len(refs) / 2, " références", va="center", rotation=90, fontsize=9) +ax.xaxis.set_major_locator(mdates.DayLocator()) +ax.xaxis.set_major_formatter(mdates.DateFormatter("%d.%m")) +ax.tick_params(axis="x", labelsize=8) +ax.set_xlabel("Date (UTC)") +ax.set_title("LENZSPITZE (Crissier), qualité de mesure des points : error_value / seuil, médiane horaire\n" + f"{grille[0]:%d.%m.%Y %H:%M} au {grille[-1] + timedelta(hours=1):%d.%m.%Y %H:%M} UTC", fontsize=11) +cb = fig.colorbar(im, ax=ax, extend="max", fraction=0.025, pad=0.03, ticks=[0, 0.25, 0.5, 0.75, 1]) +cb.set_label("error_value / seuil (au-dessus de 1, mesure jugée peu fiable)", fontsize=8) +ax.legend(handles=[Patch(color="#d03b3b", label="au-dessus du seuil"), Patch(color="#e6e6e6", label="pas de mesure")], + loc="upper left", bbox_to_anchor=(0, -0.06), ncol=2, fontsize=8, frameon=False) +fig.tight_layout() +fig.savefig(ICI / "metrique-qualite_LENZSPITZE.png") + +# chiffres pour l'analyse : part des heures au-dessus du seuil, par point +for s, row in zip(lignes, M): + ok = row[~np.isnan(row)] + print(f"{s:6} {kind[s] or '-':10} médiane {np.median(ok):.2f} heures>seuil {int((ok > 1).sum()):3}/{ok.size}") diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/metrique-qualite_LENZSPITZE.png b/support/2026-11-12_LENZSPITZE_metrique-qualite/metrique-qualite_LENZSPITZE.png new file mode 100644 index 0000000..4dc1b99 Binary files /dev/null and b/support/2026-11-12_LENZSPITZE_metrique-qualite/metrique-qualite_LENZSPITZE.png differ diff --git a/support/2026-11-12_LENZSPITZE_metrique-qualite/reponse.md b/support/2026-11-12_LENZSPITZE_metrique-qualite/reponse.md new file mode 100644 index 0000000..4865ed3 --- /dev/null +++ b/support/2026-11-12_LENZSPITZE_metrique-qualite/reponse.md @@ -0,0 +1,24 @@ +**Objet** : Re: Crissier 04.11.2026 + +Bonjour David, + +Voici deux graphiques pour ta section 4.4, tirés de deux épisodes réels de Crissier. Chacun montre la même chose que ton texte, une dégradation de mesure dont les métriques de qualité et les images donnent l'origine. + +Sur chaque figure, en haut les images de la caméra, au milieu l'erreur de mesure de quelques points (error_value divisée par son seuil, au-dessus de 1 nous jugeons la mesure peu fiable, mais elle t'est quand même livrée), en bas la lumière renvoyée par chaque cible (le flux, en % de son niveau habituel). Heures en UTC. + +* Figure 1, nuit du 25 au 26.10. La lumière renvoyée par les points lointains baisse peu à peu à partir de minuit, jusqu'à presque rien, d'autant plus tôt et plus fort que le point est loin (202H à 47 m, 8002 à 133 m), puis revient vers 07:00 à 08:00. Leur erreur passe le seuil pendant ce temps. Le point proche (1021, 16 m) reste normal. Sur l'image de 03:00, les points lointains ont disparu. C'est une perte de visibilité de la scène, pas un défaut des cibles ni un mouvement de la voie. Les images ne permettent pas de dire s'il s'agit de brouillard, de brume ou de pluie. +* Figure 2, 30.10 vers 14:00. Sur l'image de 14:01, la charge d'un engin de levage passe juste devant le point 92H. Sa lumière tombe à 4 % de la normale à 13:55, sans effet sur les autres points. Son erreur reste sous le seuil. C'est un bon exemple de ce que la métrique de lumière apporte en plus, elle voit l'obstacle que l'erreur seule ne signale pas. + +Je peux aussi te donner une vue d'ensemble sur toute la période (part des mesures au-dessus du seuil, par point et par jour), si tu veux une annexe. + +Deux remarques sur ton texte, pour qu'il colle à ce que les données montrent. + +* Les métriques orientent vers l'origine d'une dégradation, et ce sont les images qui la confirment. J'écrirais plutôt qu'elles permettent d'identifier le type de dégradation, sans le mot précisément. Sur cette période, on n'a pas de cas de salissure de prisme. +* Aujourd'hui, seule l'erreur de mesure t'est livrée. La lumière renvoyée ne l'est pas encore et ne déclenche pas d'alarme. + +Pour Geovis, oui, c'est tout à fait possible. L'export vers vous passe par le FTP et nous pouvons y mettre ce que nous voulons, les métriques de qualité comprises. Il nous faut seulement savoir ce que vous souhaitez y voir (quelles métriques, pour quels points, à quel pas de temps) et sous quel format. Ce sera aussi valable pour l'intégration directe que Marc prépare avec Amberg. + +Salutations, +Maxime + +**Pièces jointes** : fig1_visibilite_nuit-26-10_LENZSPITZE.png (perte de visibilité de la nuit du 25 au 26.10), fig2_occultation_92H_30-10_LENZSPITZE.png (point 92H masqué par un engin le 30.10).