Add PS des Coudres optical exports as the displacement working set (D-045)
Exports go to data/<STATION>/displacement/, out of reach of the system metrics loader. The 15-min "advanced" export (UTC) is the analysis source; the hourly export is kept for the corr_x/corr_y conversion factors. Document both formats and record the open questions in the framing doc. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
60ed5c85ed
commit
1e80ee0acb
6 files changed
+8060
-14
No files matched your search
@@ -485,3 +485,18 @@ Règles du journal :
|
||||
- **Pourquoi** : demande de l'utilisateur. Les événements externes laissent des pics, du bruit ou des trous que le client peut prendre pour un mouvement. La station filtre déjà par un seuil d'erreur muet (0,7) ; la valeur ajoutée est de dire pourquoi, de graduer et de signaler sans qu'on le demande.
|
||||
- **Options écartées** : remplacer la série brute ; lisser sans détecter ; modèle appris ou LLM dans cette couche ; données synthétiques ; décision sur `inlier` binaire.
|
||||
- **Conséquence** : prérequis bloquant : un export de déplacements à la cadence native avec des événements connus (`data/` n'a que des métriques système), idéalement le HDF5. Questions ouvertes : §7 du cadrage.
|
||||
|
||||
## D-045 — 2026-10-14 — Données optiques : rangement et premier jeu de travail (PS des Coudres)
|
||||
- **Statut** : active. Précise D-029 (données par station) et D-044 (données nécessaires, §5 du cadrage).
|
||||
- **Décision** :
|
||||
- les exports de déplacements d'une station vont dans `data/<STATION>/displacement/`, noms de fichiers d'origine gardés (provenance), dossier de station sans espace (`PS_DES_COUDRES` pour « PS des Coudres ») ;
|
||||
- premier jeu de travail de `displacement` : PS des Coudres (Suisse), du 08/10 22:00 au 14/10 09:45 UTC, une station seule pour commencer. Choisie par l'utilisateur : un système qui marche bien, avec sans doute de la buée le matin ;
|
||||
- source des analyses : l'export « advanced » (cadence native de 15 min, UTC explicite, une ligne par capteur et par mesure, références comprises). L'export horaire est gardé comme source des facteurs entre `corr_x`/`corr_y` et les déplacements horaires, pas comme entrée ;
|
||||
- les CSV sont versionnés (1,8 Mo pour 5,5 jours). Formats et colonnes : `docs/domaine/colonnes-des-deplacements.md`.
|
||||
- **Pourquoi** : demande de l'utilisateur (intégrer les données d'une station sur une plage choisie). `load_stations` lit les `*.csv` du dossier de la station sans descendre dans les sous-dossiers : les scripts des métriques système ne voient pas les exports optiques.
|
||||
- **Options écartées** :
|
||||
- les exports directement dans `data/<STATION>/` : tous les scripts des métriques système les liraient, ou les signaleraient comme ignorés ;
|
||||
- l'export horaire comme entrée : la moyenne horaire efface un passage, ses horodatages sont en heure locale sans fuseau, il n'a pas les références.
|
||||
- **Conséquence** :
|
||||
- aucun événement annoté sur la plage : la buée est un contexte de l'utilisateur, pas une vérité de référence. Deux épisodes nocturnes de l'erreur de `REF_G` et `REF_D` (13/10 et 14/10) en sont des candidats, `consistent with` au plus ;
|
||||
- le HDF5 et la raison du seuil d'erreur de PM_G (0,3) sont inconnus de l'utilisateur ; l'unité de `corr_x`/`corr_y` est à confirmer : questions 3, 9 et 10 du cadrage (§7).
|
||||
@@ -92,24 +92,30 @@ Hypothèses de départ, à confronter aux données (étape 1).
|
||||
### 4.3 Place dans le dépôt (D-026)
|
||||
|
||||
- `src/displacement/` : calcul embarquable (bibliothèque standard, contrat `run(series)` par cible) ; page de comparaison `all_analyses.py` (brute contre corrigée, bandes d'événements).
|
||||
- `src/common/stations.py` : un chargeur pour le CSV de déplacements, qui a plusieurs colonnes par cible dans un même fichier (les métriques système ont un fichier par métrique).
|
||||
- `src/common/stations.py` : un chargeur pour l'export « advanced » des déplacements, qui a une ligne par capteur et par mesure dans un même fichier (les métriques système ont un fichier par métrique ; formats : `colonnes-des-deplacements.md`).
|
||||
- `docs/displacement/` : ce cadrage, `domaine/point-de-depart.md` (exploration), `analyses/` (fiches), `domaine/questions-pour-l-expert.md`.
|
||||
- Pas de couleur du jour ni de notification au départ : on verra si un événement mérite une notification une fois la détection fiable.
|
||||
|
||||
## 5. Données nécessaires
|
||||
|
||||
Aujourd'hui, `data/` ne contient **que des métriques système**, aucune série de déplacement. Il faut :
|
||||
Il faut :
|
||||
|
||||
1. **un export de déplacements** d'une station (colonnes de `colonnes-des-deplacements.md`), **à sa cadence native** : en moyenne horaire, un véhicule qui passe disparaît ;
|
||||
2. **des événements connus** sur cette période : jours de pluie ou de neige, passages notés, images de la caméra. La météo publique du lieu peut servir à **valider**, pas d'entrée au départ (la station doit rester autonome) ;
|
||||
3. **l'export HDF5**, idéalement (Sharpness, FWHM, Flux, SNR) : sans lui, `error` seul distingue mal l'eau, la turbulence et l'occlusion ;
|
||||
4. **la configuration des cibles** : distances, cibles de référence, seuil d'erreur appliqué.
|
||||
|
||||
**Reçu le 2026-10-14 (D-045)** : PS des Coudres, `data/PS_DES_COUDRES/displacement/`, du 08/10 au 14/10.
|
||||
1. oui : l'export « advanced », à la cadence native (15 min), en UTC ; un export horaire en plus ;
|
||||
2. non : seulement le contexte de l'utilisateur (système sain, sans doute de la buée le matin) ;
|
||||
3. inconnu ;
|
||||
4. en partie : les références (`global_ref`) et le seuil de chaque capteur sont dans l'export ; les distances manquent.
|
||||
|
||||
## 6. Démarrage par étapes
|
||||
|
||||
Chaque étape décide si la suivante est nécessaire.
|
||||
|
||||
0. **Obtenir les données** (§5). Prérequis bloquant.
|
||||
0. **Obtenir les données** (§5). Fait pour une station, sans événement annoté (D-045).
|
||||
1. **Explorer** : `domaine/point-de-depart.md` : cadence, bruit par cible, distribution d'`error`, export déjà filtré ou non, jours de pluie connus face aux jours secs.
|
||||
2. **Occlusion passagère** : la plus simple et la mieux signée. Détecter (pic d'`error` ou score z robuste sur une cible, réversible, sans mode commun), masquer, afficher brute et corrigée. Vérifier sur les passages connus.
|
||||
3. **Lissage robuste** : médiane glissante causale sur les points gardés. Mesurer ce qu'elle fait au bruit (dispersion avant et après) et à une marche réelle connue (retard, amplitude), puis choisir la fenêtre.
|
||||
@@ -119,14 +125,16 @@ Chaque étape décide si la suivante est nécessaire.
|
||||
|
||||
## 7. Questions ouvertes
|
||||
|
||||
1. Quelle station et quelle période, avec quels événements connus (§5) ?
|
||||
2. Quelle est la cadence native des mesures ? Les CSV exportés sont-ils déjà filtrés par le seuil d'erreur, ou interpolés ?
|
||||
3. L'export HDF5 est-il disponible pour cette station ?
|
||||
1. Quelle station et quelle période, avec quels événements connus (§5) ? *Réponse (D-045) : PS des Coudres, du 08/10 au 14/10 ; aucun événement annoté, buée probable le matin.*
|
||||
2. Quelle est la cadence native des mesures ? Les CSV exportés sont-ils déjà filtrés par le seuil d'erreur, ou interpolés ? *Réponse : 15 min ; ni filtré ni interpolé : une mesure rejetée garde sa ligne, déplacement vide.*
|
||||
3. L'export HDF5 est-il disponible pour cette station ? *Inconnu de l'utilisateur.*
|
||||
4. Qui voit la courbe corrigée : le client, le support, les deux ? Le client voit-il aussi la brute ?
|
||||
5. Correction au fil de l'eau (causale, sur la station) seulement, ou aussi a posteriori (fenêtre centrée, meilleur lissage mais non causale) ?
|
||||
6. La météo publique est-elle acceptable comme entrée plus tard, ou pour la validation seulement ?
|
||||
7. Quelle est l'amplitude des mouvements réels attendus (mm par jour, marche brusque) face au bruit ? Elle borne la fenêtre de lissage.
|
||||
8. La dilatation thermique de l'ouvrage est un mouvement réel, mais d'origine extérieure : la laisser telle quelle (choix par défaut) ou la proposer à part ?
|
||||
9. Pourquoi le seuil d'erreur de PM_G (PS des Coudres) est-il à 0,3, contre 0,7 ailleurs et 0,45 pour `REF_CT` ? Avec une erreur médiane de 0,42, la cible est rejetée sur toute la plage.
|
||||
10. Quelle est l'unité de `corr_x` / `corr_y` ? Le déplacement horaire en vaut 0,61 à 7,9 fois la moyenne selon le motif (`colonnes-des-deplacements.md`).
|
||||
|
||||
## 8. Options écartées pour l'instant
|
||||
|
||||
|
||||
@@ -1,13 +1,26 @@
|
||||
# Colonnes des déplacements (cas d'usage suivant)
|
||||
|
||||
Les colonnes CSV des déplacements sont préfixées par la cible (ex. `target_06_rch`) :
|
||||
D'après la FAQ, les colonnes de l'export CSV sont préfixées par la cible (ex. `target_06_rch`) :
|
||||
- `rch` / `rcv` : déplacement corrigé du mouvement de la caméra [mm]. C'est le signal principal.
|
||||
- `x` / `y` : position brute dans l'image [px].
|
||||
- `rx` / `ry` : déplacement relatif avant correction caméra. **Ce n'est pas** `x - x0`.
|
||||
- `error` : erreur de reconnaissance de la cible, **pas** une incertitude. Seuil par défaut : 0,7.
|
||||
- `camera_pan|tilt|rotation` [deg], `camera_scale`, `camera_sigma0` (résidu du fit du réseau de références).
|
||||
- `inlier_{ch}`, `reproj_err_{ch}` : contribution et résidu de chaque référence.
|
||||
- Sharpness, FWHM, Dominance, Peak Intensity, Flux, SNR : **uniquement dans l'export HDF5**.
|
||||
- Sharpness, FWHM, Dominance, Peak Intensity, Flux, SNR : **uniquement dans l'export HDF5** (colonnes vides dans l'export « advanced »).
|
||||
|
||||
## Exports reçus (PS des Coudres, D-045)
|
||||
|
||||
Deux autres formats, observés sur les données (pas documentés dans la FAQ) :
|
||||
- **« advanced »** (`<Station>_advanced_<début>_<fin>.csv`), la source des analyses : une ligne par capteur et par mesure, à la cadence native (15 min), `time_utc` en UTC explicite.
|
||||
- `sensor_name`, `pattern_type` (`global_ref` pour une référence), `x` / `y` [px], `error_value`, `error_threshold` (propre à chaque capteur : 0,3 à 0,7) ;
|
||||
- `relative_x` / `relative_y` (vraisemblablement `rx` / `ry`), `corr_x` / `corr_y` (vraisemblablement `rch` / `rcv`, mais pas en mm, voir plus bas) ;
|
||||
- `reproj_err` et `inlier` : références seulement ; `sigma0` : une valeur par mesure, répétée sur chaque ligne ; pas de `camera_pan|tilt|rotation|scale`.
|
||||
- Une mesure rejetée (`error_value` > `error_threshold`) garde sa ligne et son `error_value` ; `corr_x` / `corr_y` sont vides, pas interpolés.
|
||||
- **Horaire** (`<Station>_<début>_to_<fin>_1hour.csv`) : une ligne par heure, cibles seulement. Par cible : `horizontal_displacement`, `vertical_displacement`, leurs `_min` / `_max`, `_error`, `_count_val`.
|
||||
- `timestamp` **sans fuseau** : heure suisse (UTC+2 en octobre), au début de l'heure. Vérifié : `_error` = moyenne des `error_value` de l'heure, à 0,0006 près (médiane).
|
||||
- `count_val` compte les mesures de l'heure, rejetées comprises.
|
||||
- **Unité de `corr_x` / `corr_y`** : `horizontal_displacement` = facteur × moyenne horaire de `corr_x` + décalage constant (de même `vertical` et `corr_y`, corrélation ≥ 0,99). Le facteur dépend du motif : `target05` 0,61, `target` 1,6, `target02` 4,3, `target03` 6,85, `target04` 7,9. Si l'horaire est en mm (FAQ), `corr_x` / `corr_y` ne le sont pas : à confirmer.
|
||||
|
||||
Causes à départager pour une anomalie de déplacement :
|
||||
- mouvement réel de l'ouvrage ;
|
||||
|
||||
Reference in new issue
Block a user