Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)

- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:21:57 +01:00
1 parent 8e1cfc52c9
commit 35b5ed4d74
298 files changed
+30413 -960

No files matched your search

-35
View File
@@ -1,35 +0,0 @@
# Colonnes des déplacements (cas d'usage suivant)
D'après la FAQ, les colonnes de l'export CSV sont préfixées par la cible (ex. `target_06_rch`) :
- `rch` / `rcv` : déplacement corrigé du mouvement de la caméra [mm]. C'est le signal principal.
- `x` / `y` : position brute dans l'image [px].
- `rx` / `ry` : déplacement relatif avant correction caméra. **Ce n'est pas** `x - x0`.
- `error` : erreur de reconnaissance de la cible, **pas** une incertitude. Seuil par défaut : 0,7.
- `camera_pan|tilt|rotation` [deg], `camera_scale`, `camera_sigma0` (résidu du fit du réseau de références).
- `inlier_{ch}`, `reproj_err_{ch}` : contribution et résidu de chaque référence.
- Sharpness, FWHM, Dominance, Peak Intensity, Flux, SNR : dans l'export « advanced » des caméras récentes seulement (voir plus bas) ; définitions : `metriques-de-qualite.md`.
## Exports reçus (PS des Coudres, D-045)
Deux autres formats, observés sur les données (pas documentés dans la FAQ) :
- **« advanced »** (`<Station>_advanced_<début>_<fin>.csv`), la source des analyses : une ligne par capteur et par mesure, à la cadence native (15 min, 10 min selon la station), `time_utc` en UTC explicite.
- `sensor_name`, `pattern_type` (`global_ref` pour une référence de la compensation ; `ref` pour une *local reference*, traitée comme une cible, hors compensation, d'après le manuel de la station et sans `reproj_err`, vu sur NORDEND), `x` / `y` [px], `error_value`, `error_threshold` (propre à chaque capteur : 0,3 à 0,7) ;
- `x` / `y` ne sont pas le centroïde de la tache dans l'image (NORDEND, 2026-10-16) : de jour (12:30 UTC, sept jours), centroïde − (`x`, `y`) est constant par capteur et diffère d'un capteur à l'autre (PR17 −2,5 / −0,5 px, PR18 −3,1 / +1,6, PR16 −5,8 / −0,1, CTR02 −1,4 / −2,4, CTR04 −1,0 / −1,4). Centroïde pondéré au-dessus de la médiane d'un cadre de ±20 px, sur une fenêtre de ±8 px. De nuit, la tache est saturée et l'écart change (PR17 −0,7 à −1,3 px en x). Hypothèse : `x`, `y` désignent la position du motif de référence (manuel de la station), pas la tache elle-même.
- `relative_x` / `relative_y` (vraisemblablement `rx` / `ry`), `corr_x` / `corr_y` (vraisemblablement `rch` / `rcv`, mais pas en mm, voir plus bas) ;
- `reproj_err` et `inlier` : références seulement ; `sigma0` : une valeur par mesure, répétée sur chaque ligne ; pas de `camera_pan|tilt|rotation|scale`.
- `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` : la qualité d'image de chaque cible, calculée par le GPU des caméras récentes (`run.md`) ; « Empty for most devices today » (handoff G, `docs/aimsight/AIMsight_handoff_G_site_health.md`). Remplies sur LENZSPITZE et NADELHORN, vides ailleurs (pompage d'octobre 2026) ; `inventaire.py` dit, sur un lot, quelles colonnes portent des valeurs. Pour les anciennes caméras, `~/optical_emulator` les recalcule à partir des images DIFF dans `quality/` (`run.md`), avec `stacking`, `exposition`, `gain`, `rotation` et `flag` de l'image, à joindre sur `time_utc` et `sensor_name`. Définitions et lecture : `metriques-de-qualite.md`. Flux, SNR et netteté relèvent de l'observabilité d'une cible dans l'image, à séparer de la santé du réseau de références (`AIMsight_agentic_support_project_context.md`, §5.5 et §5.6).
- Une mesure rejetée (`error_value` > `error_threshold`) garde sa ligne et son `error_value` ; `corr_x` / `corr_y` sont vides, pas interpolés. « Rejetée » est un jugement d'AIMsight, pas un tri de la caméra : la caméra livre toutes ses mesures, et la plateforme d'un client qui intègre les données les reçoit et peut les afficher (l'utilisateur, 2026-10-28).
- **Mouvements de la caméra** (`camera/<Station>_camera_<AAAAMMJJ>.csv`, pompage seulement, absent des exports reçus) : la pose de la caméra à chaque recalage, `time_utc` en UTC, `median_|min_|max_` de `pan`, `tilt`, `rotation` [deg], `scale`, `sigma0` à la minute ; une ligne par mesure (min = max), aux instants des déplacements. Un instant de mesure sans ligne : la caméra n'a pas été recalée (NORDEND : 101 instants sur 6 071, dont 49 les 29 et 30/07). Ordres de grandeur : `pan`, `tilt` de quelques centièmes de degré, `scale` à 10⁻³ près de 1 ; des écarts de plusieurs degrés sur NORDEND (`pan` jusqu'à 3,1°, `tilt` −2,8 à 4,0°), non expliqués. Signe : un `tilt` positif veut dire que la caméra pique du nez (l'expert, 2026-11-03, BREITHORN : le `tilt` monte tout octobre pendant que la caméra s'incline). Lus par `ensemble.py` et `inventaire.py` (D-073).
- **Horaire** (`<Station>_<début>_to_<fin>_1hour.csv`) : une ligne par heure, cibles seulement. Par cible : `horizontal_displacement`, `vertical_displacement`, leurs `_min` / `_max`, `_error`, `_count_val`.
- `timestamp` **sans fuseau** : heure suisse (UTC+2 en octobre), au début de l'heure. Vérifié : `_error` = moyenne des `error_value` de l'heure, à 0,0006 près (médiane).
- `count_val` compte les mesures de l'heure, rejetées comprises.
- **Unité de `corr_x` / `corr_y`** : `horizontal_displacement` = facteur × moyenne horaire de `corr_x` + décalage constant (de même `vertical` et `corr_y`, corrélation ≥ 0,99). Le facteur dépend du motif : `target05` 0,61, `target` 1,6, `target02` 4,3, `target03` 6,85, `target04` 7,9. Si l'horaire est en mm (FAQ), `corr_x` / `corr_y` ne le sont pas. Selon l'utilisateur (2026-10-16), ils sont sûrement en **px**, le facteur étant alors des mm par px. C'est compatible avec NORDEND : au saut de PR17 (08/10 02:30), `corr_y` baisse d'environ 0,15, et `relative_y` (en px) de 0,26 px contre 0,08 px pour les autres capteurs ; sur la fenêtre, `corr` de PR17 ≈ 0,8 × (`relative` − moyenne des `relative` des références globales), mais une moyenne ignore la rotation et l'échelle de la compensation. À confirmer. Le facteur dépend de la station : sur NORDEND, `vertical_displacement` de PR17 = 55,5 × moyenne horaire de `corr_y` (r = 0,994, 244 heures), soit environ 9 mm pour son saut de 0,15.
Causes à départager pour une anomalie de déplacement :
- mouvement réel de l'ouvrage ;
- mouvement de la caméra ;
- instabilité de la compensation (cas Barcelone) ;
- dégradation locale d'une cible ;
- parallaxe ou modèle inadapté.
La référence qui fait autorité est `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md`. Les règles non négociables qui s'y rapportent (`inlier` binaire, `sigma0`, mode commun) sont dans `CLAUDE.md`.
-19
View File
@@ -1,19 +0,0 @@
# Images de la caméra : IRON et DIFF
La plateforme garde deux types d'images par mesure (type de mesure), que le pompage range à part (`extraction/pomper.py`).
- **IRON** (`OPTICAL_SHIFT-IRON`, dans `images/`) : l'image classique de la scène, en JPG, ~1 Mo (NORDEND). C'est sur elle qu'on voit la cause d'un événement (buée, pluie, train, neige). Le nom vient sans doute de « IR on » (prise sous l'éclairage infrarouge) : déduction, la doc ne le dit pas.
- **DIFF** (`OPTICAL_SHIFT-DIFF`, dans `images_diff/`, option `--diff`) : l'image « différentielle ». D'après le manuel de la station (*AIMsight Test Manual*, « Choosing Between Single and Differential Acquisition »), elle **combine plusieurs prises** pour renforcer le contraste des réflecteurs (« *contrast-enhanced view of the reflectors* ») et c'est **l'image que mesurent les algorithmes de déplacement, par défaut**. Ce n'est **pas** la différence entre deux instants. PNG 16 bits, 3088×2064, ~7 Mo (NORDEND).
## Modes d'acquisition (manuel de la station)
- « Single with infrared light » : une image sous infrarouge par mesure, pour les mesures dynamiques.
- « Differential » : plusieurs images combinées, pour le suivi quasi statique ; `Stacking` de 20 à 40 si la lumière est difficile ou les cibles peu réfléchissantes (portée meilleure, cadence plus basse).
- Option « Work on IRON images » : mesurer sur l'image classique, pour suivre une texture quand il n'y a pas de réflecteur.
## Ce qu'on en sait
- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour). LENZSPITZE n'en a aucune en base les 26 et 27/10 (pompage du 2026-10-28), seulement des IRON, une par heure : mode d'acquisition sans DIFF, sans doute (non vérifié). Les autres stations : inconnu.
- Le 29/07 à NORDEND (E-002, toile d'araignée selon l'expert), l'image DIFF montre de longues traînées claires sur tout le champ et les cibles en points, là où l'image IRON ne montre que de faibles bandes sombres. Ce qui est tout près de l'objectif y ressort peut-être mieux : à confirmer (point 28 du plan du journal du matin).
- Les outils de lecture (`agent-tools/donnees.py`), donc `/events-learner`, ne regardent que les images IRON et écartent `images_diff/` ; `inventaire.py` les compte, et l'analyste peut les lire par ses propres scripts (D-097).
- Piste, non vérifiée : si `x`, `y` sont mesurés sur l'image DIFF, un centroïde pris sur l'image IRON peut s'en écarter (écart constant par capteur vu sur NORDEND, `colonnes-des-deplacements.md`).
-18
View File
@@ -1,18 +0,0 @@
# Les métriques de qualité d'image d'une cible
Six colonnes de l'export « advanced », par capteur et par mesure : `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`. Calculées par le GPU des caméras récentes (`aimsight_optical` 6.7.11) sur la fenêtre du capteur dans l'image DIFF, en unités de cette image. Remplies sur LENZSPITZE et NADELHORN (pompage d'octobre 2026), vides ailleurs ; pour une ancienne caméra, `~/optical_emulator` les recalcule dans `quality/` (`run.md`).
Source : `~/optical_emulator/docs/cuda_phase_correlation.md`, §14 (définitions du code de référence). « Disque » : le voisinage du pic, de rayon `min(H, W)/6` (au moins 3 px) ; « fond » : tout le reste de la fenêtre (`bg_mean`, `bg_sigma`).
| Métrique | Définition | Ce qu'elle mesure | Lecture |
|---|---|---|---|
| `peak` | `max(I)` | la luminosité du retour | en haut, saturation ; en bas, sous-exposition ou flash manqué. Toutes les cibles qui baissent : l'éclairage (LED, flash) ; une seule : cette cible (salissure, désalignement) |
| `flux` | flux du disque moins le fond | la lumière de la cible, fond retiré | réflectivité de la cible (salissure, vieillissement, flash), pas la lumière ambiante ; baisse bien avant que `error_value` ne dépasse son seuil |
| `sharpness` | `Σ(I²) / (ΣI)²` | concentration de l'énergie (plus haut = plus net) | baisse : mise au point qui dérive, turbulence thermique, cible qui se dégrade, soit plus de bruit de mesure. Indépendante du gain, mais pas du fond (non retiré) : à suivre dans le temps sur une cible, pas à comparer entre caméras |
| `fwhm` | largeur à mi-hauteur autour du pic, fond retiré [px] | largeur de la tache | monte : défocalisation, turbulence, flou de bougé. Tronquée au disque : sous une forte défocalisation, elle se tasse au lieu de monter |
| `dominance` | `(second pic − fond) / (pic − fond)`, de 0 (propre) vers 1 (ambigu) | une seule cible domine-t-elle la fenêtre ? | haute : un second reflet comparable, un point brillant parasite, ou la cible a disparu et autre chose est le plus brillant : la corrélation peut s'accrocher au mauvais motif, ce qu'`error_value` seule ne voit pas. Un seul pixel chaud hors du disque suffit à la faire monter |
| `snr` | `(peak − fond) / bg_sigma` | le signal au-dessus du bruit du fond | bas : retour marginal, même quand `peak` paraît normal. Indépendant de l'exposition et du gain. L'émulateur marque `vide` sous 8 |
En bref : `peak` et `flux` disent la luminosité, `sharpness` et `fwhm` la netteté, `dominance` et `snr` la validité. Ensemble, ils disent **pourquoi** une mesure se dégrade, là où `error_value` ne dit que qu'elle se dégrade.
Ce sont des qualités de l'image d'**une cible** : elles ne disent rien de la santé du réseau de références (CLAUDE.md, « Pour les déplacements » ; `AIMsight_agentic_support_project_context.md`, §5.5 et §5.6). Les lectures du tableau sont celles de la source ; ce qu'elles valent sur nos phénomènes (pluie, buée, obstruction, soleil) se confirme dans les données (`docs/displacement/domaine/chaine-de-mesure.md`).
+1 -12
View File
@@ -1,19 +1,8 @@
# Pièges des données
- **Un trou n'est pas forcément une coupure.** Acquisition, transmission, ingestion et affichage sont des couches distinctes.
- **En fin de fichier**, des valeurs vides peuvent n'être qu'un retard de synchronisation (`last_sync`) : WILDSTRUBEL, et MISSISSIPPI le 09/10.
- **En début de fichier**, des valeurs vides précèdent la première mesure : ce n'est pas une coupure (VERMONT `Power` et températures, du 22/02 au 08/04).
- **Des trous simultanés sur plusieurs stations** pointent plutôt vers une cause commune hors station :
- le 22/07 à 14:00 : FLORIDA, MISSISSIPPI, VERMONT et NORDEND ;
- le 19/08 à 15:00 : les mêmes quatre stations ;
- le 22/08 à 17:00 : FLORIDA, MISSISSIPPI et NORDEND.
- **Un trou entouré d'une tension normale** n'est pas un problème d'énergie.
- **Une coupure d'alimentation laisse une signature** :
- la tension est sous le coude (~12,8 V) juste avant ou juste après le trou ;
- la température chute pendant le trou, plus qu'aux mêmes heures les nuits sans trou. Sur VERMONT, l'écart va de 2,6 à 15 °C sur 12 trous. Seule, elle ne tranche pas : le trou commun du 19/08 revient aussi ~7 °C sous l'habitude, et une coupure revenue après le lever du soleil ne montre pas d'écart (`docs/temperature/domaine/point-de-depart.md`).
- **Les trous** (un trou n'est pas forcément une coupure, trous simultanés sur plusieurs stations, signature d'une coupure d'alimentation, `NaN` et `inf`) : `labeling/connaissances/les-trous.md`, qui vaut aussi pour les domaines système.
- **Les seuils de tension absolus ne se transposent pas d'une station à l'autre.** En bonne santé, les nuits de JUNGFRAU sont à 12,9 V et celles de VERMONT à 13,15 V. Le niveau moyen vaut ~14,25 V sur secteur et ~13,4 V en solaire. Préférer une comparaison de la station à son propre passé.
- **Cycle jour/nuit** : une fenêtre glissante doit couvrir un nombre entier de jours. Sur 72 h, la météo domine : 2 jours nuageux font baisser JUNGFRAU (sain) autant qu'un vrai déficit.
- **La fin de nuit porte le bilan de la veille** : le minimum du matin du jour d vient avant la charge de d. Il résulte de la charge de d−1 et de la nuit qui suit. Pour juger la charge d'un jour, il faut lire la fin de nuit du lendemain. Exemple sur VERMONT : le 2026-04-12 est ensoleillé (`FULL_CHARGE`), mais sa fin de nuit du matin, 12,96 V, est en baisse de 0,19 V, car le 11/04 était nuageux. La fin de nuit qui suit le 12/04 remonte à 13,12 V.
- **Une valeur `NaN` ou `inf`** dans un export (pandas, par exemple) doit être traitée comme une absence de mesure.
- **Les exports ne viennent pas tous de la même version du collecteur** : noms et champs changent d'une station à l'autre (WEISSHORN et NORDEND : `link` présent ou absent, disque en Go ou en blocs de 1 kB, `SIM_CCID` en nombre ou en texte). Vérifier les métriques présentes avant de comparer deux stations.
- **Pendant une coupure, ce sont justement les valeurs les plus basses qui manquent** : toute moyenne est alors biaisée vers le haut.