Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)
- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a cross-review per family across all stations (new skill /cross-review-labels), a finishing pass, and descriptions rewritten in words (no numeric values). - The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10) labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors. - Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md (settled boundaries), connaissances/ (notes moved from docs/, links updated), the label map rebuilt from reviewed labels, events and cases; events tied to their stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/. - labels-map reads auto labels and events; decision D-130; living plan points 73-75. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8e1cfc52c9
commit
35b5ed4d74
298 files changed
+30413
-960
No files matched your search
+14
-4
@@ -492,7 +492,7 @@ Règles du journal :
|
||||
- les exports de déplacements d'une station vont dans `data/<STATION>/displacement/`, noms de fichiers d'origine gardés (provenance), dossier de station sans espace (`PS_DES_COUDRES` pour « PS des Coudres ») ;
|
||||
- premier jeu de travail de `displacement` : PS des Coudres (Suisse), du 08/10 22:00 au 14/10 09:45 UTC, une station seule pour commencer. Choisie par l'utilisateur : un système qui marche bien, avec sans doute de la buée le matin ;
|
||||
- source des analyses : l'export « advanced » (cadence native de 15 min, UTC explicite, une ligne par capteur et par mesure, références comprises). L'export horaire est gardé comme source des facteurs entre `corr_x`/`corr_y` et les déplacements horaires, pas comme entrée ;
|
||||
- les CSV sont versionnés (1,8 Mo pour 5,5 jours). Formats et colonnes : `docs/domaine/colonnes-des-deplacements.md` ;
|
||||
- les CSV sont versionnés (1,8 Mo pour 5,5 jours). Formats et colonnes : `labeling/connaissances/colonnes-des-deplacements.md` ;
|
||||
- images de la caméra, extraites à la main par l'utilisateur : `data/PS_DES_COUDRES/images/`, une par heure pleine du 13/10 12:00 au 14/10 11:00 UTC (24), nommées `<AAAAMMJJ>T<HHMM>Z_<numéro d'origine>.jpg`. Heures en UTC : confirmé par l'utilisateur, et cohérent avec le coucher et le lever du soleil (nuit dès 17:00Z, aube à 06:00Z). Versionnées (5,4 Mo ; ni personne ni véhicule visible). Elles servent de vérité de référence, pas d'entrée : la détection doit tourner sur la station à partir des mesures seules.
|
||||
- **Pourquoi** : demande de l'utilisateur (intégrer les données d'une station sur une plage choisie). `load_stations` lit les `*.csv` du dossier de la station sans descendre dans les sous-dossiers : les scripts des métriques système ne voient pas les exports optiques.
|
||||
- **Options écartées** :
|
||||
@@ -636,7 +636,7 @@ Règles du journal :
|
||||
- **Précision (2026-10-24, point 4 du plan)** : une anomalie, c'est **tout ce qui sort de la norme**, tout ce qui fait que les courbes ne sont pas plates alors que rien ne bouge. Dans l'écrasante majorité des cas, elle est sans gravité : un moment où il ne faut pas se fier aux données (familles A à E de la carte des événements). Parfois elle est grave : un vrai mouvement de l'ouvrage (famille F), comme à Barcelone (C-004), où la voûte du pont s'affaisse. Le journal montre les deux, avec leur catégorie.
|
||||
- **Catégories du journal, validées le 2026-10-24 (point 5 du plan)** : huit catégories, `visibilite_perdue` (Loss of visibility), `passage` (Passing obstacle), `cible_masquee` (Target hidden), `turbulence` (Heat haze), `cycle_thermique` (Daily thermal cycle, normal, **pas grisé**), `trou` (No data, label aussi retenu dans la carte), `saut_bref` (Brief jump, saut revenu sans rien autour), `a_verifier` (Shift to check, **jamais grisé**) ; bouton `Images` pour toutes sauf turbulence, cycle thermique et trou ; deux niveaux de visibilité sur le principe (point 38) ; un saut revenu pendant une perte de visibilité ou une turbulence est absorbé, un saut durable ou récent jamais (la reprise de C-002 le 31/07 à 20:30 reste à vérifier) ; les trains de C-005 sont un passage (effet optique). Détail : `docs/displacement/domaine/carte-des-evenements.md`, section 4.
|
||||
- **Statuts de visibilité, validés le 2026-10-24 (point 38 du plan)** : la perte de visibilité a deux niveaux, mesure par mesure dans les épisodes du détecteur `visibilite` : « No visibility » (au moins la moitié des cibles habituellement vues rejetées : on ne voit rien), grisée, et « Reduced visibility » (données moyennes), gardée en léger retrait, barre orange ; toutes deux avec le bouton `Images`. Écartés pour l'instant : une bande de statut continue sous les courbes (la frise suffit, peut venir avec le point 40) et un statut de visibilité du jour dans la vue client et chez le support (plus tard, sur demande). Sur les cas, la toile de C-002 sort en « Reduced » (29 % rejetées en médiane).
|
||||
- **Effet périodique, validé le 2026-10-24 (point 41 du plan)** : la vague quotidienne des courbes corrigées est la dilatation de l'ouvrage le jour et sa contraction le soir, normale (l'utilisateur) ; le détecteur `thermique` ne la retient que si ses deux méthodes la voient, le profil horaire répété **et** une sinusoïde de 24 h qui explique au moins 30 % de la courbe pour la moitié des cibles (choix de l'utilisateur : garder les deux) ; deux événements par jour, « Thermal expansion » puis « Thermal contraction », séparés par l'heure du plus grand écart au niveau de nuit, non grisés ; la catégorie `cycle_thermique` devient `dilatation_thermique` et `contraction_thermique`. Note : `docs/displacement/domaine/cycle-thermique.md`.
|
||||
- **Effet périodique, validé le 2026-10-24 (point 41 du plan)** : la vague quotidienne des courbes corrigées est la dilatation de l'ouvrage le jour et sa contraction le soir, normale (l'utilisateur) ; le détecteur `thermique` ne la retient que si ses deux méthodes la voient, le profil horaire répété **et** une sinusoïde de 24 h qui explique au moins 30 % de la courbe pour la moitié des cibles (choix de l'utilisateur : garder les deux) ; deux événements par jour, « Thermal expansion » puis « Thermal contraction », séparés par l'heure du plus grand écart au niveau de nuit, non grisés ; la catégorie `cycle_thermique` devient `dilatation_thermique` et `contraction_thermique`. Note : `labeling/connaissances/cycle-thermique.md`.
|
||||
- **Dérive lente et pistes restantes, le 2026-10-24 (point 16 du plan)** : les tendances de l'onglet `Displacements` (D-055) deviennent des événements « Slow drift » du journal, jamais grisés, en trait rouge fin (« PR06 drifts slowly and steadily: +0.7 mm in 10 days. Keep watching it. ») ; les références masquées sont déjà dites par la phrase de la perte de visibilité (« including the reference targets ») et l'absorption des sauts, sans catégorie à part ; « tout a bougé » contre « références masquées » reste impossible sur les mesures seules (« Shift to check » et images) ; éclairage et neige attendent un cas.
|
||||
- **Lissage, trois questions tranchées le 2026-10-24 (point 24 du plan)** : le client voit **les deux courbes ensemble** : la nettoyée en couleur, coupée dans les zones à ignorer, la brute en gris fin dans ces zones seulement (comme « Target hidden » aujourd'hui) ; le calcul se fait **au moment où le client regarde les courbes**, sur tout ce qui est disponible jusque-là (chaque instant jugé avec ce qui suit, les dernières heures provisoires), et rien n'est écrit dans la base de la plateforme, qu'on ne peut pas modifier à ce stade ; le **cycle thermique reste tel quel** sur les courbes (le journal le nomme), pas de vue « sans le cycle » : l'option D reste en réserve. Détail : `vues-deplacements/contexte/lissage.md`, section 4.
|
||||
- **Historique des détecteurs, règle du 2026-10-24 (point 30 du plan)** : les détecteurs reçoivent toujours **3 jours de mesures d'avant** la plage montrée (s'ils existent), et seuls les événements qui touchent la plage sont montrés ; dans l'outil de tri en lot (`categories.py --tranche`, `--historique 3` par défaut), dans la boucle Claude et dans la vraie application. Pourquoi : les détecteurs prennent leurs niveaux habituels sur la fenêtre qu'on leur donne ; à NORDEND, une tranche de 3 jours sans historique, commencée 2 h 30 avant le vrai saut de PR17 (08/10 à 02:30), le prend pour un saut revenu et l'absorbe dans la buée ; avec 3 jours d'avant, il revient. Option écartée : classer chaque tranche seule.
|
||||
@@ -1096,7 +1096,7 @@ Règles du journal :
|
||||
|
||||
## D-115 — 2026-11-03 — L'analyste lit les données comme l'étiqueteur
|
||||
- **Statut** : active ; complète D-106 et D-112.
|
||||
- **Décision** : l'analyste (`analyser-lot`, et ses consignes de `/labels-learner`) lit les données comme l'`etiqueteur`, qui est plus récent : mêmes outils (`lire-les-donnees`, ses scripts, les CSV bruts, la température de `metrics/`), même documentation (`labeling/carte-des-etiquettes.md` en entier, `labeling/familles.md`, `docs/displacement/domaine/chaine-de-mesure.md`, en plus de la carte des événements et de la base d'events), sans les étiquettes de l'expert ni celles de l'étiqueteur. Son rendu ne change pas : `etiquettes.json`, aux catégories du journal et aux bornes « première et dernière mesure touchées », contrôlé par `etiquettes.py`. `analyser-lot` ne se dit plus « la vérité de la boucle » (D-112).
|
||||
- **Décision** : l'analyste (`analyser-lot`, et ses consignes de `/labels-learner`) lit les données comme l'`etiqueteur`, qui est plus récent : mêmes outils (`lire-les-donnees`, ses scripts, les CSV bruts, la température de `metrics/`), même documentation (`labeling/carte-des-etiquettes.md` en entier, `labeling/familles.md`, `labeling/connaissances/chaine-de-mesure.md`, en plus de la carte des événements et de la base d'events), sans les étiquettes de l'expert ni celles de l'étiqueteur. Son rendu ne change pas : `etiquettes.json`, aux catégories du journal et aux bornes « première et dernière mesure touchées », contrôlé par `etiquettes.py`. `analyser-lot` ne se dit plus « la vérité de la boucle » (D-112).
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-03 : les deux agents doivent avoir les mêmes outils et lire les données aussi bien l'un que l'autre ; l'analyste ne lisait ni la carte des étiquettes ni la chaîne de mesure, donc il connaissait moins bien les phénomènes de l'expert et leurs faux amis.
|
||||
- **Options écartées** : mesurer d'abord l'écart en lançant les deux agents sur un même lot (inutile selon l'utilisateur) ; aligner aussi le rendu sur les familles et les bornes de l'étiqueteur (casserait le benchmark des détecteurs, qui compare mesure par mesure aux catégories du journal) ; retirer à l'analyste la sortie des détecteurs (`/new-event` la lui interdit déjà).
|
||||
- **Conséquence** : `analyser-lot` (introduction, sources, outils, étape 1) et `.claude/skills/labels-learner/analyste.md` (sources, outils, étape 2) sont réécrits.
|
||||
@@ -1195,7 +1195,17 @@ Règles du journal :
|
||||
|
||||
## D-129 — 2026-11-04 — Les métriques de qualité d'image entrent dans l'étiquetage : outil `qualite.py`, LENZSPITZE relue
|
||||
- **Statut** : active. Complète D-106 (étiqueteur) et D-128 (revue des étiquettes automatiques) ; point 76 du plan du journal du matin.
|
||||
- **Décision** : les six métriques de qualité de l'export « advanced » des caméras récentes (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) sont définies dans `docs/domaine/metriques-de-qualite.md` (source : `~/optical_emulator/docs/cuda_phase_correlation.md`, §14), chargées par `donnees.charger`, lues par `agent-tools/qualite.py` (rapport à une référence calme par capteur et par heure UTC ; `--etiquettes`, `--hors`, `--figure`), signalées par `inventaire.py`, tracées par `graphique.py`, proposées dans le menu de `labeling.py` ; le skill `lire-les-donnees` et la consigne de l'`etiqueteur` disent de s'en servir quand elles sont remplies. Les 63 étiquettes d'octobre de LENZSPITZE, déjà revues sans elles, sont relues avec elles par l'analyste (`labeling/auto/revue/LENZSPITZE_2026-10-01_qualite/`) et remplacées par 67 étiquettes.
|
||||
- **Décision** : les six métriques de qualité de l'export « advanced » des caméras récentes (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) sont définies dans `labeling/connaissances/metriques-de-qualite.md` (source : `~/optical_emulator/docs/cuda_phase_correlation.md`, §14), chargées par `donnees.charger`, lues par `agent-tools/qualite.py` (rapport à une référence calme par capteur et par heure UTC ; `--etiquettes`, `--hors`, `--figure`), signalées par `inventaire.py`, tracées par `graphique.py`, proposées dans le menu de `labeling.py` ; le skill `lire-les-donnees` et la consigne de l'`etiqueteur` disent de s'en servir quand elles sont remplies. Les 63 étiquettes d'octobre de LENZSPITZE, déjà revues sans elles, sont relues avec elles par l'analyste (`labeling/auto/revue/LENZSPITZE_2026-10-01_qualite/`) et remplacées par 67 étiquettes.
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-04 : aucun outil ne lisait ces métriques, les étiquettes ont été faites sans elles. La revue le confirme : le flux prouve une occultation et nomme les cibles cachées (dont deux restées sous leur seuil, leur point faux), sépare la turbulence (netteté, snr, dominance) de la perte de lumière, et trouve 4 événements oubliés, sans rejet.
|
||||
- **Options écartées** : une alerte de changement de régime dans l'outil (un seuil dans ce que rend un outil ; le skill dit de comparer chaque côté du changement) ; repartir de l'étiquetage (la revue part des étiquettes, D-128).
|
||||
- **Conséquence** : seules LENZSPITZE et NADELHORN ont ces métriques aujourd'hui ; pour les anciennes caméras, `quality/` de `~/optical_emulator` n'est pas encore lu par `qualite.py`. L'expert n'a pu trancher aucune des cinq questions (images aux heures pleines seulement) : les choix par défaut de l'analyste sont gardés. Les signatures par famille et le contexte de LENZSPITZE attendent `/labels-map`.
|
||||
|
||||
## D-130 — 2026-11-05 — Les étiquettes automatiques relues par station puis croisées, sans validation de l'expert ; toute la connaissance du labeling dans `labeling/`
|
||||
- **Statut** : active. Complète D-128 (la revue par station : l'analyste améliore les étiquettes, il ne refait pas l'étiquetage) et D-129 ; points 73 à 75 du plan du journal du matin.
|
||||
- **Décision** :
|
||||
- Toutes les étiquettes de `labeling/auto/` sont relues par station (`/review-auto-labels`, un analyste par station), puis par une **revue croisée** (`/cross-review-labels`, nouveau skill) : un analyste par famille compare les stations entre elles, tranche les règles où les revues par station divergeaient, trouve les étiquettes d'une autre famille ; une passe de finition reprend ce qui reste (`labeling/auto/revue-croisee/2026-11-04/`, dont `reste-a-faire.md`). Les trois plages jamais étiquetées (WILDSTRUBEL 07/09 → 01/10, NORDEND 16/08 → 01/10) sont étiquetées puis relues. Les propositions des relecteurs sont appliquées **sans validation de l'expert** (l'utilisateur, 2026-11-04) ; `revue` dit la date de la relecture.
|
||||
- **Toute la connaissance métier qui sert au labeling est dans `labeling/`** : `regles-d-etiquetage.md` (nouveau : comment poser une étiquette, la seule source de ces règles), `familles.md` (les frontières tranchées), `connaissances/` (nouveau : chaîne de mesure, colonnes des déplacements, trous, images de la caméra, cycle thermique, métriques de qualité, cas annotés, incident de Barcelone, déplacés de `docs/`), la carte des étiquettes (refaite sur les étiquettes revues, les events et les cas). L'etiqueteur et les relecteurs ne lisent plus rien d'autre ; ce qu'un event apprend entre dans la carte, `events/` reste l'archive des events et de leurs données.
|
||||
- `labeling/controle.py` contrôle les étiquettes automatiques face aux règles (champs, familles, bornes, doublons, valeurs chiffrées, heures locales, causes au conditionnel).
|
||||
- **Pourquoi** : l'utilisateur, 2026-11-04 : relire sur le même lot que l'étiqueteur n'apporte pas forcément ; changer la granularité, comparer les stations entre elles ; à la fin, toutes les étiquettes « auto » validées et justes, toute leur connaissance documentée, et dans `labeling/`. Constat : les revues par station retrouvaient les mêmes défauts une à une (bornes posées sur la mesure touchée ou coupées à minuit, textes recopiés d'un jour à l'autre, mouvement thermique compensé non étiqueté, trous communs non dits communs) ; la revue croisée les a tranchés une fois pour toutes (209 étiquettes modifiées, 17 retirées, 28 ajoutées), la finition a réécrit jour par jour les textes thermiques recopiés.
|
||||
- **Options écartées** : une revue croisée par phénomène, avec un tri préalable de toutes les étiquettes (plus juste sur les familles mal rangées, mais un tri de plus ; chaque analyste de famille cherche ses phénomènes dans les autres familles par l'index) ; refaire l'étiquetage (le travail de l'étiqueteur a de la valeur) ; laisser la connaissance dans `docs/` et `events/` (l'utilisateur la veut dans `labeling/`).
|
||||
- **Conséquence** : 991 étiquettes automatiques sur 11 stations, toutes revues. Les relecteurs avaient mis leurs mesures dans les descriptions : réécrites en mots (D-103), les mesures restent dans les `revue.md`. Une autre session a relu LENZSPITZE avec les métriques de qualité pendant ce travail (D-129) ; ses changements sont gardés. Les events sont rattachés à leurs stations ; les données ont montré que PS_DES_COUDRES est JUNGFRAU (les données codées de E-001 sont celles de `data/JUNGFRAU/`, valeur pour valeur). Les contradictions entre l'expert et les étiquettes automatiques ont été vérifiées sur les données : là où elles donnaient raison à l'expert, les étiquettes sont corrigées (NORDEND, les références restantes à zéro) ; les autres sont dans la carte (section 6), à trancher par lui. Les causes non établies gardent leur nuance (« sans doute », « probable ») ; seule une conclusion qui rassure sans cause établie est interdite (l'utilisateur, 2026-11-05).
|
||||
Reference in new issue
Block a user