Cohérence des dépôts : controle.py et ids.py se lancent d'ici ou par le lien ; notes sans renvois morts (pompage dans aimsight-data, règles non négociables recopiées, analyste de Diagnostic-App)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-13 17:01:14 +01:00
1 parent b465d5c99b
commit 6067f8dfcd
8 files changed
+23 -15

No files matched your search

+3 -3
View File
@@ -2,11 +2,11 @@
Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste.
- `manual/<STATION>.jsonl` : les étiquettes de l'expert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur`, relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
- `manual/<STATION>.jsonl` : les étiquettes de l'expert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
- `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git).
- `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris.
- `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune).
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : ils lisent et écrivent ici, et on commite ici.
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`).
Historique repris de Support-Agent (le dossier `labeling/`, jusqu'au commit 48a3092), puis l'état de Diagnostic-App au 2026-11-13 (462ba9e) : les archives de l'etiqueteur et des revues (`auto/etiqueteur/`, `auto/revue/`, `auto/revue-croisee/`) et l'ancien outil `labeling.py` restent dans l'historique.
Historique repris de Support-Agent (le dossier `labeling/`, jusqu'au commit 48a3092), puis l'état de Diagnostic-App au 2026-11-13 (462ba9e) : les archives de l'etiqueteur et des revues (`auto/etiqueteur/`, `auto/revue/`, `auto/revue-croisee/`) et l'ancien outil `labeling.py` restent dans l'historique. Les notes citent leurs sources telles qu'elles étaient dans Support-Agent (`docs/…`, `events/`, `run.md`, `agent-diagnostic/`, les skills `/labels-map`, `/review-auto-labels`, `/review-event`…) : des chemins de ce dépôt-là, obsolète, gardé en lecture.
+6 -2
View File
@@ -19,7 +19,7 @@ Deux autres formats, observés sur les données (pas documentés dans la FAQ) :
- `reproj_err` et `inlier` : références seulement ; `sigma0` : une valeur par mesure, répétée sur chaque ligne ; pas de `camera_pan|tilt|rotation|scale`.
- `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` : la qualité d'image de chaque cible, calculée par le GPU des caméras récentes (`run.md`) ; « Empty for most devices today » (handoff G, `docs/aimsight/AIMsight_handoff_G_site_health.md`). Remplies sur LENZSPITZE et NADELHORN, vides ailleurs (pompage d'octobre 2026) ; `inventaire.py` dit, sur un lot, quelles colonnes portent des valeurs. Pour les anciennes caméras, `~/optical_emulator` les recalcule à partir des images DIFF dans `quality/` (`run.md`), avec `stacking`, `exposition`, `gain`, `rotation` et `flag` de l'image, à joindre sur `time_utc` et `sensor_name`. Définitions et lecture : `metriques-de-qualite.md`. Flux, SNR et netteté relèvent de l'observabilité d'une cible dans l'image, à séparer de la santé du réseau de références (`AIMsight_agentic_support_project_context.md`, §5.5 et §5.6).
- Une mesure rejetée (`error_value` > `error_threshold`) garde sa ligne et son `error_value` ; `corr_x` / `corr_y` sont vides, pas interpolés. « Rejetée » est un jugement d'AIMsight, pas un tri de la caméra : la caméra livre toutes ses mesures, et la plateforme d'un client qui intègre les données les reçoit et peut les afficher (l'utilisateur, 2026-10-28).
- **LENZSPITZE, `x` / `y` relatifs** (2026-11-04) : `x` / `y` y sont l'écart à la position de référence du motif (médianes ~0 px), `relative_x` / `relative_y` sont égaux à `corr_x` / `corr_y`, `pattern_type` est vide. Conversion provisoire, pour cette station seulement : `extraction/lenzspitze_absolu.py` réécrit `data/LENZSPITZE/displacement/` en px de l'image (centre du motif de `lentzpitze_patterns.json` + décalage mesuré +330,5 / +15,8 px entre le repère du JSON et les images IRON + `x` / `y`) et remplit `pattern_type`. À relancer après un repompage. Limites : 1023 et 8019 n'ont pas de motif dans le JSON, leurs `x` / `y` sont vidés (8019 classé `global_ref`, par ses `reproj_err`) ; `relative_x` en px n'est pas reconstruit. À corriger le moment venu : le repère des positions côté pompage, et `visibility.py`, `thermal_displacement.py`, `categories.py`, qui testent `pattern_type` directement au lieu de `donnees.est_reference` (vide, ils ne voient aucune référence).
- **LENZSPITZE, `x` / `y` relatifs** (2026-11-04) : `x` / `y` y sont l'écart à la position de référence du motif (médianes ~0 px), `relative_x` / `relative_y` sont égaux à `corr_x` / `corr_y`, `pattern_type` est vide. Conversion provisoire, pour cette station seulement : `~/aimsight-data/extraction/lenzspitze_absolu.py` réécrit `data/LENZSPITZE/displacement/` en px de l'image (centre du motif de `lentzpitze_patterns.json` + décalage mesuré +330,5 / +15,8 px entre le repère du JSON et les images IRON + `x` / `y`) et remplit `pattern_type`. À relancer après un repompage. Limites : 1023 et 8019 n'ont pas de motif dans le JSON, leurs `x` / `y` sont vidés (8019 classé `global_ref`, par ses `reproj_err`) ; `relative_x` en px n'est pas reconstruit. À corriger le moment venu : le repère des positions côté pompage, et `visibility.py`, `thermal_displacement.py`, `categories.py`, qui testent `pattern_type` directement au lieu de `donnees.est_reference` (vide, ils ne voient aucune référence).
- **Mouvements de la caméra** (`camera/<Station>_camera_<AAAAMMJJ>.csv`, pompage seulement, absent des exports reçus) : la pose de la caméra à chaque recalage, `time_utc` en UTC, `median_|min_|max_` de `pan`, `tilt`, `rotation` [deg], `scale`, `sigma0` à la minute ; une ligne par mesure (min = max), aux instants des déplacements. Un instant de mesure sans ligne : la caméra n'a pas été recalée (NORDEND : 101 instants sur 6 071, dont 49 les 29 et 30/07). Ordres de grandeur : `pan`, `tilt` de quelques centièmes de degré, `scale` à 10⁻³ près de 1 ; des écarts de plusieurs degrés sur NORDEND (`pan` jusqu'à 3,1°, `tilt` −2,8 à 4,0°), non expliqués. Signe : un `tilt` positif veut dire que la caméra pique du nez (l'expert, 2026-11-03, BREITHORN : le `tilt` monte tout octobre pendant que la caméra s'incline). Lus par `ensemble.py` et `inventaire.py` (D-073).
- **Horaire** (`<Station>_<début>_to_<fin>_1hour.csv`) : une ligne par heure, cibles seulement. Par cible : `horizontal_displacement`, `vertical_displacement`, leurs `_min` / `_max`, `_error`, `_count_val`.
- `timestamp` **sans fuseau** : heure suisse (UTC+2 en octobre), au début de l'heure. Vérifié : `_error` = moyenne des `error_value` de l'heure, à 0,0006 près (médiane).
@@ -33,4 +33,8 @@ Causes à départager pour une anomalie de déplacement :
- dégradation locale d'une cible ;
- parallaxe ou modèle inadapté.
La référence qui fait autorité est `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md`. Les règles non négociables qui s'y rapportent (`inlier` binaire, `sigma0`, mode commun) sont dans `CLAUDE.md`.
La référence qui fait autorité est `AIMsight_reference_quality_event_explainer_roadmap.md` (documentation AIMsight, rangée dans Support-Agent, `docs/aimsight/`). Les règles non négociables qui s'y rapportent :
- ne rien construire sur `inlier` binaire : RANSAC sera remplacé par un estimateur pondéré ; utiliser poids continus, `N_eff`, résidus, influence ;
- `sigma0` seul et le nombre de références ne sont jamais des critères suffisants ;
- ne pas confondre qualité image d'une cible et qualité du réseau de références, ni petit résidu et transformation bien contrainte ;
- ne pas confondre mouvement en mode commun et mouvement structurel, ni références cohérentes et références physiquement fixes.
+1 -1
View File
@@ -1,6 +1,6 @@
# Le cycle thermique : ce qui est brut, ce qui est compensé, ce qui reste
- **Date** : 2026-10-24 (point 13 du plan du journal du matin). **Sources** : détecteur `detectors/thermique.py` (2026-10-23), ébauche de sinusoïde de 24 h (2026-10-24, point 41), l'utilisateur.
- **Date** : 2026-10-24 (point 13 du plan du journal du matin). **Sources** : détecteur `detectors/thermique.py` (2026-10-23 ; aujourd'hui `detectors/scripts/thermal_displacement.py`), ébauche de sinusoïde de 24 h (2026-10-24, point 41), l'utilisateur.
## Ce qu'en dit l'utilisateur (l'expert)
+2 -2
View File
@@ -1,6 +1,6 @@
# Images de la caméra : IRON et DIFF
La plateforme garde deux types d'images par mesure (type de mesure), que le pompage range à part (`extraction/pomper.py`).
La plateforme garde deux types d'images par mesure (type de mesure), que le pompage range à part (`~/aimsight-data/extraction/pomper.py`).
- **IRON** (`OPTICAL_SHIFT-IRON`, dans `images/`) : l'image classique de la scène, en JPG, ~1 Mo (NORDEND). C'est sur elle qu'on voit la cause d'un événement (buée, pluie, train, neige). Le nom vient sans doute de « IR on » (prise sous l'éclairage infrarouge) : déduction, la doc ne le dit pas.
- **DIFF** (`OPTICAL_SHIFT-DIFF`, dans `images_diff/`, option `--diff`) : l'image « différentielle ». D'après le manuel de la station (*AIMsight Test Manual*, « Choosing Between Single and Differential Acquisition »), elle **combine plusieurs prises** pour renforcer le contraste des réflecteurs (« *contrast-enhanced view of the reflectors* ») et c'est **l'image que mesurent les algorithmes de déplacement, par défaut**. Ce n'est **pas** la différence entre deux instants. PNG 16 bits, 3088×2064, ~7 Mo (NORDEND).
@@ -15,5 +15,5 @@ La plateforme garde deux types d'images par mesure (type de mesure), que le pomp
- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour). LENZSPITZE n'en a aucune en base les 26 et 27/10 (pompage du 2026-10-28), seulement des IRON, une par heure : mode d'acquisition sans DIFF, sans doute (non vérifié). Les autres stations : inconnu.
- Le 29/07 à NORDEND (E-002, toile d'araignée selon l'expert), l'image DIFF montre de longues traînées claires sur tout le champ et les cibles en points, là où l'image IRON ne montre que de faibles bandes sombres. Ce qui est tout près de l'objectif y ressort peut-être mieux : à confirmer (point 28 du plan du journal du matin).
- Les outils de lecture (`agent-tools/donnees.py`), donc `/events-learner`, ne regardent que les images IRON et écartent `images_diff/` ; `inventaire.py` les compte, et l'analyste peut les lire par ses propres scripts (D-097).
- Les outils de lecture (`agent-tools/donnees.py` de Diagnostic-App) ne regardent que les images IRON et écartent `images_diff/` ; `inventaire.py` les compte, et l'analyste peut les lire par ses propres scripts (D-097).
- Piste, non vérifiée : si `x`, `y` sont mesurés sur l'image DIFF, un centroïde pris sur l'image IRON peut s'en écarter (écart constant par capteur vu sur NORDEND, `colonnes-des-deplacements.md`).
+1 -1
View File
@@ -15,4 +15,4 @@ Source : `~/optical_emulator/docs/cuda_phase_correlation.md`, §14 (définitions
En bref : `peak` et `flux` disent la luminosité, `sharpness` et `fwhm` la netteté, `dominance` et `snr` la validité. Ensemble, ils disent **pourquoi** une mesure se dégrade, là où `error_value` ne dit que qu'elle se dégrade.
Ce sont des qualités de l'image d'**une cible** : elles ne disent rien de la santé du réseau de références (CLAUDE.md, « Pour les déplacements » ; `AIMsight_agentic_support_project_context.md`, §5.5 et §5.6). Les lectures du tableau sont celles de la source ; ce qu'elles valent sur nos phénomènes (pluie, buée, obstruction, soleil) se confirme dans les données (`labeling/connaissances/chaine-de-mesure.md`).
Ce sont des qualités de l'image d'**une cible** : elles ne disent rien de la santé du réseau de références (les règles non négociables, à la fin de `labeling/connaissances/colonnes-des-deplacements.md` ; `AIMsight_agentic_support_project_context.md`, §5.5 et §5.6). Les lectures du tableau sont celles de la source ; ce qu'elles valent sur nos phénomènes (pluie, buée, obstruction, soleil) se confirme dans les données (`labeling/connaissances/chaine-de-mesure.md`).
+4 -2
View File
@@ -13,6 +13,8 @@ import json
import os
import re
import sys
AUTO = os.path.join(os.path.dirname(os.path.abspath(__file__)), "auto") # ~/labeling/auto, ou par le lien labeling/
from datetime import datetime
FAMILLES = {"Visibility", "Obstruction", "Thermal displacement", "Displacement", "Target issue", "No data"}
@@ -21,12 +23,12 @@ DATE = re.compile(r"^\d{4}-\d\d-\d\dT\d\d:\d\dZ$")
CHIFFRE = re.compile(r"(?<![\w.])\d+,\d+|\b\d+\s*(bruits|px|°|%|MAD|mm|fois)(?!\w)|\b\d+\s+(cibles|mesures) sur\b")
INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|probablement pas un mouvement", re.I)
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob(os.path.join(AUTO, "*.jsonl")))
erreurs, signales, total = [], [], 0
for st in stations:
vues, ids, es = set(), set(), []
propose = st.endswith(".jsonl") # un fichier proposé : ses lignes n'ont pas encore `revue` ni `id`
chemin = st if propose else f"labeling/auto/{st}.jsonl"
chemin = st if propose else os.path.join(AUTO, f"{st}.jsonl")
for n, ligne in enumerate(open(chemin, encoding="utf-8"), 1):
if not ligne.strip():
continue
+5 -3
View File
@@ -11,6 +11,8 @@ import json
import os
import sys
AUTO = os.path.join(os.path.dirname(os.path.abspath(__file__)), "auto") # ~/labeling/auto, ou par le lien labeling/
def en_tete(e):
"""Remet l'id en premier champ de l'étiquette, en place (les lignes se lisent par leur id)."""
@@ -39,7 +41,7 @@ def attribuer(station, etiquettes, retires=()):
def fichier(station):
p = f"labeling/auto/{station}.jsonl"
p = os.path.join(AUTO, f"{station}.jsonl")
lignes = [l for l in open(p, encoding="utf-8") if l.strip()]
es = [json.loads(l) for l in lignes]
attribuer(station, es)
@@ -53,9 +55,9 @@ def fichier(station):
if __name__ == "__main__":
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob(os.path.join(AUTO, "*.jsonl")))
for st in stations:
avant = sum(1 for l in open(f"labeling/auto/{st}.jsonl", encoding="utf-8") if l.strip() and '"id"' not in l)
avant = sum(1 for l in open(os.path.join(AUTO, f"{st}.jsonl"), encoding="utf-8") if l.strip() and '"id"' not in l)
es = fichier(st)
ids = [e["id"] for e in es]
assert len(ids) == len(set(ids)), f"{st} : ids en double"
+1 -1
View File
@@ -1,6 +1,6 @@
# Les règles d'étiquetage
Comment poser une étiquette : la seule source de ces règles pour l'`etiqueteur` et pour ceux qui relisent ses étiquettes. Les familles et leurs frontières sont dans `familles.md` ; les phénomènes, dans `carte-des-etiquettes.md`.
Comment poser une étiquette : la seule source de ces règles pour l'`analyste` de Diagnostic-App (avant lui, l'`etiqueteur` de Support-Agent) et pour ceux qui relisent leurs étiquettes. Les familles et leurs frontières sont dans `familles.md` ; les phénomènes, dans `carte-des-etiquettes.md`.
Sources entre crochets : [consigne] la section « Les étiquettes » de `.claude/agents/etiqueteur.md` ; [croisée <famille>] la revue croisée du 2026-11-04, `auto/revue-croisee/2026-11-04/<famille>/revue.md` ; [finition <dossier>] sa passe de finition, `auto/revue-croisee/2026-11-04/finition/<dossier>/revue.md` ; [<STATION>] la revue de la station, `auto/revue/<STATION>_<début>/revue.md` ; [cohérence] celle de BREITHORN, MICHIGAN et NEBRASKA ; [expert] une étiquette ou une réponse de l'expert.