Image quality metrics in labeling: qualite.py, LENZSPITZE October labels reviewed with them (D-129)

Definitions of peak, flux, sharpness, fwhm, dominance and snr in docs/domaine;
agent-tools/qualite.py (ratio to a calm reference, per label, outside labels,
figures), inventaire/graphique/resume aware of the six columns, lire-les-donnees
and the labeler's instructions updated. LENZSPITZE 16.10-01.11 relabeled: 67
labels, 4 found by the metrics.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-04 13:34:04 +01:00
1 parent 2edd297726
commit a2b1f2ed14
16 files changed
+2039 -84

No files matched your search

+16 -3
View File
@@ -953,11 +953,11 @@ Règles du journal :
- **Conséquence** : `status.py` transcrit le document (`FUSION`, `OCCULTE`) ; il ne change que l'affichage, pas les détecteurs ni `detecteurs.py`.
## D-096 — 2026-10-29 — Pompage des stations suivies, jusqu'à maintenant
- **Statut** : active. Complète D-065.
- **Statut** : active. Complète D-065 ; complétée par D-125.
- **Décision** : `extraction/stations.txt` liste les stations suivies (au départ, les 8 de `data/`). `pomper.py` lancé sans station ni dates, à la main dans le dev container, les met toutes à jour jusqu'à maintenant : chaque station repart de son dernier jour de déplacements pompé, qui est remplacé ; une station sans déplacements pompés reçoit les 30 derniers jours. Le jour en cours est pompé tel qu'il est, ses métriques jusqu'à la dernière heure terminée. La commande avec `--du` et `--au` reste pour une plage choisie (historique, jour en échec).
- **Pourquoi** : sans cela, il fallait attendre le lendemain pour analyser une nuit ou une matinée, et retaper la commande station par station.
- **Options écartées** : un pompage planifié (cron dans WSL, container éphémère toutes les 15 min), une règle de jour final à 6 h après sa fin, une écriture atomique : jugés beaucoup trop compliqués par l'utilisateur ; un script à part (le mode sans argument de `pomper.py` suffit).
- **Conséquence** : un jour pompé en cours de journée reste incomplet jusqu'au lancement suivant sans `--du`. Un trou plus ancien que le dernier jour pompé n'est pas comblé : commande avec `--du`.
- **Conséquence** : un jour pompé en cours de journée reste incomplet jusqu'au lancement suivant sans `--du`. Un trou plus ancien que le dernier jour pompé n'est pas comblé : commande avec `--du` ; comblé depuis D-125.
## D-097 — 2026-10-29 — `/aiguiser` retiré : l'analyste crée ses outils, un `tool-builder` les fait entrer dans `agent-tools/`
- **Statut** : active. Remplace D-059 (et avec lui D-064, D-076, D-077, D-078) ; modifie D-090 (l'analyste) et D-092 (le déroulé de `/events-learner`) ; point 56 du plan du journal du matin.
@@ -1165,6 +1165,13 @@ Règles du journal :
- **Options écartées** : faire dire à l'étiqueteur d'où vient la famille (signe visible ou température seule) et ne plus scorer les secondes : contourne le plafond sans le lever ; ne rien changer ; une température par composant (le GPU qui calcule fait des pointes ; la médiane suit ce que lit l'étiqueteur, « les températures de tous les composants ») ; écrire tout de suite une règle thermique hors séance (elle échapperait au contrôle).
- **Conséquence** : benchmark inchangé tant qu'aucun détecteur ne déclare `temperature` ; une station sans ces métriques (les cas de `vues-deplacements/cas/`) reçoit une liste vide. `categories.py` et `capteurs.py` acceptent aussi `--du` / `--au` au format ISO de `regression.plage()`.
## D-125 — 2026-11-03 — Le pompage sans `--du` comble les jours manquants
- **Statut** : active. Complète D-096.
- **Décision** : `pomper.py` lancé sans `--du` pompe d'abord, pour chaque station, les jours sans fichier de déplacements entre le premier et le dernier jour pompés (fichiers existants laissés tels quels, comme avec `--du`), puis repart comme avant de son dernier jour pompé, repompé, jusqu'à maintenant.
- **Pourquoi** : LENZSPITZE n'avait aucun fichier les 24 et 25/10 : pompée en deux plages avec `--du` (jusqu'au 23, puis à partir du 26), le mode suivi ne revenait jamais en arrière ; l'utilisateur ne s'expliquait pas le trou. Un jour en échec (délai dépassé), qui n'écrit pas de fichier, est ainsi repris au lancement suivant.
- **Options écartées** : repartir du premier trou en remplaçant tout (repompe des jours complets) ; laisser la commande avec `--du` (le trou passe inaperçu).
- **Conséquence** : un jour manquant que la base ne rend pas est redemandé à chaque lancement, une requête par jour. Les trous à l'intérieur d'un fichier (panne commune de la plateforme du 15/10 23:00 au 16/10 ~10:00 UTC, stations éteintes) ne sont pas concernés : la base n'a pas ces données.
## D-126 — 2026-11-03 — Le dossier de l'étiqueteur dans `labeling/auto/etiqueteur/`, analyse et scripts versionnés
- **Statut** : active. Remplace, dans D-106, le dossier de sortie `out/etiqueteur/` hors de git.
- **Décision** : le dossier de sortie de l'`etiqueteur` est `labeling/auto/etiqueteur/<STATION>_<début du lot>/` (déplacé là par l'utilisateur, avec les lots déjà faits). Son analyse (`analyse.md`) et ses scripts (`outils/*.py`) sont versionnés ; ses figures et les sorties de ses outils restent hors de git (`.gitignore`). Les chemins écrits dans les scripts et analyses déplacés sont réécrits.
@@ -1183,6 +1190,12 @@ Règles du journal :
- **Statut** : active. Complète D-105, D-106 et D-118 ; point 73 du plan du journal du matin.
- **Décision** : `/review-auto-labels <STATION> <début> <fin>`, sur une plage choisie par l'utilisateur. L'agent `analyste`, avec les consignes `.claude/skills/review-auto-labels/analyste.md`, juge chaque étiquette de `labeling/auto/` face aux données (bornes, un seul événement, famille, description, oubliées) et écrit `labeling/auto/revue/<STATION>_<début>/revue.md` et `etiquettes-proposees.jsonl`, sans toucher aux étiquettes. L'orchestrateur pose ses questions à l'expert, ajuste les propositions à ses réponses, puis, sur son accord, remplace les étiquettes de la plage. Ses réponses sont dites dans la description (« d'après l'expert ») ; toutes les étiquettes de la plage portent `revue`, la date de la revue, comme les étiquettes manuelles revues (D-103), et `/labels-map` lit aussi ces lignes de `labeling/auto/`.
- **Pourquoi** : les étiquettes de l'étiqueteur sont la vérité des détecteurs (D-118) : leurs défauts passent dans tout ce qui en apprend. Premier essai, BREITHORN d'octobre : 26 étiquettes, 10 à corriger, 1 oubliée, et une indication de l'expert (pas d'effet thermique) que les données contredisaient ; il a tranché : les écarts de la caméra des nuits froides sont thermiques, la température du boîtier compte, pas celle de l'air.
- **Options écartées** : une revue par mois fixe (la plage est celle de l'utilisateur) ; un relecteur qui corrige lui-même (l'expert décide) ; écrire la réponse de l'expert dans la carte seule (la carte est dérivée des étiquettes, `/labels-map` l'effacerait).
- **Options écartées** : une revue par mois fixe (la plage est celle de l'utilisateur) ; un relecteur qui corrige lui-même (l'expert décide) ; écrire la réponse de l'expert dans la carte seule (la carte est dérivée des étiquettes, `/labels-map` l'effacerait) ; un relecteur qui relit toute la plage pour lui-même avant les étiquettes (l'expert, 2026-11-04 : il part des étiquettes et de l'analyse de l'étiqueteur pour les améliorer, il ne refait pas l'étiquetage ; les oubliées se cherchent entre les étiquettes).
- **Conséquence** : du dossier de revue, seuls `revue.md` et `etiquettes-proposees.jsonl` sont versionnés, les figures non. Les leçons pour l'étiqueteur sont proposées à l'utilisateur, pas appliquées d'office.
## D-129 — 2026-11-04 — Les métriques de qualité d'image entrent dans l'étiquetage : outil `qualite.py`, LENZSPITZE relue
- **Statut** : active. Complète D-106 (étiqueteur) et D-128 (revue des étiquettes automatiques) ; point 76 du plan du journal du matin.
- **Décision** : les six métriques de qualité de l'export « advanced » des caméras récentes (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) sont définies dans `docs/domaine/metriques-de-qualite.md` (source : `~/optical_emulator/docs/cuda_phase_correlation.md`, §14), chargées par `donnees.charger`, lues par `agent-tools/qualite.py` (rapport à une référence calme par capteur et par heure UTC ; `--etiquettes`, `--hors`, `--figure`), signalées par `inventaire.py`, tracées par `graphique.py`, proposées dans le menu de `labeling.py` ; le skill `lire-les-donnees` et la consigne de l'`etiqueteur` disent de s'en servir quand elles sont remplies. Les 63 étiquettes d'octobre de LENZSPITZE, déjà revues sans elles, sont relues avec elles par l'analyste (`labeling/auto/revue/LENZSPITZE_2026-10-01_qualite/`) et remplacées par 67 étiquettes.
- **Pourquoi** : l'utilisateur, 2026-11-04 : aucun outil ne lisait ces métriques, les étiquettes ont été faites sans elles. La revue le confirme : le flux prouve une occultation et nomme les cibles cachées (dont deux restées sous leur seuil, leur point faux), sépare la turbulence (netteté, snr, dominance) de la perte de lumière, et trouve 4 événements oubliés, sans rejet.
- **Options écartées** : une alerte de changement de régime dans l'outil (un seuil dans ce que rend un outil ; le skill dit de comparer chaque côté du changement) ; repartir de l'étiquetage (la revue part des étiquettes, D-128).
- **Conséquence** : seules LENZSPITZE et NADELHORN ont ces métriques aujourd'hui ; pour les anciennes caméras, `quality/` de `~/optical_emulator` n'est pas encore lu par `qualite.py`. L'expert n'a pu trancher aucune des cinq questions (images aux heures pleines seulement) : les choix par défaut de l'analyste sont gardés. Les signatures par famille et le contexte de LENZSPITZE attendent `/labels-map`.