Files
Support-Agent/labeling/auto/revue-croisee/2026-11-04/outils-lecture.md
T
maximeandClaude Opus 5.5 c6e9df0e46 Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to
  new labels by labeling.py and by the reviews; controle.py requires it, unique. The
  cross-review matches labels by id, and an applied review is locked (applique.md).
- The label map starts with a summary (labels-map/sommaire.py): readers take the summary and
  sections 2-4 in full, then only the cards of the phenomena they meet.
- Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction,
  ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise
  after a lost reference, new agent-tools/stations.py (several stations on one timeline),
  long outputs convention in lire-les-donnees.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:49:54 +01:00

82 lines
9.8 KiB
Markdown

# Outils : revue des étiquettes automatiques du 2026-11-04, toutes stations
**Outils modifiés** : agent-tools/ensemble.py, agent-tools/jours.py, agent-tools/plages.py, agent-tools/resume.py, agent-tools/stations.py, .claude/skills/lire-les-donnees/SKILL.md
**donnees.py** : inchangé
Séance hors de /events-learner, demandée par l'utilisateur. Les demandes viennent de `docs/ameliorations-processus.md` (rubrique « Revue des étiquettes automatiques », plus l'entrée /aiguiser « Commandes Bash hors de la liste du skill ») et des scripts que les relecteurs ont dû écrire eux-mêmes.
## Ce que l'analyste a dit
- `jours.py --bornes` : le niveau de la nuit qui précède sert de référence ; quand la caméra dérive toute la nuit, les « après » tombent à « - » ou le dernier dépassement déborde sur la nuit suivante (NORDEND, NIEDERHORN) ; sur une pose très bruitée, le seuil en bruits ne sert à rien (FLORIDA) ; un point isolé de la nuit arrête la suite du tilt (WILDSTRUBEL). Scripts écrits à la place : `debut_matin.py` (repos 03:00-05:00), `pose_jour.py`, `tilt_bornes.py` (seuil fixe, point isolé ignoré), `bornes_thermique.py` (pan lissé sur 5 mesures, seuil au tiers du creux du jour).
- `ensemble.py --rigide` : pas de suite par cible (seulement min, max, dernier instant), d'où `residu.py` puis `perspective.py` ; sur plusieurs jours, le résumé est noyé par les mesures rejetées (voitures garées à WILDSTRUBEL, rejets de nuit à NORDEND : `lire_rigide.py`, `rigide_jours.py` ont dû refiltrer).
- Bruits absurdes des références de NEBRASKA après la perte de REFCOLH22 (bruit de 1e-13).
- Aucun outil ne pose plusieurs stations sur une même ligne de temps : `ligne_commune.py` (température, pose, `corr` des cibles, rejets, corrélations des valeurs et des pas).
- `ensemble.py --residus non` n'est pas accepté, alors que `--table non` l'est.
- /aiguiser : sorties trop longues, relues par `head`, `tail`, `sed`, `cut`, `wc`, redirections, `mkdir -p`, hors de la liste du skill.
## Ce que j'ai décidé
- `jours.py --bornes` : **optimisé**, deux options et une phrase. `--lissage N` reprend le lissage de `bornes_thermique.py` et règle le point isolé de `tilt_bornes.py`. `--fraction F` reprend le seuil relatif à l'ampleur du jour, utile quand le bruit au pas natif n'a rien à voir avec le cycle. Le repos juste avant le matin de `debut_matin.py` existe déjà par `--nuit 3-5` : une phrase du skill le dit, sans nouvelle option. Les lignes de jour commencent aussi par le nom de leur suite, pour les lire par `grep`.
- `ensemble.py --rigide` : **optimisé**. Option `--suivre A,B` : la suite pas à pas d'une cible, comme le faisait `residu.py`. Les mesures rejetées sortent de l'ajustement et des statistiques des cibles, et le résumé par capteur les donne à part : la règle du skill (« une mesure rejetée n'est pas une mesure ») ne s'appliquait pas ici. L'homographie de `perspective.py` est restée dans son script : elle ne servait qu'à une question de NEBRASKA, et une similitude par médianes suffit à l'outil.
- Bruits absurdes : **corrigé**, sans toucher à `donnees.py`. Vérifié : le `corr` des deux références restantes vaut 0 à 1e-13 près, puisque la compensation passe exactement par elles. La valeur lue est donc juste, seul le bruit calculé dessus était absurde. Le bruit propre est maintenant calculé par une seule fonction, `resume.bruit_propre`, pour `ensemble.py`, `plages.py` et `jours.py` ; elle rend 0 sous 1e-9. Le skill explique pourquoi ces valeurs sont nulles.
- Ligne de temps commune : **ajouté** `stations.py`, version générale de `ligne_commune.py`. Elle sert sur toute station voisine, et aucun outil existant ne prend plusieurs dossiers. Les fonctions `cibles`, `coupe` et `suites` de `metriques.py` sont réutilisées. En plus de `ligne_commune.py` : les trous datés avec les stations concernées, ce que le relecteur avait refait à la main. Les étiquettes ne sont pas posées sur la figure : à ajouter si un relecteur le demande.
- `--residus non` : **optimisé**, `non` vaut « aucune » ; la forme vide marche toujours.
- Sorties trop longues : **une phrase du skill**. Raccourcir d'abord par les options, ou lire une section par un tube vers `grep`. Sinon, ranger la sortie dans le dossier de sortie dans le même appel et la lire par Read (`offset`, `limit`) ou par `grep`. Pas de `mkdir` : les outils créent leur dossier.
## Ce qui a changé
- agent-tools/resume.py : `ARRONDI = 1e-9` et `bruit_propre(vs)`, la médiane des écarts consécutifs, 0 sous l'arrondi.
- agent-tools/plages.py : le bruit passe par `bruit_propre`.
- agent-tools/ensemble.py :
- le bruit des résidus passe par `bruit_propre` ;
- `--residus non` ;
- `--suivre A,B` pour `--rigide` (contrôle : les capteurs doivent faire partie de `--capteurs`) ;
- dans `--rigide`, les mesures rejetées sortent de l'ajustement, de la bande, de la médiane et du 90e centile des cibles, de `cib_med`, `cib_max` et des colonnes de la table ;
- sur le PNG, une référence rejetée est une croix, et l'échelle est celle des mesures acceptées ;
- le résumé par capteur porte sur les mesures acceptées, avec « ; N rejetées : min …, max … » et « (rejetée) » après une dernière valeur rejetée ;
- docstring à jour.
- agent-tools/jours.py :
- le bruit des niveaux de nuit passe par `bruit_propre`, et celui des bornes est mis à 0 sous 1e-9 ;
- `--lissage N` et `--fraction F` pour `--bornes` ;
- chaque ligne de jour commence par le nom court de sa suite (`corr_x`, `pose_tilt`…) ;
- titres du PNG et docstring à jour.
- agent-tools/stations.py (nouveau) : plusieurs dossiers de station sur une même grille.
- Colonnes : `temperature`, `cam_*`, `cib_corr_x`, `cib_corr_y`, `rej_cibles`, `rej_refs`.
- Imprime la période et la cadence de chaque station, les trous (sans mesure, sans température) avec les stations concernées, la table (option `--table`), puis le r des valeurs et le r des pas pour chaque paire de stations.
- PNG « stations ».
- .claude/skills/lire-les-donnees/SKILL.md :
- lignes d'`ensemble.py` (`--residus …|non`, `--suivre`, rejets dans `--rigide`), de `plages.py` (bruit 0) et de `jours.py` (`--lissage`, `--fraction`, préfixe des lignes, `grep`) ;
- nouvelle ligne `stations.py` ;
- Conventions : sortie trop longue, et deux références retenues (leur `corr` vaut 0) ;
- Méthode : nuit courte avant le matin, `--lissage`, `--fraction`, `stations.py` quand l'appelant donne plusieurs stations.
- docs/ameliorations-processus.md : six entrées marquées **traité** (2026-11-05).
## Essai
- `.venv/bin/python agent-tools/ensemble.py data/WILDSTRUBEL --debut 2026-09-24T00:00Z --fin 2026-09-27T00:00Z --rigide 2026-09-25T03:00Z --table non --residus non --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/`
- Avant : la rotation ajustée montait jusqu'à 4° et l'échelle tombait à 0,96 pendant les rejets du 26/09 ; le min et le max de chaque référence valaient ±20 à ±50 px.
- Après : le cycle de rotation de ±0,03° se lit chaque jour (`WILDSTRUBEL_rigide_…png`, regardé). Le min et le max acceptés sont de quelques dixièmes de px, et les rejetées viennent à part (R3 : « 145 rejetées : min -33 … »).
- `.venv/bin/python agent-tools/ensemble.py data/NEBRASKA --pas 4h --rigide 2026-10-05T00:00Z --suivre COLJ19,POUH20 --table 2026-10-16T00:00Z/2026-10-18T00:00Z --residus non` : les colonnes `COLJ19_dx`, `COLJ19_dy` donnent le pas propre de COLJ19 (+0,087 px le 17/10 00:00), ce que `residu.py` cherchait. REFCOLH22 : « 148 rejetées ».
- `python3 agent-tools/plages.py data/NEBRASKA --capteurs "REFH22,REFP''21,COLJ19" --colonnes corr_x --min-mesures 6`
- Avant : bruit 2,27e-13 et un saut de « +0.02673117562098059.0 » bruits (colonnes collées).
- Après : bruit 0 et « - ». COLJ19 ne change pas (bruit 0,0114, 7,6 bruits).
- `.venv/bin/python agent-tools/jours.py data/NORDEND --debut 2026-10-10T00:00Z --fin 2026-10-17T00:00Z --colonnes corr_x --bornes --nuit 2-4 --lissage 5 --fraction 0.3 --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/`
- Chaque jour donne son seuil et une suite autour de l'extrême, d'un seul tenant (tilt du 15/10 : 08:15 → 18:30, 42 mesures).
- PNG `NORDEND_bornes_…png`, regardé : lissé en bleu, brut en gris.
- Sans les options, la sortie est la même qu'avant, au préfixe près (essai NEBRASKA `--pas 4h --nuit 16-23 --bornes`).
- `.venv/bin/python agent-tools/stations.py data/BREITHORN data/MICHIGAN data/NEBRASKA --debut 2026-10-03T00:00Z --fin 2026-11-01T00:00Z --pas 4h --table 2026-10-15T12:00Z/2026-10-16T16:00Z --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/`
- 172 instants par station, cadence 240 min.
- Trou « 2026-10-16T00:00Z → 04:00Z : sans mesure BREITHORN,MICHIGAN,NEBRASKA ; sans température MICHIGAN,NEBRASKA », puis 08:00 sans mesure pour les trois.
- Température r valeurs de +0,95 à +0,97 ; cam_tilt BREITHORN-NEBRASKA r valeurs +0,98, r pas +0,23. Ce sont les chiffres de `ligne_commune.py`.
- PNG `BREITHORN-MICHIGAN-NEBRASKA_stations_…png`, regardé : la dérive commune du tilt et de la rotation, et le trou commun du 16/10.
- Sur NORDEND, NADELHORN et LENZSPITZE (cadences 15 et 5 min, `--pas 1h`) : 6 s.
## Commandes des fiches relancées
63 commandes (`ensemble.py` 1, `plages.py` 5, `resume.py` 57 ; aucune pour `jours.py` ni `stations.py`) : aucun échec.
## Difficultés
- Le rendu standard du tool-builder demande des figures dans `<lot>/tool-builder/`, alors que la demande disait de ne pas toucher à `labeling/`. J'ai mis les trois figures de l'essai dans `labeling/auto/revue-croisee/2026-11-04/tool-builder/`, à côté du rendu demandé, et rien d'autre dans `labeling/`.
- Pendant la séance, d'autres fichiers du dépôt ont été modifiés en parallèle (skills de revue, `labeling/auto/*.jsonl`, `CLAUDE.md`). J'ai vérifié que le diff de `lire-les-donnees/SKILL.md` et d'`agent-tools/` ne contient que mes changements.