- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
9.8 KiB
9.8 KiB
Outils : revue des étiquettes automatiques du 2026-11-04, toutes stations
Outils modifiés : agent-tools/ensemble.py, agent-tools/jours.py, agent-tools/plages.py, agent-tools/resume.py, agent-tools/stations.py, .claude/skills/lire-les-donnees/SKILL.md donnees.py : inchangé
Séance hors de /events-learner, demandée par l'utilisateur. Les demandes viennent de docs/ameliorations-processus.md (rubrique « Revue des étiquettes automatiques », plus l'entrée /aiguiser « Commandes Bash hors de la liste du skill ») et des scripts que les relecteurs ont dû écrire eux-mêmes.
Ce que l'analyste a dit
jours.py --bornes: le niveau de la nuit qui précède sert de référence ; quand la caméra dérive toute la nuit, les « après » tombent à « - » ou le dernier dépassement déborde sur la nuit suivante (NORDEND, NIEDERHORN) ; sur une pose très bruitée, le seuil en bruits ne sert à rien (FLORIDA) ; un point isolé de la nuit arrête la suite du tilt (WILDSTRUBEL). Scripts écrits à la place :debut_matin.py(repos 03:00-05:00),pose_jour.py,tilt_bornes.py(seuil fixe, point isolé ignoré),bornes_thermique.py(pan lissé sur 5 mesures, seuil au tiers du creux du jour).ensemble.py --rigide: pas de suite par cible (seulement min, max, dernier instant), d'oùresidu.pypuisperspective.py; sur plusieurs jours, le résumé est noyé par les mesures rejetées (voitures garées à WILDSTRUBEL, rejets de nuit à NORDEND :lire_rigide.py,rigide_jours.pyont dû refiltrer).- Bruits absurdes des références de NEBRASKA après la perte de REFCOLH22 (bruit de 1e-13).
- Aucun outil ne pose plusieurs stations sur une même ligne de temps :
ligne_commune.py(température, pose,corrdes cibles, rejets, corrélations des valeurs et des pas). ensemble.py --residus nonn'est pas accepté, alors que--table nonl'est.- /aiguiser : sorties trop longues, relues par
head,tail,sed,cut,wc, redirections,mkdir -p, hors de la liste du skill.
Ce que j'ai décidé
jours.py --bornes: optimisé, deux options et une phrase.--lissage Nreprend le lissage debornes_thermique.pyet règle le point isolé detilt_bornes.py.--fraction Freprend le seuil relatif à l'ampleur du jour, utile quand le bruit au pas natif n'a rien à voir avec le cycle. Le repos juste avant le matin dedebut_matin.pyexiste déjà par--nuit 3-5: une phrase du skill le dit, sans nouvelle option. Les lignes de jour commencent aussi par le nom de leur suite, pour les lire pargrep.ensemble.py --rigide: optimisé. Option--suivre A,B: la suite pas à pas d'une cible, comme le faisaitresidu.py. Les mesures rejetées sortent de l'ajustement et des statistiques des cibles, et le résumé par capteur les donne à part : la règle du skill (« une mesure rejetée n'est pas une mesure ») ne s'appliquait pas ici. L'homographie deperspective.pyest restée dans son script : elle ne servait qu'à une question de NEBRASKA, et une similitude par médianes suffit à l'outil.- Bruits absurdes : corrigé, sans toucher à
donnees.py. Vérifié : lecorrdes deux références restantes vaut 0 à 1e-13 près, puisque la compensation passe exactement par elles. La valeur lue est donc juste, seul le bruit calculé dessus était absurde. Le bruit propre est maintenant calculé par une seule fonction,resume.bruit_propre, pourensemble.py,plages.pyetjours.py; elle rend 0 sous 1e-9. Le skill explique pourquoi ces valeurs sont nulles. - Ligne de temps commune : ajouté
stations.py, version générale deligne_commune.py. Elle sert sur toute station voisine, et aucun outil existant ne prend plusieurs dossiers. Les fonctionscibles,coupeetsuitesdemetriques.pysont réutilisées. En plus deligne_commune.py: les trous datés avec les stations concernées, ce que le relecteur avait refait à la main. Les étiquettes ne sont pas posées sur la figure : à ajouter si un relecteur le demande. --residus non: optimisé,nonvaut « aucune » ; la forme vide marche toujours.- Sorties trop longues : une phrase du skill. Raccourcir d'abord par les options, ou lire une section par un tube vers
grep. Sinon, ranger la sortie dans le dossier de sortie dans le même appel et la lire par Read (offset,limit) ou pargrep. Pas demkdir: les outils créent leur dossier.
Ce qui a changé
- agent-tools/resume.py :
ARRONDI = 1e-9etbruit_propre(vs), la médiane des écarts consécutifs, 0 sous l'arrondi. - agent-tools/plages.py : le bruit passe par
bruit_propre. - agent-tools/ensemble.py :
- le bruit des résidus passe par
bruit_propre; --residus non;--suivre A,Bpour--rigide(contrôle : les capteurs doivent faire partie de--capteurs) ;- dans
--rigide, les mesures rejetées sortent de l'ajustement, de la bande, de la médiane et du 90e centile des cibles, decib_med,cib_maxet des colonnes de la table ; - sur le PNG, une référence rejetée est une croix, et l'échelle est celle des mesures acceptées ;
- le résumé par capteur porte sur les mesures acceptées, avec « ; N rejetées : min …, max … » et « (rejetée) » après une dernière valeur rejetée ;
- docstring à jour.
- le bruit des résidus passe par
- agent-tools/jours.py :
- le bruit des niveaux de nuit passe par
bruit_propre, et celui des bornes est mis à 0 sous 1e-9 ; --lissage Net--fraction Fpour--bornes;- chaque ligne de jour commence par le nom court de sa suite (
corr_x,pose_tilt…) ; - titres du PNG et docstring à jour.
- le bruit des niveaux de nuit passe par
- agent-tools/stations.py (nouveau) : plusieurs dossiers de station sur une même grille.
- Colonnes :
temperature,cam_*,cib_corr_x,cib_corr_y,rej_cibles,rej_refs. - Imprime la période et la cadence de chaque station, les trous (sans mesure, sans température) avec les stations concernées, la table (option
--table), puis le r des valeurs et le r des pas pour chaque paire de stations. - PNG « stations ».
- Colonnes :
- .claude/skills/lire-les-donnees/SKILL.md :
- lignes d'
ensemble.py(--residus …|non,--suivre, rejets dans--rigide), deplages.py(bruit 0) et dejours.py(--lissage,--fraction, préfixe des lignes,grep) ; - nouvelle ligne
stations.py; - Conventions : sortie trop longue, et deux références retenues (leur
corrvaut 0) ; - Méthode : nuit courte avant le matin,
--lissage,--fraction,stations.pyquand l'appelant donne plusieurs stations.
- lignes d'
- docs/ameliorations-processus.md : six entrées marquées traité (2026-11-05).
Essai
.venv/bin/python agent-tools/ensemble.py data/WILDSTRUBEL --debut 2026-09-24T00:00Z --fin 2026-09-27T00:00Z --rigide 2026-09-25T03:00Z --table non --residus non --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/- Avant : la rotation ajustée montait jusqu'à 4° et l'échelle tombait à 0,96 pendant les rejets du 26/09 ; le min et le max de chaque référence valaient ±20 à ±50 px.
- Après : le cycle de rotation de ±0,03° se lit chaque jour (
WILDSTRUBEL_rigide_…png, regardé). Le min et le max acceptés sont de quelques dixièmes de px, et les rejetées viennent à part (R3 : « 145 rejetées : min -33 … »).
.venv/bin/python agent-tools/ensemble.py data/NEBRASKA --pas 4h --rigide 2026-10-05T00:00Z --suivre COLJ19,POUH20 --table 2026-10-16T00:00Z/2026-10-18T00:00Z --residus non: les colonnesCOLJ19_dx,COLJ19_dydonnent le pas propre de COLJ19 (+0,087 px le 17/10 00:00), ce queresidu.pycherchait. REFCOLH22 : « 148 rejetées ».python3 agent-tools/plages.py data/NEBRASKA --capteurs "REFH22,REFP''21,COLJ19" --colonnes corr_x --min-mesures 6- Avant : bruit 2,27e-13 et un saut de « +0.02673117562098059.0 » bruits (colonnes collées).
- Après : bruit 0 et « - ». COLJ19 ne change pas (bruit 0,0114, 7,6 bruits).
.venv/bin/python agent-tools/jours.py data/NORDEND --debut 2026-10-10T00:00Z --fin 2026-10-17T00:00Z --colonnes corr_x --bornes --nuit 2-4 --lissage 5 --fraction 0.3 --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/- Chaque jour donne son seuil et une suite autour de l'extrême, d'un seul tenant (tilt du 15/10 : 08:15 → 18:30, 42 mesures).
- PNG
NORDEND_bornes_…png, regardé : lissé en bleu, brut en gris. - Sans les options, la sortie est la même qu'avant, au préfixe près (essai NEBRASKA
--pas 4h --nuit 16-23 --bornes).
.venv/bin/python agent-tools/stations.py data/BREITHORN data/MICHIGAN data/NEBRASKA --debut 2026-10-03T00:00Z --fin 2026-11-01T00:00Z --pas 4h --table 2026-10-15T12:00Z/2026-10-16T16:00Z --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/- 172 instants par station, cadence 240 min.
- Trou « 2026-10-16T00:00Z → 04:00Z : sans mesure BREITHORN,MICHIGAN,NEBRASKA ; sans température MICHIGAN,NEBRASKA », puis 08:00 sans mesure pour les trois.
- Température r valeurs de +0,95 à +0,97 ; cam_tilt BREITHORN-NEBRASKA r valeurs +0,98, r pas +0,23. Ce sont les chiffres de
ligne_commune.py. - PNG
BREITHORN-MICHIGAN-NEBRASKA_stations_…png, regardé : la dérive commune du tilt et de la rotation, et le trou commun du 16/10. - Sur NORDEND, NADELHORN et LENZSPITZE (cadences 15 et 5 min,
--pas 1h) : 6 s.
Commandes des fiches relancées
63 commandes (ensemble.py 1, plages.py 5, resume.py 57 ; aucune pour jours.py ni stations.py) : aucun échec.
Difficultés
- Le rendu standard du tool-builder demande des figures dans
<lot>/tool-builder/, alors que la demande disait de ne pas toucher àlabeling/. J'ai mis les trois figures de l'essai danslabeling/auto/revue-croisee/2026-11-04/tool-builder/, à côté du rendu demandé, et rien d'autre danslabeling/. - Pendant la séance, d'autres fichiers du dépôt ont été modifiés en parallèle (skills de revue,
labeling/auto/*.jsonl,CLAUDE.md). J'ai vérifié que le diff delire-les-donnees/SKILL.mdet d'agent-tools/ne contient que mes changements.