Files
Support-Agent/labeling/auto/revue-croisee/2026-11-04/outils-lecture.md
T
maximeandClaude Opus 5.5 c6e9df0e46 Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to
  new labels by labeling.py and by the reviews; controle.py requires it, unique. The
  cross-review matches labels by id, and an applied review is locked (applique.md).
- The label map starts with a summary (labels-map/sommaire.py): readers take the summary and
  sections 2-4 in full, then only the cards of the phenomena they meet.
- Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction,
  ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise
  after a lost reference, new agent-tools/stations.py (several stations on one timeline),
  long outputs convention in lire-les-donnees.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:49:54 +01:00

9.8 KiB

Outils : revue des étiquettes automatiques du 2026-11-04, toutes stations

Outils modifiés : agent-tools/ensemble.py, agent-tools/jours.py, agent-tools/plages.py, agent-tools/resume.py, agent-tools/stations.py, .claude/skills/lire-les-donnees/SKILL.md donnees.py : inchangé

Séance hors de /events-learner, demandée par l'utilisateur. Les demandes viennent de docs/ameliorations-processus.md (rubrique « Revue des étiquettes automatiques », plus l'entrée /aiguiser « Commandes Bash hors de la liste du skill ») et des scripts que les relecteurs ont dû écrire eux-mêmes.

Ce que l'analyste a dit

  • jours.py --bornes : le niveau de la nuit qui précède sert de référence ; quand la caméra dérive toute la nuit, les « après » tombent à « - » ou le dernier dépassement déborde sur la nuit suivante (NORDEND, NIEDERHORN) ; sur une pose très bruitée, le seuil en bruits ne sert à rien (FLORIDA) ; un point isolé de la nuit arrête la suite du tilt (WILDSTRUBEL). Scripts écrits à la place : debut_matin.py (repos 03:00-05:00), pose_jour.py, tilt_bornes.py (seuil fixe, point isolé ignoré), bornes_thermique.py (pan lissé sur 5 mesures, seuil au tiers du creux du jour).
  • ensemble.py --rigide : pas de suite par cible (seulement min, max, dernier instant), d'où residu.py puis perspective.py ; sur plusieurs jours, le résumé est noyé par les mesures rejetées (voitures garées à WILDSTRUBEL, rejets de nuit à NORDEND : lire_rigide.py, rigide_jours.py ont dû refiltrer).
  • Bruits absurdes des références de NEBRASKA après la perte de REFCOLH22 (bruit de 1e-13).
  • Aucun outil ne pose plusieurs stations sur une même ligne de temps : ligne_commune.py (température, pose, corr des cibles, rejets, corrélations des valeurs et des pas).
  • ensemble.py --residus non n'est pas accepté, alors que --table non l'est.
  • /aiguiser : sorties trop longues, relues par head, tail, sed, cut, wc, redirections, mkdir -p, hors de la liste du skill.

Ce que j'ai décidé

  • jours.py --bornes : optimisé, deux options et une phrase. --lissage N reprend le lissage de bornes_thermique.py et règle le point isolé de tilt_bornes.py. --fraction F reprend le seuil relatif à l'ampleur du jour, utile quand le bruit au pas natif n'a rien à voir avec le cycle. Le repos juste avant le matin de debut_matin.py existe déjà par --nuit 3-5 : une phrase du skill le dit, sans nouvelle option. Les lignes de jour commencent aussi par le nom de leur suite, pour les lire par grep.
  • ensemble.py --rigide : optimisé. Option --suivre A,B : la suite pas à pas d'une cible, comme le faisait residu.py. Les mesures rejetées sortent de l'ajustement et des statistiques des cibles, et le résumé par capteur les donne à part : la règle du skill (« une mesure rejetée n'est pas une mesure ») ne s'appliquait pas ici. L'homographie de perspective.py est restée dans son script : elle ne servait qu'à une question de NEBRASKA, et une similitude par médianes suffit à l'outil.
  • Bruits absurdes : corrigé, sans toucher à donnees.py. Vérifié : le corr des deux références restantes vaut 0 à 1e-13 près, puisque la compensation passe exactement par elles. La valeur lue est donc juste, seul le bruit calculé dessus était absurde. Le bruit propre est maintenant calculé par une seule fonction, resume.bruit_propre, pour ensemble.py, plages.py et jours.py ; elle rend 0 sous 1e-9. Le skill explique pourquoi ces valeurs sont nulles.
  • Ligne de temps commune : ajouté stations.py, version générale de ligne_commune.py. Elle sert sur toute station voisine, et aucun outil existant ne prend plusieurs dossiers. Les fonctions cibles, coupe et suites de metriques.py sont réutilisées. En plus de ligne_commune.py : les trous datés avec les stations concernées, ce que le relecteur avait refait à la main. Les étiquettes ne sont pas posées sur la figure : à ajouter si un relecteur le demande.
  • --residus non : optimisé, non vaut « aucune » ; la forme vide marche toujours.
  • Sorties trop longues : une phrase du skill. Raccourcir d'abord par les options, ou lire une section par un tube vers grep. Sinon, ranger la sortie dans le dossier de sortie dans le même appel et la lire par Read (offset, limit) ou par grep. Pas de mkdir : les outils créent leur dossier.

Ce qui a changé

  • agent-tools/resume.py : ARRONDI = 1e-9 et bruit_propre(vs), la médiane des écarts consécutifs, 0 sous l'arrondi.
  • agent-tools/plages.py : le bruit passe par bruit_propre.
  • agent-tools/ensemble.py :
    • le bruit des résidus passe par bruit_propre ;
    • --residus non ;
    • --suivre A,B pour --rigide (contrôle : les capteurs doivent faire partie de --capteurs) ;
    • dans --rigide, les mesures rejetées sortent de l'ajustement, de la bande, de la médiane et du 90e centile des cibles, de cib_med, cib_max et des colonnes de la table ;
    • sur le PNG, une référence rejetée est une croix, et l'échelle est celle des mesures acceptées ;
    • le résumé par capteur porte sur les mesures acceptées, avec « ; N rejetées : min …, max … » et « (rejetée) » après une dernière valeur rejetée ;
    • docstring à jour.
  • agent-tools/jours.py :
    • le bruit des niveaux de nuit passe par bruit_propre, et celui des bornes est mis à 0 sous 1e-9 ;
    • --lissage N et --fraction F pour --bornes ;
    • chaque ligne de jour commence par le nom court de sa suite (corr_x, pose_tilt…) ;
    • titres du PNG et docstring à jour.
  • agent-tools/stations.py (nouveau) : plusieurs dossiers de station sur une même grille.
    • Colonnes : temperature, cam_*, cib_corr_x, cib_corr_y, rej_cibles, rej_refs.
    • Imprime la période et la cadence de chaque station, les trous (sans mesure, sans température) avec les stations concernées, la table (option --table), puis le r des valeurs et le r des pas pour chaque paire de stations.
    • PNG « stations ».
  • .claude/skills/lire-les-donnees/SKILL.md :
    • lignes d'ensemble.py (--residus …|non, --suivre, rejets dans --rigide), de plages.py (bruit 0) et de jours.py (--lissage, --fraction, préfixe des lignes, grep) ;
    • nouvelle ligne stations.py ;
    • Conventions : sortie trop longue, et deux références retenues (leur corr vaut 0) ;
    • Méthode : nuit courte avant le matin, --lissage, --fraction, stations.py quand l'appelant donne plusieurs stations.
  • docs/ameliorations-processus.md : six entrées marquées traité (2026-11-05).

Essai

  • .venv/bin/python agent-tools/ensemble.py data/WILDSTRUBEL --debut 2026-09-24T00:00Z --fin 2026-09-27T00:00Z --rigide 2026-09-25T03:00Z --table non --residus non --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/
    • Avant : la rotation ajustée montait jusqu'à 4° et l'échelle tombait à 0,96 pendant les rejets du 26/09 ; le min et le max de chaque référence valaient ±20 à ±50 px.
    • Après : le cycle de rotation de ±0,03° se lit chaque jour (WILDSTRUBEL_rigide_…png, regardé). Le min et le max acceptés sont de quelques dixièmes de px, et les rejetées viennent à part (R3 : « 145 rejetées : min -33 … »).
  • .venv/bin/python agent-tools/ensemble.py data/NEBRASKA --pas 4h --rigide 2026-10-05T00:00Z --suivre COLJ19,POUH20 --table 2026-10-16T00:00Z/2026-10-18T00:00Z --residus non : les colonnes COLJ19_dx, COLJ19_dy donnent le pas propre de COLJ19 (+0,087 px le 17/10 00:00), ce que residu.py cherchait. REFCOLH22 : « 148 rejetées ».
  • python3 agent-tools/plages.py data/NEBRASKA --capteurs "REFH22,REFP''21,COLJ19" --colonnes corr_x --min-mesures 6
    • Avant : bruit 2,27e-13 et un saut de « +0.02673117562098059.0 » bruits (colonnes collées).
    • Après : bruit 0 et « - ». COLJ19 ne change pas (bruit 0,0114, 7,6 bruits).
  • .venv/bin/python agent-tools/jours.py data/NORDEND --debut 2026-10-10T00:00Z --fin 2026-10-17T00:00Z --colonnes corr_x --bornes --nuit 2-4 --lissage 5 --fraction 0.3 --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/
    • Chaque jour donne son seuil et une suite autour de l'extrême, d'un seul tenant (tilt du 15/10 : 08:15 → 18:30, 42 mesures).
    • PNG NORDEND_bornes_…png, regardé : lissé en bleu, brut en gris.
    • Sans les options, la sortie est la même qu'avant, au préfixe près (essai NEBRASKA --pas 4h --nuit 16-23 --bornes).
  • .venv/bin/python agent-tools/stations.py data/BREITHORN data/MICHIGAN data/NEBRASKA --debut 2026-10-03T00:00Z --fin 2026-11-01T00:00Z --pas 4h --table 2026-10-15T12:00Z/2026-10-16T16:00Z --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/
    • 172 instants par station, cadence 240 min.
    • Trou « 2026-10-16T00:00Z → 04:00Z : sans mesure BREITHORN,MICHIGAN,NEBRASKA ; sans température MICHIGAN,NEBRASKA », puis 08:00 sans mesure pour les trois.
    • Température r valeurs de +0,95 à +0,97 ; cam_tilt BREITHORN-NEBRASKA r valeurs +0,98, r pas +0,23. Ce sont les chiffres de ligne_commune.py.
    • PNG BREITHORN-MICHIGAN-NEBRASKA_stations_…png, regardé : la dérive commune du tilt et de la rotation, et le trou commun du 16/10.
    • Sur NORDEND, NADELHORN et LENZSPITZE (cadences 15 et 5 min, --pas 1h) : 6 s.

Commandes des fiches relancées

63 commandes (ensemble.py 1, plages.py 5, resume.py 57 ; aucune pour jours.py ni stations.py) : aucun échec.

Difficultés

  • Le rendu standard du tool-builder demande des figures dans <lot>/tool-builder/, alors que la demande disait de ne pas toucher à labeling/. J'ai mis les trois figures de l'essai dans labeling/auto/revue-croisee/2026-11-04/tool-builder/, à côté du rendu demandé, et rien d'autre dans labeling/.
  • Pendant la séance, d'autres fichiers du dépôt ont été modifiés en parallèle (skills de revue, labeling/auto/*.jsonl, CLAUDE.md). J'ai vérifié que le diff de lire-les-donnees/SKILL.md et d'agent-tools/ ne contient que mes changements.