Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d55de98746
commit
c6e9df0e46
41 files changed
+1596
-1075
No files matched your search
@@ -0,0 +1 @@
|
||||
appliquée le 2026-11-04 ou 05 (avant le verrou)
|
||||
@@ -0,0 +1 @@
|
||||
appliquée le 2026-11-04 ou 05 (avant le verrou)
|
||||
@@ -1,10 +1,13 @@
|
||||
"""Applique les modifications.jsonl des relecteurs (<dossier>/<famille>/) aux étiquettes de labeling/auto/.
|
||||
Les ids (<STATION>#<ligne>) sont ceux de la table du début de la revue : appliquer une seule fois.
|
||||
Les ids sont les ids stables des étiquettes (D-131) ; une ajoutée en reçoit un.
|
||||
Une étiquette touchée par deux relecteurs n'est pas appliquée : listée, à trancher (--choix id=famille)."""
|
||||
import json, glob, os, sys, collections
|
||||
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
||||
date = '2026-11-04'
|
||||
choix = dict(a.split('=', 1) for a in sys.argv[1:] if '=' in a)
|
||||
verrou = f'{ici}/applique.md' # une revue ne s'applique qu'une fois : ses « ajouter » se doubleraient
|
||||
if os.path.exists(verrou):
|
||||
sys.exit(f'déjà appliquée ({open(verrou).read().strip()}) : rien fait')
|
||||
mods = []
|
||||
for p in sorted(glob.glob(f'{ici}/*/modifications.jsonl')):
|
||||
rel = os.path.basename(os.path.dirname(p))
|
||||
@@ -22,7 +25,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
out = []
|
||||
for n, l in enumerate(open(p), 1):
|
||||
if not l.strip(): continue
|
||||
e, i = json.loads(l), f'{st}#{n}'
|
||||
e = json.loads(l); i = e.get('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
|
||||
if i in conflits and i not in choix: out.append(e); continue
|
||||
m = par_id.get(i, [None])[0]
|
||||
if m is None: out.append(e)
|
||||
@@ -32,5 +35,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
if m['action'] == 'ajouter' and m['station'] == st:
|
||||
out.append(dict(m['etiquette'], revue=date)); compte['ajoutées'] += 1
|
||||
out.sort(key=lambda e: (e['debut'], e['fin']))
|
||||
sys.path.insert(0, 'labeling'); import ids; ids.attribuer(st, out) # un id aux ajoutées (D-131)
|
||||
open(p, 'w').writelines(json.dumps(e, ensure_ascii=False) + '\n' for e in out)
|
||||
print(dict(compte), len(conflits), 'conflits')
|
||||
open(verrou, 'w').write(f'appliquée le {__import__("datetime").date.today()} : {dict(compte)}\n')
|
||||
@@ -0,0 +1 @@
|
||||
appliquée le 2026-11-04 ou 05 (avant le verrou)
|
||||
@@ -1,10 +1,13 @@
|
||||
"""Applique les modifications.jsonl des relecteurs (<dossier>/<famille>/) aux étiquettes de labeling/auto/.
|
||||
Les ids (<STATION>#<ligne>) sont ceux de la table du début de la revue : appliquer une seule fois.
|
||||
Les ids sont les ids stables des étiquettes (D-131) ; une ajoutée en reçoit un.
|
||||
Une étiquette touchée par deux relecteurs n'est pas appliquée : listée, à trancher (--choix id=famille)."""
|
||||
import json, glob, os, sys, collections
|
||||
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
||||
date = '2026-11-04'
|
||||
choix = dict(a.split('=', 1) for a in sys.argv[1:] if '=' in a)
|
||||
verrou = f'{ici}/applique.md' # une revue ne s'applique qu'une fois : ses « ajouter » se doubleraient
|
||||
if os.path.exists(verrou):
|
||||
sys.exit(f'déjà appliquée ({open(verrou).read().strip()}) : rien fait')
|
||||
mods = []
|
||||
for p in sorted(glob.glob(f'{ici}/*/modifications.jsonl')):
|
||||
rel = os.path.basename(os.path.dirname(p))
|
||||
@@ -22,7 +25,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
out = []
|
||||
for n, l in enumerate(open(p), 1):
|
||||
if not l.strip(): continue
|
||||
e, i = json.loads(l), f'{st}#{n}'
|
||||
e = json.loads(l); i = e.get('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
|
||||
if i in conflits and i not in choix: out.append(e); continue
|
||||
m = par_id.get(i, [None])[0]
|
||||
if m is None: out.append(e)
|
||||
@@ -32,5 +35,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
if m['action'] == 'ajouter' and m['station'] == st:
|
||||
out.append(dict(m['etiquette'], revue=date)); compte['ajoutées'] += 1
|
||||
out.sort(key=lambda e: (e['debut'], e['fin']))
|
||||
sys.path.insert(0, 'labeling'); import ids; ids.attribuer(st, out) # un id aux ajoutées (D-131)
|
||||
open(p, 'w').writelines(json.dumps(e, ensure_ascii=False) + '\n' for e in out)
|
||||
print(dict(compte), len(conflits), 'conflits')
|
||||
open(verrou, 'w').write(f'appliquée le {__import__("datetime").date.today()} : {dict(compte)}\n')
|
||||
@@ -0,0 +1,81 @@
|
||||
# Outils : revue des étiquettes automatiques du 2026-11-04, toutes stations
|
||||
|
||||
**Outils modifiés** : agent-tools/ensemble.py, agent-tools/jours.py, agent-tools/plages.py, agent-tools/resume.py, agent-tools/stations.py, .claude/skills/lire-les-donnees/SKILL.md
|
||||
**donnees.py** : inchangé
|
||||
|
||||
Séance hors de /events-learner, demandée par l'utilisateur. Les demandes viennent de `docs/ameliorations-processus.md` (rubrique « Revue des étiquettes automatiques », plus l'entrée /aiguiser « Commandes Bash hors de la liste du skill ») et des scripts que les relecteurs ont dû écrire eux-mêmes.
|
||||
|
||||
## Ce que l'analyste a dit
|
||||
|
||||
- `jours.py --bornes` : le niveau de la nuit qui précède sert de référence ; quand la caméra dérive toute la nuit, les « après » tombent à « - » ou le dernier dépassement déborde sur la nuit suivante (NORDEND, NIEDERHORN) ; sur une pose très bruitée, le seuil en bruits ne sert à rien (FLORIDA) ; un point isolé de la nuit arrête la suite du tilt (WILDSTRUBEL). Scripts écrits à la place : `debut_matin.py` (repos 03:00-05:00), `pose_jour.py`, `tilt_bornes.py` (seuil fixe, point isolé ignoré), `bornes_thermique.py` (pan lissé sur 5 mesures, seuil au tiers du creux du jour).
|
||||
- `ensemble.py --rigide` : pas de suite par cible (seulement min, max, dernier instant), d'où `residu.py` puis `perspective.py` ; sur plusieurs jours, le résumé est noyé par les mesures rejetées (voitures garées à WILDSTRUBEL, rejets de nuit à NORDEND : `lire_rigide.py`, `rigide_jours.py` ont dû refiltrer).
|
||||
- Bruits absurdes des références de NEBRASKA après la perte de REFCOLH22 (bruit de 1e-13).
|
||||
- Aucun outil ne pose plusieurs stations sur une même ligne de temps : `ligne_commune.py` (température, pose, `corr` des cibles, rejets, corrélations des valeurs et des pas).
|
||||
- `ensemble.py --residus non` n'est pas accepté, alors que `--table non` l'est.
|
||||
- /aiguiser : sorties trop longues, relues par `head`, `tail`, `sed`, `cut`, `wc`, redirections, `mkdir -p`, hors de la liste du skill.
|
||||
|
||||
## Ce que j'ai décidé
|
||||
|
||||
- `jours.py --bornes` : **optimisé**, deux options et une phrase. `--lissage N` reprend le lissage de `bornes_thermique.py` et règle le point isolé de `tilt_bornes.py`. `--fraction F` reprend le seuil relatif à l'ampleur du jour, utile quand le bruit au pas natif n'a rien à voir avec le cycle. Le repos juste avant le matin de `debut_matin.py` existe déjà par `--nuit 3-5` : une phrase du skill le dit, sans nouvelle option. Les lignes de jour commencent aussi par le nom de leur suite, pour les lire par `grep`.
|
||||
- `ensemble.py --rigide` : **optimisé**. Option `--suivre A,B` : la suite pas à pas d'une cible, comme le faisait `residu.py`. Les mesures rejetées sortent de l'ajustement et des statistiques des cibles, et le résumé par capteur les donne à part : la règle du skill (« une mesure rejetée n'est pas une mesure ») ne s'appliquait pas ici. L'homographie de `perspective.py` est restée dans son script : elle ne servait qu'à une question de NEBRASKA, et une similitude par médianes suffit à l'outil.
|
||||
- Bruits absurdes : **corrigé**, sans toucher à `donnees.py`. Vérifié : le `corr` des deux références restantes vaut 0 à 1e-13 près, puisque la compensation passe exactement par elles. La valeur lue est donc juste, seul le bruit calculé dessus était absurde. Le bruit propre est maintenant calculé par une seule fonction, `resume.bruit_propre`, pour `ensemble.py`, `plages.py` et `jours.py` ; elle rend 0 sous 1e-9. Le skill explique pourquoi ces valeurs sont nulles.
|
||||
- Ligne de temps commune : **ajouté** `stations.py`, version générale de `ligne_commune.py`. Elle sert sur toute station voisine, et aucun outil existant ne prend plusieurs dossiers. Les fonctions `cibles`, `coupe` et `suites` de `metriques.py` sont réutilisées. En plus de `ligne_commune.py` : les trous datés avec les stations concernées, ce que le relecteur avait refait à la main. Les étiquettes ne sont pas posées sur la figure : à ajouter si un relecteur le demande.
|
||||
- `--residus non` : **optimisé**, `non` vaut « aucune » ; la forme vide marche toujours.
|
||||
- Sorties trop longues : **une phrase du skill**. Raccourcir d'abord par les options, ou lire une section par un tube vers `grep`. Sinon, ranger la sortie dans le dossier de sortie dans le même appel et la lire par Read (`offset`, `limit`) ou par `grep`. Pas de `mkdir` : les outils créent leur dossier.
|
||||
|
||||
## Ce qui a changé
|
||||
|
||||
- agent-tools/resume.py : `ARRONDI = 1e-9` et `bruit_propre(vs)`, la médiane des écarts consécutifs, 0 sous l'arrondi.
|
||||
- agent-tools/plages.py : le bruit passe par `bruit_propre`.
|
||||
- agent-tools/ensemble.py :
|
||||
- le bruit des résidus passe par `bruit_propre` ;
|
||||
- `--residus non` ;
|
||||
- `--suivre A,B` pour `--rigide` (contrôle : les capteurs doivent faire partie de `--capteurs`) ;
|
||||
- dans `--rigide`, les mesures rejetées sortent de l'ajustement, de la bande, de la médiane et du 90e centile des cibles, de `cib_med`, `cib_max` et des colonnes de la table ;
|
||||
- sur le PNG, une référence rejetée est une croix, et l'échelle est celle des mesures acceptées ;
|
||||
- le résumé par capteur porte sur les mesures acceptées, avec « ; N rejetées : min …, max … » et « (rejetée) » après une dernière valeur rejetée ;
|
||||
- docstring à jour.
|
||||
- agent-tools/jours.py :
|
||||
- le bruit des niveaux de nuit passe par `bruit_propre`, et celui des bornes est mis à 0 sous 1e-9 ;
|
||||
- `--lissage N` et `--fraction F` pour `--bornes` ;
|
||||
- chaque ligne de jour commence par le nom court de sa suite (`corr_x`, `pose_tilt`…) ;
|
||||
- titres du PNG et docstring à jour.
|
||||
- agent-tools/stations.py (nouveau) : plusieurs dossiers de station sur une même grille.
|
||||
- Colonnes : `temperature`, `cam_*`, `cib_corr_x`, `cib_corr_y`, `rej_cibles`, `rej_refs`.
|
||||
- Imprime la période et la cadence de chaque station, les trous (sans mesure, sans température) avec les stations concernées, la table (option `--table`), puis le r des valeurs et le r des pas pour chaque paire de stations.
|
||||
- PNG « stations ».
|
||||
- .claude/skills/lire-les-donnees/SKILL.md :
|
||||
- lignes d'`ensemble.py` (`--residus …|non`, `--suivre`, rejets dans `--rigide`), de `plages.py` (bruit 0) et de `jours.py` (`--lissage`, `--fraction`, préfixe des lignes, `grep`) ;
|
||||
- nouvelle ligne `stations.py` ;
|
||||
- Conventions : sortie trop longue, et deux références retenues (leur `corr` vaut 0) ;
|
||||
- Méthode : nuit courte avant le matin, `--lissage`, `--fraction`, `stations.py` quand l'appelant donne plusieurs stations.
|
||||
- docs/ameliorations-processus.md : six entrées marquées **traité** (2026-11-05).
|
||||
|
||||
## Essai
|
||||
|
||||
- `.venv/bin/python agent-tools/ensemble.py data/WILDSTRUBEL --debut 2026-09-24T00:00Z --fin 2026-09-27T00:00Z --rigide 2026-09-25T03:00Z --table non --residus non --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/`
|
||||
- Avant : la rotation ajustée montait jusqu'à 4° et l'échelle tombait à 0,96 pendant les rejets du 26/09 ; le min et le max de chaque référence valaient ±20 à ±50 px.
|
||||
- Après : le cycle de rotation de ±0,03° se lit chaque jour (`WILDSTRUBEL_rigide_…png`, regardé). Le min et le max acceptés sont de quelques dixièmes de px, et les rejetées viennent à part (R3 : « 145 rejetées : min -33 … »).
|
||||
- `.venv/bin/python agent-tools/ensemble.py data/NEBRASKA --pas 4h --rigide 2026-10-05T00:00Z --suivre COLJ19,POUH20 --table 2026-10-16T00:00Z/2026-10-18T00:00Z --residus non` : les colonnes `COLJ19_dx`, `COLJ19_dy` donnent le pas propre de COLJ19 (+0,087 px le 17/10 00:00), ce que `residu.py` cherchait. REFCOLH22 : « 148 rejetées ».
|
||||
- `python3 agent-tools/plages.py data/NEBRASKA --capteurs "REFH22,REFP''21,COLJ19" --colonnes corr_x --min-mesures 6`
|
||||
- Avant : bruit 2,27e-13 et un saut de « +0.02673117562098059.0 » bruits (colonnes collées).
|
||||
- Après : bruit 0 et « - ». COLJ19 ne change pas (bruit 0,0114, 7,6 bruits).
|
||||
- `.venv/bin/python agent-tools/jours.py data/NORDEND --debut 2026-10-10T00:00Z --fin 2026-10-17T00:00Z --colonnes corr_x --bornes --nuit 2-4 --lissage 5 --fraction 0.3 --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/`
|
||||
- Chaque jour donne son seuil et une suite autour de l'extrême, d'un seul tenant (tilt du 15/10 : 08:15 → 18:30, 42 mesures).
|
||||
- PNG `NORDEND_bornes_…png`, regardé : lissé en bleu, brut en gris.
|
||||
- Sans les options, la sortie est la même qu'avant, au préfixe près (essai NEBRASKA `--pas 4h --nuit 16-23 --bornes`).
|
||||
- `.venv/bin/python agent-tools/stations.py data/BREITHORN data/MICHIGAN data/NEBRASKA --debut 2026-10-03T00:00Z --fin 2026-11-01T00:00Z --pas 4h --table 2026-10-15T12:00Z/2026-10-16T16:00Z --sortie labeling/auto/revue-croisee/2026-11-04/tool-builder/`
|
||||
- 172 instants par station, cadence 240 min.
|
||||
- Trou « 2026-10-16T00:00Z → 04:00Z : sans mesure BREITHORN,MICHIGAN,NEBRASKA ; sans température MICHIGAN,NEBRASKA », puis 08:00 sans mesure pour les trois.
|
||||
- Température r valeurs de +0,95 à +0,97 ; cam_tilt BREITHORN-NEBRASKA r valeurs +0,98, r pas +0,23. Ce sont les chiffres de `ligne_commune.py`.
|
||||
- PNG `BREITHORN-MICHIGAN-NEBRASKA_stations_…png`, regardé : la dérive commune du tilt et de la rotation, et le trou commun du 16/10.
|
||||
- Sur NORDEND, NADELHORN et LENZSPITZE (cadences 15 et 5 min, `--pas 1h`) : 6 s.
|
||||
|
||||
## Commandes des fiches relancées
|
||||
|
||||
63 commandes (`ensemble.py` 1, `plages.py` 5, `resume.py` 57 ; aucune pour `jours.py` ni `stations.py`) : aucun échec.
|
||||
|
||||
## Difficultés
|
||||
|
||||
- Le rendu standard du tool-builder demande des figures dans `<lot>/tool-builder/`, alors que la demande disait de ne pas toucher à `labeling/`. J'ai mis les trois figures de l'essai dans `labeling/auto/revue-croisee/2026-11-04/tool-builder/`, à côté du rendu demandé, et rien d'autre dans `labeling/`.
|
||||
- Pendant la séance, d'autres fichiers du dépôt ont été modifiés en parallèle (skills de revue, `labeling/auto/*.jsonl`, `CLAUDE.md`). J'ai vérifié que le diff de `lire-les-donnees/SKILL.md` et d'`agent-tools/` ne contient que mes changements.
|
||||
@@ -1,10 +1,13 @@
|
||||
"""Applique les modifications.jsonl des relecteurs (<dossier>/<famille>/) aux étiquettes de labeling/auto/.
|
||||
Les ids (<STATION>#<ligne>) sont ceux de la table du début de la revue : appliquer une seule fois.
|
||||
Les ids sont les ids stables des étiquettes (D-131) ; une ajoutée en reçoit un.
|
||||
Une étiquette touchée par deux relecteurs n'est pas appliquée : listée, à trancher (--choix id=famille)."""
|
||||
import json, glob, os, sys, collections
|
||||
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
||||
date = '2026-11-04'
|
||||
choix = dict(a.split('=', 1) for a in sys.argv[1:] if '=' in a)
|
||||
verrou = f'{ici}/applique.md' # une revue ne s'applique qu'une fois : ses « ajouter » se doubleraient
|
||||
if os.path.exists(verrou):
|
||||
sys.exit(f'déjà appliquée ({open(verrou).read().strip()}) : rien fait')
|
||||
mods = []
|
||||
for p in sorted(glob.glob(f'{ici}/*/modifications.jsonl')):
|
||||
rel = os.path.basename(os.path.dirname(p))
|
||||
@@ -22,7 +25,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
out = []
|
||||
for n, l in enumerate(open(p), 1):
|
||||
if not l.strip(): continue
|
||||
e, i = json.loads(l), f'{st}#{n}'
|
||||
e = json.loads(l); i = e.get('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
|
||||
if i in conflits and i not in choix: out.append(e); continue
|
||||
m = par_id.get(i, [None])[0]
|
||||
if m is None: out.append(e)
|
||||
@@ -32,5 +35,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
if m['action'] == 'ajouter' and m['station'] == st:
|
||||
out.append(dict(m['etiquette'], revue=date)); compte['ajoutées'] += 1
|
||||
out.sort(key=lambda e: (e['debut'], e['fin']))
|
||||
sys.path.insert(0, 'labeling'); import ids; ids.attribuer(st, out) # un id aux ajoutées (D-131)
|
||||
open(p, 'w').writelines(json.dumps(e, ensure_ascii=False) + '\n' for e in out)
|
||||
print(dict(compte), len(conflits), 'conflits')
|
||||
open(verrou, 'w').write(f'appliquée le {__import__("datetime").date.today()} : {dict(compte)}\n')
|
||||
@@ -1,6 +1,6 @@
|
||||
"""Table de toutes les étiquettes automatiques, pour la revue croisée.
|
||||
Écrit, à côté de outils/ : index.tsv (toutes, description coupée) et par-famille/<famille>.md (en entier).
|
||||
Chaque étiquette a un id, <STATION>#<numéro de sa ligne dans labeling/auto/<STATION>.jsonl>. Colonnes ajoutées : durée, heure UTC du début, et les stations qui ont une étiquette au même moment
|
||||
Chaque étiquette a son id stable, <STATION>-<n> (labeling/ids.py, D-131). Colonnes ajoutées : durée, heure UTC du début, et les stations qui ont une étiquette au même moment
|
||||
(étiquettes de moins de 24 h seulement : une étiquette d'un mois chevauche tout)."""
|
||||
import json, glob, os, collections
|
||||
from datetime import datetime
|
||||
@@ -11,7 +11,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
st = os.path.basename(p)[:-6]
|
||||
for n, l in enumerate(open(p), 1):
|
||||
if l.strip():
|
||||
e = json.loads(l); e['station'] = st; e['id'] = f'{st}#{n}'
|
||||
e = json.loads(l); e['station'] = st; e.setdefault('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
|
||||
e['_d'], e['_f'] = t(e['debut']), t(e['fin'])
|
||||
e['duree_h'] = round((e['_f'] - e['_d']).total_seconds() / 3600, 2)
|
||||
es.append(e)
|
||||
|
||||
Reference in new issue
Block a user