Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7c0cdee8cf
commit
d4520f9f46
23 files changed
+1216
-1003
No files matched your search
@@ -1,10 +1,13 @@
|
||||
"""Applique les modifications.jsonl des relecteurs (<dossier>/<famille>/) aux étiquettes de labeling/auto/.
|
||||
Les ids (<STATION>#<ligne>) sont ceux de la table du début de la revue : appliquer une seule fois.
|
||||
Les ids sont les ids stables des étiquettes (D-131) ; une ajoutée en reçoit un.
|
||||
Une étiquette touchée par deux relecteurs n'est pas appliquée : listée, à trancher (--choix id=famille)."""
|
||||
import json, glob, os, sys, collections
|
||||
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
||||
date = '2026-11-04'
|
||||
choix = dict(a.split('=', 1) for a in sys.argv[1:] if '=' in a)
|
||||
verrou = f'{ici}/applique.md' # une revue ne s'applique qu'une fois : ses « ajouter » se doubleraient
|
||||
if os.path.exists(verrou):
|
||||
sys.exit(f'déjà appliquée ({open(verrou).read().strip()}) : rien fait')
|
||||
mods = []
|
||||
for p in sorted(glob.glob(f'{ici}/*/modifications.jsonl')):
|
||||
rel = os.path.basename(os.path.dirname(p))
|
||||
@@ -22,7 +25,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
out = []
|
||||
for n, l in enumerate(open(p), 1):
|
||||
if not l.strip(): continue
|
||||
e, i = json.loads(l), f'{st}#{n}'
|
||||
e = json.loads(l); i = e.get('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
|
||||
if i in conflits and i not in choix: out.append(e); continue
|
||||
m = par_id.get(i, [None])[0]
|
||||
if m is None: out.append(e)
|
||||
@@ -32,5 +35,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
if m['action'] == 'ajouter' and m['station'] == st:
|
||||
out.append(dict(m['etiquette'], revue=date)); compte['ajoutées'] += 1
|
||||
out.sort(key=lambda e: (e['debut'], e['fin']))
|
||||
sys.path.insert(0, 'labeling'); import ids; ids.attribuer(st, out) # un id aux ajoutées (D-131)
|
||||
open(p, 'w').writelines(json.dumps(e, ensure_ascii=False) + '\n' for e in out)
|
||||
print(dict(compte), len(conflits), 'conflits')
|
||||
open(verrou, 'w').write(f'appliquée le {__import__("datetime").date.today()} : {dict(compte)}\n')
|
||||
@@ -1,6 +1,6 @@
|
||||
"""Table de toutes les étiquettes automatiques, pour la revue croisée.
|
||||
Écrit, à côté de outils/ : index.tsv (toutes, description coupée) et par-famille/<famille>.md (en entier).
|
||||
Chaque étiquette a un id, <STATION>#<numéro de sa ligne dans labeling/auto/<STATION>.jsonl>. Colonnes ajoutées : durée, heure UTC du début, et les stations qui ont une étiquette au même moment
|
||||
Chaque étiquette a son id stable, <STATION>-<n> (labeling/ids.py, D-131). Colonnes ajoutées : durée, heure UTC du début, et les stations qui ont une étiquette au même moment
|
||||
(étiquettes de moins de 24 h seulement : une étiquette d'un mois chevauche tout)."""
|
||||
import json, glob, os, collections
|
||||
from datetime import datetime
|
||||
@@ -11,7 +11,7 @@ for p in sorted(glob.glob('labeling/auto/*.jsonl')):
|
||||
st = os.path.basename(p)[:-6]
|
||||
for n, l in enumerate(open(p), 1):
|
||||
if l.strip():
|
||||
e = json.loads(l); e['station'] = st; e['id'] = f'{st}#{n}'
|
||||
e = json.loads(l); e['station'] = st; e.setdefault('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
|
||||
e['_d'], e['_f'] = t(e['debut']), t(e['fin'])
|
||||
e['duree_h'] = round((e['_f'] - e['_d']).total_seconds() / 3600, 2)
|
||||
es.append(e)
|
||||
|
||||
Reference in new issue
Block a user