Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)

- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to
  new labels by labeling.py and by the reviews; controle.py requires it, unique. The
  cross-review matches labels by id, and an applied review is locked (applique.md).
- The label map starts with a summary (labels-map/sommaire.py): readers take the summary and
  sections 2-4 in full, then only the cards of the phenomena they meet.
- Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction,
  ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise
  after a lost reference, new agent-tools/stations.py (several stations on one timeline),
  long outputs convention in lire-les-donnees.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:49:54 +01:00
1 parent d55de98746
commit c6e9df0e46
41 files changed
+1596 -1075

No files matched your search

+48
View File
@@ -0,0 +1,48 @@
"""Identifiant stable des étiquettes automatiques (D-131) : `<STATION>-<n>`, donné une fois, jamais changé ni réutilisé.
python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pas, toutes les stations de labeling/auto/
python3 labeling/ids.py NORDEND # une station
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
Le reste du fichier ne change pas (ordre, champs). Bibliothèque standard.
"""
import glob
import json
import os
import sys
def attribuer(station, etiquettes):
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station -> le nombre d'ids donnés."""
# ponytail: le suivant du plus grand id présent ; retirer la dernière étiquette puis en ajouter une réutilise
# son numéro. Un compteur par station si cela gêne.
pris = [int(e["id"].rsplit("-", 1)[1]) for e in etiquettes if "id" in e]
n = max(pris, default=0)
donnes = 0
for e in etiquettes:
if "id" not in e:
n += 1
e["id"] = f"{station}-{n}"
donnes += 1
return donnes
def fichier(station):
p = f"labeling/auto/{station}.jsonl"
es = [json.loads(l) for l in open(p, encoding="utf-8") if l.strip()]
if attribuer(station, es):
provisoire = p + ".tmp"
with open(provisoire, "w", encoding="utf-8") as f:
f.writelines(json.dumps(e, ensure_ascii=False) + "\n" for e in es)
os.replace(provisoire, p)
return es
if __name__ == "__main__":
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
for st in stations:
avant = sum(1 for l in open(f"labeling/auto/{st}.jsonl", encoding="utf-8") if l.strip() and '"id"' not in l)
es = fichier(st)
ids = [e["id"] for e in es]
assert len(ids) == len(set(ids)), f"{st} : ids en double"
print(f"{st} : {len(es)} étiquettes, {avant} ids donnés")