Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d55de98746
commit
c6e9df0e46
41 files changed
+1596
-1075
No files matched your search
@@ -0,0 +1,48 @@
|
||||
"""Identifiant stable des étiquettes automatiques (D-131) : `<STATION>-<n>`, donné une fois, jamais changé ni réutilisé.
|
||||
|
||||
python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pas, toutes les stations de labeling/auto/
|
||||
python3 labeling/ids.py NORDEND # une station
|
||||
|
||||
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
|
||||
Le reste du fichier ne change pas (ordre, champs). Bibliothèque standard.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
|
||||
|
||||
def attribuer(station, etiquettes):
|
||||
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station -> le nombre d'ids donnés."""
|
||||
# ponytail: le suivant du plus grand id présent ; retirer la dernière étiquette puis en ajouter une réutilise
|
||||
# son numéro. Un compteur par station si cela gêne.
|
||||
pris = [int(e["id"].rsplit("-", 1)[1]) for e in etiquettes if "id" in e]
|
||||
n = max(pris, default=0)
|
||||
donnes = 0
|
||||
for e in etiquettes:
|
||||
if "id" not in e:
|
||||
n += 1
|
||||
e["id"] = f"{station}-{n}"
|
||||
donnes += 1
|
||||
return donnes
|
||||
|
||||
|
||||
def fichier(station):
|
||||
p = f"labeling/auto/{station}.jsonl"
|
||||
es = [json.loads(l) for l in open(p, encoding="utf-8") if l.strip()]
|
||||
if attribuer(station, es):
|
||||
provisoire = p + ".tmp"
|
||||
with open(provisoire, "w", encoding="utf-8") as f:
|
||||
f.writelines(json.dumps(e, ensure_ascii=False) + "\n" for e in es)
|
||||
os.replace(provisoire, p)
|
||||
return es
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
|
||||
for st in stations:
|
||||
avant = sum(1 for l in open(f"labeling/auto/{st}.jsonl", encoding="utf-8") if l.strip() and '"id"' not in l)
|
||||
es = fichier(st)
|
||||
ids = [e["id"] for e in es]
|
||||
assert len(ids) == len(set(ids)), f"{st} : ids en double"
|
||||
print(f"{st} : {len(es)} étiquettes, {avant} ids donnés")
|
||||
Reference in new issue
Block a user