Files

62 lines
2.7 KiB
Python
Raw Permalink Normal View History

"""Identifiant stable des étiquettes automatiques (D-131) : `<STATION>-<n>`, donné une fois, jamais changé ni réutilisé.
python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pas, toutes les stations de labeling/auto/
python3 labeling/ids.py NORDEND # une station
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
2026-11-05 08:58:47 +01:00
L'id est toujours le premier champ de la ligne. Le reste ne change pas (ordre des lignes, autres champs). Bibliothèque standard.
"""
import glob
import json
import os
import sys
2026-11-05 08:58:47 +01:00
def en_tete(e):
"""Remet l'id en premier champ de l'étiquette, en place (les lignes se lisent par leur id)."""
if "id" in e and next(iter(e)) != "id":
reste = {k: v for k, v in e.items() if k != "id"}
ident = e["id"]
e.clear()
e.update({"id": ident}, **reste)
def attribuer(station, etiquettes, retires=()):
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station, et met chaque id en tête
-> le nombre d'ids donnés. `retires` : les ids retirés dans la même opération, qui ne se redonnent pas."""
# ponytail: le suivant du plus grand id présent ou retiré dans l'opération ; retirer la dernière étiquette, puis en
# ajouter une plus tard, dans une autre opération, réutilise son numéro. Un compteur par station si cela gêne.
pris = [int(i.rsplit("-", 1)[1]) for i in [e["id"] for e in etiquettes if "id" in e] + list(retires)]
n = max(pris, default=0)
donnes = 0
for e in etiquettes:
if "id" not in e:
n += 1
e["id"] = f"{station}-{n}"
donnes += 1
2026-11-05 08:58:47 +01:00
en_tete(e)
return donnes
def fichier(station):
p = f"labeling/auto/{station}.jsonl"
2026-11-05 08:58:47 +01:00
lignes = [l for l in open(p, encoding="utf-8") if l.strip()]
es = [json.loads(l) for l in lignes]
attribuer(station, es)
neuves = [json.dumps(e, ensure_ascii=False) + "\n" for e in es]
if neuves != [l if l.endswith("\n") else l + "\n" for l in lignes]: # un id donné ou remis en tête
provisoire = p + ".tmp"
with open(provisoire, "w", encoding="utf-8") as f:
2026-11-05 08:58:47 +01:00
f.writelines(neuves)
os.replace(provisoire, p)
return es
if __name__ == "__main__":
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
for st in stations:
avant = sum(1 for l in open(f"labeling/auto/{st}.jsonl", encoding="utf-8") if l.strip() and '"id"' not in l)
es = fichier(st)
ids = [e["id"] for e in es]
assert len(ids) == len(set(ids)), f"{st} : ids en double"
print(f"{st} : {len(es)} étiquettes, {avant} ids donnés")