Files
aimsight-labeling/ids.py
T

48 lines
1.9 KiB
Python
Raw Normal View History

"""Identifiant stable des étiquettes automatiques (D-131) : `<STATION>-<n>`, donné une fois, jamais changé ni réutilisé.
python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pas, toutes les stations de labeling/auto/
python3 labeling/ids.py NORDEND # une station
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
Le reste du fichier ne change pas (ordre, champs). Bibliothèque standard.
"""
import glob
import json
import os
import sys
def attribuer(station, etiquettes):
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station -> le nombre d'ids donnés."""
# ponytail: le suivant du plus grand id présent ; retirer la dernière étiquette puis en ajouter une réutilise
# son numéro. Un compteur par station si cela gêne.
pris = [int(e["id"].rsplit("-", 1)[1]) for e in etiquettes if "id" in e]
n = max(pris, default=0)
donnes = 0
for e in etiquettes:
if "id" not in e:
n += 1
e["id"] = f"{station}-{n}"
donnes += 1
return donnes
def fichier(station):
p = f"labeling/auto/{station}.jsonl"
es = [json.loads(l) for l in open(p, encoding="utf-8") if l.strip()]
if attribuer(station, es):
provisoire = p + ".tmp"
with open(provisoire, "w", encoding="utf-8") as f:
f.writelines(json.dumps(e, ensure_ascii=False) + "\n" for e in es)
os.replace(provisoire, p)
return es
if __name__ == "__main__":
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
for st in stations:
avant = sum(1 for l in open(f"labeling/auto/{st}.jsonl", encoding="utf-8") if l.strip() and '"id"' not in l)
es = fichier(st)
ids = [e["id"] for e in es]
assert len(ids) == len(set(ids)), f"{st} : ids en double"
print(f"{st} : {len(es)} étiquettes, {avant} ids donnés")