Files
aimsight-app/labeling/ids.py
T

62 lines
2.7 KiB
Python
Raw Normal View History

"""Identifiant stable des étiquettes automatiques (D-131) : `<STATION>-<n>`, donné une fois, jamais changé ni réutilisé.
python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pas, toutes les stations de labeling/auto/
python3 labeling/ids.py NORDEND # une station
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
L'id est toujours le premier champ de la ligne. Le reste ne change pas (ordre des lignes, autres champs). Bibliothèque standard.
"""
import glob
import json
import os
import sys
def en_tete(e):
"""Remet l'id en premier champ de l'étiquette, en place (les lignes se lisent par leur id)."""
if "id" in e and next(iter(e)) != "id":
reste = {k: v for k, v in e.items() if k != "id"}
ident = e["id"]
e.clear()
e.update({"id": ident}, **reste)
def attribuer(station, etiquettes, retires=()):
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station, et met chaque id en tête
-> le nombre d'ids donnés. `retires` : les ids retirés dans la même opération, qui ne se redonnent pas."""
# ponytail: le suivant du plus grand id présent ou retiré dans l'opération ; retirer la dernière étiquette, puis en
# ajouter une plus tard, dans une autre opération, réutilise son numéro. Un compteur par station si cela gêne.
pris = [int(i.rsplit("-", 1)[1]) for i in [e["id"] for e in etiquettes if "id" in e] + list(retires)]
n = max(pris, default=0)
donnes = 0
for e in etiquettes:
if "id" not in e:
n += 1
e["id"] = f"{station}-{n}"
donnes += 1
en_tete(e)
return donnes
def fichier(station):
p = f"labeling/auto/{station}.jsonl"
lignes = [l for l in open(p, encoding="utf-8") if l.strip()]
es = [json.loads(l) for l in lignes]
attribuer(station, es)
neuves = [json.dumps(e, ensure_ascii=False) + "\n" for e in es]
if neuves != [l if l.endswith("\n") else l + "\n" for l in lignes]: # un id donné ou remis en tête
provisoire = p + ".tmp"
with open(provisoire, "w", encoding="utf-8") as f:
f.writelines(neuves)
os.replace(provisoire, p)
return es
if __name__ == "__main__":
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
for st in stations:
avant = sum(1 for l in open(f"labeling/auto/{st}.jsonl", encoding="utf-8") if l.strip() and '"id"' not in l)
es = fichier(st)
ids = [e["id"] for e in es]
assert len(ids) == len(set(ids)), f"{st} : ids en double"
print(f"{st} : {len(es)} étiquettes, {avant} ids donnés")