Label ids first in each JSON line (D-131)
ids.py puts the id first and never re-gives an id retired in the same operation; labeling.py keeps it first on add and edit; controle.py requires it first. Cross-review apply: a modified label keeps its id, and revue is today's date. All 991 auto labels reordered, content unchanged. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d9833b3fdf
commit
620f536e9e
15 files changed
+1024
-1006
No files matched your search
@@ -4,7 +4,7 @@ python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pa
|
||||
python3 labeling/ids.py NORDEND # une station
|
||||
|
||||
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
|
||||
Le reste du fichier ne change pas (ordre, champs). Bibliothèque standard.
|
||||
L'id est toujours le premier champ de la ligne. Le reste ne change pas (ordre des lignes, autres champs). Bibliothèque standard.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
@@ -12,11 +12,21 @@ import os
|
||||
import sys
|
||||
|
||||
|
||||
def attribuer(station, etiquettes):
|
||||
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station -> le nombre d'ids donnés."""
|
||||
# ponytail: le suivant du plus grand id présent ; retirer la dernière étiquette puis en ajouter une réutilise
|
||||
# son numéro. Un compteur par station si cela gêne.
|
||||
pris = [int(e["id"].rsplit("-", 1)[1]) for e in etiquettes if "id" in e]
|
||||
def en_tete(e):
|
||||
"""Remet l'id en premier champ de l'étiquette, en place (les lignes se lisent par leur id)."""
|
||||
if "id" in e and next(iter(e)) != "id":
|
||||
reste = {k: v for k, v in e.items() if k != "id"}
|
||||
ident = e["id"]
|
||||
e.clear()
|
||||
e.update({"id": ident}, **reste)
|
||||
|
||||
|
||||
def attribuer(station, etiquettes, retires=()):
|
||||
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station, et met chaque id en tête
|
||||
-> le nombre d'ids donnés. `retires` : les ids retirés dans la même opération, qui ne se redonnent pas."""
|
||||
# ponytail: le suivant du plus grand id présent ou retiré dans l'opération ; retirer la dernière étiquette, puis en
|
||||
# ajouter une plus tard, dans une autre opération, réutilise son numéro. Un compteur par station si cela gêne.
|
||||
pris = [int(i.rsplit("-", 1)[1]) for i in [e["id"] for e in etiquettes if "id" in e] + list(retires)]
|
||||
n = max(pris, default=0)
|
||||
donnes = 0
|
||||
for e in etiquettes:
|
||||
@@ -24,16 +34,20 @@ def attribuer(station, etiquettes):
|
||||
n += 1
|
||||
e["id"] = f"{station}-{n}"
|
||||
donnes += 1
|
||||
en_tete(e)
|
||||
return donnes
|
||||
|
||||
|
||||
def fichier(station):
|
||||
p = f"labeling/auto/{station}.jsonl"
|
||||
es = [json.loads(l) for l in open(p, encoding="utf-8") if l.strip()]
|
||||
if attribuer(station, es):
|
||||
lignes = [l for l in open(p, encoding="utf-8") if l.strip()]
|
||||
es = [json.loads(l) for l in lignes]
|
||||
attribuer(station, es)
|
||||
neuves = [json.dumps(e, ensure_ascii=False) + "\n" for e in es]
|
||||
if neuves != [l if l.endswith("\n") else l + "\n" for l in lignes]: # un id donné ou remis en tête
|
||||
provisoire = p + ".tmp"
|
||||
with open(provisoire, "w", encoding="utf-8") as f:
|
||||
f.writelines(json.dumps(e, ensure_ascii=False) + "\n" for e in es)
|
||||
f.writelines(neuves)
|
||||
os.replace(provisoire, p)
|
||||
return es
|
||||
|
||||
|
||||
Reference in new issue
Block a user