Label ids first in each JSON line (D-131)

ids.py puts the id first and never re-gives an id retired in the same operation; labeling.py
keeps it first on add and edit; controle.py requires it first. Cross-review apply: a modified
label keeps its id, and revue is today's date. All 991 auto labels reordered, content unchanged.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:58:47 +01:00
1 parent d9833b3fdf
commit 620f536e9e
15 files changed
+1024 -1006

No files matched your search

+23 -9
View File
@@ -4,7 +4,7 @@ python3 labeling/ids.py # donne un id aux étiquettes qui n'en ont pa
python3 labeling/ids.py NORDEND # une station
Une étiquette garde son id quand on la modifie ; une étiquette ajoutée reçoit le suivant de sa station.
Le reste du fichier ne change pas (ordre, champs). Bibliothèque standard.
L'id est toujours le premier champ de la ligne. Le reste ne change pas (ordre des lignes, autres champs). Bibliothèque standard.
"""
import glob
import json
@@ -12,11 +12,21 @@ import os
import sys
def attribuer(station, etiquettes):
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station -> le nombre d'ids donnés."""
# ponytail: le suivant du plus grand id présent ; retirer la dernière étiquette puis en ajouter une réutilise
# son numéro. Un compteur par station si cela gêne.
pris = [int(e["id"].rsplit("-", 1)[1]) for e in etiquettes if "id" in e]
def en_tete(e):
"""Remet l'id en premier champ de l'étiquette, en place (les lignes se lisent par leur id)."""
if "id" in e and next(iter(e)) != "id":
reste = {k: v for k, v in e.items() if k != "id"}
ident = e["id"]
e.clear()
e.update({"id": ident}, **reste)
def attribuer(station, etiquettes, retires=()):
"""Donne un id aux étiquettes qui n'en ont pas, à la suite des ids de la station, et met chaque id en tête
-> le nombre d'ids donnés. `retires` : les ids retirés dans la même opération, qui ne se redonnent pas."""
# ponytail: le suivant du plus grand id présent ou retiré dans l'opération ; retirer la dernière étiquette, puis en
# ajouter une plus tard, dans une autre opération, réutilise son numéro. Un compteur par station si cela gêne.
pris = [int(i.rsplit("-", 1)[1]) for i in [e["id"] for e in etiquettes if "id" in e] + list(retires)]
n = max(pris, default=0)
donnes = 0
for e in etiquettes:
@@ -24,16 +34,20 @@ def attribuer(station, etiquettes):
n += 1
e["id"] = f"{station}-{n}"
donnes += 1
en_tete(e)
return donnes
def fichier(station):
p = f"labeling/auto/{station}.jsonl"
es = [json.loads(l) for l in open(p, encoding="utf-8") if l.strip()]
if attribuer(station, es):
lignes = [l for l in open(p, encoding="utf-8") if l.strip()]
es = [json.loads(l) for l in lignes]
attribuer(station, es)
neuves = [json.dumps(e, ensure_ascii=False) + "\n" for e in es]
if neuves != [l if l.endswith("\n") else l + "\n" for l in lignes]: # un id donné ou remis en tête
provisoire = p + ".tmp"
with open(provisoire, "w", encoding="utf-8") as f:
f.writelines(json.dumps(e, ensure_ascii=False) + "\n" for e in es)
f.writelines(neuves)
os.replace(provisoire, p)
return es