Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)

- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to
  new labels by labeling.py and by the reviews; controle.py requires it, unique. The
  cross-review matches labels by id, and an applied review is locked (applique.md).
- The label map starts with a summary (labels-map/sommaire.py): readers take the summary and
  sections 2-4 in full, then only the cards of the phenomena they meet.
- Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction,
  ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise
  after a lost reference, new agent-tools/stations.py (several stations on one timeline),
  long outputs convention in lire-les-donnees.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:49:54 +01:00
1 parent 7c0cdee8cf
commit d4520f9f46
23 files changed
+1216 -1003

No files matched your search

+8 -4
View File
@@ -5,7 +5,7 @@ python3 labeling/controle.py NORDEND # une station
python3 labeling/controle.py <dossier>/etiquettes-proposees.jsonl # un fichier proposé, avant d'être versé (sans `revue` exigé)
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
étiquette sans `revue`, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
étiquette sans `revue` ou sans `id` (`python3 labeling/ids.py`), id en double, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
"""
import glob
@@ -24,8 +24,8 @@ INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|prob
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
erreurs, signales, total = [], [], 0
for st in stations:
vues, es = set(), []
propose = st.endswith(".jsonl") # un fichier proposé : sa ligne n'a pas encore `revue`
vues, ids, es = set(), set(), []
propose = st.endswith(".jsonl") # un fichier proposé : ses lignes n'ont pas encore `revue` ni `id`
chemin = st if propose else f"labeling/auto/{st}.jsonl"
for n, ligne in enumerate(open(chemin, encoding="utf-8"), 1):
if not ligne.strip():
@@ -36,9 +36,13 @@ for st in stations:
e = json.loads(ligne)
except json.JSONDecodeError:
erreurs.append(f"{ou} JSON illisible"); continue
manque = ({"debut", "fin", "categorie", "description"} | (set() if propose else {"revue"})) - e.keys()
manque = ({"debut", "fin", "categorie", "description"} | (set() if propose else {"revue", "id"})) - e.keys()
if manque:
erreurs.append(f"{ou} champ manquant : {sorted(manque)}")
if "id" in e:
if e["id"] in ids:
erreurs.append(f"{ou} id en double : {e['id']}")
ids.add(e["id"])
if e.get("categorie") not in FAMILLES:
erreurs.append(f"{ou} famille inconnue : {e.get('categorie')}")
if not (DATE.match(e.get("debut", "")) and DATE.match(e.get("fin", ""))):