Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to new labels by labeling.py and by the reviews; controle.py requires it, unique. The cross-review matches labels by id, and an applied review is locked (applique.md). - The label map starts with a summary (labels-map/sommaire.py): readers take the summary and sections 2-4 in full, then only the cards of the phenomena they meet. - Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction, ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise after a lost reference, new agent-tools/stations.py (several stations on one timeline), long outputs convention in lire-les-donnees. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7c0cdee8cf
commit
d4520f9f46
23 files changed
+1216
-1003
No files matched your search
+8
-4
@@ -5,7 +5,7 @@ python3 labeling/controle.py NORDEND # une station
|
||||
python3 labeling/controle.py <dossier>/etiquettes-proposees.jsonl # un fichier proposé, avant d'être versé (sans `revue` exigé)
|
||||
|
||||
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
|
||||
étiquette sans `revue`, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
|
||||
étiquette sans `revue` ou sans `id` (`python3 labeling/ids.py`), id en double, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
|
||||
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
|
||||
"""
|
||||
import glob
|
||||
@@ -24,8 +24,8 @@ INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|prob
|
||||
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
|
||||
erreurs, signales, total = [], [], 0
|
||||
for st in stations:
|
||||
vues, es = set(), []
|
||||
propose = st.endswith(".jsonl") # un fichier proposé : sa ligne n'a pas encore `revue`
|
||||
vues, ids, es = set(), set(), []
|
||||
propose = st.endswith(".jsonl") # un fichier proposé : ses lignes n'ont pas encore `revue` ni `id`
|
||||
chemin = st if propose else f"labeling/auto/{st}.jsonl"
|
||||
for n, ligne in enumerate(open(chemin, encoding="utf-8"), 1):
|
||||
if not ligne.strip():
|
||||
@@ -36,9 +36,13 @@ for st in stations:
|
||||
e = json.loads(ligne)
|
||||
except json.JSONDecodeError:
|
||||
erreurs.append(f"{ou} JSON illisible"); continue
|
||||
manque = ({"debut", "fin", "categorie", "description"} | (set() if propose else {"revue"})) - e.keys()
|
||||
manque = ({"debut", "fin", "categorie", "description"} | (set() if propose else {"revue", "id"})) - e.keys()
|
||||
if manque:
|
||||
erreurs.append(f"{ou} champ manquant : {sorted(manque)}")
|
||||
if "id" in e:
|
||||
if e["id"] in ids:
|
||||
erreurs.append(f"{ou} id en double : {e['id']}")
|
||||
ids.add(e["id"])
|
||||
if e.get("categorie") not in FAMILLES:
|
||||
erreurs.append(f"{ou} famille inconnue : {e.get('categorie')}")
|
||||
if not (DATE.match(e.get("debut", "")) and DATE.match(e.get("fin", ""))):
|
||||
|
||||
Reference in new issue
Block a user