Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)
- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a cross-review per family across all stations (new skill /cross-review-labels), a finishing pass, and descriptions rewritten in words (no numeric values). - The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10) labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors. - Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md (settled boundaries), connaissances/ (notes moved from docs/, links updated), the label map rebuilt from reviewed labels, events and cases; events tied to their stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/. - labels-map reads auto labels and events; decision D-130; living plan points 73-75. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8e1cfc52c9
commit
35b5ed4d74
298 files changed
+30413
-960
No files matched your search
@@ -0,0 +1,67 @@
|
||||
"""Contrôle des étiquettes automatiques (labeling/auto/*.jsonl) face aux règles de labeling/regles-d-etiquetage.md.
|
||||
|
||||
python3 labeling/controle.py # toutes les stations
|
||||
python3 labeling/controle.py NORDEND # une station
|
||||
|
||||
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
|
||||
étiquette sans `revue`, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
|
||||
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
from datetime import datetime
|
||||
|
||||
FAMILLES = {"Visibility", "Obstruction", "Thermal displacement", "Displacement", "Target issue", "No data"}
|
||||
DATE = re.compile(r"^\d{4}-\d\d-\d\dT\d\d:\d\dZ$")
|
||||
# Décimales à la virgule (les noms F4.2 et les dates 05.10 ont un point), ou un nombre suivi d'une unité.
|
||||
CHIFFRE = re.compile(r"(?<![\w.])\d+,\d+|\b\d+\s*(bruits|px|°|%|MAD|mm|fois)(?!\w)|\b\d+\s+(cibles|mesures) sur\b")
|
||||
INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|probablement pas un mouvement", re.I)
|
||||
|
||||
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
|
||||
erreurs, signales, total = [], [], 0
|
||||
for st in stations:
|
||||
vues, es = set(), []
|
||||
for n, ligne in enumerate(open(f"labeling/auto/{st}.jsonl", encoding="utf-8"), 1):
|
||||
if not ligne.strip():
|
||||
continue
|
||||
total += 1
|
||||
ou = f"{st}#{n}"
|
||||
try:
|
||||
e = json.loads(ligne)
|
||||
except json.JSONDecodeError:
|
||||
erreurs.append(f"{ou} JSON illisible"); continue
|
||||
manque = {"debut", "fin", "categorie", "description", "revue"} - e.keys()
|
||||
if manque:
|
||||
erreurs.append(f"{ou} champ manquant : {sorted(manque)}")
|
||||
if e.get("categorie") not in FAMILLES:
|
||||
erreurs.append(f"{ou} famille inconnue : {e.get('categorie')}")
|
||||
if not (DATE.match(e.get("debut", "")) and DATE.match(e.get("fin", ""))):
|
||||
erreurs.append(f"{ou} date mal formée"); continue
|
||||
if e["debut"] >= e["fin"]:
|
||||
erreurs.append(f"{ou} debut >= fin ({e['debut']})")
|
||||
cle = (e["debut"], e["fin"], e["categorie"], e["description"])
|
||||
if cle in vues:
|
||||
erreurs.append(f"{ou} doublon exact")
|
||||
vues.add(cle)
|
||||
d = e.get("description", "")
|
||||
if m := CHIFFRE.search(d):
|
||||
erreurs.append(f"{ou} valeur chiffrée : « {m.group(0)} »")
|
||||
if m := INTERDIT.search(d):
|
||||
erreurs.append(f"{ou} interdit : « {m.group(0)} »")
|
||||
es.append((ou, e))
|
||||
for i, (a, x) in enumerate(es):
|
||||
for b, y in es[i + 1:]:
|
||||
if x["categorie"] == y["categorie"] and x["debut"] < y["fin"] and y["debut"] < x["fin"]:
|
||||
signales.append(f"{a} et {b} : deux {x['categorie']} qui se chevauchent")
|
||||
|
||||
print(f"{total} étiquettes, {len(stations)} stations : {len(erreurs)} erreurs, {len(signales)} chevauchements à regarder")
|
||||
for l in erreurs:
|
||||
print(" ERREUR", l)
|
||||
for l in signales[:40]:
|
||||
print(" à regarder", l)
|
||||
if len(signales) > 40:
|
||||
print(f" … et {len(signales) - 40} autres chevauchements")
|
||||
sys.exit(1 if erreurs else 0)
|
||||
Reference in new issue
Block a user