Files
aimsight-labeling/controle.py
T
maximeandClaude Opus 5.5 14ad6ea3f9 Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)
- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:21:57 +01:00

68 lines
3.3 KiB
Python

"""Contrôle des étiquettes automatiques (labeling/auto/*.jsonl) face aux règles de labeling/regles-d-etiquetage.md.
python3 labeling/controle.py # toutes les stations
python3 labeling/controle.py NORDEND # une station
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
étiquette sans `revue`, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
"""
import glob
import json
import os
import re
import sys
from datetime import datetime
FAMILLES = {"Visibility", "Obstruction", "Thermal displacement", "Displacement", "Target issue", "No data"}
DATE = re.compile(r"^\d{4}-\d\d-\d\dT\d\d:\d\dZ$")
# Décimales à la virgule (les noms F4.2 et les dates 05.10 ont un point), ou un nombre suivi d'une unité.
CHIFFRE = re.compile(r"(?<![\w.])\d+,\d+|\b\d+\s*(bruits|px|°|%|MAD|mm|fois)(?!\w)|\b\d+\s+(cibles|mesures) sur\b")
INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|probablement pas un mouvement", re.I)
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
erreurs, signales, total = [], [], 0
for st in stations:
vues, es = set(), []
for n, ligne in enumerate(open(f"labeling/auto/{st}.jsonl", encoding="utf-8"), 1):
if not ligne.strip():
continue
total += 1
ou = f"{st}#{n}"
try:
e = json.loads(ligne)
except json.JSONDecodeError:
erreurs.append(f"{ou} JSON illisible"); continue
manque = {"debut", "fin", "categorie", "description", "revue"} - e.keys()
if manque:
erreurs.append(f"{ou} champ manquant : {sorted(manque)}")
if e.get("categorie") not in FAMILLES:
erreurs.append(f"{ou} famille inconnue : {e.get('categorie')}")
if not (DATE.match(e.get("debut", "")) and DATE.match(e.get("fin", ""))):
erreurs.append(f"{ou} date mal formée"); continue
if e["debut"] >= e["fin"]:
erreurs.append(f"{ou} debut >= fin ({e['debut']})")
cle = (e["debut"], e["fin"], e["categorie"], e["description"])
if cle in vues:
erreurs.append(f"{ou} doublon exact")
vues.add(cle)
d = e.get("description", "")
if m := CHIFFRE.search(d):
erreurs.append(f"{ou} valeur chiffrée : « {m.group(0)} »")
if m := INTERDIT.search(d):
erreurs.append(f"{ou} interdit : « {m.group(0)} »")
es.append((ou, e))
for i, (a, x) in enumerate(es):
for b, y in es[i + 1:]:
if x["categorie"] == y["categorie"] and x["debut"] < y["fin"] and y["debut"] < x["fin"]:
signales.append(f"{a} et {b} : deux {x['categorie']} qui se chevauchent")
print(f"{total} étiquettes, {len(stations)} stations : {len(erreurs)} erreurs, {len(signales)} chevauchements à regarder")
for l in erreurs:
print(" ERREUR", l)
for l in signales[:40]:
print(" à regarder", l)
if len(signales) > 40:
print(f" … et {len(signales) - 40} autres chevauchements")
sys.exit(1 if erreurs else 0)