Files
aimsight-app/labeling/controle.py
T

76 lines
3.9 KiB
Python
Raw Normal View History

"""Contrôle des étiquettes automatiques (labeling/auto/*.jsonl) face aux règles de labeling/regles-d-etiquetage.md.
python3 labeling/controle.py # toutes les stations
python3 labeling/controle.py NORDEND # une station
python3 labeling/controle.py <dossier>/etiquettes-proposees.jsonl # un fichier proposé, avant d'être versé (sans `revue` exigé)
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
étiquette sans `revue` ou sans `id` (`python3 labeling/ids.py`), id pas en tête de la ligne, id en double, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
"""
import glob
import json
import os
import re
import sys
from datetime import datetime
FAMILLES = {"Visibility", "Obstruction", "Thermal displacement", "Displacement", "Target issue", "No data"}
DATE = re.compile(r"^\d{4}-\d\d-\d\dT\d\d:\d\dZ$")
# Décimales à la virgule (les noms F4.2 et les dates 05.10 ont un point), ou un nombre suivi d'une unité.
CHIFFRE = re.compile(r"(?<![\w.])\d+,\d+|\b\d+\s*(bruits|px|°|%|MAD|mm|fois)(?!\w)|\b\d+\s+(cibles|mesures) sur\b")
INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|probablement pas un mouvement", re.I)
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
erreurs, signales, total = [], [], 0
for st in stations:
vues, ids, es = set(), set(), []
propose = st.endswith(".jsonl") # un fichier proposé : ses lignes n'ont pas encore `revue` ni `id`
chemin = st if propose else f"labeling/auto/{st}.jsonl"
for n, ligne in enumerate(open(chemin, encoding="utf-8"), 1):
if not ligne.strip():
continue
total += 1
ou = f"{st}#{n}"
try:
e = json.loads(ligne)
except json.JSONDecodeError:
erreurs.append(f"{ou} JSON illisible"); continue
manque = ({"debut", "fin", "categorie", "description"} | (set() if propose else {"revue", "id"})) - e.keys()
if manque:
erreurs.append(f"{ou} champ manquant : {sorted(manque)}")
if "id" in e:
if next(iter(e)) != "id":
erreurs.append(f"{ou} id pas en tête de la ligne (`python3 labeling/ids.py`)")
if e["id"] in ids:
erreurs.append(f"{ou} id en double : {e['id']}")
ids.add(e["id"])
if e.get("categorie") not in FAMILLES:
erreurs.append(f"{ou} famille inconnue : {e.get('categorie')}")
if not (DATE.match(e.get("debut", "")) and DATE.match(e.get("fin", ""))):
erreurs.append(f"{ou} date mal formée"); continue
if e["debut"] >= e["fin"]:
erreurs.append(f"{ou} debut >= fin ({e['debut']})")
cle = (e["debut"], e["fin"], e["categorie"], e["description"])
if cle in vues:
erreurs.append(f"{ou} doublon exact")
vues.add(cle)
d = e.get("description", "")
if m := CHIFFRE.search(d):
erreurs.append(f"{ou} valeur chiffrée : « {m.group(0)} »")
if m := INTERDIT.search(d):
erreurs.append(f"{ou} interdit : « {m.group(0)} »")
es.append((ou, e))
for i, (a, x) in enumerate(es):
for b, y in es[i + 1:]:
if x["categorie"] == y["categorie"] and x["debut"] < y["fin"] and y["debut"] < x["fin"]:
signales.append(f"{a} et {b} : deux {x['categorie']} qui se chevauchent")
print(f"{total} étiquettes, {len(stations)} stations : {len(erreurs)} erreurs, {len(signales)} chevauchements à regarder")
for l in erreurs:
print(" ERREUR", l)
for l in signales[:40]:
print(" à regarder", l)
if len(signales) > 40:
print(f" … et {len(signales) - 40} autres chevauchements")
sys.exit(1 if erreurs else 0)