"""Contrôle des étiquettes automatiques (labeling/auto/*.jsonl) face aux règles de labeling/regles-d-etiquetage.md. python3 labeling/controle.py # toutes les stations python3 labeling/controle.py NORDEND # une station python3 labeling/controle.py /etiquettes-proposees.jsonl # un fichier proposé, avant d'être versé (sans `revue` exigé) Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin, étiquette sans `revue` ou sans `id` (`python3 labeling/ids.py`), id pas en tête de la ligne, id en double, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script. Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station. """ import glob import json import os import re import sys from datetime import datetime FAMILLES = {"Visibility", "Obstruction", "Thermal displacement", "Displacement", "Target issue", "No data"} DATE = re.compile(r"^\d{4}-\d\d-\d\dT\d\d:\d\dZ$") # Décimales à la virgule (les noms F4.2 et les dates 05.10 ont un point), ou un nombre suivi d'une unité. CHIFFRE = re.compile(r"(?= e["fin"]: erreurs.append(f"{ou} debut >= fin ({e['debut']})") cle = (e["debut"], e["fin"], e["categorie"], e["description"]) if cle in vues: erreurs.append(f"{ou} doublon exact") vues.add(cle) d = e.get("description", "") if m := CHIFFRE.search(d): erreurs.append(f"{ou} valeur chiffrée : « {m.group(0)} »") if m := INTERDIT.search(d): erreurs.append(f"{ou} interdit : « {m.group(0)} »") es.append((ou, e)) for i, (a, x) in enumerate(es): for b, y in es[i + 1:]: if x["categorie"] == y["categorie"] and x["debut"] < y["fin"] and y["debut"] < x["fin"]: signales.append(f"{a} et {b} : deux {x['categorie']} qui se chevauchent") print(f"{total} étiquettes, {len(stations)} stations : {len(erreurs)} erreurs, {len(signales)} chevauchements à regarder") for l in erreurs: print(" ERREUR", l) for l in signales[:40]: print(" à regarder", l) if len(signales) > 40: print(f" … et {len(signales) - 40} autres chevauchements") sys.exit(1 if erreurs else 0)