2026-11-05 08:21:57 +01:00
"""Contrôle des étiquettes automatiques (labeling/auto/*.jsonl) face aux règles de labeling/regles-d-etiquetage.md.
python3 labeling/controle.py # toutes les stations
python3 labeling/controle.py NORDEND # une station
2026-11-05 08:31:53 +01:00
python3 labeling/controle.py <dossier>/etiquettes-proposees.jsonl # un fichier proposé, avant d'être versé (sans `revue` exigé)
2026-11-05 08:21:57 +01:00
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
2026-11-05 08:49:54 +01:00
étiquette sans `revue` ou sans `id` (`python3 labeling/ids.py`), id en double, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
2026-11-05 08:21:57 +01:00
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
"""
import glob
import json
import os
import re
import sys
from datetime import datetime
FAMILLES = { "Visibility" , "Obstruction" , "Thermal displacement" , "Displacement" , "Target issue" , "No data" }
DATE = re . compile ( r "^\d {4} -\d\d-\d\dT\d\d:\d\dZ$" )
# Décimales à la virgule (les noms F4.2 et les dates 05.10 ont un point), ou un nombre suivi d'une unité.
CHIFFRE = re . compile ( r "(?<![\w.])\d+,\d+|\b\d+\s*(bruits|px|°|%|MAD|mm|fois)(?!\w)|\b\d+\s+(cibles|mesures) sur\b" )
INTERDIT = re . compile ( r "heure locale|matin local|soir local|journée locale|probablement pas un mouvement" , re . I )
stations = sys . argv [ 1 :] or sorted ( os . path . basename ( p )[: - 6 ] for p in glob . glob ( "labeling/auto/*.jsonl" ))
erreurs , signales , total = [], [], 0
for st in stations :
2026-11-05 08:49:54 +01:00
vues , ids , es = set (), set (), []
propose = st . endswith ( ".jsonl" ) # un fichier proposé : ses lignes n'ont pas encore `revue` ni `id`
2026-11-05 08:31:53 +01:00
chemin = st if propose else f "labeling/auto/ { st } .jsonl"
for n , ligne in enumerate ( open ( chemin , encoding = "utf-8" ), 1 ):
2026-11-05 08:21:57 +01:00
if not ligne . strip ():
continue
total += 1
ou = f " { st } # { n } "
try :
e = json . loads ( ligne )
except json . JSONDecodeError :
erreurs . append ( f " { ou } JSON illisible" ); continue
2026-11-05 08:49:54 +01:00
manque = ({ "debut" , "fin" , "categorie" , "description" } | ( set () if propose else { "revue" , "id" })) - e . keys ()
2026-11-05 08:21:57 +01:00
if manque :
erreurs . append ( f " { ou } champ manquant : { sorted ( manque ) } " )
2026-11-05 08:49:54 +01:00
if "id" in e :
if e [ "id" ] in ids :
erreurs . append ( f " { ou } id en double : { e [ 'id' ] } " )
ids . add ( e [ "id" ])
2026-11-05 08:21:57 +01:00
if e . get ( "categorie" ) not in FAMILLES :
erreurs . append ( f " { ou } famille inconnue : { e . get ( 'categorie' ) } " )
if not ( DATE . match ( e . get ( "debut" , "" )) and DATE . match ( e . get ( "fin" , "" ))):
erreurs . append ( f " { ou } date mal formée" ); continue
if e [ "debut" ] >= e [ "fin" ]:
erreurs . append ( f " { ou } debut >= fin ( { e [ 'debut' ] } )" )
cle = ( e [ "debut" ], e [ "fin" ], e [ "categorie" ], e [ "description" ])
if cle in vues :
erreurs . append ( f " { ou } doublon exact" )
vues . add ( cle )
d = e . get ( "description" , "" )
if m := CHIFFRE . search ( d ):
erreurs . append ( f " { ou } valeur chiffrée : « { m . group ( 0 ) } »" )
if m := INTERDIT . search ( d ):
erreurs . append ( f " { ou } interdit : « { m . group ( 0 ) } »" )
es . append (( ou , e ))
for i , ( a , x ) in enumerate ( es ):
for b , y in es [ i + 1 :]:
if x [ "categorie" ] == y [ "categorie" ] and x [ "debut" ] < y [ "fin" ] and y [ "debut" ] < x [ "fin" ]:
signales . append ( f " { a } et { b } : deux { x [ 'categorie' ] } qui se chevauchent" )
print ( f " { total } étiquettes, { len ( stations ) } stations : { len ( erreurs ) } erreurs, { len ( signales ) } chevauchements à regarder" )
for l in erreurs :
print ( " ERREUR" , l )
for l in signales [: 40 ]:
print ( " à regarder" , l )
if len ( signales ) > 40 :
print ( f " … et { len ( signales ) - 40 } autres chevauchements" )
sys . exit ( 1 if erreurs else 0 )