L'app de diagnostic, ses agents et ce dont ils ont besoin, copiés de Support-Agent ; sans la page Support
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8d5dc4a31c
commit
56f0c902d7
112 files changed
+13047
No files matched your search
@@ -0,0 +1,76 @@
|
||||
"""Contrôle des étiquettes automatiques (labeling/auto/*.jsonl) face aux règles de labeling/regles-d-etiquetage.md.
|
||||
|
||||
python3 labeling/controle.py # toutes les stations
|
||||
python3 labeling/controle.py NORDEND # une station
|
||||
python3 labeling/controle.py <dossier>/etiquettes-proposees.jsonl # un fichier proposé, avant d'être versé (sans `revue` exigé)
|
||||
|
||||
Erreurs (à corriger) : JSON illisible, champ manquant, famille inconnue, date mal formée, debut >= fin,
|
||||
étiquette sans `revue` ou sans `id` (`python3 labeling/ids.py`), id pas en tête de la ligne, id en double, doublon exact, valeur chiffrée, heure locale, "probablement pas un mouvement". « Rien à craindre » n'est juste qu'avec une cause établie : à juger à la lecture, pas par script.
|
||||
Signalés (à regarder) : chevauchements de deux étiquettes de même famille sur la même station.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
from datetime import datetime
|
||||
|
||||
FAMILLES = {"Visibility", "Obstruction", "Thermal displacement", "Displacement", "Target issue", "No data"}
|
||||
DATE = re.compile(r"^\d{4}-\d\d-\d\dT\d\d:\d\dZ$")
|
||||
# Décimales à la virgule (les noms F4.2 et les dates 05.10 ont un point), ou un nombre suivi d'une unité.
|
||||
CHIFFRE = re.compile(r"(?<![\w.])\d+,\d+|\b\d+\s*(bruits|px|°|%|MAD|mm|fois)(?!\w)|\b\d+\s+(cibles|mesures) sur\b")
|
||||
INTERDIT = re.compile(r"heure locale|matin local|soir local|journée locale|probablement pas un mouvement", re.I)
|
||||
|
||||
stations = sys.argv[1:] or sorted(os.path.basename(p)[:-6] for p in glob.glob("labeling/auto/*.jsonl"))
|
||||
erreurs, signales, total = [], [], 0
|
||||
for st in stations:
|
||||
vues, ids, es = set(), set(), []
|
||||
propose = st.endswith(".jsonl") # un fichier proposé : ses lignes n'ont pas encore `revue` ni `id`
|
||||
chemin = st if propose else f"labeling/auto/{st}.jsonl"
|
||||
for n, ligne in enumerate(open(chemin, encoding="utf-8"), 1):
|
||||
if not ligne.strip():
|
||||
continue
|
||||
total += 1
|
||||
ou = f"{st}#{n}"
|
||||
try:
|
||||
e = json.loads(ligne)
|
||||
except json.JSONDecodeError:
|
||||
erreurs.append(f"{ou} JSON illisible"); continue
|
||||
manque = ({"debut", "fin", "categorie", "description"} | (set() if propose else {"revue", "id"})) - e.keys()
|
||||
if manque:
|
||||
erreurs.append(f"{ou} champ manquant : {sorted(manque)}")
|
||||
if "id" in e:
|
||||
if next(iter(e)) != "id":
|
||||
erreurs.append(f"{ou} id pas en tête de la ligne (`python3 labeling/ids.py`)")
|
||||
if e["id"] in ids:
|
||||
erreurs.append(f"{ou} id en double : {e['id']}")
|
||||
ids.add(e["id"])
|
||||
if e.get("categorie") not in FAMILLES:
|
||||
erreurs.append(f"{ou} famille inconnue : {e.get('categorie')}")
|
||||
if not (DATE.match(e.get("debut", "")) and DATE.match(e.get("fin", ""))):
|
||||
erreurs.append(f"{ou} date mal formée"); continue
|
||||
if e["debut"] >= e["fin"]:
|
||||
erreurs.append(f"{ou} debut >= fin ({e['debut']})")
|
||||
cle = (e["debut"], e["fin"], e["categorie"], e["description"])
|
||||
if cle in vues:
|
||||
erreurs.append(f"{ou} doublon exact")
|
||||
vues.add(cle)
|
||||
d = e.get("description", "")
|
||||
if m := CHIFFRE.search(d):
|
||||
erreurs.append(f"{ou} valeur chiffrée : « {m.group(0)} »")
|
||||
if m := INTERDIT.search(d):
|
||||
erreurs.append(f"{ou} interdit : « {m.group(0)} »")
|
||||
es.append((ou, e))
|
||||
for i, (a, x) in enumerate(es):
|
||||
for b, y in es[i + 1:]:
|
||||
if x["categorie"] == y["categorie"] and x["debut"] < y["fin"] and y["debut"] < x["fin"]:
|
||||
signales.append(f"{a} et {b} : deux {x['categorie']} qui se chevauchent")
|
||||
|
||||
print(f"{total} étiquettes, {len(stations)} stations : {len(erreurs)} erreurs, {len(signales)} chevauchements à regarder")
|
||||
for l in erreurs:
|
||||
print(" ERREUR", l)
|
||||
for l in signales[:40]:
|
||||
print(" à regarder", l)
|
||||
if len(signales) > 40:
|
||||
print(f" … et {len(signales) - 40} autres chevauchements")
|
||||
sys.exit(1 if erreurs else 0)
|
||||
Reference in new issue
Block a user