Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)

- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:21:57 +01:00
1 parent 8e1cfc52c9
commit 35b5ed4d74
298 files changed
+30413 -960

No files matched your search

@@ -0,0 +1,22 @@
"""Pour une cible, dans quelles étiquettes (Visibility, Obstruction, No data de moins de trois jours) tombent ses rejets, et si l'étiquette la nomme.
Usage : python3 dans.py STATION CAPTEUR [DEBUT] [FIN]"""
import csv, glob, json, sys, collections
from datetime import datetime
st, cap = sys.argv[1], sys.argv[2]
d0, d1 = (sys.argv[3:5] + ['2026-10-01', '2026-11-01'])[:2] if len(sys.argv) > 3 else ('2026-10-01', '2026-11-01')
t = lambda s: datetime.fromisoformat(s.replace('Z', '+00:00').replace(' ', 'T'))
lab = [(n, json.loads(l)) for n, l in enumerate(open(f'labeling/auto/{st}.jsonl'), 1) if l.strip()]
lab = [(n, e, t(e['debut']), t(e['fin'])) for n, e in lab if e['categorie'] in ('Visibility', 'Obstruction', 'No data') and (t(e['fin']) - t(e['debut'])).days < 3]
c = collections.Counter(); hors = []
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_2026*.csv')):
for l in csv.DictReader(open(p)):
if l['sensor_name'].strip() != cap or not l['error_value'] or float(l['error_value']) <= float(l['error_threshold']): continue
i = t(l['time_utc'][:19] + '+00:00')
if not (t(d0 + 'T00:00Z') <= i < t(d1 + 'T00:00Z')): continue
k = [n for n, e, a, b in lab if a < i < b]
if k: c[k[0]] += 1
else: hors.append(i.strftime('%m-%d %H:%M'))
d = {n: e for n, e, a, b in lab}
for n, k in sorted(c.items()):
e = d[n]; print(f"#{n}\t{k}\t{e['categorie']}\t{e['debut']}\t{e['fin']}\t{'nommée' if cap in e['description'] else 'NON NOMMÉE'}\t{e['description'][:90]}")
print('hors étiquettes :', len(hors), ' '.join(hors))
@@ -0,0 +1,23 @@
"""Frise des rejets d'une cible, jour par jour et heure par heure (UTC), avec la médiane du jour de error_value / seuil.
Usage : python3 frise.py STATION CAPTEUR [DEBUT AAAAMMJJ] [FIN AAAAMMJJ]
Par heure : '#' plus de la moitié des mesures rejetées, '+' au moins une, '.' aucune, ' ' pas de mesure."""
import csv, glob, re, sys, collections, statistics
st, cap = sys.argv[1], sys.argv[2]
d0, d1 = (sys.argv[3:5] + ['20260901', '20261031'])[:2] if len(sys.argv) > 3 else ('20260901', '20261031')
n = collections.Counter(); r = collections.Counter(); ev = collections.defaultdict(list)
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_*.csv')):
m = re.search(r'_advanced_(\d{8})\.csv$', p)
if not m or not (d0 <= m.group(1) <= d1): continue
vus = set()
for l in csv.DictReader(open(p)):
if l['sensor_name'].strip() != cap or not l['error_value']: continue
if l['time_utc'][:16] in vus: continue
vus.add(l['time_utc'][:16])
j, h = l['time_utc'][:10], int(l['time_utc'][11:13])
e, s = float(l['error_value']), float(l['error_threshold'])
n[j, h] += 1; ev[j].append(e / s)
if e > s: r[j, h] += 1
print('jour ' + ''.join(str(h % 10) for h in range(24)) + ' ev/seuil (médiane du jour)')
for j in sorted(ev):
f = ''.join(' ' if not n[j, h] else '#' if r[j, h] > n[j, h] / 2 else '+' if r[j, h] else '.' for h in range(24))
print(f'{j} {f} {statistics.median(ev[j]):.2f}')
@@ -0,0 +1,21 @@
"""Écart de jour d'une cible : par jour, médiane de corr_x et corr_y aux heures de jour (H1-H2 UTC) moins celle de la nuit d'avant (00-03 UTC), et médiane de error_value / seuil de jour.
Usage : python3 jour_nuit.py STATION H1 H2 CAPTEUR [CAPTEUR...] (mesures acceptées seulement)."""
import csv, glob, re, sys, collections, statistics as S
st, h1, h2, caps = sys.argv[1], int(sys.argv[2]), int(sys.argv[3]), sys.argv[4:]
v = collections.defaultdict(list)
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_2026*.csv')):
if not re.search(r'_advanced_\d{8}\.csv$', p): continue
for l in csv.DictReader(open(p)):
c = l['sensor_name'].strip()
if c not in caps or not l['corr_x']: continue
j, h = l['time_utc'][:10], int(l['time_utc'][11:13])
k = 'j' if h1 <= h < h2 else 'n' if h < 3 else None
if k: v[c, j, k].append((float(l['corr_x']), float(l['corr_y']), float(l['error_value']) / float(l['error_threshold'])))
jours = sorted({j for _, j, _ in v})
print('jour ' + ''.join(f'{c:>24}' for c in caps) + ' (dx, dy jour - nuit ; ev/seuil de jour)')
for j in jours:
r = []
for c in caps:
a, b = v.get((c, j, 'j')), v.get((c, j, 'n'))
r.append(f"{S.median(x[0] for x in a) - S.median(x[0] for x in b):+7.3f}{S.median(x[1] for x in a) - S.median(x[1] for x in b):+7.3f}{S.median(x[2] for x in a):6.2f} " if a and b else ' ' * 24)
print(j, ''.join(r))
@@ -0,0 +1,32 @@
"""Écrit <sortie>/modifications.jsonl de la revue croisée Target issue, à partir des étiquettes actuelles de labeling/auto/."""
import json, os
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
def lab(i):
st, n = i.split('#'); e = json.loads(open(f'labeling/auto/{st}.jsonl').readlines()[int(n) - 1])
e.pop('revue', None); return e
m = []
e = lab('NIEDERHORN#9')
e['description'] = ("PWD_RMP_B15_017_C09 est rejetée presque chaque nuit, du soir au matin local, jusqu'au 24.10 (sauf du 12 au 14), puis seulement quelques heures les nuits du 25 et du 27.10, et une dernière mesure le 28.10 à 00:00 UTC ; jusque-là sa courbe corrigée manque chaque nuit. "
"Ensuite elle est gardée la nuit aussi, mais ses points de jour restent, jusqu'à la fin du lot, plus dispersés que ceux de ses voisines et changent de niveau d'un jour à l'autre. "
"Vu sur les vignettes : la nuit, sous le projecteur, sa tache est saturée et étalée en croix, alors que de jour elle est petite et nette ; les voisines du même genre restent sous le seuil. "
"Les rejets reviennent chaque nuit, quel que soit le temps : un problème de la cible (trop brillante sous l'éclairage), pas un mouvement. Vérifier son orientation ou l'éclairage ; ignorer sa courbe.")
m.append({'id': 'NIEDERHORN#9', 'action': 'modifier', 'etiquette': e})
e = lab('NORDEND#20')
e['description'] = e['description'].replace("s'est sans doute nettoyée.", "s'est sans doute nettoyée. Ensuite ses courbes, calmes, restent plus bas qu'au début du mois, en corr_x et en corr_y, jusqu'à la fin du lot : le niveau mesuré pendant la gêne n'est pas une référence.")
m.append({'id': 'NORDEND#20', 'action': 'modifier', 'etiquette': e})
e = lab('CLARIDEN#35')
e['fin'] = '2026-10-27T12:20Z'
e['description'] = e['description'].replace('haute mais juste sous le seuil', 'haute mais sous le seuil')
m.append({'id': 'CLARIDEN#35', 'action': 'modifier', 'etiquette': e})
e = lab('CLARIDEN#38')
e['categorie'] = 'Target issue'
e['description'] = e['description'].replace("un changement de configuration ou de traitement, pas un mouvement de l'ouvrage. À vérifier avec l'exploitant ; ne pas lire ce saut comme un mouvement.",
"un changement de configuration ou de traitement de ces deux capteurs, pas un mouvement de l'ouvrage. Vérifier leur configuration avec l'exploitant ; ne pas lire ce saut comme un mouvement, ni comparer leurs courbes d'avant et d'après.")
m.append({'id': 'CLARIDEN#38', 'action': 'modifier', 'etiquette': e})
m.append({'id': 'SNCF01#8', 'action': 'retirer', 'raison': "F4.2 n'est pas une cible constamment problématique : son error_value vit juste sous son seuil comme celle de CV.2, CV.8 et CV.9, et sur ses 115 rejets du lot, 112 tombent dans des épisodes étiquetés (les nuits des 17 au 20/10, passages, gêne de jour) ; restent trois rejets isolés d'une mesure, étiquetés chacun à part. Une étiquette d'un mois pour trois points ne tient pas ses bornes."})
d = ("F4.2 est rejetée le temps d'une mesure, son erreur de reconnaissance juste au-dessus de son seuil, puis revient ; les autres cibles restent à leur niveau habituel. "
"F4.2 vit juste sous son seuil tout le lot, comme CV.2, CV.8 et CV.9, et le franchit de loin en loin : cause non établie. Point à ignorer, rien à faire.")
for a, b in [('2026-10-19T13:30Z', '2026-10-19T14:00Z'), ('2026-10-30T21:30Z', '2026-10-30T22:00Z'), ('2026-10-31T07:00Z', '2026-10-31T07:30Z')]:
m.append({'station': 'SNCF01', 'action': 'ajouter', 'etiquette': {'debut': a, 'fin': b, 'categorie': 'Visibility', 'description': d}})
open(f'{ici}/modifications.jsonl', 'w').writelines(json.dumps(x, ensure_ascii=False) + '\n' for x in m)
for x in m: print(x.get('id', x.get('station')), x['action'], (x.get('etiquette') or {}).get('categorie', ''))
@@ -0,0 +1,38 @@
"""Rejets par cible et par jour, toutes les stations étiquetées, du 2026-09-01 au 2026-10-31 (fichiers <STATION>_advanced_AAAAMMJJ.csv seulement).
Une cible (pattern_type != global_ref, sans reproj_err ; noms nettoyés de leurs fins de ligne) est rejetée quand error_value > error_threshold.
Écrit <sortie>/rejets.tsv : station, capteur, jours lus, taux de rejet du lot d'octobre, jours d'octobre à plus de 25 % rejetés,
heures UTC où tombent ses rejets (les 6 plus fréquentes), seuil, médiane de error_value / seuil, et la liste jour par jour (taux en %)."""
import csv, glob, os, re, collections, statistics, sys
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
stations = sys.argv[1:] or ['BREITHORN', 'CLARIDEN', 'FLORIDA', 'JUNGFRAU', 'LENZSPITZE', 'MICHIGAN', 'NEBRASKA',
'NIEDERHORN', 'NORDEND', 'SNCF01', 'WILDSTRUBEL']
out = open(f'{ici}/rejets.tsv', 'w')
out.write('station\tcapteur\ttype\tjours_oct\ttaux_oct\tjours_25pc\theures_rejets\tseuil\tev_sur_seuil\tpar_jour\n')
for st in stations:
n = collections.defaultdict(lambda: collections.Counter()); r = collections.defaultdict(lambda: collections.Counter())
h = collections.defaultdict(collections.Counter); ev = collections.defaultdict(list); seuil = {}; typ = {}
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_*.csv')):
m = re.search(r'_advanced_(\d{8})\.csv$', p)
if not m or not ('20260901' <= m.group(1) <= '20261031'): continue
vus = set()
for l in csv.DictReader(open(p)):
if l['pattern_type'] == 'global_ref' or l['reproj_err'] or not l['error_value']: continue
l['sensor_name'] = l['sensor_name'].strip()
k = (l['time_utc'][:16], l['sensor_name'])
if k in vus: continue
vus.add(k)
c, j = l['sensor_name'], l['time_utc'][:10]
e, s = float(l['error_value']), float(l['error_threshold'])
n[c][j] += 1; seuil[c] = s; typ[c] = l['pattern_type']
if j >= '2026-10-01': ev[c].append(e / s)
if e > s:
r[c][j] += 1
if j >= '2026-10-01': h[c][l['time_utc'][11:13]] += 1
for c in sorted(n):
jo = [j for j in sorted(n[c]) if j >= '2026-10-01']
if not jo: continue
no, ro = sum(n[c][j] for j in jo), sum(r[c][j] for j in jo)
j25 = sum(1 for j in jo if r[c][j] > 0.25 * n[c][j])
pj = ' '.join(f"{j[5:]}:{round(100 * r[c][j] / n[c][j])}" for j in sorted(n[c]))
out.write(f"{st}\t{c}\t{typ[c]}\t{len(jo)}\t{ro / no:.2f}\t{j25}\t{','.join(x for x, _ in h[c].most_common(6))}\t{seuil[c]}\t{statistics.median(ev[c]):.2f}\t{pj}\n")
print(st, len(n))