Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)

- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:21:57 +01:00
1 parent 8e1cfc52c9
commit 35b5ed4d74
298 files changed
+30413 -960

No files matched your search

@@ -0,0 +1,78 @@
"""Bornes des étiquettes Obstruction face aux instants de mesure de leur station.
Pour chaque étiquette : debut et fin sont-ils des instants de mesure, combien d'instants entre les deux,
et, aux instants prev(debut), debut, fin, next(fin) : les capteurs rejetés et ceux qui s'écartent
(|corr - médiane du jour| > 6 MAD), pour voir si une borne est elle-même touchée.
Usage (racine du dépôt) : python3 .../outils/bornes.py [STATION ...] > .../obstruction/bornes.txt"""
import csv, glob, json, sys, statistics as S
from datetime import datetime, timedelta
from collections import defaultdict
def t(s): return datetime.fromisoformat(s.replace('Z', '+00:00'))
def charge(st, d0, d1):
rows = defaultdict(dict) # instant -> capteur -> (ev, thr, cx, cy)
d = d0.date() - timedelta(days=1)
while d <= d1.date() + timedelta(days=1):
for p in glob.glob(f'data/{st}/displacement/{st}_advanced_{d:%Y%m%d}*.csv'):
for r in csv.DictReader(open(p)):
i = datetime.fromisoformat(r['time_utc']).replace(second=0, microsecond=0)
f = lambda k: float(r[k]) if r[k] not in ('', None) else None
rows[i][r['sensor_name'].strip()] = (f('error_value'), f('error_threshold'), f('corr_x'), f('corr_y'))
d += timedelta(days=1)
return rows
def ecarts(rows, inst):
"""capteurs dont corr s'écarte de plus de 6 MAD de sa médiane sur la fenêtre chargée"""
par = defaultdict(lambda: ([], []))
for i in rows:
for c, (ev, th, cx, cy) in rows[i].items():
if cx is not None: par[c][0].append(cx)
if cy is not None: par[c][1].append(cy)
ref = {}
for c, (xs, ys) in par.items():
ref[c] = [(S.median(v), S.median([abs(a - S.median(v)) for a in v]) or 1e-9) if len(v) > 5 else None for v in (xs, ys)]
out = {}
for i in inst:
s = set()
for c, (ev, th, cx, cy) in rows.get(i, {}).items():
for k, v in enumerate((cx, cy)):
if v is not None and ref.get(c) and ref[c][k] and abs(v - ref[c][k][0]) > 6 * ref[c][k][1]:
s.add(c)
out[i] = s
return out
def rej(rows, i):
return {c for c, (ev, th, cx, cy) in rows.get(i, {}).items() if ev is not None and th is not None and ev > th}
stations = sys.argv[1:] or ['BREITHORN', 'CLARIDEN', 'FLORIDA', 'JUNGFRAU', 'LENZSPITZE', 'NIEDERHORN', 'NORDEND', 'SNCF01', 'WILDSTRUBEL']
for st in stations:
for n, l in enumerate(open(f'labeling/auto/{st}.jsonl'), 1):
if not l.strip(): continue
e = json.loads(l)
if e['categorie'] != 'Obstruction': continue
d0, d1 = t(e['debut']), t(e['fin'])
if (d1 - d0) > timedelta(hours=30):
print(f'{st}#{n} {e["debut"]} -> {e["fin"]} : longue, non vérifiée'); continue
rows = charge(st, d0, d1)
inst = sorted(rows)
dedans = [i for i in inst if d0 < i < d1]
avant = [i for i in inst if i < d0][-1:] ; apres = [i for i in inst if i > d1][:1]
pas = S.median([(b - a).total_seconds() / 60 for a, b in zip(inst, inst[1:])]) if len(inst) > 2 else None
cle = [*avant, *(i for i in inst if i == d0), *dedans, *(i for i in inst if i == d1), *apres]
ec = ecarts(rows, cle)
flag = []
if d0 not in rows: flag.append('debut hors instant')
if d1 not in rows: flag.append('fin hors instant')
if d0 >= d1: flag.append('debut>=fin')
if not dedans: flag.append('aucun instant dedans')
R = lambda i: rej(rows, i)
base = R(avant[0]) if avant else set()
if d0 in rows and R(d0) - base: flag.append('DEBUT TOUCHE (rejets) ' + ','.join(sorted(R(d0) - base))[:60])
if d1 in rows and apres and R(d1) - R(apres[0]) - base: flag.append('FIN TOUCHEE (rejets) ' + ','.join(sorted(R(d1) - R(apres[0]) - base))[:60])
if d1 in rows and len(ec[d1] - R(d1) - (ec[apres[0]] if apres else set())) >= 2: flag.append('fin: ecarts ' + ','.join(sorted(ec[d1] - R(d1) - (ec[apres[0]] if apres else set())))[:60])
if d0 in rows and avant and len(ec[d0] - R(d0) - ec[avant[0]]) >= 2: flag.append('debut: ecarts ' + ','.join(sorted(ec[d0] - R(d0) - ec[avant[0]]))[:60])
print(f'{st}#{n} {e["debut"]} -> {e["fin"]} pas~{pas}min, {len(dedans)} instants dedans {" ; ".join(flag)}')
for i in cle:
tag = 'avant' if i in avant else 'DEBUT' if i == d0 else 'FIN' if i == d1 else 'apres' if i in apres else 'dedans'
r = rej(rows, i); x = ec[i] - r
print(f' {i:%m-%d %H:%M} {tag:6} rejetes {len(r):2} ecarts {len(x):2} {",".join(sorted(r))[:110]} | {",".join(sorted(x))[:80]}')
@@ -0,0 +1,18 @@
"""Pour chaque étiquette Obstruction : les heures d'image citées (« image(s)/vignette(s) de HH:MM ») existent-elles
dans data/<STATION>/images/ un jour de la plage (ou la veille, le lendemain) ? Et les phrases « pas d'image » sont-elles vraies ?"""
import json, os, re
from datetime import datetime, timedelta
def t(s): return datetime.fromisoformat(s.replace('Z', '+00:00'))
for st in ['BREITHORN', 'CLARIDEN', 'FLORIDA', 'JUNGFRAU', 'LENZSPITZE', 'NIEDERHORN', 'NORDEND', 'SNCF01', 'WILDSTRUBEL']:
imgs = {f[:13] for f in os.listdir(f'data/{st}/images')} # AAAAMMJJTHHMM
for n, l in enumerate(open(f'labeling/auto/{st}.jsonl'), 1):
e = json.loads(l)
if e['categorie'] != 'Obstruction': continue
d0, d1 = t(e['debut']), t(e['fin'])
jours = {(d0 + timedelta(days=k)).strftime('%Y%m%d') for k in range(-1, (d1 - d0).days + 2)}
heures = re.findall(r'(?:image|vignette)s?[^.;:]*? de (\d{2}):(\d{2})', e['description'])
manque = [f'{h}:{m}' for h, m in heures if not any(f'{j}T{h}{m}' in imgs for j in jours)]
pas = re.search(r"(pas d'image|aucune image)", e['description'], re.I)
dedans = sorted(i for i in imgs if d0.strftime('%Y%m%dT%H%M') <= i <= d1.strftime('%Y%m%dT%H%M'))
if manque or (pas and dedans):
print(f'{st}#{n}', e['debut'], e['fin'], 'citées absentes:', manque, '| dit pas d\'image, images dans la plage:' if pas else '', dedans if pas else '')
@@ -0,0 +1,87 @@
"""Écrit obstruction/modifications.jsonl (revue croisée Obstruction, 2026-11-04). Lancé depuis la racine du dépôt."""
import json
D = 'labeling/auto/revue-croisee/2026-11-04/obstruction'
def lab(i):
st, n = i.split('#'); return json.loads(open(f'labeling/auto/{st}.jsonl').readlines()[int(n) - 1])
out = []
def mod(i, **kw):
e = lab(i); e = {k: e[k] for k in ('debut', 'fin', 'categorie', 'description')}; e.update(kw)
out.append({'id': i, 'action': 'modifier', 'etiquette': e})
def rempl(i, avant, apres, **kw):
d = lab(i)['description']; assert avant in d, (i, avant); mod(i, description=d.replace(avant, apres), **kw)
def ajout(st, debut, fin, desc):
out.append({'station': st, 'action': 'ajouter', 'etiquette': {'debut': debut, 'fin': fin, 'categorie': 'Obstruction', 'description': desc}})
# 1. La plante de NIEDERHORN : la cause, vue sur une vignette de chaque épisode (figures/), et non plus « image non regardée »
T = ("Cause : la plante du premier plan, agitée par le vent, passe devant la cible ; ses feuilles éclairées sont visibles juste à côté de la tache "
"sur les vignettes, et, d'après l'expert, cette plante passe devant cette cible ; l'image de chaque pic n'a pas été regardée.")
vu = {29: ('14:00', 'les feuilles couvrent la tache, qui pâlit'), 30: ('04:00', 'les feuilles touchent la tache'),
35: ('23:00', 'les feuilles couvrent la tache'), 37: ('14:00', 'une feuille floue couvre la tache, qui ne se voit plus'),
40: ('05:00', 'les feuilles couvrent la tache'), 49: ('23:00', 'les feuilles touchent la tache'),
58: ('17:00', 'les feuilles couvrent la tache, qui ne se voit plus'), 60: ('13:00', 'les feuilles couvrent la tache'),
67: ('08:00, 19:00 et 23:00', 'les feuilles couvrent la tache, dégagée à 10:00'), 75: ('15:00', 'les feuilles couvrent la tache'),
80: ('05:00', 'les feuilles couvrent la tache'), 83: ('07:00', "le bout d'une feuille touche la tache"),
86: ('21:00', 'les feuilles couvrent la tache, qui ne se voit plus'), 87: ('13:00 et 15:00', 'le bout des feuilles touche la tache'),
114: ('04:00', 'le bout des feuilles touche la tache'), 115: ('13:00', 'encore sombre, la tache ne se voit plus, des feuilles floues devant elle'),
119: ('08:00', 'les feuilles touchent la tache'), 132: ('04:00', 'les feuilles couvrent la tache')}
SANS_REJET = ("par moments son erreur de reconnaissance saute presque au maximum et la mesure est rejetée, ou, juste sous le seuil, "
"son corr_x ou son corr_y fait un pic d'une mesure, puis revient")
for n, (h, quoi) in vu.items():
i = f'NIEDERHORN#{n}'; d = lab(i)['description']; assert T in d, i
pl = 's' if ('et' in h) else ''
d = d.replace(T, f"Cause vue sur {'les' if pl else 'la'} vignette{pl} de {h} : {quoi} ; c'est la plante du premier plan, agitée par le vent, "
"qui, d'après l'expert, passe devant cette cible.")
if n in (83, 114): # aucune mesure rejetée sur ces plages
assert SANS_REJET in d; d = d.replace(SANS_REJET, "sans aucun rejet, son corr_x et son corr_y font par moments un pic d'une mesure, juste sous le seuil, puis reviennent")
mod(i, description=d)
# 2. Les bornes, à la mesure
mod('CLARIDEN#10', debut='2026-10-05T10:30Z', fin='2026-10-05T11:20Z') # 1re mesure après le trou ; D-303-B touchée jusqu'à 11:10
mod('CLARIDEN#11', debut='2026-10-05T12:10Z') # cadence de 10 min : la mesure d'avant est 12:10
d = lab('SNCF01#94')['description']; assert d.startswith('Une seule mesure, la nuit : ') and 'Tout revient à la mesure suivante.' in d
mod('SNCF01#94', fin='2026-10-30T22:00Z', description=d.replace('Une seule mesure, la nuit : ', 'Deux mesures, la nuit : à la première, ', 1)
.replace('Tout revient à la mesure suivante.', 'À la seconde, F4.2 est rejetée à son tour, sa courbe manque ; tout revient ensuite.'))
rempl('WILDSTRUBEL#4', "Les autres cibles ne bougent pas ; tout revient à la mesure suivante.",
"À la mesure suivante, des feux et une traînée de véhicule passent près des références R1 et R2 (vignettes de 11:15) : R1, R2 et PA_8 sont rejetées à leur tour. "
"Les autres cibles ne bougent pas ; tout revient à 11:30.", fin='2026-09-01T11:30Z')
rempl('WILDSTRUBEL#22', "Les autres cibles ne bougent pas ; tout revient à la mesure suivante.",
"La mesure d'avant, la référence R2 est déjà rejetée, une forme floue en transparence sur sa vignette de 11:45 ; la mesure d'après, PA_8 l'est encore. "
"Les autres cibles ne bougent pas ; tout revient à 12:30.", debut='2026-09-04T11:30Z', fin='2026-09-04T12:30Z')
# 3. Des passages rangés dans les journées de Visibility de WILDSTRUBEL : vus sur les vignettes (figures/), ils vont en Obstruction
rempl('WILDSTRUBEL#35', "à 07:15 et 09:30, quand la compensation écarte ses références le temps d'une mesure (reflets de véhicules près de R1 et R2 sur la vignette de 09:30), PB4, PB2_2 et PB1_2 font un petit saut.",
"à 07:15, quand la compensation écarte ses références le temps d'une mesure, PB4, PB2_2 et PB_5 font un petit saut ; à 09:30, un véhicule passe (étiquette à part).")
rempl('WILDSTRUBEL#57', "En journée, PB1_2 et PB2_2 sont rejetées ensemble à 08:45 et 12:00, PA3_2 et PA_9 à 11:00, le temps d'une mesure (passages probables le long du trottoir, non vérifiés sur les images). ",
"Les rejets d'une mesure de 08:45, 11:00 et 12:00 sont des passages (étiquettes à part). ")
rempl('WILDSTRUBEL#70', "à 11:00, PA3_2, PA_9 et PB4 sont rejetées le temps d'une mesure.", "à 11:00, un véhicule passe (étiquette à part).")
rempl('WILDSTRUBEL#81', "PB4 encore à 12:45 avec R2.", "à 12:45, un véhicule passe (étiquette à part).")
rempl('WILDSTRUBEL#86', "PA3_2, PA_9 et PB4 encore à 12:15, PB1_2 et PB2_2 à 12:45, le temps d'une mesure.",
"à 12:15 et 12:45, des passages (étiquettes à part).")
ajout('WILDSTRUBEL', '2026-09-06T09:15Z', '2026-09-06T09:45Z',
"Le temps d'une mesure, un véhicule passe au fond, près des références R1 et R2 : ses feux et sa carrosserie se voient en transparence sur leurs vignettes de 09:30. "
"R1, R2 et PA_8 sont rejetées, la base change et PB4 fait un petit saut ; tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-03T08:30Z', '2026-10-03T09:00Z',
"Le temps d'une mesure, PB1_2 et PB2_2, au bord du trottoir, sont rejetées ensemble ; les références et les autres cibles ne bougent pas. Sur la vignette de 08:45, "
"des traces floues en transparence passent sur PB2_2 : sans doute un passant, cause probable, à peine visible. Tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-03T10:45Z', '2026-10-03T11:15Z',
"Un véhicule passe sur la route, phares et carrosserie en transparence sur les vignettes de 11:00 : PA3_2 et PA_9 sont rejetées le temps d'une mesure, avec la référence R2. "
"Les autres cibles ne bougent pas ; tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-03T11:45Z', '2026-10-03T12:15Z',
"Le temps d'une mesure, PB1_2 et PB2_2 sont rejetées ensemble : sur leurs vignettes de 12:00, une silhouette claire passe en transparence sur le trottoir, sans doute un passant. "
"Les autres cibles ne bougent pas ; tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-05T10:45Z', '2026-10-05T11:15Z',
"Un véhicule passe devant PB4 et PA3_2, vu en transparence avec ses feux sur leurs vignettes de 11:00 : PA3_2, PA_9 et PB4 sont rejetées le temps d'une mesure. "
"Les autres cibles ne bougent pas ; tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-07T12:30Z', '2026-10-07T13:00Z',
"Les feux d'un véhicule apparaissent près de PB4 et de la référence R2 (vignettes de 12:45, absents à 12:30) : PB4 et R2 sont rejetées le temps d'une mesure. "
"Les autres cibles ne bougent pas ; tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-08T12:00Z', '2026-10-08T12:30Z',
"Un véhicule passe devant PA3_2, PB4 et la référence R2, vu en transparence (roue, feux) sur leurs vignettes de 12:15 : PA3_2, PA_9 et PB4 sont rejetées le temps d'une mesure, avec R2. "
"Les autres cibles ne bougent pas ; tout revient à la mesure suivante. L'ouvrage ne bouge pas : point à ignorer.")
ajout('WILDSTRUBEL', '2026-10-08T12:30Z', '2026-10-08T13:00Z',
"Le temps d'une mesure, PB1_2 et PB2_2 sont rejetées ensemble, avec la référence R2 : sur leurs vignettes de 12:45, des silhouettes floues passent en transparence sur le trottoir, "
"sans doute des passants. Tout revient à la mesure suivante pour ces cibles ; le palier de 13:00 vient de la référence PA1_2 (étiquette à part). L'ouvrage ne bouge pas : point à ignorer.")
with open(f'{D}/modifications.jsonl', 'w') as f:
for o in out: f.write(json.dumps(o, ensure_ascii=False) + '\n')
print(len(out), 'lignes :', sum(o['action'] == 'modifier' for o in out), 'modifiées,', sum(o['action'] == 'ajouter' for o in out), 'ajoutées')
@@ -0,0 +1,15 @@
"""NIEDERHORN : pour chaque étiquette de la plante dont l'image n'a pas été regardée,
les heures où PWD_IMP_B07_016_C09 est rejetée (error_value > seuil) dans la plage."""
import csv, glob, json
from datetime import datetime
def t(s): return datetime.fromisoformat(s.replace('Z', '+00:00'))
ev = {}
for p in glob.glob('data/NIEDERHORN/displacement/NIEDERHORN_advanced_*.csv'):
for r in csv.DictReader(open(p)):
if r['sensor_name'].strip() == 'PWD_IMP_B07_016_C09':
ev[datetime.fromisoformat(r['time_utc']).replace(minute=0, second=0, microsecond=0)] = float(r['error_value']) > float(r['error_threshold'])
for n, l in enumerate(open('labeling/auto/NIEDERHORN.jsonl'), 1):
e = json.loads(l)
if e['categorie'] == 'Obstruction' and "n'a pas été regardée" in e['description']:
d0, d1 = t(e['debut']), t(e['fin'])
print(f"NIEDERHORN#{n}", e['debut'], e['fin'], [f'{i:%dT%H}' for i in sorted(ev) if d0 < i < d1 and ev[i]])
@@ -0,0 +1,6 @@
"""Affiche en entier les étiquettes automatiques données par id (STATION#ligne)."""
import json, sys
for i in sys.argv[1:]:
st, n = i.split('#')
e = json.loads(open(f'labeling/auto/{st}.jsonl').readlines()[int(n) - 1])
print(f"== {i} {e['debut']} -> {e['fin']} {e['categorie']}\n{e['description']}\n")