Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)

- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:21:57 +01:00
1 parent 8e1cfc52c9
commit 35b5ed4d74
298 files changed
+30413 -960

No files matched your search

@@ -0,0 +1,8 @@
{"id": "NIEDERHORN#9", "action": "modifier", "etiquette": {"debut": "2026-10-01T00:00Z", "fin": "2026-11-01T00:00Z", "categorie": "Target issue", "description": "PWD_RMP_B15_017_C09 est rejetée presque chaque nuit, du soir au matin local, jusqu'au 24.10 (sauf du 12 au 14), puis seulement quelques heures les nuits du 25 et du 27.10, et une dernière mesure le 28.10 à 00:00 UTC ; jusque-là sa courbe corrigée manque chaque nuit. Ensuite elle est gardée la nuit aussi, mais ses points de jour restent, jusqu'à la fin du lot, plus dispersés que ceux de ses voisines et changent de niveau d'un jour à l'autre. Vu sur les vignettes : la nuit, sous le projecteur, sa tache est saturée et étalée en croix, alors que de jour elle est petite et nette ; les voisines du même genre restent sous le seuil. Les rejets reviennent chaque nuit, quel que soit le temps : un problème de la cible (trop brillante sous l'éclairage), pas un mouvement. Vérifier son orientation ou l'éclairage ; ignorer sa courbe."}}
{"id": "NORDEND#20", "action": "modifier", "etiquette": {"debut": "2026-10-01T00:00Z", "fin": "2026-10-26T20:45Z", "categorie": "Target issue", "description": "PR04 : error_value habituelle plusieurs fois plus haute que celle de ses voisines, des rejets épars presque chaque jour, de jour comme de nuit, et des courbes corrigées deux fois plus bruitées ; la cible n'est pas cachée sur les images. C'est la suite d'une gêne plus forte en septembre, où elle était presque toujours rejetée. Après la pluie du 24 au 25, son error_value retombe au niveau des autres dans la journée du 26, après un dernier écart en début de soirée, et les rejets cessent : la cible (ou ce qui la salissait) s'est sans doute nettoyée. Ensuite ses courbes, calmes, restent plus bas qu'au début du mois, en corr_x et en corr_y, jusqu'à la fin du lot : le niveau mesuré pendant la gêne n'est pas une référence. Cause non établie au-delà. Ne pas croire sa courbe sur la plage ; vérifier la cible si cela revient."}}
{"id": "CLARIDEN#35", "action": "modifier", "etiquette": {"debut": "2026-10-27T12:00Z", "fin": "2026-10-27T12:20Z", "categorie": "Target issue", "description": "Le temps d'une mesure, la cible PR-284 saute de plusieurs pixels en horizontal et en vertical, puis revient : la position mesurée a quitté sa tache, avec une erreur de reconnaissance haute mais sous le seuil, donc gardée dans la courbe. Depuis le 24 octobre vers 14:20, la tache de PR-284 est nettement plus faible (vignettes du 24 à 12:00 et 16:00, du 27 à 12:00) et son erreur de reconnaissance est restée haute. Point faux à ignorer ; regarder l'état de la cible PR-284 si les faux points se répètent."}}
{"id": "CLARIDEN#38", "action": "modifier", "etiquette": {"debut": "2026-10-29T23:45Z", "fin": "2026-10-30T00:15Z", "categorie": "Target issue", "description": "À minuit, D-302-B saute en vertical et un peu en horizontal et reste à ce nouveau niveau jusqu'à la fin du lot ; PR_BG, sur le même prisme, saute en sens inverse. Les positions brutes des deux capteurs ne bougent pas, seule leur position de départ a changé (le déplacement relatif saute sans mouvement dans l'image) : un changement de configuration ou de traitement de ces deux capteurs, pas un mouvement de l'ouvrage. Vérifier leur configuration avec l'exploitant ; ne pas lire ce saut comme un mouvement, ni comparer leurs courbes d'avant et d'après."}}
{"id": "SNCF01#8", "action": "retirer", "raison": "F4.2 n'est pas une cible constamment problématique : son error_value vit juste sous son seuil comme celle de CV.2, CV.8 et CV.9, et sur ses 115 rejets du lot, 112 tombent dans des épisodes étiquetés (les nuits des 17 au 20/10, passages, gêne de jour) ; restent trois rejets isolés d'une mesure, étiquetés chacun à part. Une étiquette d'un mois pour trois points ne tient pas ses bornes."}
{"station": "SNCF01", "action": "ajouter", "etiquette": {"debut": "2026-10-19T13:30Z", "fin": "2026-10-19T14:00Z", "categorie": "Visibility", "description": "F4.2 est rejetée le temps d'une mesure, son erreur de reconnaissance juste au-dessus de son seuil, puis revient ; les autres cibles restent à leur niveau habituel. F4.2 vit juste sous son seuil tout le lot, comme CV.2, CV.8 et CV.9, et le franchit de loin en loin : cause non établie. Point à ignorer, rien à faire."}}
{"station": "SNCF01", "action": "ajouter", "etiquette": {"debut": "2026-10-30T21:30Z", "fin": "2026-10-30T22:00Z", "categorie": "Visibility", "description": "F4.2 est rejetée le temps d'une mesure, son erreur de reconnaissance juste au-dessus de son seuil, puis revient ; les autres cibles restent à leur niveau habituel. F4.2 vit juste sous son seuil tout le lot, comme CV.2, CV.8 et CV.9, et le franchit de loin en loin : cause non établie. Point à ignorer, rien à faire."}}
{"station": "SNCF01", "action": "ajouter", "etiquette": {"debut": "2026-10-31T07:00Z", "fin": "2026-10-31T07:30Z", "categorie": "Visibility", "description": "F4.2 est rejetée le temps d'une mesure, son erreur de reconnaissance juste au-dessus de son seuil, puis revient ; les autres cibles restent à leur niveau habituel. F4.2 vit juste sous son seuil tout le lot, comme CV.2, CV.8 et CV.9, et le franchit de loin en loin : cause non établie. Point à ignorer, rien à faire."}}
@@ -0,0 +1,22 @@
"""Pour une cible, dans quelles étiquettes (Visibility, Obstruction, No data de moins de trois jours) tombent ses rejets, et si l'étiquette la nomme.
Usage : python3 dans.py STATION CAPTEUR [DEBUT] [FIN]"""
import csv, glob, json, sys, collections
from datetime import datetime
st, cap = sys.argv[1], sys.argv[2]
d0, d1 = (sys.argv[3:5] + ['2026-10-01', '2026-11-01'])[:2] if len(sys.argv) > 3 else ('2026-10-01', '2026-11-01')
t = lambda s: datetime.fromisoformat(s.replace('Z', '+00:00').replace(' ', 'T'))
lab = [(n, json.loads(l)) for n, l in enumerate(open(f'labeling/auto/{st}.jsonl'), 1) if l.strip()]
lab = [(n, e, t(e['debut']), t(e['fin'])) for n, e in lab if e['categorie'] in ('Visibility', 'Obstruction', 'No data') and (t(e['fin']) - t(e['debut'])).days < 3]
c = collections.Counter(); hors = []
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_2026*.csv')):
for l in csv.DictReader(open(p)):
if l['sensor_name'].strip() != cap or not l['error_value'] or float(l['error_value']) <= float(l['error_threshold']): continue
i = t(l['time_utc'][:19] + '+00:00')
if not (t(d0 + 'T00:00Z') <= i < t(d1 + 'T00:00Z')): continue
k = [n for n, e, a, b in lab if a < i < b]
if k: c[k[0]] += 1
else: hors.append(i.strftime('%m-%d %H:%M'))
d = {n: e for n, e, a, b in lab}
for n, k in sorted(c.items()):
e = d[n]; print(f"#{n}\t{k}\t{e['categorie']}\t{e['debut']}\t{e['fin']}\t{'nommée' if cap in e['description'] else 'NON NOMMÉE'}\t{e['description'][:90]}")
print('hors étiquettes :', len(hors), ' '.join(hors))
@@ -0,0 +1,23 @@
"""Frise des rejets d'une cible, jour par jour et heure par heure (UTC), avec la médiane du jour de error_value / seuil.
Usage : python3 frise.py STATION CAPTEUR [DEBUT AAAAMMJJ] [FIN AAAAMMJJ]
Par heure : '#' plus de la moitié des mesures rejetées, '+' au moins une, '.' aucune, ' ' pas de mesure."""
import csv, glob, re, sys, collections, statistics
st, cap = sys.argv[1], sys.argv[2]
d0, d1 = (sys.argv[3:5] + ['20260901', '20261031'])[:2] if len(sys.argv) > 3 else ('20260901', '20261031')
n = collections.Counter(); r = collections.Counter(); ev = collections.defaultdict(list)
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_*.csv')):
m = re.search(r'_advanced_(\d{8})\.csv$', p)
if not m or not (d0 <= m.group(1) <= d1): continue
vus = set()
for l in csv.DictReader(open(p)):
if l['sensor_name'].strip() != cap or not l['error_value']: continue
if l['time_utc'][:16] in vus: continue
vus.add(l['time_utc'][:16])
j, h = l['time_utc'][:10], int(l['time_utc'][11:13])
e, s = float(l['error_value']), float(l['error_threshold'])
n[j, h] += 1; ev[j].append(e / s)
if e > s: r[j, h] += 1
print('jour ' + ''.join(str(h % 10) for h in range(24)) + ' ev/seuil (médiane du jour)')
for j in sorted(ev):
f = ''.join(' ' if not n[j, h] else '#' if r[j, h] > n[j, h] / 2 else '+' if r[j, h] else '.' for h in range(24))
print(f'{j} {f} {statistics.median(ev[j]):.2f}')
@@ -0,0 +1,21 @@
"""Écart de jour d'une cible : par jour, médiane de corr_x et corr_y aux heures de jour (H1-H2 UTC) moins celle de la nuit d'avant (00-03 UTC), et médiane de error_value / seuil de jour.
Usage : python3 jour_nuit.py STATION H1 H2 CAPTEUR [CAPTEUR...] (mesures acceptées seulement)."""
import csv, glob, re, sys, collections, statistics as S
st, h1, h2, caps = sys.argv[1], int(sys.argv[2]), int(sys.argv[3]), sys.argv[4:]
v = collections.defaultdict(list)
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_2026*.csv')):
if not re.search(r'_advanced_\d{8}\.csv$', p): continue
for l in csv.DictReader(open(p)):
c = l['sensor_name'].strip()
if c not in caps or not l['corr_x']: continue
j, h = l['time_utc'][:10], int(l['time_utc'][11:13])
k = 'j' if h1 <= h < h2 else 'n' if h < 3 else None
if k: v[c, j, k].append((float(l['corr_x']), float(l['corr_y']), float(l['error_value']) / float(l['error_threshold'])))
jours = sorted({j for _, j, _ in v})
print('jour ' + ''.join(f'{c:>24}' for c in caps) + ' (dx, dy jour - nuit ; ev/seuil de jour)')
for j in jours:
r = []
for c in caps:
a, b = v.get((c, j, 'j')), v.get((c, j, 'n'))
r.append(f"{S.median(x[0] for x in a) - S.median(x[0] for x in b):+7.3f}{S.median(x[1] for x in a) - S.median(x[1] for x in b):+7.3f}{S.median(x[2] for x in a):6.2f} " if a and b else ' ' * 24)
print(j, ''.join(r))
@@ -0,0 +1,32 @@
"""Écrit <sortie>/modifications.jsonl de la revue croisée Target issue, à partir des étiquettes actuelles de labeling/auto/."""
import json, os
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
def lab(i):
st, n = i.split('#'); e = json.loads(open(f'labeling/auto/{st}.jsonl').readlines()[int(n) - 1])
e.pop('revue', None); return e
m = []
e = lab('NIEDERHORN#9')
e['description'] = ("PWD_RMP_B15_017_C09 est rejetée presque chaque nuit, du soir au matin local, jusqu'au 24.10 (sauf du 12 au 14), puis seulement quelques heures les nuits du 25 et du 27.10, et une dernière mesure le 28.10 à 00:00 UTC ; jusque-là sa courbe corrigée manque chaque nuit. "
"Ensuite elle est gardée la nuit aussi, mais ses points de jour restent, jusqu'à la fin du lot, plus dispersés que ceux de ses voisines et changent de niveau d'un jour à l'autre. "
"Vu sur les vignettes : la nuit, sous le projecteur, sa tache est saturée et étalée en croix, alors que de jour elle est petite et nette ; les voisines du même genre restent sous le seuil. "
"Les rejets reviennent chaque nuit, quel que soit le temps : un problème de la cible (trop brillante sous l'éclairage), pas un mouvement. Vérifier son orientation ou l'éclairage ; ignorer sa courbe.")
m.append({'id': 'NIEDERHORN#9', 'action': 'modifier', 'etiquette': e})
e = lab('NORDEND#20')
e['description'] = e['description'].replace("s'est sans doute nettoyée.", "s'est sans doute nettoyée. Ensuite ses courbes, calmes, restent plus bas qu'au début du mois, en corr_x et en corr_y, jusqu'à la fin du lot : le niveau mesuré pendant la gêne n'est pas une référence.")
m.append({'id': 'NORDEND#20', 'action': 'modifier', 'etiquette': e})
e = lab('CLARIDEN#35')
e['fin'] = '2026-10-27T12:20Z'
e['description'] = e['description'].replace('haute mais juste sous le seuil', 'haute mais sous le seuil')
m.append({'id': 'CLARIDEN#35', 'action': 'modifier', 'etiquette': e})
e = lab('CLARIDEN#38')
e['categorie'] = 'Target issue'
e['description'] = e['description'].replace("un changement de configuration ou de traitement, pas un mouvement de l'ouvrage. À vérifier avec l'exploitant ; ne pas lire ce saut comme un mouvement.",
"un changement de configuration ou de traitement de ces deux capteurs, pas un mouvement de l'ouvrage. Vérifier leur configuration avec l'exploitant ; ne pas lire ce saut comme un mouvement, ni comparer leurs courbes d'avant et d'après.")
m.append({'id': 'CLARIDEN#38', 'action': 'modifier', 'etiquette': e})
m.append({'id': 'SNCF01#8', 'action': 'retirer', 'raison': "F4.2 n'est pas une cible constamment problématique : son error_value vit juste sous son seuil comme celle de CV.2, CV.8 et CV.9, et sur ses 115 rejets du lot, 112 tombent dans des épisodes étiquetés (les nuits des 17 au 20/10, passages, gêne de jour) ; restent trois rejets isolés d'une mesure, étiquetés chacun à part. Une étiquette d'un mois pour trois points ne tient pas ses bornes."})
d = ("F4.2 est rejetée le temps d'une mesure, son erreur de reconnaissance juste au-dessus de son seuil, puis revient ; les autres cibles restent à leur niveau habituel. "
"F4.2 vit juste sous son seuil tout le lot, comme CV.2, CV.8 et CV.9, et le franchit de loin en loin : cause non établie. Point à ignorer, rien à faire.")
for a, b in [('2026-10-19T13:30Z', '2026-10-19T14:00Z'), ('2026-10-30T21:30Z', '2026-10-30T22:00Z'), ('2026-10-31T07:00Z', '2026-10-31T07:30Z')]:
m.append({'station': 'SNCF01', 'action': 'ajouter', 'etiquette': {'debut': a, 'fin': b, 'categorie': 'Visibility', 'description': d}})
open(f'{ici}/modifications.jsonl', 'w').writelines(json.dumps(x, ensure_ascii=False) + '\n' for x in m)
for x in m: print(x.get('id', x.get('station')), x['action'], (x.get('etiquette') or {}).get('categorie', ''))
@@ -0,0 +1,38 @@
"""Rejets par cible et par jour, toutes les stations étiquetées, du 2026-09-01 au 2026-10-31 (fichiers <STATION>_advanced_AAAAMMJJ.csv seulement).
Une cible (pattern_type != global_ref, sans reproj_err ; noms nettoyés de leurs fins de ligne) est rejetée quand error_value > error_threshold.
Écrit <sortie>/rejets.tsv : station, capteur, jours lus, taux de rejet du lot d'octobre, jours d'octobre à plus de 25 % rejetés,
heures UTC où tombent ses rejets (les 6 plus fréquentes), seuil, médiane de error_value / seuil, et la liste jour par jour (taux en %)."""
import csv, glob, os, re, collections, statistics, sys
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
stations = sys.argv[1:] or ['BREITHORN', 'CLARIDEN', 'FLORIDA', 'JUNGFRAU', 'LENZSPITZE', 'MICHIGAN', 'NEBRASKA',
'NIEDERHORN', 'NORDEND', 'SNCF01', 'WILDSTRUBEL']
out = open(f'{ici}/rejets.tsv', 'w')
out.write('station\tcapteur\ttype\tjours_oct\ttaux_oct\tjours_25pc\theures_rejets\tseuil\tev_sur_seuil\tpar_jour\n')
for st in stations:
n = collections.defaultdict(lambda: collections.Counter()); r = collections.defaultdict(lambda: collections.Counter())
h = collections.defaultdict(collections.Counter); ev = collections.defaultdict(list); seuil = {}; typ = {}
for p in sorted(glob.glob(f'data/{st}/displacement/{st}_advanced_*.csv')):
m = re.search(r'_advanced_(\d{8})\.csv$', p)
if not m or not ('20260901' <= m.group(1) <= '20261031'): continue
vus = set()
for l in csv.DictReader(open(p)):
if l['pattern_type'] == 'global_ref' or l['reproj_err'] or not l['error_value']: continue
l['sensor_name'] = l['sensor_name'].strip()
k = (l['time_utc'][:16], l['sensor_name'])
if k in vus: continue
vus.add(k)
c, j = l['sensor_name'], l['time_utc'][:10]
e, s = float(l['error_value']), float(l['error_threshold'])
n[c][j] += 1; seuil[c] = s; typ[c] = l['pattern_type']
if j >= '2026-10-01': ev[c].append(e / s)
if e > s:
r[c][j] += 1
if j >= '2026-10-01': h[c][l['time_utc'][11:13]] += 1
for c in sorted(n):
jo = [j for j in sorted(n[c]) if j >= '2026-10-01']
if not jo: continue
no, ro = sum(n[c][j] for j in jo), sum(r[c][j] for j in jo)
j25 = sum(1 for j in jo if r[c][j] > 0.25 * n[c][j])
pj = ' '.join(f"{j[5:]}:{round(100 * r[c][j] / n[c][j])}" for j in sorted(n[c]))
out.write(f"{st}\t{c}\t{typ[c]}\t{len(jo)}\t{ro / no:.2f}\t{j25}\t{','.join(x for x, _ in h[c].most_common(6))}\t{seuil[c]}\t{statistics.median(ev[c]):.2f}\t{pj}\n")
print(st, len(n))
@@ -0,0 +1,174 @@
# Revue croisée : Target issue, toutes les stations
## Bilan
- **29 étiquettes, 8 stations** (CLARIDEN 2, FLORIDA 2, JUNGFRAU 1, MICHIGAN 2, NEBRASKA 1, NIEDERHORN 12, NORDEND 2, SNCF01 7). Les 3 stations sans Target issue (BREITHORN, LENZSPITZE, WILDSTRUBEL) ont été vérifiées sur les données : aucune cible n'y est rejetée en permanence ou par ses propres rejets répétés (`rejets.tsv`). Il y a une exception, la référence R3 de WILDSTRUBEL (voir Nouveaux cas).
- **8 phénomènes** (ci-dessous). Le traitement est cohérent pour 6 d'entre eux. L'écart à SNCF01 (F4.2) et l'écart entre CLARIDEN et MICHIGAN (changement de configuration) sont corrigés.
- **Ce que je change** :
- **modifiées, 4** : NIEDERHORN#9 (description), NORDEND#20 (description), CLARIDEN#35 (fin), CLARIDEN#38 (famille Displacement → Target issue) ;
- **retirée, 1** : SNCF01#8 (F4.2) ;
- **ajoutées, 3** : les trois rejets isolés de F4.2, une mesure chacun, en Visibility comme ceux de CTR01 à NORDEND.
- **L'incohérence qui revient** : le mot « en permanence » est posé sur la seule `error_value` (une cible « au ras du seuil »), sans compter les rejets propres à la cible, c'est-à-dire ceux qui tombent hors des épisodes qu'elle partage avec ses voisines. C'est ce compte qui sépare une cible à problème d'une cible qui subit les gênes de la scène. Il tranche les trois questions posées (voir Règles tranchées).
- **Mesures** : `outils/rejets.py` donne le taux de rejet par cible et par jour, pour les 11 stations étiquetées, de septembre à octobre (`rejets.tsv`). `outils/frise.py` donne la frise heure par heure d'une cible. `outils/dans.py` range les rejets d'une cible entre les étiquettes Visibility, Obstruction et No data de moins de trois jours, et compte ceux qui tombent hors d'elles : ce sont ses **rejets propres**. `outils/jour_nuit.py` donne l'écart jour moins nuit d'une cible. `outils/modifications.py` écrit `modifications.jsonl`.
## Phénomènes
### Une cible rejetée à toutes ses mesures
- **Stations et étiquettes** :
- CLARIDEN#1 (P-300-B) ;
- JUNGFRAU#2 (PM_G) ;
- NIEDERHORN#2 à #8 (e03, e04, e05, e07, e08, e11, e12) ;
- SNCF01#1 (BG.1) et SNCF01#2 (F4.1).
- **Traitement** : cohérent. Chaque cible a une étiquette par lot, du début du lot (ou des données) à sa fin. Ces cibles ont toutes 100 % de rejets en octobre (`rejets.tsv`). La description dit la tache vue, et une cause non établie (configuration, seuil, prisme).
- **Décision** : aucune.
### Une cible marginale tout le lot : son error_value autour du seuil, une grande part de rejets propres
- **Stations et étiquettes** :
- FLORIDA#1 (Sellette 6 : 57 % de rejets, 1255 rejets propres) ;
- SNCF01#3 (CV.7 : 80 %) ;
- SNCF01#4 (F4.4 : 82 %) ;
- SNCF01#5 (F4.3 : 47 %, 599 propres sur 987) ;
- SNCF01#6 (CV.6 : 21 %, 350 propres sur 453) ;
- SNCF01#8 (F4.2).
- **Traitement** : incohérent pour SNCF01#8.
- F4.2 a 5 % de rejets, 115 en tout, dont **3 propres** : le 19/10 à 13:45, le 30/10 à 21:45 et le 31/10 à 07:15. Les 112 autres tombent dans les nuits du 17 au 20/10, les passages et les gênes de jour, qui sont déjà étiquetés.
- Sa médiane d'`error_value` / seuil vaut 0,94. CV.2, CV.8 et CV.9 ont 0,92 à 0,93 et aucun rejet propre, et elles n'ont pas de Target issue.
- **Décision** :
- Je retire SNCF01#8. Le niveau de F4.2 est celui de ses voisines, et la règle de l'expert dit qu'« une `error_value` haute n'est pas un problème en soi ». Une étiquette d'un mois pour trois points ne tient pas ses bornes.
- Les trois points ont chacun une étiquette d'une mesure. À ces instants, seules les cibles qui ont déjà une Target issue sont rejetées. Je les mets en Visibility, cause non établie, comme les rejets isolés de CTR01 juste au-dessus de son seuil (NORDEND#22 et #59).
### Une cible rejetée à heure fixe chaque nuit ou chaque jour
- **Stations et étiquettes** :
- NIEDERHORN#9 (PWD_RMP_B15_017_C09, la nuit) ;
- NIEDERHORN#10 (e01, le jour) ;
- NIEDERHORN#11 (PWD_IMP_B08_024_C09, le jour, jusqu'au 14.10 puis plus rarement) ;
- NIEDERHORN#70 (PWD_RMP_B12_019_C09, les nuits à partir du 15.10) ;
- NIEDERHORN#79 (PWD_IMP_B07_018_C09, les nuits à partir du 17.10).
- **À comparer** : à NORDEND, CTR01 en août et jusqu'au 15/10 a des épisodes Visibility (après-midi de soleil, nuits du bord gauche). À WILDSTRUBEL, PB1_2 est gênée de jour du 01 au 06/09, une Visibility par jour.
- **Traitement** : la famille est cohérente, la frontière est tranchée plus bas (Règles tranchées, question 1). Une description était fausse, celle de NIEDERHORN#9.
- Elle dit des rejets « presque chaque nuit » tout le mois. La frise montre des rejets de 00:00 à 13:00 UTC presque chaque nuit jusqu'au 24.10 (sauf du 12 au 14). Ensuite il n'y a plus que quelques heures les 25 et 27.10, et une mesure le 28.10 à 00:00. Les rejets du 28.10 à 14:00 et du 31.10 à 11:00 tombent dans des passages déjà étiquetés.
- Sa courbe de jour, elle, reste anormale jusqu'à la fin du lot : la médiane de jour de son corr_x va de −0,3 à −0,9 d'un jour à l'autre, quand celle de PWD_RMP_B15_018_C09 reste à ±0,1.
- **Décision** :
- NIEDERHORN#9 : je garde les bornes (la courbe ne revient pas) et je corrige la description (fin des rejets, dispersion jusqu'au 01.11).
- NIEDERHORN#11 : je la garde jusqu'au 01.11. Après le 15.10, il reste 11 rejets propres de jour, sur six journées (le 18, le 22, le 25, le 27, le 30 et le 31), juste au-dessus de son seuil de jour ; la description dit « puis plus rarement ».
- Les autres sont gardées telles quelles. Elles ont 51 à 191 rejets propres chacune.
### Une cible qui se dégrade à partir d'une date et ne revient pas
- **Stations et étiquettes** :
- FLORIDA#10 (Massif 2, à partir du 06.10) ;
- NORDEND#63 (CTR01, à partir du 16/10 à 19:00) ;
- NIEDERHORN#70 et #79 ;
- la tache de PR-284 à CLARIDEN, plus faible depuis le 24.10 (voir « Un faux point » ci-dessous).
- **Traitement** : cohérent. Le début est posé au changement de niveau de l'`error_value` de la cible, qui reste ensuite, et la fin à la fin du lot.
- CTR01 : 0 rejet propre du 01 au 16/10, puis 342 rejets propres. Sa médiane d'`error_value` / seuil passe de 0,50 à 0,75 avant le 16 à 0,81 à 2,16 ensuite, sans retour.
- Massif 2 est de nouveau gardée les 30 et 31.10, mais son corr_y reste décalé : la fin au 01.11 est juste.
- **Décision** : aucune.
### Une cible gênée, puis rétablie dans le lot
- **Stations et étiquettes** : NORDEND#20 (PR04).
- **Traitement** : bornes cohérentes avec la règle de fin (Règles tranchées, question 3b). PR04 a 120 rejets propres jusqu'au 26/10, puis aucun. Mais la description ne dit pas que ses courbes changent de niveau au retour.
- Ses niveaux de nuit du 27 au 31/10 sont plus bas qu'au début d'octobre : corr_x autour de +0,03 contre +0,08 à +0,10, corr_y de +0,08 à +0,11 contre +0,13 à +0,15.
- Ces niveaux restent stables jusqu'au 03/11, quand PR03 et PR05 ne bougent pas.
- PR04 n'a aucun niveau propre avant octobre dans les données : en septembre, elle est presque toujours rejetée.
- **Décision** :
- Je garde la fin au 26/10 à 20:45. Les courbes ne changent plus après, et il n'y a pas de niveau d'avant la gêne auquel les comparer.
- J'ajoute le nouveau niveau à la description.
### Une référence perdue pour de bon, sans cause visible
- **Stations et étiquettes** : MICHIGAN#3 (REFPOU22) et NEBRASKA#2 (REFCOLH22).
- **Traitement** : cohérent.
- Les deux références sont perdues à la même mesure (09.10, entre 08:00 et 12:00), dans le même bâtiment d'après l'expert.
- Les deux descriptions disent la cause commune à chercher, la base à deux références et le saut de toutes les cibles.
- Le début est la mesure d'avant (08:00), à une cadence de 4 h.
- JUNGFRAU REF_G est gênée par épisodes (un camion, la visibilité), chaque fois dans la famille de sa cause. C'est la même frontière que la question 1.
- **Décision** : aucune.
### Des capteurs mal configurés, ou dont la configuration change
- **Stations et étiquettes** : MICHIGAN#1 (COLH21' et REFH22', deux cibles posées sur le même point jusqu'au 05.10 à 16:00), CLARIDEN#1 (P-300-B, rejetée depuis un réglage de la station du 29.09) et **CLARIDEN#38** (en Displacement).
- **Traitement** : incohérent.
- À CLARIDEN, D-302-B et PR_BG sont deux cibles aux positions brutes identiques. Le 30.10 à 00:00, leur position de départ change sans aucun mouvement dans l'image. J'ai vérifié les positions brutes plates de 23:20 à 00:20, quand `relative_y` saute (+0,21 pour D-302-B, −0,07 pour PR_BG).
- La description dit déjà la cause : un changement de configuration ou de traitement. MICHIGAN range sa reconfiguration en Target issue (« mal configurée »), et CLARIDEN#1 aussi pour un réglage changé.
- **Décision** :
- CLARIDEN#38 passe en Target issue, avec les mêmes bornes. Displacement est la famille des sauts sans cause établie ; celui-ci a une cause déduite, la configuration des deux capteurs. La conclusion est complétée : vérifier leur configuration, ne pas comparer leurs courbes d'avant et d'après.
- Deux cibles posées sur un même point ne s'étiquettent pas pour elles-mêmes. Elles ne s'étiquettent que quand les courbes le montrent. C'est le cas à MICHIGAN : les deux cibles sont loin de leurs voisines, puis elles se séparent. Ce n'est pas le cas à CLARIDEN avant le 30.10.
### Un faux point d'une cible dont la tache a faibli
- **Stations et étiquettes** : CLARIDEN#35 (PR-284, 27.10 à 12:10).
- **Traitement** : la famille est cohérente, et la cause est l'état de la cible.
- L'`error_value` / seuil de PR-284 passe de 0,08 à 0,42 le 24.10 et y reste, alors que le bruit de ses courbes ne change pas. Le faux point est la seule trace de ce changement sur corr_x et corr_y.
- Les bornes sont fausses. La cadence est de 10 min (mesures de 12:00, 12:10, 12:20), et la mesure de 12:20 est revenue (corr_x +0,003, corr_y +0,013).
- Son `error_value` à 12:10 vaut 0,596 pour un seuil de 0,7 : elle est haute, mais pas « juste » sous le seuil.
- **Décision** : la fin passe à 12:20 et « juste » sort de la description.
## Règles tranchées
1. **Une cible rejetée chaque nuit ou chaque jour : une seule Target issue pour la plage, ou des épisodes d'une autre famille ?** Je retiens **une Target issue par cible, du début à la fin de son régime**, quand les deux conditions suivantes sont vraies :
- la cible a des rejets propres presque chaque jour (ou chaque nuit) de la plage, hors des épisodes qui touchent aussi ses voisines ;
- ces rejets reviennent quel que soit le temps, c'est-à-dire aussi les jours couverts ou de pluie, sous une condition qui est le régime normal de la station (le projecteur la nuit, la lumière du jour).
Je retiens **des épisodes dans la famille de la cause** quand les rejets suivent une condition qui varie d'un jour à l'autre et se voit sur les images (soleil, pluie, nuit de mauvaise visibilité), et que la cible n'a pas de rejets propres entre eux. On ne fait pas une Target issue par nuit : le défaut est celui de la cible, et la nuit n'est pas un événement.
Ce que j'ai mesuré :
- NIEDERHORN : e01 a 120 rejets propres et est rejetée aussi les jours de pluie (13, 25, 29.10). PWD_RMP_B15_017_C09 a 191 rejets propres.
- NORDEND : CTR01 n'a aucun rejet propre jusqu'au 16/10. D'après la revue NORDEND (vignette du 05/10 à 15:30), elle est rejetée 11 après-midi de soleil sur 15, roche en plein soleil, et n'est pas rejetée quand la roche est à l'ombre. La revue NORDEND a donc raison, et les deux stations suivent la même règle.
- WILDSTRUBEL : je garde les Visibility par jour de PB1_2 (01-06/09). Son écart de jour (corr_x −0,06 à −0,34 contre ±0,05 pour PB2_2 et PB4) va avec le plein soleil sur la bordure, dit chaque jour. Il disparaît après le 22/09 alors que les journées de turbulence continuent : il suit la lumière, comme CTR01.
2. **Une cible rejetée tout le mois : une étiquette par lot.**
- Vérifié sur les 11 stations : aucune autre cible n'a plusieurs étiquettes pour un même défaut dans un lot.
- Le début est celui du lot quand le défaut le précède. C'est le cas de CLARIDEN#1 (rejetée depuis le 29.09, étiquette au 01.10), de NORDEND#20 et de NIEDERHORN#11 (rejetée depuis le 26.09). Le début est celui des données à SNCF01 et MICHIGAN.
- Le lot d'août de NORDEND n'a pas de cible à problème (PR04 n'y est jamais rejetée).
3. **(a) Une cible au ras du seuil** : elle n'est pas une Target issue si elle n'a presque pas de rejets propres. Son niveau d'`error_value` seul ne suffit pas (la règle de l'expert, et CV.2, CV.8, CV.9 à SNCF01, e06 à NIEDERHORN avec 0 rejet propre sur 84, PM_C à JUNGFRAU, Sellette 4 et 5 à FLORIDA). Ses rejets isolés ont chacun leur étiquette d'une mesure. CV.6 et F4.3 restent en Target issue ; F4.2 en sort.
**(b) La fin d'une étiquette propre à une cible** se lit sur ses corr_x et corr_y, pas sur son `error_value` :
- la fin est le retour au niveau d'avant l'événement, comparé sur plusieurs nuits ;
- sans retour, l'étiquette court jusqu'à la fin du lot et le dit ;
- sans niveau d'avant dans les données, la fin est la mesure où les courbes cessent de changer, et la description dit le nouveau niveau.
Appliqué :
- NORDEND#37 (PR17, jusqu'au 01/11), FLORIDA#10 (Massif 2) et NIEDERHORN#9 : justes ;
- WILDSTRUBEL#12 (PB1_2) : juste, son niveau de nuit revient le 07/09 (+0,077 contre +0,05 à +0,07 avant le 03) ;
- NORDEND#20 (PR04) : je complète la description.
**(c) Les cibles jumelles de leurs références** ne s'étiquettent pas pour elles-mêmes. Elles se nomment avec leur référence dans les étiquettes qui la touchent, comme FLORIDA le fait (« p1_r (et sa jumelle Sellette 3) »). Je n'ai trouvé aucune autre station avec des jumelles. Les seuls capteurs à positions identiques sont les deux paires de cibles de MICHIGAN (jusqu'au 05.10) et de CLARIDEN (voir « Des capteurs mal configurés »).
## Étiquettes d'autres familles
- **CLARIDEN#38** : un changement de configuration de D-302-B et PR_BG. Il passe de Displacement à **Target issue** (voir ci-dessus).
- **SNCF01, trois ajouts en Visibility** : les rejets isolés de F4.2, sortis de SNCF01#8.
- **Vérifiées, gardées dans leur famille** :
- NORDEND#37 (PR17, Obstruction tout le mois) : la trace sur la vitre, devant la cible, est vue. Un obstacle vu devant une cible reste Obstruction même s'il dure, comme l'obstacle de CLARIDEN 18.09 de l'expert.
- NORDEND#82 (traces sur la vitre, Visibility) : plusieurs cibles et des références sont touchées.
- NORDEND#2 à #19 et #22 à #59 (CTR01 au soleil, Visibility) : règle 1.
- WILDSTRUBEL#3, 9, 14, 20, 29, 34 (PB1_2 de jour, Visibility) : règle 1.
- FLORIDA#4, 16, 19, 44, 45, 48, 49, 51, 54, 56 (r1_r, Visibility) : r1_r est rejetée par épisodes, 15 jours sur 31, surtout le matin, et plus du tout après le 28.10 ; entre les épisodes, son `error_value` est à son niveau. Elle n'est pas rejetée en permanence.
- FLORIDA#42 (Sellette 4, saut qui reste, Displacement) : un pas unique, cause non établie.
- NIEDERHORN#131 (Displacement du 30.10 à 02:00) : PWD_RMP_B16_026_C09 y est rejetée presque à chaque mesure (92 % le 30, 100 % le 31). Cela fait partie d'un changement de niveau de plusieurs cibles à la même mesure ; je le garde. Si ces rejets durent au lot suivant, c'est une Target issue à partir du 30.10.
## Nouveaux cas
- **Une cible marginale ou à problème se reconnaît à ses rejets propres, pas à son niveau d'`error_value`.**
- Ce qui se voit : des rejets hors des épisodes qu'elle partage avec ses voisines, presque chaque jour de la plage.
- Les étiquettes : NIEDERHORN#9 à #11, #70, #79 ; SNCF01#3 à #6 ; FLORIDA#1 ; NORDEND#20 et #63. Contre-exemples : SNCF01#8 (retirée), CV.2, CV.8, CV.9, e06.
- Source : `outils/dans.py`, `rejets.tsv`.
- **Une cible rejetée à heure fixe sous le régime de la station** (le projecteur la nuit, la lumière du jour).
- Ce qui se voit : NIEDERHORN#9, #10, #70, #79. Le test qui la sépare de la lumière (CTR01, PB1_2) : les rejets reviennent aussi les jours couverts ou de pluie.
- La carte n'a aucune fiche pour la famille Target issue.
- **Un changement de configuration d'un capteur.**
- Ce qui se voit : des capteurs déplacés (MICHIGAN#1), ou une position de départ changée, les positions brutes restant plates pendant que `relative_x`/`relative_y` sautent (CLARIDEN#38). C'est une Target issue.
- Frontière avec Displacement : la cause est déduite des positions brutes.
- **Une référence rejetée chaque jour, toute la journée** : R3 à WILDSTRUBEL.
- Ce qui se voit : R3 est rejetée de 04:00 à 15:30 environ, chaque jour du 29/08 au 09/10 (frise), le jour de l'étiquette de l'expert du 27.09 compris. C'est dit dans chaque Visibility de jour (turbulence).
- Je n'ajoute rien. Son effet sur les cibles ne se sépare pas de la turbulence, et l'expert dit ce jour « globalement bien compensé ».
- À trancher par l'expert : une Target issue pour une référence qui ne crée pas de trou ?
## Pour l'etiqueteur et `familles.md`
- **`familles.md`, frontière « Target issue ou Obstruction »** : à préciser ainsi.
- « Tout le temps » veut dire des rejets propres à la cible, hors des épisodes qu'elle partage avec ses voisines, presque chaque jour de la plage, aussi les jours couverts ou de pluie. Une seule étiquette par cible va alors du début à la fin de ce régime, même si les rejets ne tombent que la nuit ou que le jour.
- Des rejets qui ne viennent qu'avec une condition vue sur les images (soleil, pluie, nuit de mauvaise visibilité) sont des épisodes de la famille de cette condition.
- Un obstacle vu devant la cible reste Obstruction, même s'il dure.
- **`familles.md`, Target issue** : ajouter « une configuration changée (capteurs déplacés, position de départ changée, réglage) ». Le saut qui en vient n'est pas un Displacement.
- **L'etiqueteur, avant une Target issue** :
- compter, jour par jour, les rejets de la cible hors des épisodes déjà étiquetés. Une `error_value` juste sous le seuil, avec trois rejets isolés dans le mois, n'est pas une Target issue ;
- lire la fin sur corr_x et corr_y, sur plusieurs nuits, et dire dans la description quand les rejets s'arrêtent avant la fin de l'étiquette (NIEDERHORN#9) ;
- une étiquette par cible et par lot.
- **La carte** (pour le documentaliste) : une fiche Target issue avec ses formes. Ce sont les phénomènes de cette revue : rejetée toujours, marginale, à heure fixe, qui se dégrade, rétablie, référence perdue, configuration, faux point d'une tache affaiblie.
## Difficultés
- Des noms de capteurs de NIEDERHORN finissent par un retour à la ligne dans les CSV (`PWD_…_C09\n`). LENZSPITZE n'a pas de `pattern_type` pour ses références. Mes scripts nettoient les noms et lisent comme une référence toute ligne qui a `reproj_err`.
- Le compte des rejets propres (`dans.py`) exclut les étiquettes de passage de trois jours et plus (NORDEND#37, #82 ; WILDSTRUBEL, les coupures). Sans cela, l'Obstruction d'un mois de PR17 avale tous les rejets de NORDEND.
- Repéré en passant, hors de la question : 8 rejets de Massif 2 à FLORIDA, le 01.10 (07:30, 07:45) et le 02.10 (de 10:45 à 11:30, puis 21:45, 22:00), ne sont dans aucune étiquette. Ils tombent avant le début de FLORIDA#10 (06.10). Je ne les étiquette pas ici, leur cause est à lire sur les images.