Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)

- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 08:21:57 +01:00
1 parent 8e1cfc52c9
commit 35b5ed4d74
298 files changed
+30413 -960

No files matched your search

+6 -4
View File
@@ -1,6 +1,6 @@
---
name: labels-map
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues de l'expert (labeling/manual/*.jsonl) — les phénomènes qu'il a étiquetés, ce qu'on voit pour chacun, comment il en a su la cause, ses règles de lecture et ses faux amis, chaque phrase sourcée par ses étiquettes. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels).
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues (celles de l'expert, labeling/manual/, et les automatiques revues, labeling/auto/), des events (events/) et des cas de labeling/connaissances/ — les phénomènes, ce qu'on voit pour chacun, comment on en a su la cause, les règles de lecture et les faux amis, chaque phrase sourcée. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels, /review-auto-labels, /cross-review-labels).
disable-model-invocation: true
---
@@ -12,7 +12,9 @@ La carte est **dérivée** des étiquettes : elle se refait en entier à chaque
## 1. Lire les étiquettes
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste et validées par l'expert (`/review-auto-labels`, D-128) ; elles entrent dans la carte comme les siennes, avec la même clé.
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste (`/review-auto-labels`, `/cross-review-labels`, D-128, D-130) ; elles entrent dans la carte avec la même clé, mais l'expert prime : une contradiction avec lui va en section 6, pas dans la fiche. Elles sont près d'un millier : lis-les par famille (la table de la dernière revue croisée, `labeling/auto/revue-croisee/<date>/outils/table.py`), et pars des sections « Phénomènes » et « Nouveaux cas » des revues, qui les ont déjà rangées.
**Les events et les cas** : les events (`events/INDEX.md`, puis `events/E-xxx/event.md`, clé `[E-xxx]`) sont des cas de ces mêmes stations, aux noms codés : rattache chacun à sa station et à ses étiquettes par ses dates et sa signature, et cite-les ensemble. Les cas de `labeling/connaissances/` (cas annotés par l'expert, incident de Barcelone, cycle thermique) entrent de même. Quand un event, l'expert et une étiquette automatique se lisent différemment, compile au plus près de la réalité : les données tranchent (`lire-les-donnees`), l'expert prime sauf si elles le démentent, et le point va en section 6 comme question à l'expert. Toute la connaissance métier du labeling est dans `labeling/` : ce qu'un event apprend entre dans la carte.
Chaque étiquette a une **clé** courte, qui sert de source partout dans la carte : `STATION JJ.MM HH:MM` (son `debut`, UTC), par exemple `NIEDERHORN 30.09 21:00`.
@@ -39,7 +41,7 @@ Un phénomène est **ce qui arrive**, au niveau où l'expert l'explique : « un
- **La cause, et comment l'expert l'a sue** : vue (sur quelle image), ou déduite (de quoi) ; ou « non établie ».
- **Ce qu'on en conclut** : pour l'ouvrage et pour les mesures (rien à faire, zone à ignorer, à vérifier, intervention).
- **Variantes** : ce qui change d'une étiquette à l'autre (plus fort, moins de capteurs, combiné à autre chose).
- **Étiquettes** : les clés, la principale d'abord ; « (une station) » si toutes viennent de la même.
- **Étiquettes** : toutes les clés de l'expert, la principale d'abord ; des automatiques, au plus six exemples, les plus nets, de stations différentes si possible, puis leur compte par station (« et 41 autres : NORDEND 22, WILDSTRUBEL 12, SNCF01 7 ») ; puis les events ; « (une station) » si toutes viennent de la même.
```
Chaque phrase vient d'une étiquette au moins ; quand elle n'en vient que d'une parmi plusieurs, sa clé suit la phrase entre crochets. Les mots de l'expert sont gardés, son incertitude aussi (« sans doute », « peut-être », « non établi ») : ne la change ni en certitude ni en doute.
@@ -70,5 +72,5 @@ Puis rends à l'utilisateur, court : le nombre de phénomènes, de règles, de f
## Règles
- Tu n'écris que `labeling/carte-des-etiquettes.md` ; les étiquettes et la carte des événements ne se modifient pas ici.
- Rien que ce que disent les étiquettes : ni la documentation, ni les données, ni les events ; la carte est la mémoire de l'expert, pas une synthèse du projet. La carte des événements ne sert qu'aux noms des familles et à la section 5.
- Rien que ce que disent les étiquettes revues, les events et les cas de `labeling/connaissances/` ; les données seulement pour trancher une contradiction. La carte est la mémoire de ce qui a été étiqueté, pas une synthèse du projet. La carte des événements sert aux noms des familles, à ses faux amis et à la section 5.
- Vocabulaire des conclusions : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` quand il faut qualifier ; pas de pseudo-probabilités.
+29 -14
View File
@@ -1,36 +1,51 @@
"""Contrôle de la carte des étiquettes face à labeling/manual/*.jsonl (skill labels-map).
"""Contrôle de la carte des étiquettes (skill labels-map).
python3 .claude/skills/labels-map/controle.py
Rend : clés citées inconnues, étiquettes revues absentes, où chaque étiquette est citée,
les chiffres hors clés (à justifier un par un : nom de capteur, heure d'une image).
Rend : clés citées inconnues (ni étiquette de l'expert, ni automatique), events cités inconnus,
étiquettes revues de l'expert absentes, où chaque étiquette de l'expert est citée,
les chiffres hors clés et hors comptes « et N autres » (à justifier un par un : nom de capteur, heure d'une image).
Les étiquettes automatiques ne sont citées qu'en exemples : leur absence n'est pas une erreur.
"""
import glob
import json
import os
import re
CLE = r"[A-Z][A-Z_]{3,} \d\d\.\d\d \d\d:\d\d"
CLE = r"[A-Z][A-Z0-9_]{3,} \d\d\.\d\d \d\d:\d\d"
EVENT = r"E-\d{3}"
def cle(station, debut):
return f"{station} {debut[8:10]}.{debut[5:7]} {debut[11:16]}"
revues = {}
for chemin in sorted(glob.glob("labeling/manual/*.jsonl")):
station = os.path.basename(chemin)[: -len(".jsonl")]
for ligne in open(chemin, encoding="utf-8"):
e = json.loads(ligne)
revues[cle(station, e["debut"])] = "revue" in e
def lire(motif):
cles = {}
for chemin in sorted(glob.glob(motif)):
station = os.path.basename(chemin)[: -len(".jsonl")]
for ligne in open(chemin, encoding="utf-8"):
if ligne.strip():
e = json.loads(ligne)
cles[cle(station, e["debut"])] = "revue" in e
return cles
expert = lire("labeling/manual/*.jsonl")
auto = lire("labeling/auto/*.jsonl")
events = set(re.findall(EVENT, open("events/INDEX.md", encoding="utf-8").read()))
carte = open("labeling/carte-des-etiquettes.md", encoding="utf-8").read()
citees = set(re.findall(CLE, carte))
print("Clés inconnues :", sorted(citees - set(revues)) or "aucune")
print("Revues absentes :", [k for k, r in revues.items() if r and k not in citees] or "aucune")
print("Clés inconnues :", sorted(citees - set(expert) - set(auto)) or "aucune")
print("Events inconnus :", sorted(set(re.findall(EVENT, carte)) - events) or "aucun")
print("Revues de l'expert absentes :", [k for k, r in expert.items() if r and k not in citees] or "aucune")
print("Automatiques citées :", len(citees & set(auto)), "sur", len(auto))
sections = re.split(r"\n(?=#{2,4} )", carte)
for k in sorted(revues):
for k in sorted(expert):
titres = [s.splitlines()[0].lstrip("# ")[:40] for s in sections if k in s]
print(f" {k}{'' if revues[k] else ' (non revue)'} : {' | '.join(titres)}")
print(f" {k}{'' if expert[k] else ' (non revue)'} : {' | '.join(titres)}")
reste = re.sub(CLE, "", carte)
reste = re.sub(EVENT, "", reste)
reste = re.sub(r"et \d+ autres?\s*:[^)\n]*", "", reste)
print("Chiffres hors clés :", sorted(set(re.findall(r"\S*\d\S*", reste))))
print(len(carte.splitlines()), "lignes")