Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)
- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a cross-review per family across all stations (new skill /cross-review-labels), a finishing pass, and descriptions rewritten in words (no numeric values). - The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10) labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors. - Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md (settled boundaries), connaissances/ (notes moved from docs/, links updated), the label map rebuilt from reviewed labels, events and cases; events tied to their stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/. - labels-map reads auto labels and events; decision D-130; living plan points 73-75. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8e1cfc52c9
commit
35b5ed4d74
298 files changed
+30413
-960
No files matched your search
@@ -1,6 +1,6 @@
|
||||
---
|
||||
name: labels-map
|
||||
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues de l'expert (labeling/manual/*.jsonl) — les phénomènes qu'il a étiquetés, ce qu'on voit pour chacun, comment il en a su la cause, ses règles de lecture et ses faux amis, chaque phrase sourcée par ses étiquettes. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels).
|
||||
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues (celles de l'expert, labeling/manual/, et les automatiques revues, labeling/auto/), des events (events/) et des cas de labeling/connaissances/ — les phénomènes, ce qu'on voit pour chacun, comment on en a su la cause, les règles de lecture et les faux amis, chaque phrase sourcée. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels, /review-auto-labels, /cross-review-labels).
|
||||
disable-model-invocation: true
|
||||
---
|
||||
|
||||
@@ -12,7 +12,9 @@ La carte est **dérivée** des étiquettes : elle se refait en entier à chaque
|
||||
|
||||
## 1. Lire les étiquettes
|
||||
|
||||
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste et validées par l'expert (`/review-auto-labels`, D-128) ; elles entrent dans la carte comme les siennes, avec la même clé.
|
||||
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste (`/review-auto-labels`, `/cross-review-labels`, D-128, D-130) ; elles entrent dans la carte avec la même clé, mais l'expert prime : une contradiction avec lui va en section 6, pas dans la fiche. Elles sont près d'un millier : lis-les par famille (la table de la dernière revue croisée, `labeling/auto/revue-croisee/<date>/outils/table.py`), et pars des sections « Phénomènes » et « Nouveaux cas » des revues, qui les ont déjà rangées.
|
||||
|
||||
**Les events et les cas** : les events (`events/INDEX.md`, puis `events/E-xxx/event.md`, clé `[E-xxx]`) sont des cas de ces mêmes stations, aux noms codés : rattache chacun à sa station et à ses étiquettes par ses dates et sa signature, et cite-les ensemble. Les cas de `labeling/connaissances/` (cas annotés par l'expert, incident de Barcelone, cycle thermique) entrent de même. Quand un event, l'expert et une étiquette automatique se lisent différemment, compile au plus près de la réalité : les données tranchent (`lire-les-donnees`), l'expert prime sauf si elles le démentent, et le point va en section 6 comme question à l'expert. Toute la connaissance métier du labeling est dans `labeling/` : ce qu'un event apprend entre dans la carte.
|
||||
|
||||
Chaque étiquette a une **clé** courte, qui sert de source partout dans la carte : `STATION JJ.MM HH:MM` (son `debut`, UTC), par exemple `NIEDERHORN 30.09 21:00`.
|
||||
|
||||
@@ -39,7 +41,7 @@ Un phénomène est **ce qui arrive**, au niveau où l'expert l'explique : « un
|
||||
- **La cause, et comment l'expert l'a sue** : vue (sur quelle image), ou déduite (de quoi) ; ou « non établie ».
|
||||
- **Ce qu'on en conclut** : pour l'ouvrage et pour les mesures (rien à faire, zone à ignorer, à vérifier, intervention).
|
||||
- **Variantes** : ce qui change d'une étiquette à l'autre (plus fort, moins de capteurs, combiné à autre chose).
|
||||
- **Étiquettes** : les clés, la principale d'abord ; « (une station) » si toutes viennent de la même.
|
||||
- **Étiquettes** : toutes les clés de l'expert, la principale d'abord ; des automatiques, au plus six exemples, les plus nets, de stations différentes si possible, puis leur compte par station (« et 41 autres : NORDEND 22, WILDSTRUBEL 12, SNCF01 7 ») ; puis les events ; « (une station) » si toutes viennent de la même.
|
||||
```
|
||||
|
||||
Chaque phrase vient d'une étiquette au moins ; quand elle n'en vient que d'une parmi plusieurs, sa clé suit la phrase entre crochets. Les mots de l'expert sont gardés, son incertitude aussi (« sans doute », « peut-être », « non établi ») : ne la change ni en certitude ni en doute.
|
||||
@@ -70,5 +72,5 @@ Puis rends à l'utilisateur, court : le nombre de phénomènes, de règles, de f
|
||||
## Règles
|
||||
|
||||
- Tu n'écris que `labeling/carte-des-etiquettes.md` ; les étiquettes et la carte des événements ne se modifient pas ici.
|
||||
- Rien que ce que disent les étiquettes : ni la documentation, ni les données, ni les events ; la carte est la mémoire de l'expert, pas une synthèse du projet. La carte des événements ne sert qu'aux noms des familles et à la section 5.
|
||||
- Rien que ce que disent les étiquettes revues, les events et les cas de `labeling/connaissances/` ; les données seulement pour trancher une contradiction. La carte est la mémoire de ce qui a été étiqueté, pas une synthèse du projet. La carte des événements sert aux noms des familles, à ses faux amis et à la section 5.
|
||||
- Vocabulaire des conclusions : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` quand il faut qualifier ; pas de pseudo-probabilités.
|
||||
@@ -1,36 +1,51 @@
|
||||
"""Contrôle de la carte des étiquettes face à labeling/manual/*.jsonl (skill labels-map).
|
||||
"""Contrôle de la carte des étiquettes (skill labels-map).
|
||||
|
||||
python3 .claude/skills/labels-map/controle.py
|
||||
Rend : clés citées inconnues, étiquettes revues absentes, où chaque étiquette est citée,
|
||||
les chiffres hors clés (à justifier un par un : nom de capteur, heure d'une image).
|
||||
Rend : clés citées inconnues (ni étiquette de l'expert, ni automatique), events cités inconnus,
|
||||
étiquettes revues de l'expert absentes, où chaque étiquette de l'expert est citée,
|
||||
les chiffres hors clés et hors comptes « et N autres » (à justifier un par un : nom de capteur, heure d'une image).
|
||||
Les étiquettes automatiques ne sont citées qu'en exemples : leur absence n'est pas une erreur.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
|
||||
CLE = r"[A-Z][A-Z_]{3,} \d\d\.\d\d \d\d:\d\d"
|
||||
CLE = r"[A-Z][A-Z0-9_]{3,} \d\d\.\d\d \d\d:\d\d"
|
||||
EVENT = r"E-\d{3}"
|
||||
|
||||
|
||||
def cle(station, debut):
|
||||
return f"{station} {debut[8:10]}.{debut[5:7]} {debut[11:16]}"
|
||||
|
||||
|
||||
revues = {}
|
||||
for chemin in sorted(glob.glob("labeling/manual/*.jsonl")):
|
||||
station = os.path.basename(chemin)[: -len(".jsonl")]
|
||||
for ligne in open(chemin, encoding="utf-8"):
|
||||
e = json.loads(ligne)
|
||||
revues[cle(station, e["debut"])] = "revue" in e
|
||||
def lire(motif):
|
||||
cles = {}
|
||||
for chemin in sorted(glob.glob(motif)):
|
||||
station = os.path.basename(chemin)[: -len(".jsonl")]
|
||||
for ligne in open(chemin, encoding="utf-8"):
|
||||
if ligne.strip():
|
||||
e = json.loads(ligne)
|
||||
cles[cle(station, e["debut"])] = "revue" in e
|
||||
return cles
|
||||
|
||||
|
||||
expert = lire("labeling/manual/*.jsonl")
|
||||
auto = lire("labeling/auto/*.jsonl")
|
||||
events = set(re.findall(EVENT, open("events/INDEX.md", encoding="utf-8").read()))
|
||||
|
||||
carte = open("labeling/carte-des-etiquettes.md", encoding="utf-8").read()
|
||||
citees = set(re.findall(CLE, carte))
|
||||
print("Clés inconnues :", sorted(citees - set(revues)) or "aucune")
|
||||
print("Revues absentes :", [k for k, r in revues.items() if r and k not in citees] or "aucune")
|
||||
print("Clés inconnues :", sorted(citees - set(expert) - set(auto)) or "aucune")
|
||||
print("Events inconnus :", sorted(set(re.findall(EVENT, carte)) - events) or "aucun")
|
||||
print("Revues de l'expert absentes :", [k for k, r in expert.items() if r and k not in citees] or "aucune")
|
||||
print("Automatiques citées :", len(citees & set(auto)), "sur", len(auto))
|
||||
sections = re.split(r"\n(?=#{2,4} )", carte)
|
||||
for k in sorted(revues):
|
||||
for k in sorted(expert):
|
||||
titres = [s.splitlines()[0].lstrip("# ")[:40] for s in sections if k in s]
|
||||
print(f" {k}{'' if revues[k] else ' (non revue)'} : {' | '.join(titres)}")
|
||||
print(f" {k}{'' if expert[k] else ' (non revue)'} : {' | '.join(titres)}")
|
||||
reste = re.sub(CLE, "", carte)
|
||||
reste = re.sub(EVENT, "", reste)
|
||||
reste = re.sub(r"et \d+ autres?\s*:[^)\n]*", "", reste)
|
||||
print("Chiffres hors clés :", sorted(set(re.findall(r"\S*\d\S*", reste))))
|
||||
print(len(carte.splitlines()), "lignes")
|
||||
Reference in new issue
Block a user