Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)
- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a cross-review per family across all stations (new skill /cross-review-labels), a finishing pass, and descriptions rewritten in words (no numeric values). - The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10) labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors. - Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md (settled boundaries), connaissances/ (notes moved from docs/, links updated), the label map rebuilt from reviewed labels, events and cases; events tied to their stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/. - labels-map reads auto labels and events; decision D-130; living plan points 73-75. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8e1cfc52c9
commit
35b5ed4d74
298 files changed
+30413
-960
No files matched your search
@@ -15,10 +15,10 @@ Le chemin d'un fichier qui contient des **conclusions** (chacune : ce qui est ap
|
||||
|
||||
| Ce qui est appris | Fichier |
|
||||
|---|---|
|
||||
| le mécanisme : comment une mesure se fait, où une cause entre dans la chaîne, ce qu'elle touche, ses témoins | `docs/displacement/domaine/chaine-de-mesure.md` |
|
||||
| le mécanisme : comment une mesure se fait, où une cause entre dans la chaîne, ce qu'elle touche, ses témoins | `labeling/connaissances/chaine-de-mesure.md` |
|
||||
| une signature d'événement, une catégorie, un faux ami | `events/carte-des-evenements.md` |
|
||||
| une façon de lire les données (quel outil, quelle colonne regarder, dans quel ordre) | `.claude/skills/lire-les-donnees/SKILL.md` |
|
||||
| le sens d'une colonne, un piège des données | `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` |
|
||||
| le sens d'une colonne, un piège des données | `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` |
|
||||
|
||||
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni le code, ni les events de la base (`events/E-xxx/`), ni les consignes des agents. Une conclusion qui n'a pas sa place dans ces fichiers : ne l'écris pas, signale-la.
|
||||
|
||||
|
||||
@@ -20,14 +20,14 @@ Le dossier de station (`data/<STATION>/`) et le lot (début et fin, UTC). Sauf a
|
||||
- le dossier de station, par ces outils ou tes scripts, et ses images avec Read ;
|
||||
- `labeling/carte-des-etiquettes.md` (**en entier**) : les phénomènes de l'expert, ses règles de lecture, ses faux amis, le contexte des stations ;
|
||||
- `labeling/familles.md` (**en entier**) : les familles des étiquettes, leurs frontières, ce qui ne s'étiquette pas ;
|
||||
- `docs/displacement/domaine/chaine-de-mesure.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
|
||||
- `events/carte-des-evenements.md` et la base d'events comme le dit `.claude/skills/read-event/SKILL.md`.
|
||||
- `labeling/regles-d-etiquetage.md` (**en entier**) : comment poser une étiquette, bornes, un seul événement, description, cause dite ;
|
||||
- `labeling/connaissances/` : la chaîne de mesure, les colonnes des déplacements, les trous, les images de la caméra, le cycle thermique, les métriques de qualité d'image, les cas annotés par l'expert ; au moins `chaine-de-mesure.md`, `colonnes-des-deplacements.md` et `les-trous.md`, le reste au besoin.
|
||||
|
||||
Rien d'autre : ni `labeling/manual/`, ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni `events-learner/`, `support/`, `agent-diagnostic/`, ni la sortie ou le code des détecteurs. On mesure ce que tu tires des données avec la documentation. Tu listes ce que tu as lu dans « Sources lues ».
|
||||
Toute la connaissance métier du labeling est dans `labeling/` : rien d'autre, ni `labeling/manual/`, ni `events/` (ce que les events apprennent est dans la carte), ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni `events-learner/`, `support/`, `agent-diagnostic/`, ni la sortie ou le code des détecteurs. On mesure ce que tu tires des données avec la documentation. Tu listes ce que tu as lu dans « Sources lues ».
|
||||
|
||||
## Tes outils
|
||||
|
||||
Ceux de `lire-les-donnees`, avec `--debut`, `--fin` du lot (une marge avant ou après si un phénomène lent le demande) et `--sortie <dossier de sortie>`. En plus de ce que ce skill permet, tu peux écrire tes scripts dans `<dossier de sortie>/outils/` et les lancer : bibliothèque standard, figures par `.venv/bin/python` et matplotlib ; lire les CSV bruts est permis. Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie. Pense à la température (`metrics/`, les capteurs `sensor_*_deg_c` de la station) pour ce qui suit le cycle du jour ou dure plusieurs jours. Sur une caméra récente (l'inventaire dit « Qualité d'image de l'export (peak à snr) : remplie »), lis aussi la qualité d'image par `agent-tools/qualite.py` (`--etiquettes` sur tes étiquettes, `--hors` pour les oubliées) : elle prouve la cause et nomme les cibles touchées (`docs/domaine/metriques-de-qualite.md`). Ne recopie jamais les identifiants de `metrics/` (`SIM_CCID`, `ip_*`).
|
||||
Ceux de `lire-les-donnees`, avec `--debut`, `--fin` du lot (une marge avant ou après si un phénomène lent le demande) et `--sortie <dossier de sortie>`. En plus de ce que ce skill permet, tu peux écrire tes scripts dans `<dossier de sortie>/outils/` et les lancer : bibliothèque standard, figures par `.venv/bin/python` et matplotlib ; lire les CSV bruts est permis. Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie. Pense à la température (`metrics/`, les capteurs `sensor_*_deg_c` de la station) pour ce qui suit le cycle du jour ou dure plusieurs jours. Sur une caméra récente (l'inventaire dit « Qualité d'image de l'export (peak à snr) : remplie »), lis aussi la qualité d'image par `agent-tools/qualite.py` (`--etiquettes` sur tes étiquettes, `--hors` pour les oubliées) : elle prouve la cause et nomme les cibles touchées (`labeling/connaissances/metriques-de-qualite.md`). Ne recopie jamais les identifiants de `metrics/` (`SIM_CCID`, `ip_*`).
|
||||
|
||||
## Déroulé
|
||||
|
||||
@@ -43,17 +43,9 @@ Une ligne JSON par étiquette, **ajoutée** à la fin de `labeling/auto/<STATION
|
||||
{"debut": "2026-10-20T03:15Z", "fin": "2026-10-20T07:45Z", "categorie": "Visibility", "description": "…"}
|
||||
```
|
||||
|
||||
- `debut`, `fin` : la mesure **juste avant** le premier point touché sur `corr_x` ou `corr_y` (qui bouge ou qui manque), et la mesure **juste après** le dernier ; une anomalie d'une seule mesure va donc du point d'avant au point d'après, jamais `debut` = `fin`. Au quart d'heure près, UTC, format `AAAA-MM-JJTHH:MMZ`. Vérifie chaque mesure des deux bords **cible par cible**, pas sur la médiane, et dans les deux colonnes (un pic de `corr_x` peut toucher `corr_y` plus longtemps) : à une cadence de 4 h, une mesure revenue à moitié est encore touchée ; des rejets finissent à la mesure qui suit le dernier rejet.
|
||||
- **Une étiquette, un seul événement**, jamais un ensemble d'événements : deux événements, même proches ou mêlés, font deux étiquettes. Un même événement qui se répète (un passage, la pluie de chaque nuit, le déplacement thermique de chaque jour) : une étiquette par fois. Un mouvement dans un sens puis le retour font deux événements, deux étiquettes. Un seul événement qui dure plusieurs jours d'un seul tenant (une montée lente) : une étiquette pour toute sa durée ; une dérive qui ralentit ou accélère reste un événement, seuls un arrêt suivi d'un retour, ou un changement de sens, la coupent.
|
||||
- `categorie` : obligatoire, une seule par étiquette : la clé de sa famille dans `labeling/familles.md` (`Visibility`, `Obstruction`, `Thermal displacement`, `Displacement`, `Target issue`, `No data` : la clé est le nom), en suivant ses frontières ; aucune autre clé.
|
||||
- `description` : comme l'expert l'écrirait, en français, **qualitative, sans valeurs chiffrées** : ce qu'on voit (quelles cibles ou références, avec leurs noms exacts, quelles grandeurs, le retour ou non), la cause et **comment tu l'as sue** (vue sur l'image de telle heure, ou déduite des courbes), la conclusion pour le client (rien à faire, données à ne pas croire, mouvement à surveiller). Une cause non établie se dit telle ; ne dis pas plus que ce que tu as vu. En particulier :
|
||||
- les cibles nommées sont celles qui bougent le plus, lues cible par cible, pas la liste habituelle ;
|
||||
- « rien sur les images » ne s'écrit qu'après avoir regardé l'image de l'heure ;
|
||||
- un fait donné par l'expert s'écrit « d'après l'expert », en mots, sans ses chiffres ;
|
||||
- la température mesurée est celle du boîtier de la caméra (`sensor_*_deg_c`) : « la température du boîtier », jamais celle de l'air, du bâtiment ou de l'usine ;
|
||||
- un niveau « revenu » ou « un peu en dessous » se compare sur plusieurs jours.
|
||||
- sur une caméra récente (qualité d'image remplie, `qualite.py`) : une cause d'occultation (« passage », « quelque chose devant ») ne s'écrit qu'après avoir lu le flux de l'instant : un flux coupé la prouve, un flux entier la dément ; les cibles cachées se nomment d'après leur flux, à chaque fois, et une cible cachée restée sous son seuil se dit (son point reste, faux) ; « taches plus grosses » sur une image ne s'écrit qu'après l'avoir comparée à un jour calme du même régime de l'image et avoir lu la `fwhm` (une tache qui a perdu sa lumière peut paraître gonflée) (revue de LENZSPITZE, D-129).
|
||||
- Le lot entier est lu : un instant sans étiquette veut dire que `corr_x` et `corr_y` n'y montrent rien. Un saut sans rejet n'est dans aucune liste de rejets : sur une caméra récente, `qualite.py --etiquettes --hors` sur le lot donne les instants dégradés hors de tes étiquettes ; vérifie `corr` à chacun.
|
||||
- `debut`, `fin` : UTC, format `AAAA-MM-JJTHH:MMZ`, à la minute de la mesure ; `categorie` : la clé d'une famille de `labeling/familles.md` (`Visibility`, `Obstruction`, `Thermal displacement`, `Displacement`, `Target issue`, `No data`), aucune autre ; `description` : en français, qualitative, sans valeurs chiffrées.
|
||||
- **Les règles d'une étiquette sont celles de `labeling/regles-d-etiquetage.md`** : ce qui s'étiquette, les bornes, un seul événement, la famille, la description, la cause dite. Elles priment sur ton intuition et sur une habitude d'un lot précédent.
|
||||
- Le lot entier est lu : un instant sans étiquette veut dire que `corr_x` et `corr_y` n'y montrent rien.
|
||||
|
||||
## Ton analyse
|
||||
|
||||
|
||||
@@ -18,8 +18,8 @@ Tu reçois : le dossier de station, le lot (début et fin, UTC), la commande du
|
||||
- le dossier de station, par ces outils, et ses images avec Read ;
|
||||
- `labeling/carte-des-etiquettes.md` (**en entier**) : les phénomènes de l'expert, ses règles de lecture, ses faux amis, le contexte des stations ;
|
||||
- `labeling/familles.md` (**en entier**) : les familles des étiquettes de l'expert, leurs frontières ;
|
||||
- `docs/displacement/domaine/chaine-de-mesure.md` : le mécanisme ;
|
||||
- `docs/domaine/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md`, que ce skill cite ;
|
||||
- `labeling/connaissances/chaine-de-mesure.md` : le mécanisme ;
|
||||
- `labeling/connaissances/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md`, que ce skill cite ;
|
||||
- `events/carte-des-evenements.md` : ce qui peut arriver, en familles, les catégories du journal (section 4 : définition de chacune, éventualités du terrain qui la font, détecteurs ; D-074) et les faux amis (section 5) ;
|
||||
- la base d'events, ta base de connaissance, quand tu veux, avant ta lecture comme pendant : comme le dit `.claude/skills/read-event/SKILL.md` (`events/INDEX.md`, puis les fiches `event.md` qu'il cite, leurs figures et leurs données). Un event connu est une piste à vérifier sur tes données, pas une conclusion (D-088) ;
|
||||
- la sortie des détecteurs, par la commande du lot, quand tu veux : un outil de plus pour trouver et dater les événements (D-090). Ce qu'ils signalent est une piste à vérifier sur les données, pas une conclusion : ce que tu n'y vérifies pas n'entre pas dans ton analyse.
|
||||
|
||||
@@ -0,0 +1,44 @@
|
||||
---
|
||||
name: cross-review-labels
|
||||
description: Revue croisée des étiquettes automatiques (labeling/auto/*.jsonl) sur toutes les stations à la fois — un analyste par famille compare les stations entre elles, pour qu'un même phénomène porte la même étiquette partout, tranche les règles où les revues par station ont divergé et trouve les étiquettes rangées dans une autre famille ; l'orchestrateur applique, règle les conflits, puis une passe de finition reprend ce qui reste. Lancé par l'utilisateur, /cross-review-labels [FAMILLE], après les revues par station (/review-auto-labels).
|
||||
argument-hint: "[FAMILLE]"
|
||||
---
|
||||
|
||||
# Revue croisée des étiquettes automatiques
|
||||
|
||||
Les revues par station (`/review-auto-labels`, D-128) relisent la même tranche que l'étiqueteur et retrouvent, station après station, les mêmes défauts. La revue croisée change de granularité : **une famille, toutes les stations** (D-130). Chaque analyste part des étiquettes et des revues et les améliore ; il ne refait pas l'étiquetage. Tu es l'orchestrateur : tu prépares la table, lances les analystes, appliques, règles les conflits. Tu ne juges pas les étiquettes toi-même.
|
||||
|
||||
Dossier : `labeling/auto/revue-croisee/<AAAA-MM-JJ>/`. Ses outils : `outils/table.py` (la table), `outils/appliquer.py` (l'application) ; reprends-les de la dernière revue croisée.
|
||||
|
||||
## 1. La table
|
||||
|
||||
```bash
|
||||
python3 labeling/auto/revue-croisee/<date>/outils/table.py
|
||||
```
|
||||
|
||||
Elle écrit `index.tsv` (toutes les étiquettes, description coupée) et `par-famille/<famille>.md` (en entier), avec pour chacune un **id** `<STATION>#<ligne>` du fichier du moment, sa durée et les stations étiquetées au même moment. Copie `labeling/auto/*.jsonl` dans ton dossier temporaire : c'est l'état d'avant, pour revenir. **Plus rien n'écrit dans `labeling/auto/` jusqu'à l'application** : les ids en dépendent.
|
||||
|
||||
## 2. Les analystes
|
||||
|
||||
Un agent `analyste` par famille (les six, ou celle de l'argument), en parallèle, prompt :
|
||||
|
||||
`Revue croisée des étiquettes automatiques, pas un lot de la boucle. Tes consignes : .claude/skills/cross-review-labels/analyste.md. Famille : <famille> (<n> étiquettes, toutes les stations). Dossier de la revue croisée : <dossier> (par-famille/<Famille>.md, index.tsv). Dossier de sortie : <dossier>/<famille>/.`
|
||||
|
||||
Ajoute au prompt **les questions où les revues par station ont divergé** pour cette famille (lis leurs « Défauts qui reviennent » et « Questions à l'expert ») : ce sont elles qui font la valeur de la revue croisée. Deux familles partagent une frontière (thermique et visibilité, par exemple) : dis à chacun que l'autre la traite aussi.
|
||||
|
||||
## 3. Appliquer
|
||||
|
||||
Quand tous ont rendu :
|
||||
1. Vérifie que `labeling/auto/` n'a pas changé depuis la table (comparaison à la copie) ; si une autre session y a écrit, ne l'écrase pas : refais la table et relance les analystes touchés.
|
||||
2. Cherche les conflits (une étiquette touchée par deux analystes) et les ajouts qui doublent une étiquette ; `appliquer.py` n'applique pas une étiquette en conflit, tranche-la (`id=<famille>`).
|
||||
3. `python3 <dossier>/outils/appliquer.py` : les étiquettes modifiées ou ajoutées portent `revue` à la date du jour.
|
||||
|
||||
## 4. La finition
|
||||
|
||||
Les rendus disent ce qu'un analyste a laissé de côté (« laissé tel quel », « pour un autre relecteur ») : note chaque point dans `<dossier>/reste-a-faire.md` au fil des rendus. Puis une passe de finition, un analyste par station touchée, avec une table refaite (`<dossier>/finition/`, même méthode, ids du fichier du moment) et les règles tranchées des revues croisées.
|
||||
|
||||
## 5. Après
|
||||
|
||||
- **Les descriptions restent sans valeurs chiffrées** (`labeling/regles-d-etiquetage.md`, section 5) : les mesures vont dans les `revue.md`, pas dans les étiquettes. Compte-les après chaque application ; s'il en reste, une réécriture en mots, station par station, où seule la description change (vérifiée par script).
|
||||
- **Les règles tranchées** entrent dans `labeling/regles-d-etiquetage.md`, les frontières dans `labeling/familles.md`, les nouveaux cas dans la carte (`/labels-map`).
|
||||
- Commit sur l'accord de l'utilisateur : les étiquettes, les `revue.md`, `modifications.jsonl`, `reste-a-faire.md` (les figures restent hors de git).
|
||||
@@ -0,0 +1,67 @@
|
||||
# Revue croisée des étiquettes automatiques : une famille, toutes les stations
|
||||
|
||||
Tu es l'analyste, ici relecteur. Chaque station a déjà été relue seule (`/review-auto-labels`, `labeling/auto/revue/<STATION>_*/revue.md`). Ton travail : **comparer les stations entre elles** sur une famille, pour qu'un même phénomène porte la même étiquette partout. Tu pars des étiquettes et des revues, un travail qui a de la valeur : tu critiques, améliores, modifies ou supprimes, **tu ne refais pas l'étiquetage**. Tes propositions sont appliquées sans validation de l'expert : chaque choix dit sa raison et ce que tu as mesuré.
|
||||
|
||||
## Ce que tu reçois
|
||||
|
||||
Ta famille, le dossier de la revue croisée (`<dossier>`), ton dossier de sortie.
|
||||
|
||||
## Ce que tu lis
|
||||
|
||||
- `<dossier>/par-famille/<famille>.md` : toutes les étiquettes de ta famille, en entier, avec leur id (`<STATION>#<ligne>`), leur durée et les stations étiquetées au même moment (`simultanées`, étiquettes de moins de 24 h) ;
|
||||
- `<dossier>/index.tsv` : toutes les étiquettes de toutes les familles, la description coupée, **pour trouver tes phénomènes rangés dans une autre famille** ;
|
||||
- `labeling/familles.md`, `labeling/carte-des-etiquettes.md`, `labeling/regles-d-etiquetage.md` : les règles, ton barème ; `labeling/connaissances/` au besoin ;
|
||||
- les revues par station, au besoin, et les étiquettes de l'expert, `labeling/manual/<STATION>.jsonl` ; une phrase « d'après l'expert » est un fait, ne la contredis que si les données la démentent ;
|
||||
- les données, par `.claude/skills/lire-les-donnees/SKILL.md` et tes scripts : **seulement pour trancher**, sur un échantillon (une étiquette typique par phénomène et par station) et sur les étiquettes qui font écart. Pas une relecture de chaque étiquette.
|
||||
|
||||
## Ce que tu fais
|
||||
|
||||
1. **Ranger tes étiquettes en phénomènes**, d'après leur signature (ce qui est touché, quand, combien de temps, le retour), pas d'après la cause ou la famille écrites ; la carte donne les phénomènes connus, les autres se nomment.
|
||||
2. **Comparer les stations, phénomène par phénomène** : même famille, bornes posées sur le même principe (compte tenu de la cadence), même façon de dire la cause et la conclusion. Un écart se justifie par les données (station sans l'effet, autre ouvrage) ; sinon c'est une incohérence : choisis la règle, applique-la à toutes les stations.
|
||||
3. **Les règles divergentes entre revues** : les revues par station ont parfois tranché autrement la même question. Tranche-la une fois pour toutes ; les questions connues pour ta famille sont dans ton prompt.
|
||||
4. **Tes phénomènes ailleurs** : dans `index.tsv`, les étiquettes d'une autre famille qui ont la signature d'un de tes phénomènes ; vérifie-les et propose leur famille.
|
||||
5. **Ce qui se passe au même moment sur plusieurs stations** (`simultanées`) : une cause commune (plateforme, météo d'une région, bâtiment) se dit pareil sur chacune.
|
||||
|
||||
## Ta sortie
|
||||
|
||||
`<sortie>/revue.md` :
|
||||
|
||||
```markdown
|
||||
# Revue croisée : <famille>, toutes les stations
|
||||
|
||||
## Bilan
|
||||
<étiquettes et stations ; phénomènes trouvés ; modifiées, retirées, ajoutées ; les incohérences qui reviennent>
|
||||
|
||||
## Phénomènes
|
||||
### <nom>
|
||||
- **Stations et étiquettes** : <ids>
|
||||
- **Traitement** : cohérent | incohérent : <en quoi>
|
||||
- **Décision** : <la règle retenue, sa raison, ce que tu as mesuré> | aucune
|
||||
|
||||
## Règles tranchées
|
||||
<chaque question où les revues divergeaient : ce que tu retiens, pourquoi>
|
||||
|
||||
## Étiquettes d'autres familles
|
||||
<ids, ce qu'elles sont, la famille proposée> | aucune
|
||||
|
||||
## Nouveaux cas
|
||||
<ce que la carte et `familles.md` ne disent pas encore : phénomène, variante, contexte de station, frontière ; avec ses étiquettes et ta source> | aucun
|
||||
|
||||
## Pour l'etiqueteur et `familles.md`
|
||||
<les règles à écrire pour que ces incohérences ne reviennent pas>
|
||||
|
||||
## Difficultés
|
||||
aucune | - <consigne floue, chemin, commande>
|
||||
```
|
||||
|
||||
Et `<sortie>/modifications.jsonl`, une ligne par changement, **rien pour une étiquette gardée** :
|
||||
|
||||
```json
|
||||
{"id": "SNCF01#12", "action": "modifier", "etiquette": {"debut": "...", "fin": "...", "categorie": "...", "description": "..."}}
|
||||
{"id": "SNCF01#14", "action": "retirer", "raison": "..."}
|
||||
{"station": "SNCF01", "action": "ajouter", "etiquette": {"debut": "...", "fin": "...", "categorie": "...", "description": "..."}}
|
||||
```
|
||||
|
||||
Une étiquette d'une autre famille se modifie de même (son id) ; l'orchestrateur règle les cas où deux relecteurs touchent la même. Tu ne modifies ni `labeling/auto/`, ni `docs/`, ni la carte, ni `familles.md`. Tes scripts dans `<sortie>/outils/`, lancés depuis la racine du dépôt, n'écrivent que dans ta sortie. Ne recopie jamais les identifiants de `metrics/`.
|
||||
|
||||
Réponds en 5 lignes : le bilan, les règles tranchées, le chemin de la revue.
|
||||
@@ -10,9 +10,9 @@ Le phénomène, le fichier des étiquettes (une ligne chacune : `station`, `debu
|
||||
|
||||
- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils ;
|
||||
- les dossiers de station des étiquettes, par ces outils ou tes scripts, et leurs images avec Read ;
|
||||
- `docs/displacement/domaine/chaine-de-mesure.md` : le mécanisme ;
|
||||
- `labeling/connaissances/chaine-de-mesure.md` : le mécanisme ;
|
||||
- `labeling/carte-des-etiquettes.md` (**en entier**) et `labeling/familles.md` : les phénomènes déjà documentés, les familles et leurs frontières ;
|
||||
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
|
||||
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
|
||||
- `events/carte-des-evenements.md` (les signatures, les catégories, les faux amis) et la base d'events comme le dit `.claude/skills/read-event/SKILL.md`.
|
||||
|
||||
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni les leçons d'autres phénomènes dans `labeling/lecons/`. Tu listes ce que tu as lu dans « Sources lues ».
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
---
|
||||
name: labels-map
|
||||
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues de l'expert (labeling/manual/*.jsonl) — les phénomènes qu'il a étiquetés, ce qu'on voit pour chacun, comment il en a su la cause, ses règles de lecture et ses faux amis, chaque phrase sourcée par ses étiquettes. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels).
|
||||
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues (celles de l'expert, labeling/manual/, et les automatiques revues, labeling/auto/), des events (events/) et des cas de labeling/connaissances/ — les phénomènes, ce qu'on voit pour chacun, comment on en a su la cause, les règles de lecture et les faux amis, chaque phrase sourcée. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels, /review-auto-labels, /cross-review-labels).
|
||||
disable-model-invocation: true
|
||||
---
|
||||
|
||||
@@ -12,7 +12,9 @@ La carte est **dérivée** des étiquettes : elle se refait en entier à chaque
|
||||
|
||||
## 1. Lire les étiquettes
|
||||
|
||||
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste et validées par l'expert (`/review-auto-labels`, D-128) ; elles entrent dans la carte comme les siennes, avec la même clé.
|
||||
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste (`/review-auto-labels`, `/cross-review-labels`, D-128, D-130) ; elles entrent dans la carte avec la même clé, mais l'expert prime : une contradiction avec lui va en section 6, pas dans la fiche. Elles sont près d'un millier : lis-les par famille (la table de la dernière revue croisée, `labeling/auto/revue-croisee/<date>/outils/table.py`), et pars des sections « Phénomènes » et « Nouveaux cas » des revues, qui les ont déjà rangées.
|
||||
|
||||
**Les events et les cas** : les events (`events/INDEX.md`, puis `events/E-xxx/event.md`, clé `[E-xxx]`) sont des cas de ces mêmes stations, aux noms codés : rattache chacun à sa station et à ses étiquettes par ses dates et sa signature, et cite-les ensemble. Les cas de `labeling/connaissances/` (cas annotés par l'expert, incident de Barcelone, cycle thermique) entrent de même. Quand un event, l'expert et une étiquette automatique se lisent différemment, compile au plus près de la réalité : les données tranchent (`lire-les-donnees`), l'expert prime sauf si elles le démentent, et le point va en section 6 comme question à l'expert. Toute la connaissance métier du labeling est dans `labeling/` : ce qu'un event apprend entre dans la carte.
|
||||
|
||||
Chaque étiquette a une **clé** courte, qui sert de source partout dans la carte : `STATION JJ.MM HH:MM` (son `debut`, UTC), par exemple `NIEDERHORN 30.09 21:00`.
|
||||
|
||||
@@ -39,7 +41,7 @@ Un phénomène est **ce qui arrive**, au niveau où l'expert l'explique : « un
|
||||
- **La cause, et comment l'expert l'a sue** : vue (sur quelle image), ou déduite (de quoi) ; ou « non établie ».
|
||||
- **Ce qu'on en conclut** : pour l'ouvrage et pour les mesures (rien à faire, zone à ignorer, à vérifier, intervention).
|
||||
- **Variantes** : ce qui change d'une étiquette à l'autre (plus fort, moins de capteurs, combiné à autre chose).
|
||||
- **Étiquettes** : les clés, la principale d'abord ; « (une station) » si toutes viennent de la même.
|
||||
- **Étiquettes** : toutes les clés de l'expert, la principale d'abord ; des automatiques, au plus six exemples, les plus nets, de stations différentes si possible, puis leur compte par station (« et 41 autres : NORDEND 22, WILDSTRUBEL 12, SNCF01 7 ») ; puis les events ; « (une station) » si toutes viennent de la même.
|
||||
```
|
||||
|
||||
Chaque phrase vient d'une étiquette au moins ; quand elle n'en vient que d'une parmi plusieurs, sa clé suit la phrase entre crochets. Les mots de l'expert sont gardés, son incertitude aussi (« sans doute », « peut-être », « non établi ») : ne la change ni en certitude ni en doute.
|
||||
@@ -70,5 +72,5 @@ Puis rends à l'utilisateur, court : le nombre de phénomènes, de règles, de f
|
||||
## Règles
|
||||
|
||||
- Tu n'écris que `labeling/carte-des-etiquettes.md` ; les étiquettes et la carte des événements ne se modifient pas ici.
|
||||
- Rien que ce que disent les étiquettes : ni la documentation, ni les données, ni les events ; la carte est la mémoire de l'expert, pas une synthèse du projet. La carte des événements ne sert qu'aux noms des familles et à la section 5.
|
||||
- Rien que ce que disent les étiquettes revues, les events et les cas de `labeling/connaissances/` ; les données seulement pour trancher une contradiction. La carte est la mémoire de ce qui a été étiqueté, pas une synthèse du projet. La carte des événements sert aux noms des familles, à ses faux amis et à la section 5.
|
||||
- Vocabulaire des conclusions : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` quand il faut qualifier ; pas de pseudo-probabilités.
|
||||
@@ -1,36 +1,51 @@
|
||||
"""Contrôle de la carte des étiquettes face à labeling/manual/*.jsonl (skill labels-map).
|
||||
"""Contrôle de la carte des étiquettes (skill labels-map).
|
||||
|
||||
python3 .claude/skills/labels-map/controle.py
|
||||
Rend : clés citées inconnues, étiquettes revues absentes, où chaque étiquette est citée,
|
||||
les chiffres hors clés (à justifier un par un : nom de capteur, heure d'une image).
|
||||
Rend : clés citées inconnues (ni étiquette de l'expert, ni automatique), events cités inconnus,
|
||||
étiquettes revues de l'expert absentes, où chaque étiquette de l'expert est citée,
|
||||
les chiffres hors clés et hors comptes « et N autres » (à justifier un par un : nom de capteur, heure d'une image).
|
||||
Les étiquettes automatiques ne sont citées qu'en exemples : leur absence n'est pas une erreur.
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
|
||||
CLE = r"[A-Z][A-Z_]{3,} \d\d\.\d\d \d\d:\d\d"
|
||||
CLE = r"[A-Z][A-Z0-9_]{3,} \d\d\.\d\d \d\d:\d\d"
|
||||
EVENT = r"E-\d{3}"
|
||||
|
||||
|
||||
def cle(station, debut):
|
||||
return f"{station} {debut[8:10]}.{debut[5:7]} {debut[11:16]}"
|
||||
|
||||
|
||||
revues = {}
|
||||
for chemin in sorted(glob.glob("labeling/manual/*.jsonl")):
|
||||
station = os.path.basename(chemin)[: -len(".jsonl")]
|
||||
for ligne in open(chemin, encoding="utf-8"):
|
||||
e = json.loads(ligne)
|
||||
revues[cle(station, e["debut"])] = "revue" in e
|
||||
def lire(motif):
|
||||
cles = {}
|
||||
for chemin in sorted(glob.glob(motif)):
|
||||
station = os.path.basename(chemin)[: -len(".jsonl")]
|
||||
for ligne in open(chemin, encoding="utf-8"):
|
||||
if ligne.strip():
|
||||
e = json.loads(ligne)
|
||||
cles[cle(station, e["debut"])] = "revue" in e
|
||||
return cles
|
||||
|
||||
|
||||
expert = lire("labeling/manual/*.jsonl")
|
||||
auto = lire("labeling/auto/*.jsonl")
|
||||
events = set(re.findall(EVENT, open("events/INDEX.md", encoding="utf-8").read()))
|
||||
|
||||
carte = open("labeling/carte-des-etiquettes.md", encoding="utf-8").read()
|
||||
citees = set(re.findall(CLE, carte))
|
||||
print("Clés inconnues :", sorted(citees - set(revues)) or "aucune")
|
||||
print("Revues absentes :", [k for k, r in revues.items() if r and k not in citees] or "aucune")
|
||||
print("Clés inconnues :", sorted(citees - set(expert) - set(auto)) or "aucune")
|
||||
print("Events inconnus :", sorted(set(re.findall(EVENT, carte)) - events) or "aucun")
|
||||
print("Revues de l'expert absentes :", [k for k, r in expert.items() if r and k not in citees] or "aucune")
|
||||
print("Automatiques citées :", len(citees & set(auto)), "sur", len(auto))
|
||||
sections = re.split(r"\n(?=#{2,4} )", carte)
|
||||
for k in sorted(revues):
|
||||
for k in sorted(expert):
|
||||
titres = [s.splitlines()[0].lstrip("# ")[:40] for s in sections if k in s]
|
||||
print(f" {k}{'' if revues[k] else ' (non revue)'} : {' | '.join(titres)}")
|
||||
print(f" {k}{'' if expert[k] else ' (non revue)'} : {' | '.join(titres)}")
|
||||
reste = re.sub(CLE, "", carte)
|
||||
reste = re.sub(EVENT, "", reste)
|
||||
reste = re.sub(r"et \d+ autres?\s*:[^)\n]*", "", reste)
|
||||
print("Chiffres hors clés :", sorted(set(re.findall(r"\S*\d\S*", reste))))
|
||||
print(len(carte.splitlines()), "lignes")
|
||||
@@ -9,9 +9,9 @@ Une caméra suit des cibles (réflecteurs) fixées sur un ouvrage ; son propre m
|
||||
|
||||
## À lire d'abord
|
||||
|
||||
- `docs/domaine/colonnes-des-deplacements.md` : formats des exports et sens des colonnes (**en premier**) ;
|
||||
- `docs/domaine/pieges-des-donnees.md` ;
|
||||
- sur une station dont l'export porte les métriques de qualité d'image (`peak` à `snr` : la ligne « Qualité d'image de l'export » d'`inventaire.py`), `docs/domaine/metriques-de-qualite.md`.
|
||||
- `labeling/connaissances/colonnes-des-deplacements.md` : formats des exports et sens des colonnes (**en premier**) ;
|
||||
- `docs/domaine/pieges-des-donnees.md` et `labeling/connaissances/les-trous.md` ;
|
||||
- sur une station dont l'export porte les métriques de qualité d'image (`peak` à `snr` : la ligne « Qualité d'image de l'export » d'`inventaire.py`), `labeling/connaissances/metriques-de-qualite.md`.
|
||||
|
||||
## Les outils
|
||||
|
||||
@@ -26,7 +26,7 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
|
||||
| `python3 agent-tools/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--glissant N|DUREE] [--instants N] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage ; colonne `rejetées` : combien des mesures de la plage le sont (et `extrême rejetée`), `(rejetée : …)` après un plus grand saut dont un bout l'est. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord. `--min-mesures N` n'imprime que les plages d'au moins N mesures (et dit combien sur le total) : sur un lot de plusieurs jours, les plages d'un pas se comptent par centaines et noient les paliers longs ; lis d'abord avec `--min-mesures 6`, puis sans. `--glissant N` (N mesures de part et d'autre) ou `--glissant 1d` (les mesures à moins d'une durée) : le niveau de chaque mesure est la médiane de ses voisines, sans elle ; une dérive longue ou un palier suivent ce niveau local, seuls restent les écarts plus brefs que la fenêtre (la colonne niveau du tableau et le bruit ne changent pas ; avec `--hors`, seul le bruit se calcule hors de l'épisode). `--instants N` : à la fin, les instants où au moins N capteurs sont hors niveau sur l'une des colonnes, avec chaque capteur et son écart signé en bruits (`cx` corr_x, `cy` corr_y, `ev` error_value), les capteurs rejetés à cet instant (parmi `--capteurs` : en retirer les capteurs toujours rejetés allège la liste), et chaque référence : `error_value` (`r` si rejetée) / inlier |
|
||||
| `.venv/bin/python agent-tools/jours.py <dossier> [--colonnes corr_x,corr_y,error_value] [--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--bornes] [--debut T] [--fin T] [--sortie D]` | Ce qui revient d'un jour à l'autre, sur les mesures acceptées seulement. 1. **Niveau de chaque nuit** (heures `--nuit` H1-H2 UTC, à cheval sur minuit, datée du jour où elle commence), par capteur et par colonne : médiane, MAD, nombre de mesures, et le bruit propre ; puis, d'une nuit à la suivante, la **marche** (différence des médianes, en unités et en bruits) et **où elle se place** (« entre A et B » : là où la suite des mesures de nuit des deux nuits se coupe le mieux entre les deux niveaux ; B au début de la nuit suivante : la coupure tombe de jour, entre les deux nuits). Une marche de quelques bruits, une dérive d'une nuit à l'autre, et deux colonnes qui marchent au même instant s'y lisent, même quand le capteur a plusieurs niveaux dans le lot. 2. **Jours superposés** : PNG **parheure-<colonne>**, un petit graphique par capteur, en abscisse l'heure du jour, une courbe par jour, chaque mesure moins le niveau de la dernière nuit commencée (nuit grisée, cadre du 1er au 99e centile, le titre dit combien de mesures sortent du cadre) ; table : par créneau de `--pas` de l'heure du jour, les capteurs dont l'écart dépasse `--k` bruits, du même côté, au moins `--jours` jours, avec le nombre de jours et la médiane de ces écarts. Ce qui revient chaque jour à la même heure, sur un capteur ou plusieurs, s'y groupe, même quand cela ne dure qu'une à trois mesures. 3. **Bornes de chaque jour**, avec `--bornes` : pour la médiane des cibles de chaque colonne et pour la pose de la caméra (`pan`, `tilt`, `rotation`, `scale`, `sigma0`, si `camera/` existe), l'écart au niveau de la nuit qui précède chaque jour (un jour va de la fin d'une nuit à la fin de la suivante ; avec `--capteurs`, la médiane de ces capteurs, avec un seul, le sien). Par jour : nombre de mesures, la première et la dernière ; premier et dernier instant au-delà de `--k` bruits, avec la mesure juste avant et juste après, au pas natif ; max et min signés avec leur instant ; la suite de mesures au-delà de `--k` bruits qui entoure le plus grand des deux ; la nuit suivante moins la nuit de référence. Un jour sans mesure le dit ; une nuit de référence qui n'est pas la précédente est nommée. PNG **bornes** : l'écart sur le lot, premier → dernier dépassement grisé clair, suite autour de l'extrême grisée foncé, max et min marqués. Le choix de `--nuit` : des heures où le cycle du jour (`error_value`, pose de la caméra) est retombé. **Regarde les PNG avec Read** |
|
||||
| `.venv/bin/python agent-tools/metriques.py <dossier> [--noms A,B] [--pas 1h] [--stat median\|min\|max] [--contre temperature] [--lissage 24h] [--metriques-seules] [--debut T] [--fin T] [--sortie D]` | Les métriques système de `metrics/` (une valeur par heure), jamais les identifiants (`SIM_CCID`, `ip*`). Imprime les métriques disponibles avec leur nombre de valeurs sur la fenêtre (« vide » : aucune), puis une table par pas de `--pas` : `temperature` (médiane des composants `sensor_*_deg_c`, celle que lisent les détecteurs), chaque métrique de `--noms` (défaut : les `*_deg_c` et `BusVoltage`), puis, sauf `--metriques-seules`, `cib_corr_x`, `cib_corr_y` (médiane sur les cibles de `corr` moins le niveau propre de chaque cible, mesures acceptées) et la pose brute de la caméra (`cam_pan` … `cam_sigma0`) ; une case vide est sautée, une métrique texte (`link`, `BatteryState`, `last_sync`) est rendue telle quelle. Puis, par colonne : pas remplis, min et max avec leur instant ; la corrélation r et la pente de chaque colonne sur `--contre` (avec `--lissage 24h`, sur sa moyenne glissante, colonne `<contre>_lisse`) ; les suites datées de pas sans aucune métrique. Un PNG : températures sur un panneau (médiane en noir), chaque autre métrique sur le sien, puis `cib_corr_x`, `cib_corr_y` et la pose, trait coupé sur un trou. **Regarde-le avec Read** |
|
||||
| `python3 agent-tools/qualite.py <dossier> [--calme T1/T2,T3/T4] [--commun] [--table M] [--pas 15min] [--seuil 0.5] [--capteurs A,B] [--debut T] [--fin T]` ; `... --etiquettes F [--numeros 3,7] [--marge 60] [--bords]` ; `... --etiquettes F --hors [--min 1] [--sauf "Thermal displacement"]` ; `.venv/bin/python agent-tools/qualite.py <dossier> --figure [--metriques flux,snr,dominance] [--etiquettes F] [--zone T1/T2 ...] [--sortie D]` ; `python3 agent-tools/qualite.py --essai` | Les six **métriques de qualité d'image** (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` ; définitions : `docs/domaine/metriques-de-qualite.md`), sur les stations qui les ont (sinon : « Aucune métrique de qualité », et rien d'autre). Chaque mesure devient un **rapport** à la **référence calme** de son capteur : la médiane de la métrique sur ses mesures des fenêtres `--calme`, à la même heure UTC du jour (sans `--calme` : tout le dossier) ; 1 = comme la référence, < 1 plus bas, > 1 plus haut ; pour `fwhm` et `dominance`, c'est la hausse qui dit une image dégradée ; mesures rejetées comprises. Sans option : le `peak` maximal du dossier, puis par capteur (`r` = référence) les mesures rejetées, `pk/max` (peak médian sur la fenêtre divisé par ce maximum : à 1, la tache touche le plafond de l'image, son `peak` ne bouge plus et sa `sharpness` suit l'exposition : lis plutôt `flux`, `snr`), et pour chaque métrique le rapport médian et l'extrême avec son instant ; puis la médiane des cibles et des références. `--commun` : par pas, la médiane des rapports des cibles / des références pour chaque métrique (ce qui touche toute la scène, visibilité ou turbulence ; `--pas 1d` pour voir en un écran sur quels jours la référence tient). `--table M` : par pas, le rapport de `M` de chaque capteur (`*` : une mesure rejetée), leur médiane et combien passent `--seuil` (sous, ou au-dessus de 1/`--seuil` pour `fwhm`, `dominance`) : une cible qui s'éteint et revient. `--etiquettes F` (un JSON par ligne, `debut`, `fin`, `categorie`) : par étiquette numérotée, le rapport médian des cibles et des références sur l'heure d'avant, la plage et l'heure d'après (`cib 0.96\|0.26\|0.79`, `--marge` minutes), puis les capteurs **touchés** sur la plage (flux ou snr sous `--seuil`, ou dominance au-dessus de 1/`--seuil`), avec leur pire flux, du plus bas au plus haut ; `--bords` : par instant de la plage élargie, le nombre de capteurs touchés et la médiane des cibles de flux, snr, dominance (`<` dans la plage), pour dater le premier et le dernier instant dégradé. `--hors` : les suites d'instants qu'aucune étiquette ne couvre (hors familles `--sauf`) où au moins `--min` capteurs sont touchés, avec les capteurs et leur pire flux : des candidats aux étiquettes oubliées, à vérifier sur `corr_x`, `corr_y`. `--figure` (au lieu des tables) : PNG **qualite-commun** (un panneau par métrique, échelle log : médiane des cibles en noir, des références en rouge, bande grise du 10e au 90e centile des cibles : une gêne de toute la scène déplace la médiane, une occultation de quelques cibles ne déplace que le bas de la bande) et un PNG **qualite-<métrique>** par `--metriques` (un petit graphique par capteur, références en rouge) ; `--etiquettes` y grise chaque étiquette d'une couleur par famille, `--zone` des plages. **Regarde les PNG avec Read** |
|
||||
| `python3 agent-tools/qualite.py <dossier> [--calme T1/T2,T3/T4] [--commun] [--table M] [--pas 15min] [--seuil 0.5] [--capteurs A,B] [--debut T] [--fin T]` ; `... --etiquettes F [--numeros 3,7] [--marge 60] [--bords]` ; `... --etiquettes F --hors [--min 1] [--sauf "Thermal displacement"]` ; `.venv/bin/python agent-tools/qualite.py <dossier> --figure [--metriques flux,snr,dominance] [--etiquettes F] [--zone T1/T2 ...] [--sortie D]` ; `python3 agent-tools/qualite.py --essai` | Les six **métriques de qualité d'image** (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` ; définitions : `labeling/connaissances/metriques-de-qualite.md`), sur les stations qui les ont (sinon : « Aucune métrique de qualité », et rien d'autre). Chaque mesure devient un **rapport** à la **référence calme** de son capteur : la médiane de la métrique sur ses mesures des fenêtres `--calme`, à la même heure UTC du jour (sans `--calme` : tout le dossier) ; 1 = comme la référence, < 1 plus bas, > 1 plus haut ; pour `fwhm` et `dominance`, c'est la hausse qui dit une image dégradée ; mesures rejetées comprises. Sans option : le `peak` maximal du dossier, puis par capteur (`r` = référence) les mesures rejetées, `pk/max` (peak médian sur la fenêtre divisé par ce maximum : à 1, la tache touche le plafond de l'image, son `peak` ne bouge plus et sa `sharpness` suit l'exposition : lis plutôt `flux`, `snr`), et pour chaque métrique le rapport médian et l'extrême avec son instant ; puis la médiane des cibles et des références. `--commun` : par pas, la médiane des rapports des cibles / des références pour chaque métrique (ce qui touche toute la scène, visibilité ou turbulence ; `--pas 1d` pour voir en un écran sur quels jours la référence tient). `--table M` : par pas, le rapport de `M` de chaque capteur (`*` : une mesure rejetée), leur médiane et combien passent `--seuil` (sous, ou au-dessus de 1/`--seuil` pour `fwhm`, `dominance`) : une cible qui s'éteint et revient. `--etiquettes F` (un JSON par ligne, `debut`, `fin`, `categorie`) : par étiquette numérotée, le rapport médian des cibles et des références sur l'heure d'avant, la plage et l'heure d'après (`cib 0.96\|0.26\|0.79`, `--marge` minutes), puis les capteurs **touchés** sur la plage (flux ou snr sous `--seuil`, ou dominance au-dessus de 1/`--seuil`), avec leur pire flux, du plus bas au plus haut ; `--bords` : par instant de la plage élargie, le nombre de capteurs touchés et la médiane des cibles de flux, snr, dominance (`<` dans la plage), pour dater le premier et le dernier instant dégradé. `--hors` : les suites d'instants qu'aucune étiquette ne couvre (hors familles `--sauf`) où au moins `--min` capteurs sont touchés, avec les capteurs et leur pire flux : des candidats aux étiquettes oubliées, à vérifier sur `corr_x`, `corr_y`. `--figure` (au lieu des tables) : PNG **qualite-commun** (un panneau par métrique, échelle log : médiane des cibles en noir, des références en rouge, bande grise du 10e au 90e centile des cibles : une gêne de toute la scène déplace la médiane, une occultation de quelques cibles ne déplace que le bas de la bande) et un PNG **qualite-<métrique>** par `--metriques` (un petit graphique par capteur, références en rouge) ; `--etiquettes` y grise chaque étiquette d'une couleur par famille, `--zone` des plages. **Regarde les PNG avec Read** |
|
||||
| `.venv/bin/python agent-tools/vignettes.py <dossier> --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--fixe] [--zone X,Y,L,H] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur à chaque heure (le centre du cadre est écrit sous chaque vignette : quand `x`, `y` sautent, le cadre se déplace d'autant, et une tache qui entre dans le cadre semble apparaître) ; `--fixe` garde pour chaque capteur le cadre de la première heure et marque d'une croix rouge les `x`, `y` de chaque heure ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible. Un cadre que le bord de l'image coupe est signalé (« cadre coupé par le bord de l'image (L × H px) ») : sur certaines stations, `x`, `y` ne sont pas des pixels (valeurs proches de 0) et le cadre tombe dans le coin ; regarde alors la scène par `--zone`. `--zone X,Y,L,H` (pixels de l'image d'origine : coin haut gauche, largeur, hauteur, comme `gif.py`) : la même zone à chaque heure, côte à côte (jusqu'à 4 par ligne), même étirement avec `--contraste` ; `--capteurs` devient facultatif, et ceux qui sont donnés sont marqués d'une croix et de leur nom. Pour la scène autour des cibles (objet au premier plan, phares, éclairage), préfère-la à un grand `--rayon`. Chaque vignette est rendue un pixel pour un pixel jusqu'à 1000 px de côté, mais Read réduit un PNG large : avec un grand `--rayon` ou une grande `--zone`, trois ou quatre heures par planche |
|
||||
| `.venv/bin/python agent-tools/gif.py <dossier> --debut T --fin T [--largeur 720] [--duree 700] [--max 150] [--zone X,Y,L,H] [--sortie D]` | Un GIF des images de la caméra entre `--debut` et `--fin` inclus, recadrées au besoin sur `--zone`, mises à `--largeur` px, date et heure UTC écrites en bas à droite ; au-delà de `--max` images, `--max` à intervalle régulier ; imprime l'heure de chaque image, puis le chemin et la taille du GIF. Sert à joindre la scène à une réponse au client ; Read ne lit pas un GIF : pour regarder, `vignettes.py --zone` |
|
||||
| `ls <dossier>/images/ \| grep <AAAAMMJJ>T<HHMM>Z`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) |
|
||||
|
||||
@@ -13,7 +13,7 @@ Modèle à suivre : `modele.typ` (BREITHORN, octobre 2026, validé dans sa struc
|
||||
## Ce que veut l'utilisateur (2026-11-03)
|
||||
|
||||
- **Une présentation pour le client, qui vend le système** (D-127) : on ne critique pas notre propre système, on ne s'incrimine pas. Pas de « mal compensé », « la correction ne le compense plus correctement », « la redondance est perdue », « les courbes sont moins fiables », « une seule correction ne peut pas toutes les compenser ». Dire le fait et sa cause extérieure : « REFPOU22 n'est plus visible ; la compensation continue sur deux références », « les courbes suivent ce mouvement commun de la caméra ».
|
||||
- **Les tassements d'abord, `corr_y`** : c'est ce que regarde le client. Les figures montrent le déplacement vertical (`corr_y`) ; `corr_x` seulement là où le phénomène ne se voit qu'en horizontal (BREITHORN : la parallaxe, gardée, dite par la géométrie : des cibles à 9 m, d'autres à 20 à 60 m, un même mouvement de la caméra ne se voit pas pareil sur toutes). Chiffrer la stabilité verticale quand elle se voit (médiane journalière de chaque cible sur le mois). **`corr_x` et `corr_y` sont en pixels, pas en mm** (`docs/domaine/colonnes-des-deplacements.md`) : écrire « 0,2 px ».
|
||||
- **Les tassements d'abord, `corr_y`** : c'est ce que regarde le client. Les figures montrent le déplacement vertical (`corr_y`) ; `corr_x` seulement là où le phénomène ne se voit qu'en horizontal (BREITHORN : la parallaxe, gardée, dite par la géométrie : des cibles à 9 m, d'autres à 20 à 60 m, un même mouvement de la caméra ne se voit pas pareil sur toutes). Chiffrer la stabilité verticale quand elle se voit (médiane journalière de chaque cible sur le mois). **`corr_x` et `corr_y` sont en pixels, pas en mm** (`labeling/connaissances/colonnes-des-deplacements.md`) : écrire « 0,2 px ».
|
||||
- **Pas de diapositive sur un trou de données** (une nuit sans mesures), ni dans le résumé ni dans la conclusion.
|
||||
- **La conclusion** : ce qu'expliquent les variations des courbes et ce qui reste stable, pas « ce qui rend les mesures moins fiables ».
|
||||
|
||||
|
||||
@@ -47,5 +47,5 @@ EOF
|
||||
|
||||
`<début>` et `<fin>` au format des étiquettes (`AAAA-MM-JJTHH:MMZ`). Puis :
|
||||
- les réponses de l'expert qui valent au-delà de ces étiquettes (une règle de lecture, un contexte de station) : dis-lui qu'elles entreront dans la carte au prochain `/labels-map` ;
|
||||
- la section « Pour l'etiqueteur » de la revue : propose-la à l'utilisateur, sans l'appliquer ; une leçon retenue va dans `.claude/agents/etiqueteur.md` ou `labeling/familles.md` ;
|
||||
- la section « Pour l'etiqueteur » de la revue : propose-la à l'utilisateur, sans l'appliquer ; une leçon retenue va dans `labeling/regles-d-etiquetage.md` ou `labeling/familles.md` ;
|
||||
- commit sur sa validation : les étiquettes, `revue.md` et `etiquettes-proposees.jsonl` (les figures restent hors de git).
|
||||
@@ -1,6 +1,6 @@
|
||||
# Revue des étiquettes de l'etiqueteur
|
||||
|
||||
Tu es l'analyste, ici relecteur. L'`etiqueteur` a étiqueté un lot (`labeling/auto/<STATION>.jsonl`) ; ton travail : **juger chaque étiquette face aux données et proposer de quoi l'améliorer**. Tu ne modifies pas `labeling/auto/` : l'expert (l'utilisateur) décide de tes propositions.
|
||||
Tu es l'analyste, ici relecteur. L'`etiqueteur` a étiqueté un lot (`labeling/auto/<STATION>.jsonl`) ; ton travail : **juger chaque étiquette face aux données et proposer de quoi l'améliorer**. **Tu pars de ses étiquettes et de son analyse, un travail qui a de la valeur : tu les critiques, les améliores, les modifies ou les supprimes ; tu ne refais pas l'étiquetage** : pas de nouvelle analyse de toute la plage, chaque vérification porte sur une étiquette (sa plage, ses heures, ses images), et sur ce qui se passe entre les étiquettes, pour les oubliées. Tu ne modifies pas `labeling/auto/` : l'expert (l'utilisateur) décide de tes propositions.
|
||||
|
||||
## Ce que tu reçois
|
||||
|
||||
@@ -8,12 +8,12 @@ La station, la plage revue (UTC), le dossier de sortie.
|
||||
|
||||
## Ce que tu lis
|
||||
|
||||
- `.claude/agents/etiqueteur.md`, sections « Les étiquettes » et le paragraphe d'introduction : **les règles qu'une étiquette doit suivre**, ton barème ;
|
||||
- `labeling/regles-d-etiquetage.md`, en entier : **les règles qu'une étiquette doit suivre**, ton barème ; et l'introduction de `.claude/agents/etiqueteur.md` (ce qui s'étiquette) ;
|
||||
- `labeling/familles.md` et `labeling/carte-des-etiquettes.md`, en entier ;
|
||||
- `.claude/skills/lire-les-donnees/SKILL.md`, puis le dossier de station par ces outils, tes scripts et ses images ;
|
||||
- les étiquettes de la plage dans `labeling/auto/<STATION>.jsonl` ; **ne relis pas celles qui portent `revue`** : déjà validées par l'expert, elles restent telles quelles, hors de ta revue et de tes propositions ; elles comptent seulement pour juger les oubliées (une anomalie qu'elles couvrent n'est pas oubliée) ;
|
||||
- l'analyse de l'etiqueteur et ses figures, `labeling/auto/etiqueteur/<STATION>_*/analyse.md`, **après** ta propre lecture des données, pour ne pas reprendre ses conclusions ;
|
||||
- `docs/displacement/domaine/chaine-de-mesure.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`.
|
||||
- l'analyse de l'etiqueteur et ses figures, `labeling/auto/etiqueteur/<STATION>_*/analyse.md`, avec ses étiquettes : c'est ton point de départ ; ce qu'il a mesuré, tu ne le remesures que pour vérifier une étiquette qui te paraît fausse ;
|
||||
- `labeling/connaissances/` : au moins `chaine-de-mesure.md`, `colonnes-des-deplacements.md` et `les-trous.md`, le reste au besoin. Toute la connaissance métier du labeling est dans `labeling/`.
|
||||
|
||||
Une phrase « d'après l'expert » dans une étiquette est un fait donné par l'expert : ne la contredis que si les données la démentent, et dis lesquelles.
|
||||
|
||||
@@ -23,7 +23,7 @@ Une phrase « d'après l'expert » dans une étiquette est un fait donné par l'
|
||||
2. **Un seul événement** : deux événements mêlés se scindent ; deux étiquettes du même événement se fusionnent ; un aller et son retour font deux étiquettes.
|
||||
3. **Famille** : la bonne selon les frontières de `familles.md`.
|
||||
4. **Description** : exacte (les cibles nommées sont bien celles touchées, le sens, le retour), cause et preuve dites (image de telle heure, ou déduite), rien de plus que ce qui se voit, sans chiffres, conclusion pour le client.
|
||||
5. **Oubliées** : ce qui bouge ou manque sur `corr_x`/`corr_y` dans la plage sans étiquette, ou étiqueté à tort (ce qui ne touche pas les courbes).
|
||||
5. **Oubliées** : ce qui bouge ou manque sur `corr_x`/`corr_y` entre les étiquettes, vu d'un passage des outils sur ces seuls intervalles, ou étiqueté à tort (ce qui ne touche pas les courbes).
|
||||
|
||||
Vérifie sur les données, pas sur le texte : chaque verdict cite ce que tu as mesuré ou vu.
|
||||
|
||||
@@ -49,6 +49,9 @@ Vérifie sur les données, pas sur le texte : chaque verdict cite ce que tu as m
|
||||
## Questions à l'expert
|
||||
<ce que seul l'expert peut trancher (une cause, une famille contestée, une indication de lui que les données semblent contredire), une question par point, avec les étiquettes qu'elle touche ; ta proposition dit ce que tu ferais sans sa réponse> | aucune
|
||||
|
||||
## Nouveaux cas
|
||||
<chaque phénomène ou variante que la carte des étiquettes et `familles.md` ne décrivent pas encore : les étiquettes qui le montrent, ce qui se voit, comment le reconnaître, ta source ; tu n'écris pas dans `docs/` ni la carte, un documentaliste les intègre> | aucun
|
||||
|
||||
## Pour l'etiqueteur
|
||||
<les règles ou la documentation à revoir pour que ces défauts ne reviennent pas : sa consigne, la carte, les familles>
|
||||
|
||||
|
||||
@@ -8,7 +8,7 @@ Les stations, ce que l'expert dit de leur voisinage, la plage (UTC), le dossier
|
||||
|
||||
## Ce que tu lis
|
||||
|
||||
- `.claude/agents/etiqueteur.md` (introduction et « Les étiquettes ») : les règles d'une étiquette, ton barème ;
|
||||
- `labeling/regles-d-etiquetage.md`, en entier : les règles d'une étiquette, ton barème ;
|
||||
- `labeling/familles.md` et `labeling/carte-des-etiquettes.md`, en entier ;
|
||||
- `.claude/skills/lire-les-donnees/SKILL.md`, puis les dossiers des stations par ces outils, tes scripts et leurs images ; ses règles d'usage valent pour toi ;
|
||||
- les étiquettes de la plage de chaque station, et les revues déjà faites, `labeling/auto/revue/<STATION>_*/revue.md`, **après** ta propre lecture des données.
|
||||
|
||||
@@ -48,7 +48,7 @@ Dis le nombre d'étiquettes à revoir, puis prends la première.
|
||||
- **Faits** : chaque affirmation, face à ta mesure ; un écart de chiffre qui ne change pas le sens ne vaut pas une question.
|
||||
- **Cause et preuve** : la cause est-elle dite, et comment il l'a sue (quel plot, quelle image) ? Sinon, demande-le (`run.md`, « Étiqueter des données »). S'il dit voir sur les images ce que tu ne vois pas, sa parole tient : la revue note que tu ne l'as pas vu, sans insister.
|
||||
- **Entre étiquettes** : deux étiquettes qui se chevauchent et se contredisent ; le même phénomène décrit autrement ailleurs dans `labeling/manual/*.jsonl`. **Un phénomène déjà étiqueté à la station** (un autre passage de train, la même pluie) : dis-le ; un exemple par phénomène lui suffit d'ordinaire, il garde ou retire.
|
||||
- **Face à la documentation** : `events/carte-des-evenements.md` et `docs/displacement/domaine/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
|
||||
- **Face à la documentation** : `events/carte-des-evenements.md` et `labeling/connaissances/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
|
||||
4. Présente-la, court :
|
||||
- en titre, son rang (« 3/8 ») et ses bornes ; puis son texte, tel quel, en citation ;
|
||||
- ce que tu as vérifié et qui tient, en une ou deux lignes ;
|
||||
|
||||
Reference in new issue
Block a user