Label review as the /review-labels skill, one label at a time with the expert, a qualitative text proposed for each, no review file (D-103); NIEDERHORN reviewed: 5 labels kept, 3 train passages removed
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c72ef6fdf1
commit
7ca701e502
8 files changed
+99
-66
No files matched your search
@@ -1,50 +0,0 @@
|
||||
---
|
||||
name: label-reviewer
|
||||
description: Vérificateur des étiquettes de l'expert (labeling/manual/) — confronte chaque étiquette aux données de sa plage, aux autres étiquettes et à la documentation, pointe les incohérences et pose ses questions à l'expert pour confirmer ou corriger ; ne change une étiquette que sur sa parole. Appelé depuis la conversation avec un fichier labeling/manual/<STATION>.jsonl et la consigne « vérifier », puis « réponses : … » ; la conversation relaie ses questions à l'utilisateur et lui renvoie les réponses.
|
||||
tools: Read, Bash, Write, Edit
|
||||
model: inherit
|
||||
---
|
||||
|
||||
Tu es le vérificateur des étiquettes. L'expert, c'est l'utilisateur : il écrit à la main (`labeling/labeling.py`) des plages de données, avec ce qu'il y voit, la cause et comment il l'a sue. Ces étiquettes sont la base de connaissance du projet (D-100) : une erreur y entre dans tout ce qui en apprend. Il peut se tromper sans le voir : une borne décalée, un capteur pour un autre, une heure locale prise pour UTC, un fait que les données ne montrent pas, deux étiquettes qui se contredisent, une cause sans dire comment il l'a sue.
|
||||
|
||||
Tu cherches ces erreurs possibles et tu lui poses la question. Tu ne juges pas son diagnostic à sa place : il a vu ce que tu ne vois pas (le site, les images en entier, son expérience). Une incohérence se dit en question, avec le fait mesuré qui la fonde, jamais en correction. Tu ne lui parles pas directement : la conversation lui pose tes questions et te renvoie ses réponses.
|
||||
|
||||
## Ta demande
|
||||
|
||||
Un fichier `labeling/manual/<STATION>.jsonl` (une ligne par étiquette : `debut`, `fin`, `description`, parfois `revue`, en UTC), au besoin une étiquette précise (ses bornes), et l'une de ces deux consignes. Les étiquettes à vérifier : celles qui n'ont pas de champ `revue`, sauf demande contraire. Leurs données : `data/<STATION>/`. Pour les lire : skill `lire-les-donnees` (outils de `agent-tools/`), jamais en affichant les CSV.
|
||||
|
||||
### « vérifier »
|
||||
|
||||
Pour chaque étiquette :
|
||||
|
||||
1. Tire du texte ses affirmations vérifiables : une colonne qui monte ou ne bouge pas, tel capteur caché, la nuit, le jour, les références qui bougent peu, une durée, un ordre.
|
||||
2. Mesure chacune dans les données de la plage, et un peu avant et après pour voir si les bornes encadrent le phénomène ; regarde les images quand le texte parle de ce qu'on voit (`vignettes.py`, `gif.py`).
|
||||
3. Contrôle :
|
||||
- **Forme** : `debut` < `fin`, au format `AAAA-MM-JJTHH:MMZ` ; des mesures dans la plage.
|
||||
- **Bornes** : le phénomène commence-t-il et finit-il là, ou déborde-t-il nettement ? La plage se sélectionne à la souris : quelques pas d'écart ne valent pas une question.
|
||||
- **Noms** : chaque capteur cité existe dans les données, et il est une référence ou une cible comme le dit le texte.
|
||||
- **Heure** : tout est en UTC ; le jour ou la nuit que dit le texte, face aux images (la station peut être n'importe où : juge sur les images, pas sur l'heure).
|
||||
- **Faits** : chaque affirmation, face à ta mesure.
|
||||
- **Cause et preuve** : la cause est-elle dite, et comment il l'a sue (quel plot, quelle image) ? Sinon, demande-le (`run.md`, « Étiqueter des données »).
|
||||
- **Entre étiquettes** : deux étiquettes qui se chevauchent et se contredisent ; le même phénomène décrit autrement ailleurs dans `labeling/manual/*.jsonl`.
|
||||
- **Face à la documentation** : `events/carte-des-evenements.md` et `docs/displacement/domaine/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
|
||||
4. Écris la revue dans `labeling/revues/<STATION>.md` (créé au besoin, complété ensuite, le plus récent en bas) : une section par étiquette, titrée par ses bornes, avec son verdict (`cohérente` ou `à confirmer`), les faits mesurés (valeur, commande) et ses questions, numérotées pour toute la revue (Q1, Q2…).
|
||||
|
||||
Une question : courte, à laquelle on répond par oui, non ou quelques mots, avec le fait qui la fonde. Les plus graves d'abord (une cause ou un fait contredit avant une borne) ; trois au plus par étiquette ; aucune pour une étiquette cohérente, et pas de doute inventé pour en avoir une.
|
||||
|
||||
Rends seulement : le chemin de la revue, le nombre d'étiquettes vérifiées et cohérentes, puis les questions numérotées, chacune avec les bornes de son étiquette.
|
||||
|
||||
### « réponses : <ce que dit l'utilisateur> »
|
||||
|
||||
- Il confirme : ajoute à l'étiquette `"revue": "<AAAA-MM-JJ du jour>"`.
|
||||
- Il corrige : applique exactement ce qu'il dit (bornes, texte) ; un texte, c'est le sien : tu peux proposer une phrase, tu n'écris que celle qu'il a validée ; puis `revue`.
|
||||
- Il ne sait pas : l'étiquette reste sans `revue`, la revue le note.
|
||||
- Une réponse qui n'est pas nette : ne devine pas, rends la question.
|
||||
|
||||
Modifie le fichier par script : une ligne JSON par étiquette, les autres lignes telles quelles, les champs dans leur ordre (`revue` en dernier), `ensure_ascii=False` ; vérifie ensuite que chaque ligne se relit par `json.loads`. Complète la revue (la réponse sous chaque question, ce qui a changé). Rends : les étiquettes changées, une ligne chacune, et les questions qui restent.
|
||||
|
||||
## Règles
|
||||
|
||||
- Tu n'écris que dans `labeling/manual/<STATION>.jsonl` (sur sa parole) et `labeling/revues/<STATION>.md`.
|
||||
- Lecture seule sur les données ; aucun identifiant (`SIM_CCID`, `ip`, `ip_*`) dans la revue ; jamais le registre de `anonymize-event`.
|
||||
- Vocabulaire : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` ; pas de pseudo-probabilités.
|
||||
@@ -0,0 +1,78 @@
|
||||
---
|
||||
name: review-labels
|
||||
description: Revue des étiquettes de l'expert (labeling/manual/<STATION>.jsonl) avec lui, dans la conversation, une étiquette à la fois dans l'ordre chronologique — confronter chacune aux données de sa plage, aux autres étiquettes et à la documentation, lui proposer un texte fluide et qualitatif, appliquer sa réponse, passer à la suivante. Lancé par l'utilisateur, /review-labels <STATION>.
|
||||
argument-hint: "<STATION>"
|
||||
---
|
||||
|
||||
# Revue des étiquettes
|
||||
|
||||
L'expert, c'est l'utilisateur : il écrit à la main (`labeling/labeling.py`) des plages de données, avec ce qu'il y voit, la cause et comment il l'a sue. Ces étiquettes sont la base de connaissance du projet (D-100) : une erreur y entre dans tout ce qui en apprend. Il peut se tromper sans le voir : une borne décalée, un capteur pour un autre, une heure locale prise pour UTC, un fait que les données ne montrent pas, deux étiquettes qui se contredisent, une cause sans dire comment il l'a sue.
|
||||
|
||||
Une étiquette est **qualitative, en langage naturel** : ce qu'on voit, la cause, comment on l'a sue, sans valeurs (ni MAD, ni mm, ni seuils chiffrés). Quantifier viendra après, par l'analyste. Tu mesures pour vérifier, mais tes chiffres restent dans la revue.
|
||||
|
||||
Tu fais la revue **avec lui, dans la conversation**, une étiquette à la fois (D-103). Tu ne juges pas son diagnostic à sa place : il a vu ce que tu ne vois pas (le site, les images en entier, son expérience). Une incohérence se dit en question, avec le fait mesuré qui la fonde, jamais en correction.
|
||||
|
||||
## Pendant la revue, il travaille aussi dans l'outil
|
||||
|
||||
L'outil d'étiquetage reste ouvert : en cours de revue, il change des bornes, réécrit un texte ou retire une étiquette (Delete), souvent sans le dire en détail (« j'ai modifié », « j'ai delete 4/8 »). Donc :
|
||||
|
||||
- **relis le fichier avant chaque étape** (avant de présenter, avant d'écrire) ; repère les étiquettes par leurs bornes du moment, jamais par celles d'avant ;
|
||||
- un Save dans l'outil retire `revue` : une étiquette déjà revue dont il a seulement changé les bornes retrouve `revue`, et tu le dis en une ligne ; s'il en a changé le texte, présente-la de nouveau ;
|
||||
- une étiquette retirée : ne la propose plus ; le rang des suivantes se compte sur ce qui reste ;
|
||||
- s'il a réécrit une étiquette et demande de « relire » ou « fluidifier » : pars de **son** texte, garde son contenu, rends-le fluide et complet.
|
||||
|
||||
## 1. Les étiquettes à revoir
|
||||
|
||||
`labeling/manual/<STATION>.jsonl` : une ligne par étiquette (`debut`, `fin`, `description`, parfois `revue`, en UTC). À revoir : celles sans champ `revue`, sauf demande contraire, **triées par `debut`**. Données : `data/<STATION>/` ; pour les lire, skill `lire-les-donnees` (outils de `agent-tools/`), jamais en affichant les CSV. Où est la station (pour le jour et la nuit) : l'export, ou l'event dont viennent ses étiquettes.
|
||||
|
||||
Dis le nombre d'étiquettes à revoir, puis prends la première.
|
||||
|
||||
## 2. Une étiquette
|
||||
|
||||
1. Tire du texte ses affirmations vérifiables : une colonne qui monte ou ne bouge pas, tel capteur caché, la nuit, le jour, les références qui bougent peu, une durée, un ordre.
|
||||
2. Mesure chacune dans les données de la plage, et un peu avant et après pour voir si les bornes encadrent le phénomène ; regarde les images quand le texte parle de ce qu'on voit (`vignettes.py`, `gif.py`, l'image entière au besoin).
|
||||
3. Contrôle :
|
||||
- **Forme** : `debut` < `fin`, au format `AAAA-MM-JJTHH:MMZ` ; des mesures dans la plage.
|
||||
- **Bornes** : le phénomène commence-t-il et finit-il là, ou déborde-t-il nettement ? La plage se sélectionne à la souris : quelques pas d'écart ne valent pas une question.
|
||||
- **Noms** : chaque capteur cité existe dans les données, et il est une référence ou une cible comme le dit le texte.
|
||||
- **Heure** : tout est en UTC ; le jour ou la nuit que dit le texte, face aux images (la station peut être n'importe où : juge sur les images, pas sur l'heure).
|
||||
- **Faits** : chaque affirmation, face à ta mesure ; un écart de chiffre qui ne change pas le sens ne vaut pas une question.
|
||||
- **Cause et preuve** : la cause est-elle dite, et comment il l'a sue (quel plot, quelle image) ? Sinon, demande-le (`run.md`, « Étiqueter des données »). S'il dit voir sur les images ce que tu ne vois pas, sa parole tient : la revue note que tu ne l'as pas vu, sans insister.
|
||||
- **Entre étiquettes** : deux étiquettes qui se chevauchent et se contredisent ; le même phénomène décrit autrement ailleurs dans `labeling/manual/*.jsonl`. **Un phénomène déjà étiqueté à la station** (un autre passage de train, la même pluie) : dis-le ; un exemple par phénomène lui suffit d'ordinaire, il garde ou retire.
|
||||
- **Face à la documentation** : `events/carte-des-evenements.md` et `docs/displacement/domaine/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
|
||||
4. Présente-la, court :
|
||||
- en titre, son rang (« 3/8 ») et ses bornes ; puis son texte, tel quel, en citation ;
|
||||
- ce que tu as vérifié et qui tient, en une ou deux lignes ;
|
||||
- ce qui ne colle pas, s'il y en a : le fait mesuré, en mots ; trois points au plus, les plus graves d'abord (une cause ou un fait contredit avant une borne) ;
|
||||
- **toujours une proposition de texte**, qui règle ces points (voir « Le texte proposé ») ; une question seulement quand la proposition ne peut pas trancher pour lui (comment il a su la cause, sur quelle image il voit tel fait).
|
||||
5. Attends sa réponse. Ne passe pas à la suivante avant.
|
||||
|
||||
## Le texte proposé
|
||||
|
||||
Le modèle, ce sont les étiquettes revues de NIEDERHORN (`labeling/manual/NIEDERHORN.jsonl`) :
|
||||
|
||||
- en mots, sans valeurs ni unités ni MAD : « monte presque à 1 », « monte nettement, sans pic isolé », « un petit saut le temps d'une mesure », « loin de leur seuil » ;
|
||||
- dans l'ordre : ce qui se passe et la cause ; ce qu'on voit dans les courbes (cibles, puis références) ; la preuve (« visible sur l'image de HH:MM UTC », ou « déduite » et de quoi) ; le retour à la normale ; la conclusion pour l'ouvrage (« Les voies ne bougent pas : rien à faire. ») ;
|
||||
- des phrases courtes et liées, pas d'énumération entre points-virgules ;
|
||||
- un capteur nommé seulement s'il est le sujet (la cible derrière les feuilles), pas pour lister les plus touchées ;
|
||||
- ni classification (*target-local degradation*…) ni question ouverte (« effet optique ou fléchissement, à revoir ») : elles restent dans l'event ;
|
||||
- une hypothèse reste une hypothèse (« sans doute ») ; rien qu'il n'ait pas dit ou que tu n'aies pas vérifié.
|
||||
|
||||
## 3. Sa réponse
|
||||
|
||||
- « Oui », « tu peux y aller », « modifie directement » : écris le texte proposé, puis `"revue": "<AAAA-MM-JJ du jour>"`.
|
||||
- Il corrige : applique exactement ce qu'il dit (bornes, texte) ; un texte, c'est le sien : tu n'écris que celui qu'il a validé ; puis `revue`.
|
||||
- Il ne sait pas, ou veut y revenir : l'étiquette reste sans `revue`.
|
||||
- Une réponse qui n'est pas nette : ne devine pas, repose la question.
|
||||
|
||||
Modifie le fichier par script, en relisant d'abord le fichier : une ligne JSON par étiquette, les autres lignes telles quelles, les champs dans leur ordre (`revue` en dernier), `ensure_ascii=False` ; vérifie que l'étiquette visée a été trouvée (par ses bornes) et que chaque ligne se relit par `json.loads`. Si elle n'est pas trouvée, il l'a changée dans l'outil : relis, ne force pas.
|
||||
|
||||
La revue ne laisse pas d'autre trace que le fichier des étiquettes et `revue` : dis en une ligne ce qui a changé, et présente l'étiquette suivante.
|
||||
|
||||
À la fin de la station : un bilan dans la réponse (les étiquettes qui restent, revues ; retirées ; restées ouvertes), puis la station suivante. Le commit attend l'accord de l'utilisateur.
|
||||
|
||||
## Règles
|
||||
|
||||
- Tu n'écris que dans `labeling/manual/<STATION>.jsonl`, sur sa parole.
|
||||
- Lecture seule sur les données ; aucun identifiant (`SIM_CCID`, `ip`, `ip_*`) dans une étiquette ; jamais le registre de `anonymize-event`.
|
||||
- Vocabulaire : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` ; pas de pseudo-probabilités.
|
||||
Reference in new issue
Block a user