Le labeler archivé (conception et plan, jamais construit) : hors de l'architecture du 2026-11-16
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
41071fa486
commit
ac86d8f6cc
4 files changed
+5
No files matched your search
@@ -0,0 +1,154 @@
|
||||
# Le labeler : conception
|
||||
|
||||
2026-11-14. Statut : proposée. Les choix marqués « Mon choix » sont à vérifier en lisant.
|
||||
|
||||
## L'intention
|
||||
|
||||
Produire des étiquettes LLM de bonne qualité **à faible effort**, en grand nombre, sans qu'un analyste fasse l'analyse
|
||||
approfondie de chaque plage. On donne au labeler un lot ; avec l'aide des détecteurs, il l'étiquette comme l'analyste le
|
||||
ferait, en moins approfondi. Il sera moins bon que l'analyste, et c'est accepté : le gain est l'effort.
|
||||
|
||||
Il s'améliore sans qu'on le touche : par les précédents (le RAG, `precedents.py`), qui s'enrichissent des étiquettes de
|
||||
l'expert et des étiquettes relues, et par les progrès des détecteurs, qui lui montrent mieux où regarder.
|
||||
|
||||
C'est l'une des tâches séparées de la chaîne : l'**analyste** (Diagnostic-App, approfondi, une plage choisie), le
|
||||
**labeler** (ici, large, un lot), l'**optimiseur** (Optimizer, les détecteurs). Le scanner d'Optimizer fait aujourd'hui un
|
||||
petit étiquetage de loin ; quand le labeler tournera, Optimizer pourra lire ses étiquettes à la place (un autre chantier,
|
||||
dans Optimizer, plus tard).
|
||||
|
||||
## Objectifs, non-objectifs, anti-objectifs
|
||||
|
||||
- **Objectifs** : une commande par lot ; des étiquettes aux règles de `regles-d-etiquetage.md` (0 erreur à `controle.py`),
|
||||
versées dans `auto/` avec leur provenance ; un coût par station-jour très en dessous de l'analyste ; chaque lot laisse
|
||||
une trace lisible (ce qui justifie chaque étiquette, ce qui a manqué dans la documentation).
|
||||
- **Non-objectifs** : le rapport de diagnostic pour l'utilisateur (c'est l'analyste) ; l'amélioration des détecteurs ;
|
||||
une page dans l'app ; la relecture des étiquettes ; sortir les outils de lecture de Diagnostic-App.
|
||||
- **Anti-objectifs** (un échec, même si ça tourne) :
|
||||
- les étiquettes du labeler, non relues, comptées comme vérité par le benchmark des détecteurs ou par `wf-improve` :
|
||||
les détecteurs se mesureraient à leur propre reflet ;
|
||||
- le labeler qui recopie les détecteurs : leurs ratés deviennent les siens, et rien ne les corrige plus ;
|
||||
- ses erreurs qui reviennent comme exemples à suivre : des précédents « labeler » non relus présentés comme ceux de
|
||||
l'expert ;
|
||||
- une étiquette de `manual/` ou une étiquette relue de `auto/` modifiée par le labeler.
|
||||
|
||||
## Les approches
|
||||
|
||||
**Où il vit.**
|
||||
- **Retenue : dans `~/labeling`**, à côté des étiquettes qu'il écrit et du savoir qu'il lit : plus logique.
|
||||
- Écartée : un dépôt `~/labeler` à part, comme Optimizer : plus séparé, mais un dépôt de plus pour un agent qui ne fait
|
||||
qu'écrire ici.
|
||||
- Écartée : un agent de plus dans Diagnostic-App : les tâches restent mêlées dans l'app.
|
||||
|
||||
**Où vont ses étiquettes.**
|
||||
- **Retenue : dans `auto/<STATION>.jsonl`, avec `"source": "labeler"`**, toutes les étiquettes au même endroit ; ceux qui
|
||||
ne doivent pas les compter les écartent par ce champ.
|
||||
- Écartée : un dossier `labeler/` à part : aucun code partagé à toucher, mais un troisième endroit où chercher les
|
||||
étiquettes.
|
||||
|
||||
## Ce qui est décidé
|
||||
|
||||
### Le lot
|
||||
|
||||
Un jour UTC, toutes les stations de `data/` qui ont des mesures ce jour-là, ou celles de `--stations A,B`. Une séance
|
||||
`claude -p --agent labeler` par station (le contexte d'une station-jour, pas celui de onze). Le jour par défaut : le
|
||||
dernier jour UTC complet ; `--jour AAAA-MM-JJ` pour un autre.
|
||||
|
||||
```bash
|
||||
python3 labeler.py # hier, toutes les stations
|
||||
python3 labeler.py --jour 2026-11-12 --stations NORDEND,JUNGFRAU
|
||||
```
|
||||
|
||||
Un lot déjà fait pour une station (son dossier a `etiquettes.jsonl` versé) ne se refait pas ; supprimer le dossier pour
|
||||
refaire.
|
||||
|
||||
### Les détecteurs, où regarder
|
||||
|
||||
`labeler.py` lance `categories.events` (le lien `detectors`) sur le jour, avec 3 jours d'historique, comme `batch.py`
|
||||
d'Optimizer, et écrit leurs événements pour l'agent (heures, famille, texte) dans le dossier du lot. Le labeler les lit
|
||||
comme **des endroits où regarder**, jamais comme une preuve : chaque étiquette se fonde sur ce qu'il a lu dans les
|
||||
données. Puis il **balaie tout le jour** pour ce que les détecteurs n'ont pas vu (`plages.py`, `ensemble.py`, comme le dit
|
||||
`lire-les-donnees`). Son analyse dit, pour chaque étiquette, si un détecteur l'avait vue.
|
||||
|
||||
### L'agent
|
||||
|
||||
`.claude/agents/labeler.md`, sur Sonnet. Il reprend de l'analyste (`~/Diagnostic-App/.claude/agents/analyste.md`) ce
|
||||
qui fait une étiquette juste : ce qu'est une anomalie (`corr_x`, `corr_y` qui bougent ou manquent ; le thermique
|
||||
toujours), ce qu'il lit (`familles.md` et `regles-d-etiquetage.md` en entier, la carte par son sommaire et ses sections 2
|
||||
à 4, `connaissances/` au besoin), les précédents (`python3 precedents.py "<ce qu'il voit>" --exclure <STATION> <jour>
|
||||
<jour+1>`), les étiquettes déjà dans `auto/<STATION>.jsonl` sur le jour (elles restent ; il ne refait pas une étiquette
|
||||
juste ; un événement commencé la veille se prolonge).
|
||||
|
||||
Ce qui le rend léger, face à l'analyste : pas de rapport ; les fiches de la carte seulement pour les phénomènes
|
||||
rencontrés ; un budget d'images (quelques-unes par station, pour trancher une famille) ; les outils de
|
||||
`lire-les-donnees` sans scripts à lui.
|
||||
|
||||
Il rend, dans son dossier :
|
||||
- `etiquettes.jsonl` : au format de l'expert (`debut`, `fin`, `categorie`, `description`) ; `controle.py` sur ce fichier
|
||||
doit dire 0 erreur ;
|
||||
- `analyse.md` : par étiquette, le phénomène de la carte, les précédents utiles, la famille et pourquoi, ce qui est
|
||||
mesuré, vu par un détecteur ou non, la confiance ; ce qu'il a laissé sans étiquette ; ce qui lui a manqué dans la
|
||||
documentation.
|
||||
|
||||
### Le dossier d'un lot
|
||||
|
||||
`auto/lots/<jour>/<STATION>/` : `detecteurs.md` (les événements des détecteurs), `etiquettes.jsonl`, `analyse.md`,
|
||||
`travail/` (figures et sorties des outils) et `seance.jsonl` (le flux `stream-json`, avec son coût), ces deux derniers hors
|
||||
de git.
|
||||
|
||||
### Le versement
|
||||
|
||||
`labeler.py`, pas l'agent, verse : après `controle.py` à 0 erreur sur le fichier proposé, il réécrit
|
||||
`auto/<STATION>.jsonl` comme le fait `verser()` de Diagnostic-App (`app/serveur/analyse.py`) : les autres lignes telles
|
||||
quelles, celles de ce lot (`"lot": "<jour>"`) remplacées par les nouvelles, avec `"source": "labeler"` et `"lot"`, les ids
|
||||
par `ids.attribuer`, et l'écriture par un fichier provisoire puis `os.replace`. Reverser un lot le remplace donc, sans
|
||||
doublon. L'agent n'écrit jamais dans `auto/<STATION>.jsonl` ni dans `manual/`. *(Mon choix ; ponytail : le verrou de
|
||||
Diagnostic-App ne vaut que dans son serveur ; un versement de l'app à la même seconde sur la même station peut se perdre.
|
||||
Un verrou de fichier partagé si cela arrive.)*
|
||||
|
||||
**Le bord du lot** (`regles-d-etiquetage.md` : un événement qui touche le bord prolonge l'étiquette du lot voisin) : le
|
||||
labeler peut prolonger une étiquette de la veille seulement si elle est à lui et non relue ; il la donne dans son
|
||||
`etiquettes.jsonl` avec son `id`, et `labeler.py` remplace sa `fin`. Une étiquette voisine de l'expert, de l'analyste ou
|
||||
relue ne se touche pas : la sienne commence au bord du lot et son analyse le dit. *(Mon choix.)*
|
||||
|
||||
### Écarter ses étiquettes non relues
|
||||
|
||||
Une étiquette `"source": "labeler"` sans `revue` n'est pas une vérité. Une fois relue (`revue` posée), elle compte comme
|
||||
toute étiquette relue.
|
||||
- **`detectors`, `skills/wf-improve/scripts/score.py`, `read_labels`** : la fonction par laquelle passent `score.py`,
|
||||
`regression.py` et `wf-improve` ; elle laisse de côté ces étiquettes. Un commit dans le dépôt partagé `~/detectors` :
|
||||
Diagnostic-App et Optimizer l'ont aussitôt.
|
||||
- **`controle.py`** : `revue` n'est pas exigée d'une étiquette `"source": "labeler"` ; tout le reste l'est.
|
||||
- **`precedents.py`** : provenance « labeler, non relue » (ou « labeler, relue le … ») ; ses étiquettes non relues sont
|
||||
écartées par défaut, `--avec-labeler` pour les voir : le labeler n'apprend pas de ses propres erreurs, l'analyste non
|
||||
plus. *(Mon choix.)*
|
||||
|
||||
### Les règles
|
||||
|
||||
- Les agents tournent sur l'abonnement Claude, jamais sur une clé d'API : `labeler.py` lance `claude -p` sans
|
||||
`ANTHROPIC_API_KEY` ni `ANTHROPIC_AUTH_TOKEN` et s'arrête si le message d'ouverture dit `apiKeySource` ≠ `none`, comme
|
||||
`batch.py` d'Optimizer.
|
||||
- Toute heure en UTC ; pas de règle propre à une station, une cible ou une date ; lecture seule sur `data/` ; ne jamais
|
||||
recopier les identifiants des métriques.
|
||||
|
||||
### La séance
|
||||
|
||||
Comme l'analyste : `claude -p "<demande>" --agent labeler --output-format stream-json --verbose --allowedTools
|
||||
Read,Write,Bash --permission-mode acceptEdits`, avec `--add-dir` sur la cible réelle de chaque lien (`data`, `detectors`,
|
||||
`agent-tools`), lancée depuis `~/labeling`. La demande donne la station, le jour, le dossier du lot.
|
||||
|
||||
### Les liens
|
||||
|
||||
Hors de git (`.gitignore`), comme dans Optimizer :
|
||||
`data -> ~/aimsight-data/data`, `detectors -> ~/detectors`, et, pour les outils de lecture, `agent-tools ->
|
||||
~/Diagnostic-App/agent-tools`, `.claude/skills/lire-les-donnees -> ~/Diagnostic-App/.claude/skills/lire-les-donnees`,
|
||||
`.venv -> ~/Diagnostic-App/.venv`. Le skill cite `labeling/connaissances/…` : le labeler lance tout depuis `~/labeling`,
|
||||
d'où ces chemins se lisent par `connaissances/…` (son agent le dit).
|
||||
|
||||
## Laissé au constructeur
|
||||
|
||||
- Le texte de `labeler.md`, dans l'esprit de l'analyste et du scanner.
|
||||
- Comment `labeler.py` tire les événements de `categories.events` (reprendre la logique de `batch.py`, `etiquettes()`,
|
||||
sans importer d'Optimizer).
|
||||
- Le budget exact d'images et la façon de le faire tenir.
|
||||
- La vérification : un lot réel sur une ou deux stations, `controle.py`, puis
|
||||
`regression.py --labels labeling/auto --data data` inchangé avant et après le versement.
|
||||
@@ -0,0 +1,257 @@
|
||||
# Le labeler : plan de construction
|
||||
|
||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||
|
||||
**Goal :** un agent `labeler` qui étiquette un jour UTC station par station, à faible effort, et verse ses étiquettes
|
||||
dans `auto/<STATION>.jsonl` avec `"source": "labeler"`, écartées de la vérité tant qu'elles ne sont pas relues.
|
||||
|
||||
**Architecture :** `labeler.py` (bibliothèque standard) tire les événements des détecteurs du jour, lance
|
||||
`claude -p --agent labeler` par station, contrôle puis verse ses étiquettes. Trois garde-fous lisent le champ `source` :
|
||||
`controle.py`, `precedents.py`, et `score.read_labels` dans le dépôt `~/detectors`.
|
||||
|
||||
**Tech Stack :** Python 3, bibliothèque standard ; Claude Code (`claude -p`) sur l'abonnement ; les outils de lecture de
|
||||
Diagnostic-App par des liens.
|
||||
|
||||
**Spec :** `docs/superpowers/specs/2026-11-14-labeler-design.md`
|
||||
|
||||
## Global Constraints
|
||||
|
||||
- Bibliothèque standard pour `labeler.py` ; matplotlib et PIL seulement par `.venv/bin/python` (les outils de lecture).
|
||||
- `claude -p` sans `ANTHROPIC_API_KEY` ni `ANTHROPIC_AUTH_TOKEN` ; arrêt si `apiKeySource` ≠ `none`.
|
||||
- Toute heure en UTC, format `AAAA-MM-JJTHH:MMZ`.
|
||||
- Une étiquette `"source": "labeler"` sans `revue` n'est pas une vérité ; avec `revue`, elle compte comme les autres.
|
||||
- Le labeler n'écrit jamais dans `manual/` ; ne modifie jamais une étiquette relue, de l'expert ou d'une analyse.
|
||||
- Pas de règle propre à une station, une cible ou une date ; lecture seule sur `data/`.
|
||||
- Commits par chemin, jamais `git add -A` ; langue : français (le dépôt `detectors` en anglais).
|
||||
- Pas de test framework : chaque script garde son contrôle `--check` à `assert` (comme `precedents.py --check`).
|
||||
|
||||
## Review Focus
|
||||
|
||||
1. **Reverser un lot** (relancer après un plantage, ou après avoir supprimé le dossier) : les étiquettes du lot sont
|
||||
remplacées, jamais doublées ; une étiquette du lot relue entre-temps reste. → Tâche 4, `check()`.
|
||||
2. **Une prolongation qui vise une étiquette interdite** (relue, d'une analyse, id inconnu) : refusée avec un message,
|
||||
rien n'est versé pour la station. → Tâche 4, `check()`.
|
||||
3. **Une station sans mesure ce jour-là** : sautée et nommée, pas de séance `claude`. → Tâche 4, `check()` sur
|
||||
`a_des_mesures`.
|
||||
4. **Un fichier `auto/<STATION>.jsonl` absent** (station nouvelle) : le versement le crée. → Tâche 4, `check()`.
|
||||
5. **`controle.py` rouge sur le fichier proposé** : rien n'est versé, le lot n'est pas marqué fait, le message le dit.
|
||||
→ Tâche 4, `main` (vérifié à la tâche 5).
|
||||
|
||||
---
|
||||
|
||||
### Tâche 1 : `controle.py` n'exige pas `revue` d'une étiquette du labeler
|
||||
|
||||
**Files :**
|
||||
- Modify : `controle.py:41` (la ligne `manque = …`) et sa docstring (« étiquette sans `revue` », ajouter « sauf
|
||||
`"source": "labeler"` »)
|
||||
|
||||
**Interfaces :**
|
||||
- Produit : la règle « `revue` exigée sauf si `e.get("source") == "labeler"` », dont dépend le versement (tâche 4).
|
||||
|
||||
- [ ] **Étape 1 : écrire le contrôle qui échoue**
|
||||
|
||||
```bash
|
||||
T=$(mktemp -d) && mkdir $T/auto && cp controle.py $T/ && cat > $T/auto/X.jsonl <<'EOF'
|
||||
{"id": "X-1", "debut": "2026-11-12T01:00Z", "fin": "2026-11-12T02:00Z", "categorie": "Visibility", "description": "a", "source": "labeler", "lot": "2026-11-12"}
|
||||
{"id": "X-2", "debut": "2026-11-12T03:00Z", "fin": "2026-11-12T04:00Z", "categorie": "Visibility", "description": "b"}
|
||||
EOF
|
||||
python3 $T/controle.py X | head -2
|
||||
```
|
||||
|
||||
- [ ] **Étape 2 :** l'exécuter. Attendu aujourd'hui : `2 erreurs` (X#1 et X#2 sans `revue`).
|
||||
- [ ] **Étape 3 :** changer la ligne `manque` : `{"revue", "id"}` devient `{"id"} | (set() if e.get("source") == "labeler" else {"revue"})`.
|
||||
- [ ] **Étape 4 :** relancer. Attendu : `1 erreurs`, `X#2 champ manquant : ['revue']` seulement. Puis
|
||||
`python3 controle.py | head -1` : toujours `18 erreurs`.
|
||||
- [ ] **Étape 5 : commit** `git commit -m "controle.py : revue non exigée d'une étiquette du labeler" -- controle.py`
|
||||
|
||||
---
|
||||
|
||||
### Tâche 2 : `precedents.py` écarte par défaut les étiquettes du labeler non relues
|
||||
|
||||
`precedents.py`, `README.md` et `.gitignore` ne sont pas encore commités (le RAG, travail en cours de l'utilisateur) :
|
||||
le commit de cette tâche les ajoute en entier. Le dire à l'utilisateur avant de commiter.
|
||||
|
||||
**Files :**
|
||||
- Modify : `precedents.py` (`provenance`, `chercher`, `check`, `main`, docstring)
|
||||
|
||||
**Interfaces :**
|
||||
- Produit : `provenance(source: str, e: dict) -> str` rend `"labeler, non relue (lot <lot>)"` ou
|
||||
`"labeler, relue le <revue>"` quand `e.get("source") == "labeler"` ;
|
||||
`chercher(requete, toutes, vecteurs, q, k=8, famille=None, exclure=None, avec_labeler=False)` ;
|
||||
option CLI `--avec-labeler`.
|
||||
|
||||
- [ ] **Étape 1 : ajouter à `check()`**
|
||||
|
||||
```python
|
||||
assert provenance("auto", {"source": "labeler", "lot": "2026-11-12"}) == "labeler, non relue (lot 2026-11-12)"
|
||||
assert provenance("auto", {"source": "labeler", "revue": "2026-11-13"}) == "labeler, relue le 2026-11-13"
|
||||
c = {**e, "station": "U", "categorie": "C", "description": "c", "source": "labeler"}
|
||||
vec[cle(texte(c))] = [0.0, 1.0]
|
||||
assert [x["categorie"] for _, x in chercher("", [a, b, c], vec, [0.0, 1.0])] == ["B", "A"]
|
||||
assert [x["categorie"] for _, x in chercher("", [a, b, c], vec, [0.0, 1.0], avec_labeler=True)] == ["C", "B", "A"]
|
||||
assert [x["categorie"] for _, x in chercher("", [a, b, {**c, "revue": "2026-11-13"}], vec, [0.0, 1.0])][0] == "C"
|
||||
```
|
||||
|
||||
- [ ] **Étape 2 :** `python3 precedents.py --check` → échoue (`AssertionError` ou `TypeError` sur `avec_labeler`).
|
||||
- [ ] **Étape 3 :** implémenter : `provenance` teste `source == "labeler"` avant `revue` ; `chercher` écarte
|
||||
`e.get("source") == "labeler" and not e.get("revue")` sauf `avec_labeler` ; `--avec-labeler` passé par `main` ;
|
||||
une ligne dans la docstring.
|
||||
- [ ] **Étape 4 :** `python3 precedents.py --check` → `ok`.
|
||||
- [ ] **Étape 5 : commit** `git commit -m "precedents.py : le RAG des étiquettes ; celles du labeler non relues écartées par défaut" -- precedents.py README.md .gitignore`
|
||||
|
||||
---
|
||||
|
||||
### Tâche 3 : `detectors`, `score.read_labels` écarte les étiquettes du labeler non relues
|
||||
|
||||
Dans le dépôt `~/detectors` (partagé ; en anglais ; branche courante `main`). `read_labels` est la seule entrée de
|
||||
`score.py` et `regression.py`.
|
||||
|
||||
**Files :**
|
||||
- Modify : `~/detectors/skills/wf-improve/scripts/score.py:44-50` (`read_labels`, sa docstring)
|
||||
- Modify : `~/detectors/CLAUDE.md` (une ligne : les étiquettes `"source": "labeler"` sans `revue` ne comptent pas)
|
||||
|
||||
**Interfaces :**
|
||||
- Produit : `read_labels(path, start=None, end=None) -> list[dict]` sans les lignes `source == "labeler"` sans `revue`.
|
||||
|
||||
- [ ] **Étape 1 : écrire le contrôle qui échoue**
|
||||
|
||||
```bash
|
||||
cd ~/detectors && T=$(mktemp) && printf '%s\n' \
|
||||
'{"debut": "2026-11-12T01:00Z", "fin": "2026-11-12T02:00Z", "categorie": "Visibility", "description": "a", "source": "labeler"}' \
|
||||
'{"debut": "2026-11-12T01:00Z", "fin": "2026-11-12T02:00Z", "categorie": "Visibility", "description": "b", "source": "labeler", "revue": "2026-11-13"}' \
|
||||
'{"debut": "2026-11-12T01:00Z", "fin": "2026-11-12T02:00Z", "categorie": "Visibility", "description": "c"}' > $T && \
|
||||
python3 -c "import sys; sys.path.insert(0, 'skills/wf-improve/scripts'); import score; print(sorted(e['description'] for e in score.read_labels('$T')))"
|
||||
```
|
||||
|
||||
- [ ] **Étape 2 :** l'exécuter. Attendu aujourd'hui : `['a', 'b', 'c']`.
|
||||
- [ ] **Étape 3 :** ajouter la condition au filtre de `read_labels` ; une ligne dans `CLAUDE.md`.
|
||||
- [ ] **Étape 4 :** relancer → `['b', 'c']`.
|
||||
- [ ] **Étape 5 : commit** dans `~/detectors` :
|
||||
`git commit -m "score.read_labels: skip unreviewed labeler labels (source labeler, no revue)" -- skills/wf-improve/scripts/score.py CLAUDE.md`
|
||||
|
||||
---
|
||||
|
||||
### Tâche 4 : `labeler.py`, le lot sans l'agent
|
||||
|
||||
**Files :**
|
||||
- Create : `labeler.py`
|
||||
- Modify : `.gitignore` (`data`, `detectors`, `agent-tools`, `.venv`, `.claude/skills/lire-les-donnees`,
|
||||
`auto/lots/*/*/travail/`, `auto/lots/*/*/seance.jsonl`)
|
||||
- Liens (hors de git) : `data -> ~/aimsight-data/data`, `detectors -> ~/detectors`,
|
||||
`agent-tools -> ~/Diagnostic-App/agent-tools`, `.venv -> ~/Diagnostic-App/.venv`,
|
||||
`.claude/skills/lire-les-donnees -> ~/Diagnostic-App/.claude/skills/lire-les-donnees`
|
||||
|
||||
**Interfaces :**
|
||||
- Consomme : `ids.attribuer(station, etiquettes, retires=()) -> int` ; `controle.py <fichier.jsonl>` (code de sortie 0
|
||||
= sans erreur) ; `detectors/scripts` : `categories.events(mesures, fin, dossier)`, `data.load(dossier)`, `data.iso`.
|
||||
- Produit :
|
||||
- `evenements(station: str, mesures: dict, d: datetime) -> list[dict]` : les étiquettes des détecteurs coupées au jour,
|
||||
reprises de `~/Optimizer/batch.py`, `etiquettes()` (copie, pas d'import d'Optimizer) ;
|
||||
- `a_des_mesures(mesures: dict, d: datetime) -> bool` : au moins une mesure dans `[d, d+1j)` ;
|
||||
- `resume_detecteurs(station: str, jour: str, evs: list[dict]) -> str` : `detecteurs.md`, une ligne par événement
|
||||
(`D<n> HH:MM → HH:MM famille : texte`), « aucune étiquette des détecteurs » sinon ;
|
||||
- `verser(fichier: Path, station: str, jour: str, proposees: list[dict]) -> int` : réécrit `fichier`
|
||||
(le crée s'il manque) ; garde les lignes telles quelles, sauf celles `source == "labeler"`, `lot == jour`, sans
|
||||
`revue`, qui sont remplacées par les proposées sans `id` (+ `"source": "labeler"`, `"lot": jour`) ; une proposée avec
|
||||
`id` prolonge : si cet id est dans le fichier, `source == "labeler"` et sans `revue`, sa `fin` devient celle de la
|
||||
proposée, sinon `ValueError("prolongation refusée : <id> …")` et rien n'est écrit ; ids par `ids.attribuer`, avec les
|
||||
ids des lignes remplacées en `retires` (un id ne se redonne pas) ;
|
||||
écriture par `<fichier>.tmp` puis `os.replace` ; rend le nombre d'étiquettes ajoutées ou prolongées ;
|
||||
- `lire(chemin: Path) -> list[dict]` : les lignes JSON d'un fichier, `[]` s'il manque ;
|
||||
- `claude(dossier: Path, args: list[str]) -> dict | None` : repris de `~/Optimizer/batch.py`, `claude()`, flux dans
|
||||
`<dossier>/seance.jsonl`, rend la ligne `result` ;
|
||||
- `--check` : les `assert` ci-dessous, sans `claude` ni données.
|
||||
|
||||
- [ ] **Étape 1 : écrire `check()`** (les cas du Review Focus 1, 2, 4 et 3)
|
||||
|
||||
```python
|
||||
def check():
|
||||
with tempfile.TemporaryDirectory() as t:
|
||||
f = Path(t) / "X.jsonl"
|
||||
e = lambda d, **k: {"debut": f"2026-11-12T0{d}:00Z", "fin": f"2026-11-12T0{d + 1}:00Z", "categorie": "Visibility", "description": f"d{d}", **k}
|
||||
assert verser(f, "X", "2026-11-12", [e(1), e(3)]) == 2 # fichier absent : créé
|
||||
es = lire(f)
|
||||
assert [x["id"] for x in es] == ["X-1", "X-2"] and all(x["source"] == "labeler" and x["lot"] == "2026-11-12" for x in es)
|
||||
assert verser(f, "X", "2026-11-12", [e(5)]) == 1 # reverser : remplacé, pas doublé
|
||||
assert [(x["id"], x["description"]) for x in lire(f)] == [("X-3", "d5")]
|
||||
f.write_text("".join(json.dumps(x) + "\n" for x in [
|
||||
{"id": "X-7", **e(1), "source": "labeler", "lot": "2026-11-11"},
|
||||
{"id": "X-8", **e(2), "source": "labeler", "lot": "2026-11-12", "revue": "2026-11-13"},
|
||||
{"id": "X-9", **e(4), "analyse": "A"}]))
|
||||
assert verser(f, "X", "2026-11-12", [{**e(1), "id": "X-7", "fin": "2026-11-12T05:00Z"}, e(6)]) == 2
|
||||
es = {x["id"]: x for x in lire(f)}
|
||||
assert es["X-7"]["fin"] == "2026-11-12T05:00Z" and "X-8" in es and "X-10" in es # prolongée ; relue gardée
|
||||
for interdit in ("X-8", "X-9", "X-99"): # relue, analyse, inconnue
|
||||
avant = f.read_text()
|
||||
try:
|
||||
verser(f, "X", "2026-11-12", [{**e(1), "id": interdit}]); assert False
|
||||
except ValueError:
|
||||
assert f.read_text() == avant
|
||||
d = datetime(2026, 11, 12, tzinfo=timezone.utc)
|
||||
assert a_des_mesures({"A": [{"t": d + timedelta(hours=3)}]}, d)
|
||||
assert not a_des_mesures({"A": [{"t": d - timedelta(hours=1)}, {"t": d + timedelta(days=1)}]}, d)
|
||||
print("ok")
|
||||
```
|
||||
|
||||
- [ ] **Étape 2 :** `python3 labeler.py --check` → échoue (`labeler.py` n'existe pas, puis `NameError`).
|
||||
- [ ] **Étape 3 :** les liens, le `.gitignore`, puis `labeler.py` : docstring (usage, sorties), les fonctions de
|
||||
l'Interface, et `main` :
|
||||
- arguments `--jour AAAA-MM-JJ` (défaut : hier UTC), `--stations A,B` (défaut : les dossiers de `data/`), `--check` ;
|
||||
- par station : `dossier = auto/lots/<jour>/<STATION>/` ; fait si `dossier/travail/versees.jsonl` existe → sautée ;
|
||||
sans mesure ce jour-là → sautée et nommée à la fin ; sinon `detecteurs.md`, puis `claude(dossier, [demande, "--agent",
|
||||
"labeler", "--allowedTools", "Read,Write,Bash", *add_dir])` (`--add-dir` sur la cible résolue de `data`,
|
||||
`detectors`, `agent-tools`) ; la demande donne station, jour, dossier ;
|
||||
- après la séance : sans `etiquettes.jsonl` → message, station suivante ; `python3 controle.py <dossier>/etiquettes.jsonl`
|
||||
en sous-processus ; code ≠ 0 → sa sortie imprimée, rien versé ; sinon `verser`, copie de `etiquettes.jsonl` dans
|
||||
`travail/versees.jsonl`, une ligne `STATION : n étiquettes versées, coût`.
|
||||
- [ ] **Étape 4 :** `python3 labeler.py --check` → `ok`.
|
||||
- [ ] **Étape 5 :** les détecteurs sans l'agent : `python3 -c` qui importe `labeler`, charge `data/NORDEND` et imprime
|
||||
`resume_detecteurs("NORDEND", "2026-11-06", evenements(…))`. Attendu : les mêmes heures et familles que
|
||||
`~/Optimizer/batches/2026-11-06/detecteurs/NORDEND.jsonl` (lecture seule, Optimizer est en cours de travail).
|
||||
- [ ] **Étape 6 : commit** `git commit -m "labeler.py : le lot du labeler, détecteurs, séance et versement" -- labeler.py .gitignore`
|
||||
|
||||
---
|
||||
|
||||
### Tâche 5 : l'agent `labeler`, et un lot réel
|
||||
|
||||
**Files :**
|
||||
- Create : `.claude/agents/labeler.md`
|
||||
- Modify : `CLAUDE.md` (le labeler, le lot, les liens), `README.md` (une ligne `labeler.py`, `auto/lots/`)
|
||||
|
||||
**Interfaces :**
|
||||
- Consomme : `labeler.py` (tâche 4) ; ce qu'il donne à l'agent : `auto/lots/<jour>/<STATION>/detecteurs.md`, la station,
|
||||
le jour ; ce qu'il attend : `etiquettes.jsonl`, `analyse.md` dans ce dossier.
|
||||
|
||||
- [ ] **Étape 1 : écrire `.claude/agents/labeler.md`** : frontmatter `name: labeler`, `tools: Read, Write, Bash`,
|
||||
`model: sonnet`, `omitClaudeMd: true`, une `description` d'une phrase. Corps, dans l'esprit de
|
||||
`~/Diagnostic-App/.claude/agents/analyste.md` (le reprendre, l'alléger), en français :
|
||||
- qui il est : l'étiqueteur large et léger ; ses étiquettes ne sont pas relues ; mieux vaut une étiquette sûre ;
|
||||
- ce qu'est une anomalie (repris tel quel de l'analyste) ;
|
||||
- ce qu'il lit : `familles.md` et `regles-d-etiquetage.md` en entier, `carte-des-etiquettes.md` sommaire et sections 2 à
|
||||
4, puis les fiches des phénomènes rencontrés seulement ; `connaissances/chaine-de-mesure.md`,
|
||||
`colonnes-des-deplacements.md`, `les-trous.md` ; `.claude/skills/lire-les-donnees/SKILL.md` (ses chemins
|
||||
`labeling/…` se lisent ici sans le préfixe `labeling/`) ; `auto/<STATION>.jsonl` sur le jour et la veille ; rien
|
||||
de `manual/` en direct, ni le code des détecteurs ;
|
||||
- les détecteurs : `detecteurs.md` dit où regarder, jamais une preuve ; puis balayer tout le jour (`plages.py`,
|
||||
`ensemble.py`) pour ce qu'ils n'ont pas vu ;
|
||||
- les précédents : `python3 precedents.py "<ce qu'il voit>" --exclure <STATION> <jour>T00:00Z <jour+1>T00:00Z` ;
|
||||
- léger : pas de rapport, pas de script à lui, `--sortie <dossier>/travail`, **cinq images au plus** ;
|
||||
- le bord : prolonger une étiquette de la veille seulement si elle est à lui (`"source": "labeler"`) et sans `revue`,
|
||||
en la redonnant avec son `id` ; sinon commencer au bord et le dire dans l'analyse ;
|
||||
- ce qu'il rend : `etiquettes.jsonl` (format de l'expert), `controle.py` dessus à 0 erreur ; `analyse.md` au plan :
|
||||
par étiquette (phénomène de la carte, précédents utiles, famille et pourquoi, mesuré, vu par un détecteur : oui
|
||||
`D<n>` | non, confiance), ce qu'il a laissé sans étiquette, ce qui lui a manqué dans la documentation ;
|
||||
- il ne touche jamais `auto/<STATION>.jsonl` ni `manual/` ; réponse finale en une ligne : le nombre d'étiquettes.
|
||||
- [ ] **Étape 2 : le benchmark avant** : `python3 detectors/skills/wf-improve/scripts/regression.py --labels auto --data data > $SCRATCH/avant.txt` (~3 min).
|
||||
- [ ] **Étape 3 : un lot réel** sur une station et un jour qui ont des étiquettes de l'expert ou d'une analyse
|
||||
(ex. `python3 labeler.py --jour 2026-11-05 --stations NORDEND`, la plage de l'analyse
|
||||
`NORDEND_2026-11-04T2112_2026-11-07T1412`). Attendu : la séance tourne sur l'abonnement, `analyse.md` et
|
||||
`etiquettes.jsonl` dans `auto/lots/2026-11-05/NORDEND/`, versées avec `source` et `lot`, `python3 controle.py`
|
||||
toujours à 18 erreurs, `git diff auto/NORDEND.jsonl` ne montre que des lignes ajoutées.
|
||||
- [ ] **Étape 4 :** relancer la même commande → la station est sautée (lot fait). Supprimer
|
||||
`auto/lots/2026-11-05/NORDEND/travail/versees.jsonl` et relancer → les étiquettes du lot sont remplacées, pas doublées.
|
||||
- [ ] **Étape 5 :** `python3 precedents.py "<une description du lot>"` ne rend pas ses étiquettes ;
|
||||
`--avec-labeler` les rend. Le benchmark après, même commande vers `$SCRATCH/apres.txt` : `diff` vide.
|
||||
- [ ] **Étape 6 :** lire `analyse.md` face aux étiquettes de l'analyse sur ce jour ; ajuster `labeler.md` si une consigne
|
||||
a manqué (une passe, pas une campagne).
|
||||
- [ ] **Étape 7 : commit** `git commit -m "L'agent labeler et son premier lot (NORDEND, 2026-11-05)" -- .claude/agents/labeler.md CLAUDE.md README.md auto/lots/2026-11-05/NORDEND auto/NORDEND.jsonl`
|
||||
@@ -0,0 +1,3 @@
|
||||
# Archive
|
||||
|
||||
- `2026-11-14-labeler-design.md`, `2026-11-14-labeler.md` : la conception et le plan du « labeler », beaucoup d'étiquettes à faible effort avec l'aide des détecteurs, jamais construit. Archivé le 2026-11-16 par l'utilisateur : la quantité sans la qualité, et un risque circulaire (des étiquettes guidées par les détecteurs qui servent à les entraîner). Hors de l'architecture des dépôts (`~/Diagnostic-App/docs/architecture.drawio`) ; non maintenu.
|
||||
Reference in new issue
Block a user