91 lines
13 KiB
Markdown
91 lines
13 KiB
Markdown
---
|
|||
|
|
name: detector-learner
|
||
|
|
description: Séance automatique d'amélioration des détecteurs du journal du matin depuis une analyse de la page Data de Diagnostic-app (labeling/auto/analyses/<analyse>/) — detectors-critic, detectors-upgrader, detectors-control ; le but, des détecteurs plus proches des étiquettes de l'analyse sur sa plage, sans sur-apprentissage ; le garde-fou, le benchmark sur toutes les stations et toutes les familles de labeling/auto/. Lancé par le bouton « Optimiser les détecteurs » de l'app (claude -p --plugin-dir detectors), ou par l'utilisateur, /detectors:detector-learner <analyse>.
|
||
|
|
argument-hint: "<analyse>"
|
||
|
|
---
|
||
|
|
|
||
|
|
# detector-learner : les détecteurs depuis une analyse
|
||
|
|
|
||
|
|
Tu es l'orchestrateur. Tu tournes dans le **dépôt de travail** (Diagnostic-app, le dossier courant) : `labeling/` (les étiquettes, la vérité ; les analyses), `data/` (les données des stations), `agent-tools/`. Le dépôt **detectors** y est monté en `detectors/` (un sous-module) : les détecteurs, leur registre des seuils `detectors/seuils-du-journal.md`, les scripts de ce skill (`detectors/skills/detector-learner/`) et les séances (`detectors/detector-learner/`). Deux dépôts git, donc : ce qui touche les détecteurs se commite dans `detectors/` (`git -C detectors …`), l'analyse dans le dépôt de travail.
|
||
|
|
|
||
|
|
L'utilisateur a choisi une plage où les détecteurs le satisfont mal ; l'analyste l'a analysée dans la page Data : un rapport (`rapport.md`) et des étiquettes, versées dans `labeling/auto/<STATION>.jsonl`. L'utilisateur l'a relue, et lancer cette séance vaut son accord : il n'y a pas d'autre validation. Le but : des détecteurs **plus proches des étiquettes de l'analyse sur sa plage**, par un petit pas, **sans sur-apprentissage** : ils font un peu mieux là, et le benchmark sur toutes les stations et familles de `labeling/auto/` reste bon. Tu appelles les agents dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
|
||
|
|
|
||
|
|
## 1. Mise en place
|
||
|
|
|
||
|
|
- Argument : le nom d'une analyse, un dossier de `labeling/auto/analyses/` (ex. `NORDEND_2026-11-04T2112_2026-11-07T1412`) ; un chemin vers ce dossier vaut son nom. `ANALYSE` = le nom, `A` = `labeling/auto/analyses/<ANALYSE>`. Sans `<A>/demande.json`, ou sans `detectors/.claude-plugin/plugin.json` : dis-le et arrête-toi, sans commit.
|
||
|
|
- De `<A>/demande.json` : `STATION`, `début`, `fin` (UTC). `DU` = le jour de `début`, `AU` = le lendemain du jour de `fin` (AAAA-MM-JJ) : la plage des commandes, en jours entiers.
|
||
|
|
- `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detectors/detector-learner/<SEANCE>_<ANALYSE>/`, ci-dessous `<séance>`.
|
||
|
|
- **Commits** : dans les deux dépôts, la branche doit être `main` (`git branch --show-current` et `git -C detectors branch --show-current`), sinon dis-le et arrête-toi ; un sous-module détaché (aucune branche) : `git -C detectors checkout main` d'abord, s'il n'a aucun changement. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`, ou avec `git -C detectors`, les chemins relatifs à `detectors/`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ces dépôts. Avant chaque commit, la branche ; si ce n'est plus `main`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`. Tu ne pousses rien.
|
||
|
|
- **Étape 0, l'analyse dans git** : l'app ne commite pas ; si `git status --porcelain -- <A> labeling/auto/<STATION>.jsonl` montre quelque chose, commite ces deux chemins dans le dépôt de travail (`git add` respecte `.gitignore` : `travail/` reste dehors), message `Detector-learner <ANALYSE>: étiquettes de l'analyse`. Puis note la **base de la séance** : `git -C detectors rev-parse HEAD`.
|
||
|
|
- `git -C detectors status --porcelain` et `git status --porcelain -- labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant le contrôle et avant le bilan, avec les données repompées (`find -L data/ -name '*.csv' -newer <séance>/benchmark-avant.txt | cut -d/ -f2 | sort -u`) : un fichier changé pendant la séance par une autre session (une étiquette retouchée dans la page Data, par exemple) va sous « Erreurs » ; avant le contrôle, relance alors le benchmark avant à la base de la séance (dans un dossier `mktemp -d` : `git -C detectors archive <base> --prefix=detectors/ | tar -x -C <dossier>`, des liens vers `data/`, `labeling/` et `agent-tools/` du dépôt de travail, puis `python3 <dossier>/detectors/skills/detector-learner/regression.py`) dans `<séance>/benchmark-avant-relance.txt`, et ajoute à la demande du contrôle : `Changé pendant la séance : <chemins ou stations> ; benchmark avant relancé : <séance>/benchmark-avant-relance.txt.`
|
||
|
|
|
||
|
|
**Les deux mesures** de la séance, à chaque étape :
|
||
|
|
- **le benchmark**, la non-régression : `python3 detectors/skills/detector-learner/regression.py --seance <SEANCE>_<ANALYSE> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1` (environ 1 min 30). Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detectors/detector-learner/historique.csv` ;
|
||
|
|
- **le score de la plage**, le but : `python3 detectors/skills/detector-learner/score.py data/<STATION> --du <DU> --au <AU> > <séance>/plage-<étape>.txt 2>&1`. Les étiquettes de `labeling/auto/<STATION>.jsonl` qui touchent la plage (celles de l'analyse comprises), la vérité de la séance, face aux détecteurs, par famille. Il sort en erreur si aucune étiquette ne touche la plage : note-le sous « Erreurs » et va au bilan sans toucher aux détecteurs.
|
||
|
|
|
||
|
|
**Commandes**, données telles quelles aux agents : le journal, `python3 detectors/categories.py data/<STATION> --du <DU> --au <AU>` ; les capteurs, `python3 detectors/skills/detector-learner/capteurs.py data/<STATION> --du <DU> --au <AU>`. Pour le contrôle seulement, qui regarde toutes les stations, le journal avec `<STATION>`, `<du>` et `<au>` à remplir depuis l'en-tête du bloc de la station dans le benchmark : `python3 detectors/categories.py data/<STATION> --du <du> --au <au>`.
|
||
|
|
|
||
|
|
## 2. Dans l'ordre
|
||
|
|
|
||
|
|
Chaque agent est appelé par l'outil Agent avec son `subagent_type` (ceux de ce plugin : `detectors:detectors-critic`, `detectors:detectors-upgrader`, `detectors:detectors-control`, `detectors:releveur`) et la demande ci-dessous, rien d'autre, sauf une consigne de l'utilisateur donnée au lancement : ajoute-la telle quelle à la demande des agents (`Consigne de l'utilisateur : …`) et note-la au bilan ; elle passe avant leurs consignes, pas avant leur périmètre de fichiers. Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>` ; ce qui l'accompagne (« Réserves » du contrôle) ne change pas la suite, il va au bilan. Le but : des détecteurs qui font mieux, pas parfaits ; une autre lecture que les étiquettes, cohérente, est admise.
|
||
|
|
|
||
|
|
Les commits de séance (le dossier de séance, `detector-learner/historique.csv`, les détecteurs, `seuils-du-journal.md`) se font dans `detectors/` : `git -C detectors add <chemins relatifs> && git -C detectors commit -m "<message>" -- <chemins relatifs>`.
|
||
|
|
|
||
|
|
1. **Mesures avant** : étape `avant`, donc `<séance>/benchmark-avant.txt` et `<séance>/plage-avant.txt`.
|
||
|
|
Commit `detector-learner/<SEANCE>_<ANALYSE>/ detector-learner/historique.csv`, message `Detector-learner <ANALYSE>: benchmark`.
|
||
|
|
2. **Detectors-critic** : `Analyse : <A>/. Station : <STATION>, plage <début> → <fin> (UTC). Commande du journal : <commande>. Commande des capteurs : <commande des capteurs>. Score de la plage : <séance>/plage-avant.txt. Benchmark : <séance>/benchmark-avant.txt. Écris <séance>/critique.md.`
|
||
|
|
Commit du dossier de séance, message `Detector-learner <ANALYSE>: critique (<verdict>)`. Verdict `d'accord` : va au bilan.
|
||
|
|
3. **Detectors-upgrader**, un seul passage :
|
||
|
|
`Analyse : <A>/. Station : <STATION>. Commande du journal : <commande>. Critique : <séance>/critique.md. Benchmark avant : <séance>/benchmark-avant.txt, à relancer par python3 detectors/skills/detector-learner/regression.py (sans --etape). Score de la plage : python3 detectors/skills/detector-learner/score.py data/<STATION> --du <DU> --au <AU> (avant : <séance>/plage-avant.txt). Dossier de séance : <séance>. Fichiers déjà modifiés au début de la séance : <liste | aucun>. Écris <séance>/modification-1.md.`
|
||
|
|
L'upgrader commite lui-même, dans `detectors/`, chaque suggestion gardée, avec son benchmark `<séance>/benchmark-1-S<n>.txt`, message `Detector-learner <ANALYSE>: modification 1, S<n>` : le contrôle peut ainsi en faire retirer une seule.
|
||
|
|
Puis les mesures, étape `modification 1`, dans `<séance>/benchmark-1.txt` et `<séance>/plage-1.txt`.
|
||
|
|
Commit, dans `detectors/`, des détecteurs (`*.py` à la racine), de `seuils-du-journal.md`, du dossier de séance et de `detector-learner/historique.csv` (sans les fichiers déjà modifiés notés au §1), message `Detector-learner <ANALYSE>: modification 1`. Aucune suggestion gardée (pas de commit `, S<n>` : `git -C detectors log --format=%h --grep ', S[0-9]*$' <base>..HEAD`) : va au bilan.
|
||
|
|
4. **Detectors-control**, qui ne lit ni la critique ni le détail de la modification :
|
||
|
|
`Analyse : <ANALYSE>. Modification : <séance>/modification-1.md. Benchmark : <séance>/benchmark-avant.txt → <séance>/benchmark-1.txt, à relancer par python3 detectors/skills/detector-learner/regression.py (sans --etape) ; après chaque suggestion : <séance>/benchmark-1-S*.txt. Score de la plage : <séance>/plage-avant.txt → <séance>/plage-1.txt. Commande du journal : <commande du contrôle>. Base (dans detectors/) : <base de la séance>. Écris <séance>/validation-1.md.`
|
||
|
|
Commit du dossier de séance, message `Detector-learner <ANALYSE>: control (<verdict>)`.
|
||
|
|
- `garder` : va au bilan.
|
||
|
|
- `retirer` : pour chaque suggestion de la ligne `**Retirer** :`, ses commits de la séance (`git -C detectors log --format=%h --grep ', S<n>$' <base de la séance>..HEAD`), du plus récent au plus ancien : `git -C detectors revert --no-edit <commit>`, puis amende son message pour qu'il finisse par la ligne `Co-Authored-By` (`git -C detectors commit --amend -m "Detector-learner <ANALYSE>: S<n> retirée" -m "Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>"`). Un conflit : `git -C detectors revert --abort`, et fais comme pour `annuler`. Puis va au bilan.
|
||
|
|
- `annuler`, ou tout autre mot : `git -C detectors checkout <base de la séance> -- '*.py' seuils-du-journal.md` (sans les fichiers déjà modifiés notés au §1 ; `skills/` n'est pas touché), commit de ces chemins, message `Detector-learner <ANALYSE>: modification annulée`.
|
||
|
|
|
||
|
|
Un rendu absent ou sans verdict lisible : note-le, remets les détecteurs comme pour `annuler` s'ils ont changé, passe au bilan. Ne relance pas un agent plus d'une fois.
|
||
|
|
|
||
|
|
## 3. Bilan
|
||
|
|
|
||
|
|
Les mesures, étape `fin`, dans `<séance>/benchmark-fin.txt` et `<séance>/plage-fin.txt`.
|
||
|
|
|
||
|
|
`<séance>/bilan.md`, que la page Data affiche sous le rapport :
|
||
|
|
|
||
|
|
```markdown
|
||
|
|
# Optimisation : <ANALYSE>
|
||
|
|
|
||
|
|
**Résultat** : modification gardée | gardée sans S<n>… | annulée | aucune | erreur
|
||
|
|
|
||
|
|
## La plage de l'analyse
|
||
|
|
<STATION>, <début> → <fin> ; le score de la plage, avant → fin, une ligne par famille (trouvées, justes)
|
||
|
|
|
||
|
|
## Toutes les stations
|
||
|
|
la ligne de chaque famille du `Total`, avant → fin ; puis les autres lignes changées (station, famille), avant → fin
|
||
|
|
|
||
|
|
## Ce qui a changé
|
||
|
|
<par suggestion gardée, une phrase (de « Ce qui a changé » de la modification)> ; la critique (d'accord / n suggestions), le contrôle (verdict)
|
||
|
|
|
||
|
|
## À trancher par l'utilisateur
|
||
|
|
<copiés tels quels : « Limites » de la critique, « À trancher par l'utilisateur » de la modification, « Réserves » du contrôle ; aucune s'il n'y a rien>
|
||
|
|
|
||
|
|
## Suggestions non traitées
|
||
|
|
<« Pas corrigé » de la modification ; aucune>
|
||
|
|
|
||
|
|
## Erreurs
|
||
|
|
<aucune, ou ce qui manquait ; la base de la séance et `git -C detectors log --oneline <base>..HEAD`>
|
||
|
|
```
|
||
|
|
|
||
|
|
Commit, dans `detectors/`, du dossier de séance et de `detector-learner/historique.csv`, message `Detector-learner <ANALYSE>: bilan`. Puis, dans le dépôt de travail, le sous-module à son nouveau commit : `git add detectors && git commit -m "Detector-learner <ANALYSE>: détecteurs" -- detectors`, si `git status --porcelain -- detectors` le montre changé.
|
||
|
|
|
||
|
|
## 4. Difficultés
|
||
|
|
|
||
|
|
**Releveur** (`detectors:releveur`), une fois, même si tout s'est bien passé : `Processus : /detector-learner (detectors/skills/detector-learner/SKILL.md). Séance : <séance>/ : la section « Difficultés » de chaque rendu, et « Erreurs » du bilan. Difficultés de l'orchestrateur : aucune | <…>.`
|
||
|
|
Si `git -C detectors status --short ameliorations-processus.md` montre un changement : commit de ce chemin dans `detectors/`, message `Detector-learner <ANALYSE>: process difficulties`.
|
||
|
|
|
||
|
|
## 5. Réponse finale
|
||
|
|
|
||
|
|
En 4 lignes au plus : la ligne `**Résultat**` du bilan, le score de la plage avant → fin (familles changées), le `Total` avant → fin s'il a changé, le chemin du bilan. Rien n'est poussé : l'utilisateur pousse `detectors` pour que tous aient les détecteurs à jour, ou annule ce qu'il ne garde pas par `git -C detectors revert`.
|