Detector-learner: detectors do their best, a coherent alternative reading is no regression; process fixes (D-135)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 10:54:04 +01:00
1 parent eb61d12b82
commit d1a372d3ea
9 files changed
+49 -28

No files matched your search

+5 -3
View File
@@ -50,12 +50,14 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au benchmark avant. Il compare, instant par instant et par famille (`labeling/familles.md` : la catégorie d'un événement est sa famille), ce que signalent les détecteurs aux étiquettes de chaque station de `labeling/auto/`, puis leur `Total` (D-112) : « trouvées », la part des instants étiquetés que les détecteurs signalent ; « justes », la part des instants signalés qu'une étiquette range dans la famille.
- **La ligne de la famille de la séance**, dans le `Total` et sur les stations de la suggestion : ce que tu fais monter, sans qu'un événement entier soit perdu. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
- **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, sur les stations que la suggestion ne vise pas. **Un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille).
- **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, la même règle que le contrôle. **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Un recul : reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Une baisse qui vient d'une autre lecture cohérente : garde, et dis-la dans « À trancher par l'utilisateur » : les étiquettes (id, station, moment, famille) et la lecture des détecteurs.
Ton dossier de travail est le tien seul (`mktemp -d`), jamais celui d'un autre agent. Pour essayer une variante sans toucher au dépôt, copie-y `detectors/`, `agent-tools/`, `.claude/skills/detector-learner/` et `.claude/skills/analyser-lot/`, avec des liens vers `data/` et `labeling/` : le `regression.py` de la copie mesure la copie.
## Une suggestion, un commit
Le contrôle peut faire retirer une suggestion seule, sans toucher aux autres : chacune a donc son commit. Pour chaque suggestion, dans l'ordre de la critique (au passage K > 1, d'abord les remarques du contrôle, chacune rattachée à la suggestion qu'elle reprend) :
1. modifie, puis vérifie comme ci-dessus, face au benchmark du dernier état commité (le benchmark avant, ou celui de ta suggestion gardée précédente) ; garde la sortie de `regression.py` dans `<séance>/benchmark-K-S<n>.txt` ;
1. modifie, puis vérifie comme ci-dessus, face au benchmark du dernier état commité (le benchmark avant, ou celui de ta suggestion gardée précédente), pour savoir ce qu'elle change ; avant ton rendu, l'ensemble face au benchmark avant, celui que juge le contrôle ; garde la sortie de `regression.py` dans `<séance>/benchmark-K-S<n>.txt` ;
2. gardée : `git branch --show-current` doit dire `master` ; puis `git add <les fichiers changés> <séance>/benchmark-K-S<n>.txt && git commit -m "Detector-learner <FAMILLE>: modification K, S<n>" -- <les mêmes>`, le message fini par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>` ;
3. pas gardée : `git checkout -- <les fichiers que tu as changés pour elle>`, seulement eux, et elle va dans « Pas corrigé ».
@@ -79,7 +81,7 @@ Jamais `git add -A`, `git stash`, ni de `git checkout` sur d'autres fichiers : u
<les lignes qui ont changé, station et famille, avant → après, puis les lignes changées du bloc `Total`>
## À trancher par l'utilisateur
aucune | - <étiquettes qui se contredisent d'une station à l'autre : les deux étiquettes (station, moment, famille), et ce qu'elles empêchent>
aucune | - <une lecture des détecteurs autre que celle des étiquettes, gardée : les étiquettes (id, station, moment, famille), la lecture des détecteurs, ce qu'elle change au benchmark>
## Pas corrigé
aucune | <ce qui reste, et pourquoi>