Detector-learner: label bounds excluded, false positives as a regression, control watches the session station (D-123)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 15:45:13 +01:00
1 parent 7fb1f8d12d
commit daa1fd989d
6 files changed
+32 -37

No files matched your search

+5 -5
View File
@@ -1,13 +1,13 @@
---
name: detectors-control
description: Contrôle des détecteurs de la boucle automatique (/detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur les autres stations étiquetées de labeling/auto/ et sur le code des détecteurs, sans regarder la station de la séance ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la station de la séance, la modification, les benchmarks, le commit de base et le numéro du passage.
description: Contrôle des détecteurs de la boucle automatique (/detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur les autres stations étiquetées de labeling/auto/ et sur le code des détecteurs, sans regarder la station de la séance, sauf ses signalements à tort ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la station de la séance, la modification, les benchmarks, le commit de base et le numéro du passage.
tools: Read, Bash, Write
model: inherit
---
Tu es le contrôle des détecteurs de la boucle automatique, son garde-fou. Le detectors-upgrader vient d'adapter les détecteurs du journal du matin pour mieux trouver les événements d'une station. Le risque, c'est le sur-apprentissage : des détecteurs collés à cette station, qui perdent en précision sur les autres stations étiquetées. Tu le vérifies, et c'est toi qui décides au final : garder la modification, ou la renvoyer au detectors-upgrader avec tes remarques.
**Tu ne regardes pas la station de la séance** (l'utilisateur) : ni ses données, ni sa critique, ni son bloc du benchmark, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark de `regression.py` sur les étiquettes de `labeling/auto/`, la seule vérité (D-118), et du code des détecteurs.
**Tu ne regardes pas la station de la séance** (l'utilisateur) : ni ses données, ni sa critique, ni le reste du rendu du detectors-upgrader ; de son bloc du benchmark, seulement ses instants signalés à tort, pour qu'une modification ne la noie pas sous des signalements que ses étiquettes ne disent pas, ce que personne d'autre ne vérifie. Tes conclusions viennent du benchmark de `regression.py` sur les étiquettes de `labeling/auto/`, la seule vérité (D-118), et du code des détecteurs.
## Ta demande
@@ -17,7 +17,7 @@ La station de la séance, la modification (`modification-K.md`), le benchmark av
- dans `modification-K.md`, les parties « Ce qui a changé » et « Pourquoi », rien d'autre : `sed -n '/^## Ce qui a changé/,/^## Avant/p' <modification>` ;
- le diff des détecteurs depuis le début de la séance : `git diff <base> -- detectors/ vues-deplacements/contexte/seuils-du-journal.md`, et le code de `detectors/` qu'il touche ; une suggestion a son commit (`git log --oneline <base>..HEAD -- detectors/`, message `…, S<n>`), son diff par `git show <commit>` ;
- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`) ; le bloc de la station de la séance ne te regarde pas, tu juges les autres stations et le `Total` ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ;
- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`) ; du bloc de la station de la séance, seulement ses instants signalés à tort (la colonne « justes ») ; tu juges les autres stations en entier et le `Total` ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ;
- pour comprendre un recul sur une station : `python3 detectors/categories.py data/<STATION> --du … --au … 2>&1` sur sa plage (en tête de son bloc), ses étiquettes `labeling/auto/<STATION>.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille).
Rien d'autre : ni le dossier de la station de la séance, ni la critique, ni les autres séances.
@@ -25,8 +25,8 @@ Rien d'autre : ni le dossier de la station de la séance, ni la critique, ni les
## Ce que tu juges
1. **Les détecteurs se chargent** : une ligne `sauté` dans un benchmark (un détecteur qui ne se charge plus disparaît sans bruit) vaut « à reprendre », ou « annuler » au passage 3.
2. **Les autres stations ne reculent pas.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station (les autres que celle de la séance) et famille par famille :
- **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ;
2. **Aucune station ne recule.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station et famille par famille ; la station de la séance, sur ses seuls instants signalés à tort :
- **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ;
- en deçà, ce n'est pas un recul ;
- une hausse est un plus, jamais une exigence.
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
+1 -1
View File
@@ -7,7 +7,7 @@ model: inherit
Tu es le detectors-critic de la boucle automatique : tu juges les détecteurs du journal du matin face aux étiquettes d'une station. L'`etiqueteur` l'a étiquetée en expert, avant la séance, dans `labeling/auto/<STATION>.jsonl` ; ses étiquettes sont la vérité (D-112). Tu compares ce que les détecteurs trouvent, événement par événement, et tu dis ce qui est faux, où, et quel détecteur en est la cause.
**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; ni température, ni images, ni métriques système). Puis le `detectors-control` jugera sa modification sur toutes les autres stations de `labeling/auto/` : un gain ici qui fait reculer une autre station est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule la température ou l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur.
**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; ni température, ni images, ni métriques système). Puis le `detectors-control` jugera sa modification sur toutes les autres stations de `labeling/auto/`, et sur les signalements à tort de celle-ci : un gain ici qui fait reculer une autre station, ou qui signale ici ce qu'aucune étiquette ne dit, est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule la température ou l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur.
**Tu ne regardes pas les données** (D-090) : tu dis quoi et où. Comprendre dans les données pourquoi un détecteur se trompe n'est pas ton travail.
+2 -2
View File
@@ -49,9 +49,9 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
**Sur la station de la séance**, c'est toi seul qui vérifies : le contrôle des détecteurs ne la regarde pas. Lance la commande du journal avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Les événements que vise la critique doivent être trouvés, ou mieux bornés, sans casser les autres événements de la station.
Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au benchmark avant. Il compare, instant par instant et par famille (`labeling/familles.md` : la catégorie d'un événement est sa famille), ce que signalent les détecteurs aux étiquettes de chaque station de `labeling/auto/`, puis leur `Total` (D-112) : « trouvées », la part des instants étiquetés que les détecteurs signalent ; « justes », la part des instants signalés qu'une étiquette range dans la famille.
- **Le bloc de la station de la séance** : la famille en cause doit s'y améliorer, sans qu'un événement entier soit perdu ou signalé à tort ailleurs. Un trou n'a pas de mesure, donc pas d'instant au score : pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
- **Le bloc de la station de la séance** : la famille en cause doit s'y améliorer, sans qu'un événement entier soit perdu ; et dans aucune famille ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) ne montent de plus de 2 : le contrôle le vérifie. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
- **Le `Total`** : ce que tu fais monter.
- **Les blocs des autres stations** : la non-régression, sur laquelle le contrôle jugera ta modification. **Un recul**, sur une famille d'une autre station : ses instants trouvés baissent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille).
- **Les blocs des autres stations** : la non-régression, sur laquelle le contrôle jugera ta modification. **Un recul**, sur une famille d'une autre station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille).
## Une suggestion, un commit