From daa1fd989d7f789145404a3acb1fde9129b0fedc Mon Sep 17 00:00:00 2001 From: maxime Date: Tue, 3 Nov 2026 15:45:13 +0100 Subject: [PATCH] Detector-learner: label bounds excluded, false positives as a regression, control watches the session station (D-123) Co-Authored-By: Claude Opus 5.5 --- .claude/agents/detectors-control.md | 10 +++--- .claude/agents/detectors-critic.md | 2 +- .claude/agents/detectors-upgrader.md | 4 +-- .claude/skills/detector-learner/SKILL.md | 4 +-- .claude/skills/detector-learner/score.py | 42 +++++++++--------------- docs/decisions.md | 7 ++++ 6 files changed, 32 insertions(+), 37 deletions(-) diff --git a/.claude/agents/detectors-control.md b/.claude/agents/detectors-control.md index 059e231..799c9f9 100644 --- a/.claude/agents/detectors-control.md +++ b/.claude/agents/detectors-control.md @@ -1,13 +1,13 @@ --- name: detectors-control -description: Contrôle des détecteurs de la boucle automatique (/detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur les autres stations étiquetées de labeling/auto/ et sur le code des détecteurs, sans regarder la station de la séance ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la station de la séance, la modification, les benchmarks, le commit de base et le numéro du passage. +description: Contrôle des détecteurs de la boucle automatique (/detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur les autres stations étiquetées de labeling/auto/ et sur le code des détecteurs, sans regarder la station de la séance, sauf ses signalements à tort ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la station de la séance, la modification, les benchmarks, le commit de base et le numéro du passage. tools: Read, Bash, Write model: inherit --- Tu es le contrôle des détecteurs de la boucle automatique, son garde-fou. Le detectors-upgrader vient d'adapter les détecteurs du journal du matin pour mieux trouver les événements d'une station. Le risque, c'est le sur-apprentissage : des détecteurs collés à cette station, qui perdent en précision sur les autres stations étiquetées. Tu le vérifies, et c'est toi qui décides au final : garder la modification, ou la renvoyer au detectors-upgrader avec tes remarques. -**Tu ne regardes pas la station de la séance** (l'utilisateur) : ni ses données, ni sa critique, ni son bloc du benchmark, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark de `regression.py` sur les étiquettes de `labeling/auto/`, la seule vérité (D-118), et du code des détecteurs. +**Tu ne regardes pas la station de la séance** (l'utilisateur) : ni ses données, ni sa critique, ni le reste du rendu du detectors-upgrader ; de son bloc du benchmark, seulement ses instants signalés à tort, pour qu'une modification ne la noie pas sous des signalements que ses étiquettes ne disent pas, ce que personne d'autre ne vérifie. Tes conclusions viennent du benchmark de `regression.py` sur les étiquettes de `labeling/auto/`, la seule vérité (D-118), et du code des détecteurs. ## Ta demande @@ -17,7 +17,7 @@ La station de la séance, la modification (`modification-K.md`), le benchmark av - dans `modification-K.md`, les parties « Ce qui a changé » et « Pourquoi », rien d'autre : `sed -n '/^## Ce qui a changé/,/^## Avant/p' ` ; - le diff des détecteurs depuis le début de la séance : `git diff -- detectors/ vues-deplacements/contexte/seuils-du-journal.md`, et le code de `detectors/` qu'il touche ; une suggestion a son commit (`git log --oneline ..HEAD -- detectors/`, message `…, S`), son diff par `git show ` ; -- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`) ; le bloc de la station de la séance ne te regarde pas, tu juges les autres stations et le `Total` ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ; +- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`) ; du bloc de la station de la séance, seulement ses instants signalés à tort (la colonne « justes ») ; tu juges les autres stations en entier et le `Total` ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ; - pour comprendre un recul sur une station : `python3 detectors/categories.py data/ --du … --au … 2>&1` sur sa plage (en tête de son bloc), ses étiquettes `labeling/auto/.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille). Rien d'autre : ni le dossier de la station de la séance, ni la critique, ni les autres séances. @@ -25,8 +25,8 @@ Rien d'autre : ni le dossier de la station de la séance, ni la critique, ni les ## Ce que tu juges 1. **Les détecteurs se chargent** : une ligne `sauté` dans un benchmark (un détecteur qui ne se charge plus disparaît sans bruit) vaut « à reprendre », ou « annuler » au passage 3. -2. **Les autres stations ne reculent pas.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station (les autres que celle de la séance) et famille par famille : - - **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ; +2. **Aucune station ne recule.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station et famille par famille ; la station de la séance, sur ses seuls instants signalés à tort : + - **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ; - en deçà, ce n'est pas un recul ; - une hausse est un plus, jamais une exigence. 3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée. diff --git a/.claude/agents/detectors-critic.md b/.claude/agents/detectors-critic.md index 2dd064c..a78430b 100644 --- a/.claude/agents/detectors-critic.md +++ b/.claude/agents/detectors-critic.md @@ -7,7 +7,7 @@ model: inherit Tu es le detectors-critic de la boucle automatique : tu juges les détecteurs du journal du matin face aux étiquettes d'une station. L'`etiqueteur` l'a étiquetée en expert, avant la séance, dans `labeling/auto/.jsonl` ; ses étiquettes sont la vérité (D-112). Tu compares ce que les détecteurs trouvent, événement par événement, et tu dis ce qui est faux, où, et quel détecteur en est la cause. -**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; ni température, ni images, ni métriques système). Puis le `detectors-control` jugera sa modification sur toutes les autres stations de `labeling/auto/` : un gain ici qui fait reculer une autre station est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule la température ou l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur. +**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; ni température, ni images, ni métriques système). Puis le `detectors-control` jugera sa modification sur toutes les autres stations de `labeling/auto/`, et sur les signalements à tort de celle-ci : un gain ici qui fait reculer une autre station, ou qui signale ici ce qu'aucune étiquette ne dit, est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule la température ou l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur. **Tu ne regardes pas les données** (D-090) : tu dis quoi et où. Comprendre dans les données pourquoi un détecteur se trompe n'est pas ton travail. diff --git a/.claude/agents/detectors-upgrader.md b/.claude/agents/detectors-upgrader.md index 8315ef4..70023dc 100644 --- a/.claude/agents/detectors-upgrader.md +++ b/.claude/agents/detectors-upgrader.md @@ -49,9 +49,9 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp **Sur la station de la séance**, c'est toi seul qui vérifies : le contrôle des détecteurs ne la regarde pas. Lance la commande du journal avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Les événements que vise la critique doivent être trouvés, ou mieux bornés, sans casser les autres événements de la station. Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au benchmark avant. Il compare, instant par instant et par famille (`labeling/familles.md` : la catégorie d'un événement est sa famille), ce que signalent les détecteurs aux étiquettes de chaque station de `labeling/auto/`, puis leur `Total` (D-112) : « trouvées », la part des instants étiquetés que les détecteurs signalent ; « justes », la part des instants signalés qu'une étiquette range dans la famille. -- **Le bloc de la station de la séance** : la famille en cause doit s'y améliorer, sans qu'un événement entier soit perdu ou signalé à tort ailleurs. Un trou n'a pas de mesure, donc pas d'instant au score : pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %. +- **Le bloc de la station de la séance** : la famille en cause doit s'y améliorer, sans qu'un événement entier soit perdu ; et dans aucune famille ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) ne montent de plus de 2 : le contrôle le vérifie. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %. - **Le `Total`** : ce que tu fais monter. -- **Les blocs des autres stations** : la non-régression, sur laquelle le contrôle jugera ta modification. **Un recul**, sur une famille d'une autre station : ses instants trouvés baissent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille). +- **Les blocs des autres stations** : la non-régression, sur laquelle le contrôle jugera ta modification. **Un recul**, sur une famille d'une autre station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille). ## Une suggestion, un commit diff --git a/.claude/skills/detector-learner/SKILL.md b/.claude/skills/detector-learner/SKILL.md index b2b232e..5dce158 100644 --- a/.claude/skills/detector-learner/SKILL.md +++ b/.claude/skills/detector-learner/SKILL.md @@ -19,7 +19,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la **Commande du journal**, donnée telle quelle aux agents : `python3 detectors/categories.py --du --au `. **Commande des capteurs**, pour le critique : `python3 .claude/skills/detector-learner/capteurs.py --du --au ` (la cadence des mesures, puis les capteurs de chaque événement, dont la commande du journal ne donne que le nombre). -**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance _ --etape <étape> > /benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `` est le score de la séance ; les autres blocs, la non-régression. +**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance _ --etape <étape> > /benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `` est le score de la séance, et ses instants signalés à tort, une non-régression ; les autres blocs, la non-régression (D-123). ## 2. Dans l'ordre @@ -34,7 +34,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand L'upgrader commite lui-même chaque suggestion gardée, avec son benchmark `/benchmark-K-S.txt`, message `Detector-learner : modification K, S` : le contrôle peut ainsi en faire retirer une seule. Puis le benchmark, étape `modification K`, dans `/benchmark-K.txt`. Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md / detector-learner/historique.csv` (sans les fichiers déjà modifiés notés au §1), message `Detector-learner : modification K`. -4. **Detectors-control** (`detectors-control`), qui ne regarde pas la station de la séance : +4. **Detectors-control** (`detectors-control`), qui ne regarde de la station de la séance que ses instants signalés à tort : `Station de la séance : . Modification : /modification-K.md. Benchmark : /benchmark-avant.txt → /benchmark-K.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --etape) ; après chaque suggestion : /benchmark-K-S*.txt. Base : . Passage K sur 3. Écris /validation-K.md.` Commit `/`, message `Detector-learner : control K ()`. - `accepté` ou `garder` : va au bilan. diff --git a/.claude/skills/detector-learner/score.py b/.claude/skills/detector-learner/score.py index 22dac80..4ae7df1 100644 --- a/.claude/skills/detector-learner/score.py +++ b/.claude/skills/detector-learner/score.py @@ -112,16 +112,20 @@ def etiquettes_auto(station, debut, fin): def familles_lot(dossier, debut, fin, etiq=None): """Score d'un lot par famille et par instant (D-112) -> ({famille: [étiquetés, signalés, les deux]}, étiquettes). Un instant : une heure du lot où un capteur au moins a une mesure ; il reçoit les familles des étiquettes qui le - couvrent, bornes comprises, et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/.""" + couvrent, bornes exclues (sauf un trou, sans mesure dedans), et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/.""" # ponytail: par instant et non par capteur, les étiquettes ne disent leurs capteurs que dans le texte ; un champ # capteurs dans l'étiquette, si cette finesse manque mesures = charger(dossier) if etiq is None: etiq = etiquettes_auto(os.path.basename(os.path.normpath(dossier)), debut, fin) evts = evenements(mesures, debut, fin) + instants = sorted({t for _, t in cases(mesures, debut, fin)}) + # bornes exclues : elles sont la mesure saine d'avant et d'après (D-111) ; un trou, sans mesure dedans, les garde + vides = {i for i, e in enumerate(etiq) if not any(e["debut"] < t < e["fin"] for t in instants)} paires = [] - for t in sorted({t for _, t in cases(mesures, debut, fin)}): - a = {e.get("categorie", "sans famille") for e in etiq if e["debut"] <= t <= e["fin"]} - {"None"} + for t in instants: + a = {e.get("categorie", "sans famille") for i, e in enumerate(etiq) + if e["debut"] < t < e["fin"] or (i in vides and e["debut"] <= t <= e["fin"])} - {"None"} d = {v["category"] for v in evts if v["start"] <= t <= v["end"]} paires.append((a, d)) return compter(paires), etiq @@ -176,31 +180,15 @@ def lots(dossier, chemins, explicite): def test(): - """Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour - étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les - détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte.""" - mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND")) + """Lot 1 de l'essai de NORDEND (2026-10-05 → 09) : une étiquette (D-111) ne compte que les instants entre ses bornes, + la mesure saine d'avant et celle d'après ; un trou, sans mesure entre ses bornes, compte ses deux bornes.""" + dossier = os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND") debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z" - cs = cases(mesures, debut, fin) - spans = detectes(mesures, debut, fin) - assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai" - det = marquer(cs, spans) - assert all(x[0] == x[1] == x[2] for x in score(det, det).values()) - cat = next(s[3] for s in spans if validite({s[3]})) - oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat] - assert oubli[0] == oubli[2] == 0 < oubli[1], oubli - ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"] - assert ajout == [len(cs), 0, 0], ajout - assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer" - assert validite({"dilatation_thermique", "a_verifier"}) is None - # par famille (D-112) : chaque catégorie du journal a sa famille, sauf saut_bref ; les événements des détecteurs pris - # pour étiquettes, sauts brefs à part, donnent chaque famille trouvée et juste en entier - corr = familles() - assert set(categories.CATEGORIES) - set(corr) == {"saut_bref"}, corr - etiq = [{"debut": v["start"], "fin": v["end"], "categorie": corr[v["category"]]} - for v in evenements(mesures, debut, fin) if v["category"] != "saut_bref"] - n, _ = familles_lot(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"), debut, fin, etiq) - assert n and all(x[0] == x[1] == x[2] for k, x in n.items() if k != "saut_bref"), n + a, b, c = sorted({t for _, t in cases(charger(dossier), debut, fin)})[10:13] + n, _ = familles_lot(dossier, debut, fin, [{"debut": a, "fin": c, "categorie": "X"}]) + assert n["X"][0] == 1, n + n, _ = familles_lot(dossier, debut, fin, [{"debut": a, "fin": b, "categorie": "X"}]) + assert n["X"][0] == 2, n print("test : bon") diff --git a/docs/decisions.md b/docs/decisions.md index 8ef1216..802cf69 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -1150,3 +1150,10 @@ Règles du journal : - **Pourquoi** : l'utilisateur, 2026-11-03, en validant la fin de séance : appliquer les deux propositions. Ce qui l'attendait se perdait parmi les suggestions non traitées ; `/events-learner` ne tourne plus (D-118), la précaution de ne pas le casser freinait l'améliorateur pour rien. - **Options écartées** : laisser l'orchestrateur trier lui-même ce qui revient à l'utilisateur (il ne juge rien, D-116). - **Conséquence** : le critique a une partie « 6. Limites », l'upgrader une partie « À trancher par l'utilisateur ». + +## D-123 — 2026-11-03 — `/detector-learner` : bornes exclues, faux positifs comptés, la station de la séance gardée +- **Statut** : active ; complète D-111, D-116 et D-121. +- **Décision** : (1) le score (`score.py`) ne compte plus les bornes d'une étiquette, la mesure saine d'avant et celle d'après (D-111), sauf pour un trou, qui n'a pas de mesure entre elles ; (2) un recul, sur une famille d'une station, c'est aussi des instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) qui montent de plus de 2 ; (3) le contrôle juge aussi la station de la séance, sur ses seuls instants signalés à tort ; il n'en voit toujours ni les données, ni la critique, ni le reste du rendu. +- **Pourquoi** : l'évaluation de la séance MICHIGAN, validée par l'utilisateur le même jour : la séance BREITHORN avait refusé la règle de cadence de la dérive lente, parce qu'elle faisait reculer MICHIGAN ; la séance MICHIGAN l'a gardée, avec 150 instants Displacement signalés à tort sur MICHIGAN, que personne ne jugeait : le garde-fou dépendait de la station choisie. La règle en points ne voyait pas de faux positifs sur une famille déjà à 0 % de justes (0/1 → 9/159 est une hausse). Les bornes comptées faisaient d'un pic d'une mesure, à une mesure toutes les 4 h, trois instants étiquetés dont deux sains. +- **Options écartées** : laisser le contrôle juger la station de la séance en entier (il deviendrait un second upgrader, collé à elle) ; un seuil de faux positifs en part plutôt qu'en nombre (même défaut à 0 %). +- **Conséquence** : les benchmarks de `detector-learner/historique.csv` d'avant ce changement ne se comparent plus directement aux suivants (étiquetés en baisse, environ 3 % au total) ; les étiquettes faites avant D-111 (JUNGFRAU, WILDSTRUBEL : de la première à la dernière mesure touchée) perdent leurs deux bornes au score. L'auto-test de `score.py`, cassé depuis le passage aux familles, ne vérifie plus que les bornes.