From dfd5eee12df642750f4aa2117bf080ad58c71fd3 Mon Sep 17 00:00:00 2001 From: maxime Date: Thu, 5 Nov 2026 15:05:46 +0100 Subject: [PATCH] Detector-learner Visibility: process difficulties and fixes (stations with fully missed labels examined, benchmark wait) Co-Authored-By: Claude Opus 5.5 --- .claude/agents/detectors-critic.md | 2 +- .claude/agents/detectors-upgrader.md | 2 +- docs/ameliorations-processus.md | 6 +++++- 3 files changed, 7 insertions(+), 3 deletions(-) diff --git a/.claude/agents/detectors-critic.md b/.claude/agents/detectors-critic.md index 1caa0d3..6b60232 100644 --- a/.claude/agents/detectors-critic.md +++ b/.claude/agents/detectors-critic.md @@ -29,7 +29,7 @@ Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lect ## Déroulé -1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins), en entier. Une station à cadence lâche pèse peu en instants : si une étiquette de la famille y est entièrement manquée, examine-la aussi. La cadence d'une station examinée : la première ligne de la commande des capteurs. +1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins), en entier. Examine aussi toute station où des étiquettes de la famille sont entièrement manquées (une station à cadence lâche pèse peu en instants), la plus touchée d'abord. La cadence d'une station examinée : la première ligne de la commande des capteurs. 2. **Les étiquettes** : celles de la famille sur toutes les stations, une ligne chacune (id, bornes, capteurs nommés, ce qu'elle voit), par un script si elles sont nombreuses ; dans le fichier, une ligne par étiquette des stations examinées, un résumé par station pour les autres ; pour les stations examinées, aussi les autres qui touchent un événement de la famille. 3. **Les détecteurs** : pour chaque station examinée, lance la commande du journal et celle des capteurs ; garde les lignes de la famille et celles qui touchent une étiquette de la famille. La cadence vaut pour tout ce que tu dis en mesures de cette station. 4. **Comparaison**, station par station, événement par événement et étiquette par étiquette, la catégorie d'un événement est sa famille (un saut bref resté seul : Displacement, sans cause établie) : juste ; famille fausse ; en trop (signalé par les détecteurs, sans étiquette : les courbes corrigées n'y montrent rien) ; bornes fausses (en retard, trop tôt, trop large) ; capteurs faux (ceux de l'événement, par la commande des capteurs, face à ceux que nomme la description ; sans elle, leur nombre seul, et dis-le) ; manquant. Une ligne chacun, avec pourquoi ; sur une station à beaucoup d'événements, groupe ceux du même jugement et de la même cause en une ligne (leur nombre, un exemple). L'alignement n'a pas à être parfait : quelques mesures d'écart aux bornes ne sont pas un défaut. Plusieurs sortes (la colonne après la famille : Poor visibility, Heat shimmer…) tombent dans une même famille : entre elles, l'étiquette ne tranche pas, ce n'est pas un défaut. Une lecture des détecteurs autre que celle de l'étiquette, mais cohérente (le même état que d'autres étiquettes rangent ailleurs dans cette famille, une frontière de `familles.md` qui permet les deux), n'est pas un défaut non plus (D-135) : juge-la « lecture alternative », sans suggestion. Les étiquettes ont leurs ambiguïtés : les détecteurs font au mieux, sans être parfaits ni sur-entraînés sur elles. diff --git a/.claude/agents/detectors-upgrader.md b/.claude/agents/detectors-upgrader.md index 5861714..0e34680 100644 --- a/.claude/agents/detectors-upgrader.md +++ b/.claude/agents/detectors-upgrader.md @@ -52,7 +52,7 @@ Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au - **La ligne de la famille de la séance**, dans le `Total` et sur les stations de la suggestion : ce que tu fais monter, sans qu'un événement entier soit perdu. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %. - **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, la même règle que le contrôle. **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette, un instant que le score (par instant, sans les capteurs) comptait trouvé par un événement sur un autre capteur. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Un recul : reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Une baisse qui vient d'une autre lecture cohérente : garde, et dis-la dans « À trancher par l'utilisateur » : les étiquettes (id, station, moment, famille) et la lecture des détecteurs. -Ton dossier de travail est le tien seul : `mktemp -d`, ou un sous-dossier à ton nom du dossier temporaire de la session ; jamais celui d'un autre agent. Pour essayer une variante sans toucher au dépôt, copie-y `detectors/`, `agent-tools/`, `.claude/skills/detector-learner/` et `.claude/skills/analyser-lot/`, avec des liens vers `data/` et `labeling/` : le `regression.py` de la copie mesure la copie. Pour un essai plus court, `--stations A,B` ne mesure que ces stations ; le benchmark entier (1 à 2 min) se lance en arrière-plan. +Ton dossier de travail est le tien seul : `mktemp -d`, ou un sous-dossier à ton nom du dossier temporaire de la session ; jamais celui d'un autre agent. Pour essayer une variante sans toucher au dépôt, copie-y `detectors/`, `agent-tools/`, `.claude/skills/detector-learner/` et `.claude/skills/analyser-lot/`, avec des liens vers `data/` et `labeling/` : le `regression.py` de la copie mesure la copie. Pour un essai plus court, `--stations A,B` ne mesure que ces stations ; le benchmark entier (2 à 3 min) se lance en arrière-plan, sortie dans un fichier, et tu attends sa fin avec l'outil d'attente de l'environnement s'il y en a un, sinon `wait` dans la même commande. ## Une suggestion, un commit diff --git a/docs/ameliorations-processus.md b/docs/ameliorations-processus.md index 4d50874..508948b 100644 --- a/docs/ameliorations-processus.md +++ b/docs/ameliorations-processus.md @@ -116,7 +116,7 @@ Séance de référence des entrées ci-dessous : 2026-10-26T1149Z, NORDEND, lot ## /detector-learner -Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot 01 (DL1 dans les occurrences), rendus dans `detector-learner/2026-11-03T1249Z_NEBRASKA/`. Les lignes citées sont celles du dépôt à la fin de la séance (commit `165e1c2`, `labeling/familles.md` modifié, non commité). Ce qui ne vient que du dire d'un agent est marqué « selon l'agent ». Seconde séance : 2026-11-03T1317Z, BREITHORN, lot 01, de 13:17 à 13:36 UTC (DL2), rendus dans `detector-learner/2026-11-03T1317Z_BREITHORN/` ; ses lignes citées sont celles du commit `f197ef0`. Troisième séance : 2026-11-03T1423Z, MICHIGAN, lot 01, de 14:23 à 14:40 UTC (DL3), rendus dans `detector-learner/2026-11-03T1423Z_MICHIGAN/` ; ses lignes citées sont celles du commit `5077a35`. Quatrième séance, la première par famille (D-132) : 2026-11-05T0814Z, famille Displacement, sur les 11 stations de `labeling/auto/`, de 08:14 à 09:39 UTC (DL4), rendus dans `detector-learner/2026-11-05T0814Z_Displacement/` ; ses lignes citées sont celles du commit `156db91`. Cinquième séance : 2026-11-05T0954Z, famille Obstruction, de 09:54 à 11:09 UTC (DL5), rendus dans `detector-learner/2026-11-05T0954Z_Obstruction/` ; ses lignes citées sont celles du commit `a11ee22`. Sixième séance : 2026-11-05T1112Z, famille Thermal displacement, de 11:12 à 12:33 UTC (DL6), rendus dans `detector-learner/2026-11-05T1112Z_Thermal-displacement/` ; ses lignes citées sont celles du commit `0cd6230`. +Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot 01 (DL1 dans les occurrences), rendus dans `detector-learner/2026-11-03T1249Z_NEBRASKA/`. Les lignes citées sont celles du dépôt à la fin de la séance (commit `165e1c2`, `labeling/familles.md` modifié, non commité). Ce qui ne vient que du dire d'un agent est marqué « selon l'agent ». Seconde séance : 2026-11-03T1317Z, BREITHORN, lot 01, de 13:17 à 13:36 UTC (DL2), rendus dans `detector-learner/2026-11-03T1317Z_BREITHORN/` ; ses lignes citées sont celles du commit `f197ef0`. Troisième séance : 2026-11-03T1423Z, MICHIGAN, lot 01, de 14:23 à 14:40 UTC (DL3), rendus dans `detector-learner/2026-11-03T1423Z_MICHIGAN/` ; ses lignes citées sont celles du commit `5077a35`. Quatrième séance, la première par famille (D-132) : 2026-11-05T0814Z, famille Displacement, sur les 11 stations de `labeling/auto/`, de 08:14 à 09:39 UTC (DL4), rendus dans `detector-learner/2026-11-05T0814Z_Displacement/` ; ses lignes citées sont celles du commit `156db91`. Cinquième séance : 2026-11-05T0954Z, famille Obstruction, de 09:54 à 11:09 UTC (DL5), rendus dans `detector-learner/2026-11-05T0954Z_Obstruction/` ; ses lignes citées sont celles du commit `a11ee22`. Sixième séance : 2026-11-05T1112Z, famille Thermal displacement, de 11:12 à 12:33 UTC (DL6), rendus dans `detector-learner/2026-11-05T1112Z_Thermal-displacement/` ; ses lignes citées sont celles du commit `0cd6230`. Septième séance : 2026-11-05T1236Z, famille Visibility, de 13:35 à 15:02 UTC (DL7), rendus dans `detector-learner/2026-11-05T1236Z_Visibility/` ; ses lignes citées sont celles du commit `598fbf2` (consignes inchangées depuis la base `1ced766`). - **Consigne de l'utilisateur en cours de séance : aligner détecteurs et catégories sur les familles** (2026-11-03, *contradiction*) : le skill tourne seul (aucune question) et chaque demande est donnée telle quelle, « rien d'autre » ; l'utilisateur a pourtant demandé, pendant la séance, d'aligner les détecteurs et les catégories du journal sur les nouvelles familles des étiquettes (dont `trou`, ajoutée à `labeling/familles.md`, vérifié : `git diff`). L'orchestrateur l'a relayée au critique en cours de travail, puis ajoutée à la demande de l'upgrader. Elle heurte deux consignes : « au plus deux » suggestions (le critique a fondu ses deux défauts de cadence en S1 pour faire de l'alignement S2) et « pas de nouvelle catégorie » (l'upgrader n'a su jusqu'où aller : renommer les douze catégories en six familles, ou changer le seul classement ; il n'a fait que le second, `categories.py` étant lu hors de son périmètre par `score.py`, `detectors-view/status.py`, `detectors-view/detecteurs.py` et `vues-deplacements/maquette/explore.py`, vérifié par `grep`). *En cause* : `.claude/skills/detector-learner/SKILL.md:10`, `:23`, `:30`, `:33` ; `.claude/agents/detectors-critic.md:35` ; `.claude/agents/detectors-upgrader.md:28`, `:40`. *Occurrences* : DL1 orchestrateur ; DL1 critique ; DL1 modification 1. **traité** (2026-11-03 : une consigne de l'utilisateur en cours de séance est ajoutée telle quelle à la demande des agents suivants et notée au bilan ; elle passe avant leurs consignes (nombre de suggestions, catégories), pas avant leur périmètre, le reste va dans « Pas corrigé » (`detector-learner/SKILL.md` §2, `detectors-critic.md` « Ta demande » et « Verdict », `detectors-upgrader.md` « Ta demande ») ; s'aligner sur les familles, c'est classer chaque événement dans une catégorie que la correspondance range dans la famille de l'étiquette, sans catégorie nouvelle ni renommée, lues hors de `detectors/` (`detectors-upgrader.md`, « Interdits »)). @@ -192,6 +192,10 @@ Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot - **Suggestion laissée par l'upgrader : le contrôle ne lit pas où elle est dite** (2026-11-05, *contradiction*) : l'upgrader met une suggestion non gardée dans « Pas corrigé » (vérifié : `detectors-upgrader.md:22`, `:63` ; dans le rendu, S2 « laissée », `modification-1.md:109`) ; le contrôle ne lit que « Ce qui a changé » et « Pourquoi » (`detectors-control.md:18`, `detectors-upgrader.md:93`), où « Ce qui a changé » ne liste que les suggestions gardées (`detectors-upgrader.md:72`). Devant des benchmarks S1, S3 et S4, sans S2, le contrôle n'a pas su ce qu'était devenue S2 et a contrôlé ce qui est commité. *En cause* : `.claude/agents/detectors-upgrader.md:72`, `:93` contre `.claude/agents/detectors-control.md:18`. *Occurrences* : DL6 validation 1. +- **Étiquettes entièrement manquées sur une station à cadence serrée : hors de la règle d'examen** (2026-11-05, *consigne floue*) : le critique examine les quatre premières stations en instants, plus une station « à cadence lâche » dont une étiquette de la famille est entièrement manquée (vérifié : `detectors-critic.md:32`) ; rien pour une station à cadence serrée qui a peu d'étiquettes, presque toutes manquées. CLARIDEN (10 min) : 8 de ses 9 étiquettes Visibility entièrement manquées, 84 erreurs, hors des quatre premières (vérifié : `critique.md:17`). Le critique l'a examinée en plus, faute de règle. *En cause* : `.claude/agents/detectors-critic.md:32`. *Occurrences* : DL7 critique. **traité** (2026-11-05 : toute station où des étiquettes de la famille sont entièrement manquées est examinée). + +- **Commandes de plusieurs minutes : ni durée annoncée ni moyen d'attendre** (2026-11-05, *commande*) : la commande des capteurs n'a aucune durée annoncée (vérifié : `SKILL.md:21`) et met plusieurs minutes sur LENZSPITZE (5 min, 41 capteurs) et CLARIDEN, selon l'agent ; le critique l'a lancée en arrière-plan. Le benchmark entier est annoncé « 1 à 2 min », à lancer en arrière-plan (vérifié : `detectors-upgrader.md:55`), sans dire comment en attendre la fin ; selon l'agent, il dure 2 à 3 min et dépasse l'attente d'une commande de premier plan, et l'outil d'attente que cite la consigne d'environnement de Claude Code (Monitor, hors du dépôt : aucune mention dans `.claude/`, vérifié) n'est pas disponible au sous-agent ; l'upgrader a attendu par une boucle sur les fichiers de sortie (même contournement qu'en DL6, entrée traitée « Benchmark trop long pour une commande de premier plan », dont le correctif ne dit pas comment attendre). *En cause* : `.claude/skills/detector-learner/SKILL.md:21` ; `.claude/agents/detectors-upgrader.md:55`. *Occurrences* : DL7 critique (capteurs) ; DL7 modification 1 (benchmark). **traité** (2026-11-05 : durée dite (2 à 3 min) et comment attendre : en arrière-plan, l'outil d'attente de l'environnement, sinon `wait`). + ## Étiquetage des cas (benchmark) Étiquettes de chaque cas de la base pour le benchmark des détecteurs (D-069, point 48 du plan) : un analyste par cas, étape 1 de `critiquer-lot` seule, puis correction par la fiche ; repris par `/nouveau-cas` (`.claude/skills/nouveau-cas/SKILL.md:57`). Séance de référence : 2026-10-26, C-001 à C-005 en parallèle, rendus écrits de 15:37 à 15:41 UTC dans `vues-deplacements/benchmark/etiquetage/C-00x.md`, rangés depuis dans le dossier de chaque cas (`agents/diagnostic/cas/C-00x/etiquetage.md`, demande de l'utilisateur : tout au même endroit ; hors de `vues-deplacements/`, l'écriture du rendu n'y charge plus `vues-deplacements/CLAUDE.md`) (E1 dans les occurrences). Les lignes citées sont celles de l'arbre de travail du 2026-10-26 (skills modifiés, non commités). Ce qui ne vient que du dire d'un agent est marqué « selon l'agent ».