Detector-learner Target issue: process difficulties and fixes (ties, base by git archive)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 15:53:33 +01:00
1 parent 7271151d24
commit cda7d21a0d
4 files changed
+10 -4

No files matched your search

+1 -1
View File
@@ -18,7 +18,7 @@ La famille de la séance, la modification (`modification-K.md`), le benchmark av
- dans `modification-K.md`, les parties « Ce qui a changé » et « Pourquoi », rien d'autre : `sed -n '/^## Ce qui a changé/,/^## Avant/p' <modification>` ;
- le diff des détecteurs depuis le début de la séance : `git diff <base> -- detectors/ vues-deplacements/contexte/seuils-du-journal.md`, et le code de `detectors/` qu'il touche ; une suggestion a son commit (`git log --oneline <base>..HEAD -- detectors/`, message `…, S<n>`), son diff par `git show <commit>` ;
- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`), toutes les stations en entier ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ;
- pour comprendre un recul sur une station : la commande du journal sur sa plage, avec `2>&1`, à HEAD et, pour comparer, à la base (`git worktree add <dossier> <base>` dans ton dossier de travail, un lien vers `data/`), ses étiquettes `labeling/auto/<STATION>.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille).
- pour comprendre un recul sur une station : la commande du journal sur sa plage, avec `2>&1`, à HEAD et, pour comparer, à la base (`git archive <base> detectors agent-tools .claude/skills/detector-learner .claude/skills/analyser-lot | tar -x -C <dossier>` dans ton dossier de travail, des liens vers `data/` et `labeling/` : un worktree entier ne tient pas dans le dossier temporaire), ses étiquettes `labeling/auto/<STATION>.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille).
Rien d'autre : ni la critique, ni les autres séances.
+1 -1
View File
@@ -29,7 +29,7 @@ Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lect
## Déroulé
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins), en entier. Examine aussi toute station où des étiquettes de la famille sont entièrement manquées (une station à cadence lâche pèse peu en instants), la plus touchée d'abord. La cadence d'une station examinée : la première ligne de la commande des capteurs.
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins ; à égalité au quatrième rang, toutes celles qui y sont), en entier. Examine aussi toute station où des étiquettes de la famille sont entièrement manquées (une station à cadence lâche pèse peu en instants), la plus touchée d'abord. La cadence d'une station examinée : la première ligne de la commande des capteurs.
2. **Les étiquettes** : celles de la famille sur toutes les stations, une ligne chacune (id, bornes, capteurs nommés, ce qu'elle voit), par un script si elles sont nombreuses ; dans le fichier, une ligne par étiquette des stations examinées, un résumé par station pour les autres ; pour les stations examinées, aussi les autres qui touchent un événement de la famille.
3. **Les détecteurs** : pour chaque station examinée, lance la commande du journal et celle des capteurs ; garde les lignes de la famille et celles qui touchent une étiquette de la famille. La cadence vaut pour tout ce que tu dis en mesures de cette station.
4. **Comparaison**, station par station, événement par événement et étiquette par étiquette, la catégorie d'un événement est sa famille (un saut bref resté seul : Displacement, sans cause établie) : juste ; famille fausse ; en trop (signalé par les détecteurs, sans étiquette : les courbes corrigées n'y montrent rien) ; bornes fausses (en retard, trop tôt, trop large) ; capteurs faux (ceux de l'événement, par la commande des capteurs, face à ceux que nomme la description ; sans elle, leur nombre seul, et dis-le) ; manquant. Une ligne chacun, avec pourquoi ; sur une station à beaucoup d'événements, groupe ceux du même jugement et de la même cause en une ligne (leur nombre, un exemple). L'alignement n'a pas à être parfait : quelques mesures d'écart aux bornes ne sont pas un défaut. Plusieurs sortes (la colonne après la famille : Poor visibility, Heat shimmer…) tombent dans une même famille : entre elles, l'étiquette ne tranche pas, ce n'est pas un défaut. Une lecture des détecteurs autre que celle de l'étiquette, mais cohérente (le même état que d'autres étiquettes rangent ailleurs dans cette famille, une frontière de `familles.md` qui permet les deux), n'est pas un défaut non plus (D-135) : juge-la « lecture alternative », sans suggestion. Les étiquettes ont leurs ambiguïtés : les détecteurs font au mieux, sans être parfaits ni sur-entraînés sur elles.
+1 -1
View File
@@ -14,7 +14,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la
- `FAMILLE` = la clé ; `F` = la clé, espaces en tirets (`Thermal-displacement`), pour les chemins.
- `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<F>/`, ci-dessous `<séance>`.
- Commits directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi. Note la **base de la séance** : `git rev-parse HEAD`. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ce dépôt. Avant chaque commit, `git branch --show-current` ; si ce n'est plus `master`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant chaque contrôle et avant le bilan, avec les données repompées (`find data/ -name '*.csv' -newer <séance>/benchmark-avant.txt | cut -d/ -f2 | sort -u`, `data/` étant hors de git) : un fichier changé pendant la séance par une autre session va sous « Erreurs » (les benchmarks d'avant et d'après ne portent plus sur les mêmes étiquettes ou données) ; avant un contrôle, relance alors le benchmark avant sur le dépôt à la base de la séance (`git worktree add` dans un dossier `mktemp -d`, liens vers `data/`) dans `<séance>/benchmark-avant-relance.txt`, et ajoute à la demande du contrôle : `Changé pendant la séance : <chemins ou stations> ; benchmark avant relancé : <séance>/benchmark-avant-relance.txt.`
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant chaque contrôle et avant le bilan, avec les données repompées (`find data/ -name '*.csv' -newer <séance>/benchmark-avant.txt | cut -d/ -f2 | sort -u`, `data/` étant hors de git) : un fichier changé pendant la séance par une autre session va sous « Erreurs » (les benchmarks d'avant et d'après ne portent plus sur les mêmes étiquettes ou données) ; avant un contrôle, relance alors le benchmark avant sur le dépôt à la base de la séance (`git archive <base> detectors agent-tools .claude/skills/detector-learner .claude/skills/analyser-lot | tar -x` dans un dossier `mktemp -d`, liens vers `data/` et `labeling/`) dans `<séance>/benchmark-avant-relance.txt`, et ajoute à la demande du contrôle : `Changé pendant la séance : <chemins ou stations> ; benchmark avant relancé : <séance>/benchmark-avant-relance.txt.`
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<F> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1` (environ 1 min 30). Le score par famille et par instant sur chaque station de `labeling/auto/` (en tête de chaque bloc, la station et sa plage, celle de ses étiquettes), puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. La ligne `<FAMILLE>` de chaque bloc et du `Total` est le score de la séance ; toutes les lignes, la non-régression (D-123). Les lignes de la famille seules : `grep -E '^[A-Z]|^ <FAMILLE> ' <benchmark>`.
+7 -1
View File
@@ -116,7 +116,7 @@ Séance de référence des entrées ci-dessous : 2026-10-26T1149Z, NORDEND, lot
## /detector-learner
Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot 01 (DL1 dans les occurrences), rendus dans `detector-learner/2026-11-03T1249Z_NEBRASKA/`. Les lignes citées sont celles du dépôt à la fin de la séance (commit `165e1c2`, `labeling/familles.md` modifié, non commité). Ce qui ne vient que du dire d'un agent est marqué « selon l'agent ». Seconde séance : 2026-11-03T1317Z, BREITHORN, lot 01, de 13:17 à 13:36 UTC (DL2), rendus dans `detector-learner/2026-11-03T1317Z_BREITHORN/` ; ses lignes citées sont celles du commit `f197ef0`. Troisième séance : 2026-11-03T1423Z, MICHIGAN, lot 01, de 14:23 à 14:40 UTC (DL3), rendus dans `detector-learner/2026-11-03T1423Z_MICHIGAN/` ; ses lignes citées sont celles du commit `5077a35`. Quatrième séance, la première par famille (D-132) : 2026-11-05T0814Z, famille Displacement, sur les 11 stations de `labeling/auto/`, de 08:14 à 09:39 UTC (DL4), rendus dans `detector-learner/2026-11-05T0814Z_Displacement/` ; ses lignes citées sont celles du commit `156db91`. Cinquième séance : 2026-11-05T0954Z, famille Obstruction, de 09:54 à 11:09 UTC (DL5), rendus dans `detector-learner/2026-11-05T0954Z_Obstruction/` ; ses lignes citées sont celles du commit `a11ee22`. Sixième séance : 2026-11-05T1112Z, famille Thermal displacement, de 11:12 à 12:33 UTC (DL6), rendus dans `detector-learner/2026-11-05T1112Z_Thermal-displacement/` ; ses lignes citées sont celles du commit `0cd6230`. Septième séance : 2026-11-05T1236Z, famille Visibility, de 13:35 à 15:02 UTC (DL7), rendus dans `detector-learner/2026-11-05T1236Z_Visibility/` ; ses lignes citées sont celles du commit `598fbf2` (consignes inchangées depuis la base `1ced766`).
Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot 01 (DL1 dans les occurrences), rendus dans `detector-learner/2026-11-03T1249Z_NEBRASKA/`. Les lignes citées sont celles du dépôt à la fin de la séance (commit `165e1c2`, `labeling/familles.md` modifié, non commité). Ce qui ne vient que du dire d'un agent est marqué « selon l'agent ». Seconde séance : 2026-11-03T1317Z, BREITHORN, lot 01, de 13:17 à 13:36 UTC (DL2), rendus dans `detector-learner/2026-11-03T1317Z_BREITHORN/` ; ses lignes citées sont celles du commit `f197ef0`. Troisième séance : 2026-11-03T1423Z, MICHIGAN, lot 01, de 14:23 à 14:40 UTC (DL3), rendus dans `detector-learner/2026-11-03T1423Z_MICHIGAN/` ; ses lignes citées sont celles du commit `5077a35`. Quatrième séance, la première par famille (D-132) : 2026-11-05T0814Z, famille Displacement, sur les 11 stations de `labeling/auto/`, de 08:14 à 09:39 UTC (DL4), rendus dans `detector-learner/2026-11-05T0814Z_Displacement/` ; ses lignes citées sont celles du commit `156db91`. Cinquième séance : 2026-11-05T0954Z, famille Obstruction, de 09:54 à 11:09 UTC (DL5), rendus dans `detector-learner/2026-11-05T0954Z_Obstruction/` ; ses lignes citées sont celles du commit `a11ee22`. Sixième séance : 2026-11-05T1112Z, famille Thermal displacement, de 11:12 à 12:33 UTC (DL6), rendus dans `detector-learner/2026-11-05T1112Z_Thermal-displacement/` ; ses lignes citées sont celles du commit `0cd6230`. Septième séance : 2026-11-05T1236Z, famille Visibility, de 13:35 à 15:02 UTC (DL7), rendus dans `detector-learner/2026-11-05T1236Z_Visibility/` ; ses lignes citées sont celles du commit `598fbf2` (consignes inchangées depuis la base `1ced766`). Huitième séance : 2026-11-05T1402Z, famille Target issue, de 15:05 à 15:50 UTC (DL8), rendus dans `detector-learner/2026-11-05T1402Z_Target-issue/`, un seul passage (consigne de l'utilisateur en cours de séance, `eadb639`) ; ses lignes citées sont celles du commit `8831542`.
- **Consigne de l'utilisateur en cours de séance : aligner détecteurs et catégories sur les familles** (2026-11-03, *contradiction*) : le skill tourne seul (aucune question) et chaque demande est donnée telle quelle, « rien d'autre » ; l'utilisateur a pourtant demandé, pendant la séance, d'aligner les détecteurs et les catégories du journal sur les nouvelles familles des étiquettes (dont `trou`, ajoutée à `labeling/familles.md`, vérifié : `git diff`). L'orchestrateur l'a relayée au critique en cours de travail, puis ajoutée à la demande de l'upgrader. Elle heurte deux consignes : « au plus deux » suggestions (le critique a fondu ses deux défauts de cadence en S1 pour faire de l'alignement S2) et « pas de nouvelle catégorie » (l'upgrader n'a su jusqu'où aller : renommer les douze catégories en six familles, ou changer le seul classement ; il n'a fait que le second, `categories.py` étant lu hors de son périmètre par `score.py`, `detectors-view/status.py`, `detectors-view/detecteurs.py` et `vues-deplacements/maquette/explore.py`, vérifié par `grep`). *En cause* : `.claude/skills/detector-learner/SKILL.md:10`, `:23`, `:30`, `:33` ; `.claude/agents/detectors-critic.md:35` ; `.claude/agents/detectors-upgrader.md:28`, `:40`. *Occurrences* : DL1 orchestrateur ; DL1 critique ; DL1 modification 1. **traité** (2026-11-03 : une consigne de l'utilisateur en cours de séance est ajoutée telle quelle à la demande des agents suivants et notée au bilan ; elle passe avant leurs consignes (nombre de suggestions, catégories), pas avant leur périmètre, le reste va dans « Pas corrigé » (`detector-learner/SKILL.md` §2, `detectors-critic.md` « Ta demande » et « Verdict », `detectors-upgrader.md` « Ta demande ») ; s'aligner sur les familles, c'est classer chaque événement dans une catégorie que la correspondance range dans la famille de l'étiquette, sans catégorie nouvelle ni renommée, lues hors de `detectors/` (`detectors-upgrader.md`, « Interdits »)).
@@ -196,6 +196,12 @@ Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot
- **Commandes de plusieurs minutes : ni durée annoncée ni moyen d'attendre** (2026-11-05, *commande*) : la commande des capteurs n'a aucune durée annoncée (vérifié : `SKILL.md:21`) et met plusieurs minutes sur LENZSPITZE (5 min, 41 capteurs) et CLARIDEN, selon l'agent ; le critique l'a lancée en arrière-plan. Le benchmark entier est annoncé « 1 à 2 min », à lancer en arrière-plan (vérifié : `detectors-upgrader.md:55`), sans dire comment en attendre la fin ; selon l'agent, il dure 2 à 3 min et dépasse l'attente d'une commande de premier plan, et l'outil d'attente que cite la consigne d'environnement de Claude Code (Monitor, hors du dépôt : aucune mention dans `.claude/`, vérifié) n'est pas disponible au sous-agent ; l'upgrader a attendu par une boucle sur les fichiers de sortie (même contournement qu'en DL6, entrée traitée « Benchmark trop long pour une commande de premier plan », dont le correctif ne dit pas comment attendre). *En cause* : `.claude/skills/detector-learner/SKILL.md:21` ; `.claude/agents/detectors-upgrader.md:55`. *Occurrences* : DL7 critique (capteurs) ; DL7 modification 1 (benchmark). **traité** (2026-11-05 : durée dite (2 à 3 min) et comment attendre : en arrière-plan, l'outil d'attente de l'environnement, sinon `wait`).
- **Stations examinées : aucune règle pour une égalité au quatrième rang** (2026-11-05, *consigne absente*) : le critique examine « les quatre premières » stations, rangées par erreurs (manqués plus à tort), sans dire comment départager (vérifié : `detectors-critic.md:32`) ; en Target issue, cinq stations ont une erreur chacune au quatrième rang. Le critique a pris NIEDERHORN, qui a le plus d'étiquettes de la famille (14). *En cause* : `.claude/agents/detectors-critic.md:32`. *Occurrences* : DL8 critique. **traité** (2026-11-05 : à égalité au quatrième rang, toutes celles qui y sont).
- **Étiquettes entièrement manquées : rien ne les montre avant d'examiner la station** (2026-11-05, *consigne absente*) : le critique doit examiner toute station où des étiquettes de la famille sont entièrement manquées (vérifié : `detectors-critic.md:32`, correctif de l'entrée traitée « Étiquettes entièrement manquées sur une station à cadence serrée ») ; mais le benchmark ne compte que des instants par station et par famille, sans le détail par étiquette (vérifié : `benchmark-avant.txt`), et la commande des capteurs ne se lance que sur une station examinée (`:24`, `:34`). Avec des étiquettes d'un mois entier qui en couvrent d'autres, les comptes ne disent pas lesquelles sont manquées : le critique ne l'a su que pour une étiquette de MICHIGAN, et deux de CLARIDEN, couvertes par une étiquette plus longue, n'ont pas été jugées, CLARIDEN n'étant pas examinée. *En cause* : `.claude/agents/detectors-critic.md:32` ; `.claude/skills/detector-learner/regression.py` (sortie par famille seulement). *Occurrences* : DL8 critique. *Piste* : le nombre d'étiquettes entièrement manquées dans chaque ligne du benchmark.
- **Worktree de la base dans le dossier temporaire : le tmpfs ne le contient pas** (2026-11-05, *commande*) : le contrôle doit lancer la commande du journal à la base par un `git worktree add` dans son dossier de travail, et l'orchestrateur relancer de même le benchmark avant si des données ont changé (vérifié : `detectors-control.md:21`, `SKILL.md:17`) ; le dossier temporaire de la session est un tmpfs de 3,8 Go, partagé avec les autres sessions (1,5 Go libres au relevé), et un worktree extrait tout le dépôt versionné, dont 1,4 Go d'images dans `vues-deplacements/cas/` (vérifié : `du`, `df`). Le `git worktree add` a échoué ; le contrôle a extrait `detectors/` et `agent-tools/` de la base et de S1 par `git archive`, avec un lien vers `data/` (contournement déjà pris en DL5 et DL6, entrées traitées « Données de `data/` repompées » et « Contrôle : la commande du journal à HEAD seulement »). *En cause* : `.claude/agents/detectors-control.md:21` ; `.claude/skills/detector-learner/SKILL.md:17`. *Occurrences* : DL8 validation 1 ; DL8 bilan, « Erreurs ». *Piste* : `git archive` des seuls chemins utiles à la place du worktree. **traité** (2026-11-05 : `git archive` des seuls dossiers utiles, au lieu d'un worktree, dans le contrôle et le skill).
## Étiquetage des cas (benchmark)
Étiquettes de chaque cas de la base pour le benchmark des détecteurs (D-069, point 48 du plan) : un analyste par cas, étape 1 de `critiquer-lot` seule, puis correction par la fiche ; repris par `/nouveau-cas` (`.claude/skills/nouveau-cas/SKILL.md:57`). Séance de référence : 2026-10-26, C-001 à C-005 en parallèle, rendus écrits de 15:37 à 15:41 UTC dans `vues-deplacements/benchmark/etiquetage/C-00x.md`, rangés depuis dans le dossier de chaque cas (`agents/diagnostic/cas/C-00x/etiquetage.md`, demande de l'utilisateur : tout au même endroit ; hors de `vues-deplacements/`, l'écriture du rendu n'y charge plus `vues-deplacements/CLAUDE.md`) (E1 dans les occurrences). Les lignes citées sont celles de l'arbre de travail du 2026-10-26 (skills modifiés, non commités). Ce qui ne vient que du dire d'un agent est marqué « selon l'agent ».