Detector-learner: detectors do their best, a coherent alternative reading is no regression; process fixes (D-135)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
eb61d12b82
commit
d1a372d3ea
9 files changed
+49
-28
No files matched your search
@@ -146,27 +146,27 @@ Séance de référence des entrées ci-dessous : 2026-11-03T1249Z, NEBRASKA, lot
|
||||
|
||||
- **La plage de `regression.plage()` au format ISO, refusée par les commandes du journal et des capteurs** (2026-11-03, *format*) : le skill fait calculer `<début>` et `<fin>` par `regression.plage()`, qui rend `AAAA-MM-JJTHH:MMZ` (vérifié : `regression.py:32`), puis les met tels quels dans la commande du journal et celle des capteurs, qui n'acceptent que `AAAA-MM-JJ` (vérifié : `strptime(d, "%Y-%m-%d")`) : les deux échouent (`ValueError: unconverted data remains: T00:00Z`). Le critique les a relancées en `AAAA-MM-JJ` (même plage, `--au` exclu) ; l'orchestrateur a donné cette forme à l'upgrader. *En cause* : `.claude/skills/detector-learner/SKILL.md:15` contre `:20` ; `.claude/skills/detector-learner/regression.py:32` ; `detectors/categories.py:192` ; `.claude/skills/detector-learner/capteurs.py:19`. *Occurrences* : DL3 orchestrateur ; DL3 critique. **traité** (2026-11-03 : `categories.py` et `capteurs.py` lisent les dix premiers caractères de `--du` / `--au`, la forme ISO passe).
|
||||
|
||||
- **Étiquettes modifiées par une autre session pendant la séance : rien ne le relève** (2026-11-03, *consigne absente*) : les fichiers déjà modifiés ne sont relevés qu'à la mise en place, avant le benchmark avant ; `labeling/auto/JUNGFRAU.jsonl` a été modifié pendant la séance par une autre session, non commité (vérifié : `git status`, une ligne changée ; la même session a commité `labeling/labeling.py` à 14:32 UTC, `bb1fd1a`). `benchmark-avant.txt` porte sur les anciennes étiquettes de JUNGFRAU, les suivants sur les nouvelles : la ligne Visibility de JUNGFRAU et le `Total` Visibility changent sans les détecteurs. Rien ne l'a signalé à l'orchestrateur ; l'upgrader et le contrôle l'ont vu chacun de leur côté et ont comparé à un benchmark relancé (le contrôle, sur les détecteurs de la base dans un worktree temporaire). L'upgrader croit le fichier modifié dès le début, le bilan dit « aucun » au début. *En cause* : `.claude/skills/detector-learner/SKILL.md:18` (relevé au début seulement), `:28` (benchmark avant fait une fois). *Occurrences* : DL3 orchestrateur ; DL3 modification 1 ; DL3 validation 1. *Piste* (de l'agent du contrôle) : refaire le benchmark avant quand les étiquettes changent pendant la séance.
|
||||
- **Étiquettes modifiées par une autre session pendant la séance : rien ne le relève** (2026-11-03, *consigne absente*) : les fichiers déjà modifiés ne sont relevés qu'à la mise en place, avant le benchmark avant ; `labeling/auto/JUNGFRAU.jsonl` a été modifié pendant la séance par une autre session, non commité (vérifié : `git status`, une ligne changée ; la même session a commité `labeling/labeling.py` à 14:32 UTC, `bb1fd1a`). `benchmark-avant.txt` porte sur les anciennes étiquettes de JUNGFRAU, les suivants sur les nouvelles : la ligne Visibility de JUNGFRAU et le `Total` Visibility changent sans les détecteurs. Rien ne l'a signalé à l'orchestrateur ; l'upgrader et le contrôle l'ont vu chacun de leur côté et ont comparé à un benchmark relancé (le contrôle, sur les détecteurs de la base dans un worktree temporaire). L'upgrader croit le fichier modifié dès le début, le bilan dit « aucun » au début. *En cause* : `.claude/skills/detector-learner/SKILL.md:18` (relevé au début seulement), `:28` (benchmark avant fait une fois). *Occurrences* : DL3 orchestrateur ; DL3 modification 1 ; DL3 validation 1. *Piste* (de l'agent du contrôle) : refaire le benchmark avant quand les étiquettes changent pendant la séance. **traité** (2026-11-05 : le relevé des fichiers modifiés est refait avant le bilan (D-132)).
|
||||
|
||||
- **Capteurs faux : « toutes les cibles » sans le nombre de cibles de la station** (2026-11-03, *consigne absente*) : le critique compare les capteurs d'un événement à ceux que nomme la description ; une étiquette qui dit « toutes les cibles » ne se compare pas aux 12 capteurs d'un événement, la commande des capteurs ne donnant pas le nombre de cibles de la station (vérifié : elle n'imprime que la cadence et les capteurs de chaque événement, « tous les capteurs » si la liste est vide). *En cause* : `.claude/agents/detectors-critic.md:34` ; `.claude/skills/detector-learner/capteurs.py:22-29`. *Occurrences* : DL3 critique.
|
||||
- **Capteurs faux : « toutes les cibles » sans le nombre de cibles de la station** (2026-11-03, *consigne absente*) : le critique compare les capteurs d'un événement à ceux que nomme la description ; une étiquette qui dit « toutes les cibles » ne se compare pas aux 12 capteurs d'un événement, la commande des capteurs ne donnant pas le nombre de cibles de la station (vérifié : elle n'imprime que la cadence et les capteurs de chaque événement, « tous les capteurs » si la liste est vide). *En cause* : `.claude/agents/detectors-critic.md:34` ; `.claude/skills/detector-learner/capteurs.py:22-29`. *Occurrences* : DL3 critique. **traité** (2026-11-05 : `capteurs.py` donne le nombre de cibles et de références).
|
||||
|
||||
- **Contrôle : le bloc de la station de la séance dans les benchmarks qu'il doit lire** (2026-11-03, *contradiction*) : le contrôle ne doit pas regarder le bloc du benchmark de la station de la séance, mais il lit les benchmarks de `regression.py`, qui le contiennent (vérifié) ; il ne peut lire le fichier sans le voir. Le contrôle 1 l'a filtré dès la première comparaison. *En cause* : `.claude/agents/detectors-control.md:10` contre `:20`. *Occurrences* : DL3 validation 1.
|
||||
- **Contrôle : le bloc de la station de la séance dans les benchmarks qu'il doit lire** (2026-11-03, *contradiction*) : le contrôle ne doit pas regarder le bloc du benchmark de la station de la séance, mais il lit les benchmarks de `regression.py`, qui le contiennent (vérifié) ; il ne peut lire le fichier sans le voir. Le contrôle 1 l'a filtré dès la première comparaison. *En cause* : `.claude/agents/detectors-control.md:10` contre `:20`. *Occurrences* : DL3 validation 1. **traité** (2026-11-05 : sans objet depuis D-132, le contrôle juge toutes les stations).
|
||||
|
||||
- **Dossier temporaire partagé entre agents** (2026-11-03, *autre*) : selon l'agent, le dossier de travail temporaire du contrôle contenait déjà des fichiers d'un autre agent (`journal-S*.txt`, `glis.py`…), qu'il n'a pas lus ; aucune consigne du skill ni des agents ne parle d'un dossier temporaire (vérifié : `grep`). *En cause* : `.claude/skills/detector-learner/SKILL.md`, `.claude/agents/detectors-upgrader.md`, `.claude/agents/detectors-control.md` (rien sur le dossier temporaire). *Occurrences* : DL3 validation 1.
|
||||
- **Dossier temporaire partagé entre agents** (2026-11-03, *autre*) : selon l'agent, le dossier de travail temporaire du contrôle contenait déjà des fichiers d'un autre agent (`journal-S*.txt`, `glis.py`…), qu'il n'a pas lus ; aucune consigne du skill ni des agents ne parle d'un dossier temporaire (vérifié : `grep`). *En cause* : `.claude/skills/detector-learner/SKILL.md`, `.claude/agents/detectors-upgrader.md`, `.claude/agents/detectors-control.md` (rien sur le dossier temporaire). *Occurrences* : DL3 validation 1. **traité** (2026-11-05 : chaque agent a le sien (`mktemp -d`), dit à l'upgrader et au contrôle).
|
||||
|
||||
- **Recul « à tort +2 » sur la famille de la séance : l'upgrader en exempte les stations visées, pas le contrôle** (2026-11-05, *contradiction*) : l'upgrader doit faire monter la ligne de la famille sur les stations de la suggestion, et ne juge le recul de cette famille que « sur les stations que la suggestion ne vise pas » ; le contrôle, qui ne lit pas la critique et ne sait pas quelles stations sont visées, compte le recul « la famille de la séance comprise », sans exception, avec un seuil absolu de 2 instants (vérifié). Quand une famille passe de presque rien à presque tout trouvé, quelques instants de bordure dépassent forcément le seuil ; selon l'upgrader, c'est inévitable quand les étiquettes découpent une même dérive en morceaux séparés de creux de quelques heures, leurs bornes, exclues du score (`score.py:123`), comptant alors à tort. Le contrôle 1 a renvoyé (CLARIDEN +1112, NEBRASKA +6 à tort) ; l'upgrader 2 a réduit sans pouvoir tenir la lettre (CLARIDEN +20, NEBRASKA +6) ; le contrôle 2 a accepté en jugeant sur la cause des instants, pas sur le compte, au nom de « le detectors-upgrader doit pouvoir progresser », et demande de trancher : seuil relatif aux instants gagnés pour la famille de la séance, ou la lettre. *En cause* : `.claude/agents/detectors-upgrader.md:52` et `:53` contre `.claude/agents/detectors-control.md:28-29` et `:39`. *Occurrences* : DL4 modification 1 ; DL4 modification 2 ; DL4 contrôle 2.
|
||||
- **Recul « à tort +2 » sur la famille de la séance : l'upgrader en exempte les stations visées, pas le contrôle** (2026-11-05, *contradiction*) : l'upgrader doit faire monter la ligne de la famille sur les stations de la suggestion, et ne juge le recul de cette famille que « sur les stations que la suggestion ne vise pas » ; le contrôle, qui ne lit pas la critique et ne sait pas quelles stations sont visées, compte le recul « la famille de la séance comprise », sans exception, avec un seuil absolu de 2 instants (vérifié). Quand une famille passe de presque rien à presque tout trouvé, quelques instants de bordure dépassent forcément le seuil ; selon l'upgrader, c'est inévitable quand les étiquettes découpent une même dérive en morceaux séparés de creux de quelques heures, leurs bornes, exclues du score (`score.py:123`), comptant alors à tort. Le contrôle 1 a renvoyé (CLARIDEN +1112, NEBRASKA +6 à tort) ; l'upgrader 2 a réduit sans pouvoir tenir la lettre (CLARIDEN +20, NEBRASKA +6) ; le contrôle 2 a accepté en jugeant sur la cause des instants, pas sur le compte, au nom de « le detectors-upgrader doit pouvoir progresser », et demande de trancher : seuil relatif aux instants gagnés pour la famille de la séance, ou la lettre. *En cause* : `.claude/agents/detectors-upgrader.md:52` et `:53` contre `.claude/agents/detectors-control.md:28-29` et `:39`. *Occurrences* : DL4 modification 1 ; DL4 modification 2 ; DL4 contrôle 2. **traité** (2026-11-05 : la même règle pour l'upgrader et le contrôle, la famille de la séance comprise : un recul, plus de 2 points perdus en « trouvées » ou « justes » ; une autre lecture cohérente que les étiquettes n'en est pas un (D-135)).
|
||||
|
||||
- **Verdict accompagné d'une réserve : le skill ne dit pas où la mettre** (2026-11-05, *consigne absente*) : le contrôle 2 a rendu « accepté » tout en écrivant que la règle des instants signalés à tort est dépassée à la lettre (CLARIDEN, NEBRASKA ; entrée ci-dessus) ; `accepté` mène droit au bilan, dont « À trancher par l'utilisateur » ne reprend que les « Limites » de la critique et les « À trancher » des modifications (vérifié), et le gabarit du contrôle n'a pas de partie « À trancher ». L'orchestrateur l'a mise de lui-même sous « À trancher par l'utilisateur » du bilan. *En cause* : `.claude/skills/detector-learner/SKILL.md:39`, `:50` ; `.claude/agents/detectors-control.md:45-63`. *Occurrences* : DL4 orchestrateur.
|
||||
- **Verdict accompagné d'une réserve : le skill ne dit pas où la mettre** (2026-11-05, *consigne absente*) : le contrôle 2 a rendu « accepté » tout en écrivant que la règle des instants signalés à tort est dépassée à la lettre (CLARIDEN, NEBRASKA ; entrée ci-dessus) ; `accepté` mène droit au bilan, dont « À trancher par l'utilisateur » ne reprend que les « Limites » de la critique et les « À trancher » des modifications (vérifié), et le gabarit du contrôle n'a pas de partie « À trancher ». L'orchestrateur l'a mise de lui-même sous « À trancher par l'utilisateur » du bilan. *En cause* : `.claude/skills/detector-learner/SKILL.md:39`, `:50` ; `.claude/agents/detectors-control.md:45-63`. *Occurrences* : DL4 orchestrateur. **traité** (2026-11-05 : le contrôle a une partie « Réserves », que le bilan copie sous « À trancher par l'utilisateur »).
|
||||
|
||||
- **Upgrader : comparer au dernier état commité, quand le contrôle compare au benchmark avant la séance** (2026-11-05, *contradiction*) : chaque suggestion se vérifie « face au benchmark du dernier état commité », mais le contrôle juge `benchmark-avant.txt` → `benchmark-K.txt` (vérifié) ; au passage 2, le dernier état commité porte déjà la modification 1, et un recul face à lui n'est pas celui que juge le contrôle. L'upgrader 2 a donné les deux. *En cause* : `.claude/agents/detectors-upgrader.md:58` contre `.claude/skills/detector-learner/SKILL.md:37` et `.claude/agents/detectors-control.md:28`. *Occurrences* : DL4 modification 2.
|
||||
- **Upgrader : comparer au dernier état commité, quand le contrôle compare au benchmark avant la séance** (2026-11-05, *contradiction*) : chaque suggestion se vérifie « face au benchmark du dernier état commité », mais le contrôle juge `benchmark-avant.txt` → `benchmark-K.txt` (vérifié) ; au passage 2, le dernier état commité porte déjà la modification 1, et un recul face à lui n'est pas celui que juge le contrôle. L'upgrader 2 a donné les deux. *En cause* : `.claude/agents/detectors-upgrader.md:58` contre `.claude/skills/detector-learner/SKILL.md:37` et `.claude/agents/detectors-control.md:28`. *Occurrences* : DL4 modification 2. **traité** (2026-11-05 : chaque suggestion face au dernier état commité, l'ensemble face au benchmark avant, celui du contrôle).
|
||||
|
||||
- **Rang des stations : « les instants pèsent plus à cadence serrée », sans dire s'il faut pondérer** (2026-11-05, *consigne floue*) : le critique range les stations par instants manqués plus à tort, puis lit qu'une station à 15 min « compte seize fois plus » qu'une à 4 h, sans savoir s'il doit pondérer le rang (vérifié). Il a rangé par instants bruts et ajouté NEBRASKA par la règle de l'étiquette entièrement manquée ; en heures d'erreur, selon l'agent, NEBRASKA et NIEDERHORN passeraient devant LENZSPITZE. *En cause* : `.claude/agents/detectors-critic.md:32`. *Occurrences* : DL4 critique.
|
||||
- **Rang des stations : « les instants pèsent plus à cadence serrée », sans dire s'il faut pondérer** (2026-11-05, *consigne floue*) : le critique range les stations par instants manqués plus à tort, puis lit qu'une station à 15 min « compte seize fois plus » qu'une à 4 h, sans savoir s'il doit pondérer le rang (vérifié). Il a rangé par instants bruts et ajouté NEBRASKA par la règle de l'étiquette entièrement manquée ; en heures d'erreur, selon l'agent, NEBRASKA et NIEDERHORN passeraient devant LENZSPITZE. *En cause* : `.claude/agents/detectors-critic.md:32`. *Occurrences* : DL4 critique. **traité** (2026-11-05 : en instants bruts, sans pondérer ; la station à cadence lâche par l'étiquette entièrement manquée).
|
||||
|
||||
- **Cadence de chaque station demandée, mais donnée seulement par la commande des capteurs** (2026-11-05, *consigne absente*) : la partie 1 de la critique a une colonne cadence pour toutes les stations, et le rang en dépend ; la cadence n'est imprimée que par la commande des capteurs (vérifié : ni le benchmark ni le journal ne la donnent), que le critique lance pour les stations examinées. Il a lancé les deux commandes sur les onze stations pour remplir la colonne. *En cause* : `.claude/agents/detectors-critic.md:24`, `:32`, `:34`, `:49` ; `.claude/skills/detector-learner/SKILL.md:21`. *Occurrences* : DL4 critique. *Piste* : la cadence dans l'en-tête de chaque bloc du benchmark.
|
||||
- **Cadence de chaque station demandée, mais donnée seulement par la commande des capteurs** (2026-11-05, *consigne absente*) : la partie 1 de la critique a une colonne cadence pour toutes les stations, et le rang en dépend ; la cadence n'est imprimée que par la commande des capteurs (vérifié : ni le benchmark ni le journal ne la donnent), que le critique lance pour les stations examinées. Il a lancé les deux commandes sur les onze stations pour remplir la colonne. *En cause* : `.claude/agents/detectors-critic.md:24`, `:32`, `:34`, `:49` ; `.claude/skills/detector-learner/SKILL.md:21`. *Occurrences* : DL4 critique. *Piste* : la cadence dans l'en-tête de chaque bloc du benchmark. **traité** (2026-11-05 : la colonne cadence retirée du tableau des stations ; celle des stations examinées, par la commande des capteurs).
|
||||
|
||||
- **Plage du benchmark arrondie au jour : des instants après la dernière étiquette comptent à tort** (2026-11-05, *autre*) : `regression.plage()` étend la fin au jour entier suivant quand la dernière étiquette ne finit pas à minuit (vérifié : CLARIDEN, étiquettes jusqu'au 2026-11-01T00:10, plage jusqu'au 2026-11-02T00:00) ; tout instant de la plage sans étiquette vaut « les courbes n'y montrent rien », et les événements du 11-01 de CLARIDEN y comptent à tort sans qu'on sache si l'étiqueteur a regardé ce jour-là. *En cause* : `.claude/skills/detector-learner/regression.py:31` ; `.claude/agents/detectors-critic.md:18`. *Occurrences* : DL4 critique.
|
||||
- **Plage du benchmark arrondie au jour : des instants après la dernière étiquette comptent à tort** (2026-11-05, *autre*) : `regression.plage()` étend la fin au jour entier suivant quand la dernière étiquette ne finit pas à minuit (vérifié : CLARIDEN, étiquettes jusqu'au 2026-11-01T00:10, plage jusqu'au 2026-11-02T00:00) ; tout instant de la plage sans étiquette vaut « les courbes n'y montrent rien », et les événements du 11-01 de CLARIDEN y comptent à tort sans qu'on sache si l'étiqueteur a regardé ce jour-là. *En cause* : `.claude/skills/detector-learner/regression.py:31` ; `.claude/agents/detectors-critic.md:18`. *Occurrences* : DL4 critique. **traité** (2026-11-05 : `regression.plage()` prend le minuit le plus proche de la dernière borne ; CLARIDEN finit au 2026-11-01).
|
||||
|
||||
- **`regression.py` ne mesure que les détecteurs du dépôt** (2026-11-05, *commande*) : le benchmark lit `detectors/` à la racine du dépôt (vérifié : `regression.py:19`) et dure environ 75 s selon l'agent ; pour comparer plusieurs réglages sans toucher au dépôt, l'upgrader a lancé chaque variante dans une copie légère du dépôt dans son dossier temporaire (`detectors/`, `agent-tools/`, scripts du skill, liens vers `data/` et `labeling/auto/`). Aucune consigne n'en parle (voir l'entrée « Dossier temporaire partagé entre agents »). *En cause* : `.claude/skills/detector-learner/regression.py:19` ; `.claude/agents/detectors-upgrader.md:51`, `:58`. *Occurrences* : DL4 modification 1.
|
||||
- **`regression.py` ne mesure que les détecteurs du dépôt** (2026-11-05, *commande*) : le benchmark lit `detectors/` à la racine du dépôt (vérifié : `regression.py:19`) et dure environ 75 s selon l'agent ; pour comparer plusieurs réglages sans toucher au dépôt, l'upgrader a lancé chaque variante dans une copie légère du dépôt dans son dossier temporaire (`detectors/`, `agent-tools/`, scripts du skill, liens vers `data/` et `labeling/auto/`). Aucune consigne n'en parle (voir l'entrée « Dossier temporaire partagé entre agents »). *En cause* : `.claude/skills/detector-learner/regression.py:19` ; `.claude/agents/detectors-upgrader.md:51`, `:58`. *Occurrences* : DL4 modification 1. **traité** (2026-11-05 : l'upgrader sait essayer une variante dans une copie, dans son propre dossier de travail).
|
||||
|
||||
## Étiquetage des cas (benchmark)
|
||||
|
||||
|
||||
Reference in new issue
Block a user