Detector-learner Target issue: process difficulties and fixes (ties, base by git archive)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7271151d24
commit
cda7d21a0d
4 files changed
+10
-4
No files matched your search
@@ -18,7 +18,7 @@ La famille de la séance, la modification (`modification-K.md`), le benchmark av
|
||||
- dans `modification-K.md`, les parties « Ce qui a changé » et « Pourquoi », rien d'autre : `sed -n '/^## Ce qui a changé/,/^## Avant/p' <modification>` ;
|
||||
- le diff des détecteurs depuis le début de la séance : `git diff <base> -- detectors/ vues-deplacements/contexte/seuils-du-journal.md`, et le code de `detectors/` qu'il touche ; une suggestion a son commit (`git log --oneline <base>..HEAD -- detectors/`, message `…, S<n>`), son diff par `git show <commit>` ;
|
||||
- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`), toutes les stations en entier ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ;
|
||||
- pour comprendre un recul sur une station : la commande du journal sur sa plage, avec `2>&1`, à HEAD et, pour comparer, à la base (`git worktree add <dossier> <base>` dans ton dossier de travail, un lien vers `data/`), ses étiquettes `labeling/auto/<STATION>.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille).
|
||||
- pour comprendre un recul sur une station : la commande du journal sur sa plage, avec `2>&1`, à HEAD et, pour comparer, à la base (`git archive <base> detectors agent-tools .claude/skills/detector-learner .claude/skills/analyser-lot | tar -x -C <dossier>` dans ton dossier de travail, des liens vers `data/` et `labeling/` : un worktree entier ne tient pas dans le dossier temporaire), ses étiquettes `labeling/auto/<STATION>.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille).
|
||||
|
||||
Rien d'autre : ni la critique, ni les autres séances.
|
||||
|
||||
|
||||
@@ -29,7 +29,7 @@ Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lect
|
||||
|
||||
## Déroulé
|
||||
|
||||
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins), en entier. Examine aussi toute station où des étiquettes de la famille sont entièrement manquées (une station à cadence lâche pèse peu en instants), la plus touchée d'abord. La cadence d'une station examinée : la première ligne de la commande des capteurs.
|
||||
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins ; à égalité au quatrième rang, toutes celles qui y sont), en entier. Examine aussi toute station où des étiquettes de la famille sont entièrement manquées (une station à cadence lâche pèse peu en instants), la plus touchée d'abord. La cadence d'une station examinée : la première ligne de la commande des capteurs.
|
||||
2. **Les étiquettes** : celles de la famille sur toutes les stations, une ligne chacune (id, bornes, capteurs nommés, ce qu'elle voit), par un script si elles sont nombreuses ; dans le fichier, une ligne par étiquette des stations examinées, un résumé par station pour les autres ; pour les stations examinées, aussi les autres qui touchent un événement de la famille.
|
||||
3. **Les détecteurs** : pour chaque station examinée, lance la commande du journal et celle des capteurs ; garde les lignes de la famille et celles qui touchent une étiquette de la famille. La cadence vaut pour tout ce que tu dis en mesures de cette station.
|
||||
4. **Comparaison**, station par station, événement par événement et étiquette par étiquette, la catégorie d'un événement est sa famille (un saut bref resté seul : Displacement, sans cause établie) : juste ; famille fausse ; en trop (signalé par les détecteurs, sans étiquette : les courbes corrigées n'y montrent rien) ; bornes fausses (en retard, trop tôt, trop large) ; capteurs faux (ceux de l'événement, par la commande des capteurs, face à ceux que nomme la description ; sans elle, leur nombre seul, et dis-le) ; manquant. Une ligne chacun, avec pourquoi ; sur une station à beaucoup d'événements, groupe ceux du même jugement et de la même cause en une ligne (leur nombre, un exemple). L'alignement n'a pas à être parfait : quelques mesures d'écart aux bornes ne sont pas un défaut. Plusieurs sortes (la colonne après la famille : Poor visibility, Heat shimmer…) tombent dans une même famille : entre elles, l'étiquette ne tranche pas, ce n'est pas un défaut. Une lecture des détecteurs autre que celle de l'étiquette, mais cohérente (le même état que d'autres étiquettes rangent ailleurs dans cette famille, une frontière de `familles.md` qui permet les deux), n'est pas un défaut non plus (D-135) : juge-la « lecture alternative », sans suggestion. Les étiquettes ont leurs ambiguïtés : les détecteurs font au mieux, sans être parfaits ni sur-entraînés sur elles.
|
||||
|
||||
@@ -14,7 +14,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la
|
||||
- `FAMILLE` = la clé ; `F` = la clé, espaces en tirets (`Thermal-displacement`), pour les chemins.
|
||||
- `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<F>/`, ci-dessous `<séance>`.
|
||||
- Commits directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi. Note la **base de la séance** : `git rev-parse HEAD`. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ce dépôt. Avant chaque commit, `git branch --show-current` ; si ce n'est plus `master`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
|
||||
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant chaque contrôle et avant le bilan, avec les données repompées (`find data/ -name '*.csv' -newer <séance>/benchmark-avant.txt | cut -d/ -f2 | sort -u`, `data/` étant hors de git) : un fichier changé pendant la séance par une autre session va sous « Erreurs » (les benchmarks d'avant et d'après ne portent plus sur les mêmes étiquettes ou données) ; avant un contrôle, relance alors le benchmark avant sur le dépôt à la base de la séance (`git worktree add` dans un dossier `mktemp -d`, liens vers `data/`) dans `<séance>/benchmark-avant-relance.txt`, et ajoute à la demande du contrôle : `Changé pendant la séance : <chemins ou stations> ; benchmark avant relancé : <séance>/benchmark-avant-relance.txt.`
|
||||
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant chaque contrôle et avant le bilan, avec les données repompées (`find data/ -name '*.csv' -newer <séance>/benchmark-avant.txt | cut -d/ -f2 | sort -u`, `data/` étant hors de git) : un fichier changé pendant la séance par une autre session va sous « Erreurs » (les benchmarks d'avant et d'après ne portent plus sur les mêmes étiquettes ou données) ; avant un contrôle, relance alors le benchmark avant sur le dépôt à la base de la séance (`git archive <base> detectors agent-tools .claude/skills/detector-learner .claude/skills/analyser-lot | tar -x` dans un dossier `mktemp -d`, liens vers `data/` et `labeling/`) dans `<séance>/benchmark-avant-relance.txt`, et ajoute à la demande du contrôle : `Changé pendant la séance : <chemins ou stations> ; benchmark avant relancé : <séance>/benchmark-avant-relance.txt.`
|
||||
|
||||
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<F> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1` (environ 1 min 30). Le score par famille et par instant sur chaque station de `labeling/auto/` (en tête de chaque bloc, la station et sa plage, celle de ses étiquettes), puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. La ligne `<FAMILLE>` de chaque bloc et du `Total` est le score de la séance ; toutes les lignes, la non-régression (D-123). Les lignes de la famille seules : `grep -E '^[A-Z]|^ <FAMILLE> ' <benchmark>`.
|
||||
|
||||
|
||||
Reference in new issue
Block a user