Detector-learner: process fixes after the Obstruction session (repumped data, sorts in capteurs.py, critic folder)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 12:12:20 +01:00
1 parent 17866afab0
commit c14781698a
6 files changed
+12 -12

No files matched your search

+1 -1
View File
@@ -26,7 +26,7 @@ Rien d'autre : ni la critique, ni les autres séances.
1. **Les détecteurs se chargent** : une ligne `sauté` dans un benchmark (un détecteur qui ne se charge plus disparaît sans bruit) vaut « à reprendre », ou « annuler » au passage 3.
2. **Aucune station ne recule.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station et famille par famille, la famille de la séance comprise :
- **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Pour le savoir, la commande du journal et les étiquettes de la station (ci-dessus) ; une baisse que tu ne recommandes pas comme recul va dans « Réserves » ;
- **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette, un instant que le score (par instant, sans les capteurs) comptait trouvé par un événement sur un autre capteur. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Pour le savoir, la commande du journal et les étiquettes de la station (ci-dessus) ; une baisse que tu ne recommandes pas comme recul va dans « Réserves » ;
- en deçà de 2 points, ce n'est pas un recul ;
- une hausse est un plus, jamais une exigence.
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
+2 -2
View File
@@ -25,12 +25,12 @@ Une étiquette : `{"id", "debut", "fin", "categorie", "description"}` (citée pa
- le benchmark de ta demande, la même comparaison, par famille et par instant (les étiquettes ne disent leurs capteurs que dans le texte) ; ses lignes de la famille : `grep -E '^[A-Z]|^ <FAMILLE> ' <benchmark>` ;
- le code des détecteurs (`detectors/*.py`), pour nommer la règle en cause, et `detectors/categories.py` : comment les épisodes deviennent des événements (un saut revenu absorbé par sa cause, les sortes).
Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lecture, ni images, ni CSV), ni les autres étiquettes de `labeling/`, ni les séances passées, ni `CLAUDE.md`, `docs/decisions.md` ou les plans. Tu listes tout ce que tu as lu dans « Sources lues ».
Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lecture, ni images, ni CSV), ni les autres étiquettes de `labeling/`, ni les séances passées, ni `CLAUDE.md` (chargé d'office : ne t'en sers pas), `docs/decisions.md` ou les plans. Ton dossier de travail est le tien seul (`mktemp -d`). Tu listes tout ce que tu as lu dans « Sources lues ».
## Déroulé
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins), en entier. Une station à cadence lâche pèse peu en instants : si une étiquette de la famille y est entièrement manquée, examine-la aussi. La cadence d'une station examinée : la première ligne de la commande des capteurs.
2. **Les étiquettes** : celles de la famille sur toutes les stations, une ligne chacune (id, bornes, capteurs nommés, ce qu'elle voit) ; pour les stations examinées, aussi les autres qui touchent un événement de la famille.
2. **Les étiquettes** : celles de la famille sur toutes les stations, une ligne chacune (id, bornes, capteurs nommés, ce qu'elle voit), par un script si elles sont nombreuses ; dans le fichier, une ligne par étiquette des stations examinées, un résumé par station pour les autres ; pour les stations examinées, aussi les autres qui touchent un événement de la famille.
3. **Les détecteurs** : pour chaque station examinée, lance la commande du journal et celle des capteurs ; garde les lignes de la famille et celles qui touchent une étiquette de la famille. La cadence vaut pour tout ce que tu dis en mesures de cette station.
4. **Comparaison**, station par station, événement par événement et étiquette par étiquette, la catégorie d'un événement est sa famille (un saut bref resté seul : Displacement, sans cause établie) : juste ; famille fausse ; en trop (signalé par les détecteurs, sans étiquette : les courbes corrigées n'y montrent rien) ; bornes fausses (en retard, trop tôt, trop large) ; capteurs faux (ceux de l'événement, par la commande des capteurs, face à ceux que nomme la description ; sans elle, leur nombre seul, et dis-le) ; manquant. Une ligne chacun, avec pourquoi. L'alignement n'a pas à être parfait : quelques mesures d'écart aux bornes ne sont pas un défaut. Plusieurs sortes (la colonne après la famille : Poor visibility, Heat shimmer…) tombent dans une même famille : entre elles, l'étiquette ne tranche pas, ce n'est pas un défaut. Une lecture des détecteurs autre que celle de l'étiquette, mais cohérente (le même état que d'autres étiquettes rangent ailleurs dans cette famille, une frontière de `familles.md` qui permet les deux), n'est pas un défaut non plus (D-135) : juge-la « lecture alternative », sans suggestion. Les étiquettes ont leurs ambiguïtés : les détecteurs font au mieux, sans être parfaits ni sur-entraînés sur elles.
5. **Score** : la ligne de la famille de chaque station et du `Total`, en appui de la comparaison.
+1 -1
View File
@@ -50,7 +50,7 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au benchmark avant. Il compare, instant par instant et par famille (`labeling/familles.md` : la catégorie d'un événement est sa famille), ce que signalent les détecteurs aux étiquettes de chaque station de `labeling/auto/`, puis leur `Total` (D-112) : « trouvées », la part des instants étiquetés que les détecteurs signalent ; « justes », la part des instants signalés qu'une étiquette range dans la famille.
- **La ligne de la famille de la séance**, dans le `Total` et sur les stations de la suggestion : ce que tu fais monter, sans qu'un événement entier soit perdu. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
- **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, la même règle que le contrôle. **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Un recul : reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Une baisse qui vient d'une autre lecture cohérente : garde, et dis-la dans « À trancher par l'utilisateur » : les étiquettes (id, station, moment, famille) et la lecture des détecteurs.
- **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, la même règle que le contrôle. **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette, un instant que le score (par instant, sans les capteurs) comptait trouvé par un événement sur un autre capteur. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Un recul : reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Une baisse qui vient d'une autre lecture cohérente : garde, et dis-la dans « À trancher par l'utilisateur » : les étiquettes (id, station, moment, famille) et la lecture des détecteurs.
Ton dossier de travail est le tien seul (`mktemp -d`), jamais celui d'un autre agent. Pour essayer une variante sans toucher au dépôt, copie-y `detectors/`, `agent-tools/`, `.claude/skills/detector-learner/` et `.claude/skills/analyser-lot/`, avec des liens vers `data/` et `labeling/` : le `regression.py` de la copie mesure la copie.
+1 -1
View File
@@ -14,7 +14,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la
- `FAMILLE` = la clé ; `F` = la clé, espaces en tirets (`Thermal-displacement`), pour les chemins.
- `SEANCE` = `date -u +%Y-%m-%dT%H%MZ` ; dossier de séance `detector-learner/<SEANCE>_<F>/`, ci-dessous `<séance>`.
- Commits directement sur `master` (D-070) : `git branch --show-current` doit dire `master`, sinon dis-le et arrête-toi. Note la **base de la séance** : `git rev-parse HEAD`. Tu commites toujours par chemin (`git add <chemins> && git commit -m "<message>" -- <chemins>`), jamais `git add -A`, `git stash` ni `git checkout` hors de tes chemins : une autre session peut travailler dans ce dépôt. Avant chaque commit, `git branch --show-current` ; si ce n'est plus `master`, ne commite plus rien et passe au bilan. Chaque message finit par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant le bilan : un fichier changé pendant la séance par une autre session va aussi sous « Erreurs » (les benchmarks d'avant et d'après ne portent plus sur les mêmes étiquettes).
- `git status --porcelain -- detectors/ vues-deplacements/contexte/seuils-du-journal.md labeling/auto/ labeling/familles.md` (`familles.md` : les familles, une par détecteur, que compte le benchmark) : les fichiers déjà modifiés y restent tels quels, ni commités ni annulés ; liste-les sous « Erreurs » du bilan (les mesures tournent sur eux). Refais ce relevé avant chaque contrôle et avant le bilan, avec les données repompées (`find data/ -name '*.csv' -newer <séance>/benchmark-avant.txt | cut -d/ -f2 | sort -u`, `data/` étant hors de git) : un fichier changé pendant la séance par une autre session va sous « Erreurs » (les benchmarks d'avant et d'après ne portent plus sur les mêmes étiquettes ou données) ; avant un contrôle, relance alors le benchmark avant sur le dépôt à la base de la séance (`git worktree add` dans un dossier `mktemp -d`, liens vers `data/`) dans `<séance>/benchmark-avant-relance.txt`, et ajoute à la demande du contrôle : `Changé pendant la séance : <chemins ou stations> ; benchmark avant relancé : <séance>/benchmark-avant-relance.txt.`
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<F> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1` (environ 1 min 30). Le score par famille et par instant sur chaque station de `labeling/auto/` (en tête de chaque bloc, la station et sa plage, celle de ses étiquettes), puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. La ligne `<FAMILLE>` de chaque bloc et du `Total` est le score de la séance ; toutes les lignes, la non-régression (D-123). Les lignes de la famille seules : `grep -E '^[A-Z]|^ <FAMILLE> ' <benchmark>`.
+1 -1
View File
@@ -26,4 +26,4 @@ print(f"cadence : {statistics.median(pas):.0f} min (médiane des pas entre mesur
refs = sum(ms[0]["pattern_type"] == "global_ref" for ms in lot.values())
print(f"capteurs : {len(lot) - refs} cibles, {refs} références")
for v in (v for v in categories.evenements(lot, fin, a.dossier) if v["end"] >= categories.iso(debut)) if lot else []:
print(v["start"], "→", v["end"], f"{v['category']:<20}", "|", ", ".join(sorted(v["sensors"])) or "tous les capteurs")
print(v["start"], "→", v["end"], f"{v['category']:<20}", "|", v["episodes"][0]["label"], "|", ", ".join(sorted(v["sensors"])) or "tous les capteurs")