Detector-learner: detectors do their best, a coherent alternative reading is no regression; process fixes (D-135)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
eb61d12b82
commit
d1a372d3ea
9 files changed
+49
-28
No files matched your search
@@ -26,13 +26,13 @@ Rien d'autre : ni la critique, ni les autres séances.
|
||||
|
||||
1. **Les détecteurs se chargent** : une ligne `sauté` dans un benchmark (un détecteur qui ne se charge plus disparaît sans bruit) vaut « à reprendre », ou « annuler » au passage 3.
|
||||
2. **Aucune station ne recule.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station et famille par famille, la famille de la séance comprise :
|
||||
- **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ;
|
||||
- en deçà, ce n'est pas un recul ;
|
||||
- **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Pour le savoir, la commande du journal et les étiquettes de la station (ci-dessus) ; une baisse que tu ne recommandes pas comme recul va dans « Réserves » ;
|
||||
- en deçà de 2 points, ce n'est pas un recul ;
|
||||
- une hausse est un plus, jamais une exigence.
|
||||
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
|
||||
4. **Les interdits** : un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins, et `kind` est la famille ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` (plus `temperature`, `camera`, `metriques` ou `fin` si le détecteur les déclare, D-124, D-134) et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre).
|
||||
|
||||
Tu ne modifies aucun fichier hors de ton rendu.
|
||||
Tu ne modifies aucun fichier hors de ton rendu. Ton dossier de travail est le tien seul (`mktemp -d`), jamais celui d'un autre agent.
|
||||
|
||||
## Ta décision
|
||||
|
||||
@@ -58,6 +58,9 @@ Le detectors-upgrader doit pouvoir progresser : ne renvoie pas pour la perfectio
|
||||
## Remarques
|
||||
aucune | 1. … (au plus trois)
|
||||
|
||||
## Réserves
|
||||
aucune | - <ce que tu gardes sans le compter comme recul, pour l'utilisateur : la station, la famille, avant → après, la lecture des détecteurs face aux étiquettes (id)>
|
||||
|
||||
## Difficultés
|
||||
aucune | - <ce qui a gêné ton travail : consigne floue, contradictoire ou absente qui t'a fait deviner, fichier ou chemin introuvable, format inattendu, commande qui échoue ; où, et ce que tu as fait à la place>
|
||||
```
|
||||
|
||||
@@ -29,10 +29,10 @@ Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lect
|
||||
|
||||
## Déroulé
|
||||
|
||||
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), et examine les quatre premières (toutes s'il y en a moins), en entier. Les instants pèsent plus à cadence serrée : une station à 15 min compte seize fois plus qu'une station à 4 h ; si une station à cadence lâche a une étiquette de la famille entièrement manquée, examine-la aussi.
|
||||
1. **Les stations** : dans le benchmark, la ligne de la famille de chaque station ; pour chacune, ses instants manqués (étiquetés moins trouvés) et signalés à tort (signalés moins justes). Range les stations du plus au moins d'erreurs (manqués plus à tort), en instants bruts, sans pondérer par la cadence, et examine les quatre premières (toutes s'il y en a moins), en entier. Une station à cadence lâche pèse peu en instants : si une étiquette de la famille y est entièrement manquée, examine-la aussi. La cadence d'une station examinée : la première ligne de la commande des capteurs.
|
||||
2. **Les étiquettes** : celles de la famille sur toutes les stations, une ligne chacune (id, bornes, capteurs nommés, ce qu'elle voit) ; pour les stations examinées, aussi les autres qui touchent un événement de la famille.
|
||||
3. **Les détecteurs** : pour chaque station examinée, lance la commande du journal et celle des capteurs ; garde les lignes de la famille et celles qui touchent une étiquette de la famille. La cadence vaut pour tout ce que tu dis en mesures de cette station.
|
||||
4. **Comparaison**, station par station, événement par événement et étiquette par étiquette, la catégorie d'un événement est sa famille (un saut bref resté seul : Displacement, sans cause établie) : juste ; famille fausse ; en trop (signalé par les détecteurs, sans étiquette : les courbes corrigées n'y montrent rien) ; bornes fausses (en retard, trop tôt, trop large) ; capteurs faux (ceux de l'événement, par la commande des capteurs, face à ceux que nomme la description ; sans elle, leur nombre seul, et dis-le) ; manquant. Une ligne chacun, avec pourquoi. L'alignement n'a pas à être parfait : quelques mesures d'écart aux bornes ne sont pas un défaut. Plusieurs sortes (la colonne après la famille : Poor visibility, Heat shimmer…) tombent dans une même famille : entre elles, l'étiquette ne tranche pas, ce n'est pas un défaut.
|
||||
4. **Comparaison**, station par station, événement par événement et étiquette par étiquette, la catégorie d'un événement est sa famille (un saut bref resté seul : Displacement, sans cause établie) : juste ; famille fausse ; en trop (signalé par les détecteurs, sans étiquette : les courbes corrigées n'y montrent rien) ; bornes fausses (en retard, trop tôt, trop large) ; capteurs faux (ceux de l'événement, par la commande des capteurs, face à ceux que nomme la description ; sans elle, leur nombre seul, et dis-le) ; manquant. Une ligne chacun, avec pourquoi. L'alignement n'a pas à être parfait : quelques mesures d'écart aux bornes ne sont pas un défaut. Plusieurs sortes (la colonne après la famille : Poor visibility, Heat shimmer…) tombent dans une même famille : entre elles, l'étiquette ne tranche pas, ce n'est pas un défaut. Une lecture des détecteurs autre que celle de l'étiquette, mais cohérente (le même état que d'autres étiquettes rangent ailleurs dans cette famille, une frontière de `familles.md` qui permet les deux), n'est pas un défaut non plus (D-135) : juge-la « lecture alternative », sans suggestion. Les étiquettes ont leurs ambiguïtés : les détecteurs font au mieux, sans être parfaits ni sur-entraînés sur elles.
|
||||
5. **Score** : la ligne de la famille de chaque station et du `Total`, en appui de la comparaison.
|
||||
6. **Verdict.** « d'accord » si rien d'important n'est à corriger. Sinon « suggestions », autant que tu en juges utiles, rangées de la plus importante à la moins importante : un événement significatif manqué ou mal borné passe avant une petite gêne, un défaut qui revient sur plusieurs stations avant un défaut d'une seule, un défaut qui revient avant un cas isolé. Avant d'en écrire une, demande-toi si le detectors-upgrader peut la faire par une règle simple et générale, sur les seules mesures, sans faire reculer d'autres stations ou d'autres familles ; sinon, ce n'est pas une suggestion. Chacune : le défaut, les stations où il revient, un exemple par station (station, moment UTC, capteurs, id de l'étiquette), le détecteur en cause (celui de la famille, et la sorte que la commande montre après elle ; pour un événement manquant, le détecteur de la famille de l'étiquette), la règle en cause dans son code si tu la vois, ce qu'il faudrait, en mots et non en code, et le risque : ce que la règle pourrait attraper à tort ailleurs. Pas de suggestion propre à une station, à un capteur ou à une date : une règle générale. Deux stations qui rangent le même état dans deux familles : ce n'est pas une suggestion, c'est une limite (les deux étiquettes, par leur id). Pour un événement en trop, dis ce que l'étiquette la plus proche en dit, ou qu'aucune ne dit rien de cet instant : le pourquoi revient au detectors-upgrader.
|
||||
|
||||
@@ -46,13 +46,13 @@ Rien d'autre : ni les dossiers de station par un autre chemin (ni outils de lect
|
||||
**Verdict** : d'accord | suggestions
|
||||
|
||||
## 1. Les stations
|
||||
| Station | cadence | étiquetés | trouvés | signalés | à tort | examinée |
|
||||
| Station | étiquetés | trouvés | signalés | à tort | examinée |
|
||||
|
||||
## 2. Les étiquettes
|
||||
<leur nombre par station en une ligne ; puis une ligne par étiquette de la famille : id, bornes, capteurs nommés, ce qu'elle voit>
|
||||
|
||||
## 3. Ce qu'ont trouvé les détecteurs
|
||||
<par station examinée, les lignes gardées des deux commandes>
|
||||
<par station examinée, sa cadence et son nombre de cibles et de références, puis les lignes gardées des deux commandes>
|
||||
|
||||
## 4. Comparaison
|
||||
### <STATION>
|
||||
|
||||
@@ -50,12 +50,14 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
|
||||
|
||||
Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au benchmark avant. Il compare, instant par instant et par famille (`labeling/familles.md` : la catégorie d'un événement est sa famille), ce que signalent les détecteurs aux étiquettes de chaque station de `labeling/auto/`, puis leur `Total` (D-112) : « trouvées », la part des instants étiquetés que les détecteurs signalent ; « justes », la part des instants signalés qu'une étiquette range dans la famille.
|
||||
- **La ligne de la famille de la séance**, dans le `Total` et sur les stations de la suggestion : ce que tu fais monter, sans qu'un événement entier soit perdu. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
|
||||
- **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, sur les stations que la suggestion ne vise pas. **Un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille).
|
||||
- **Toutes les lignes de toutes les stations** : la non-régression, sur laquelle le contrôle jugera ta modification ; la famille de la séance comprise, la même règle que le contrôle. **Un recul**, sur une famille d'une station : « trouvées » ou « justes » perd plus de 2 points ; c'est un recul même si le `Total` monte. **Pas un recul** (D-135) : une baisse qui vient d'une autre lecture des détecteurs, cohérente, que les étiquettes ne retiennent pas : des étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), les creux de quelques mesures entre deux étiquettes d'un même phénomène, les bornes d'une étiquette. Les étiquettes ont leurs ambiguïtés, même d'expert : le but est des détecteurs qui font au mieux, pas parfaits, et pas sur-entraînés sur les étiquettes. Un recul : reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Une baisse qui vient d'une autre lecture cohérente : garde, et dis-la dans « À trancher par l'utilisateur » : les étiquettes (id, station, moment, famille) et la lecture des détecteurs.
|
||||
|
||||
Ton dossier de travail est le tien seul (`mktemp -d`), jamais celui d'un autre agent. Pour essayer une variante sans toucher au dépôt, copie-y `detectors/`, `agent-tools/`, `.claude/skills/detector-learner/` et `.claude/skills/analyser-lot/`, avec des liens vers `data/` et `labeling/` : le `regression.py` de la copie mesure la copie.
|
||||
|
||||
## Une suggestion, un commit
|
||||
|
||||
Le contrôle peut faire retirer une suggestion seule, sans toucher aux autres : chacune a donc son commit. Pour chaque suggestion, dans l'ordre de la critique (au passage K > 1, d'abord les remarques du contrôle, chacune rattachée à la suggestion qu'elle reprend) :
|
||||
1. modifie, puis vérifie comme ci-dessus, face au benchmark du dernier état commité (le benchmark avant, ou celui de ta suggestion gardée précédente) ; garde la sortie de `regression.py` dans `<séance>/benchmark-K-S<n>.txt` ;
|
||||
1. modifie, puis vérifie comme ci-dessus, face au benchmark du dernier état commité (le benchmark avant, ou celui de ta suggestion gardée précédente), pour savoir ce qu'elle change ; avant ton rendu, l'ensemble face au benchmark avant, celui que juge le contrôle ; garde la sortie de `regression.py` dans `<séance>/benchmark-K-S<n>.txt` ;
|
||||
2. gardée : `git branch --show-current` doit dire `master` ; puis `git add <les fichiers changés> <séance>/benchmark-K-S<n>.txt && git commit -m "Detector-learner <FAMILLE>: modification K, S<n>" -- <les mêmes>`, le message fini par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>` ;
|
||||
3. pas gardée : `git checkout -- <les fichiers que tu as changés pour elle>`, seulement eux, et elle va dans « Pas corrigé ».
|
||||
|
||||
@@ -79,7 +81,7 @@ Jamais `git add -A`, `git stash`, ni de `git checkout` sur d'autres fichiers : u
|
||||
<les lignes qui ont changé, station et famille, avant → après, puis les lignes changées du bloc `Total`>
|
||||
|
||||
## À trancher par l'utilisateur
|
||||
aucune | - <étiquettes qui se contredisent d'une station à l'autre : les deux étiquettes (station, moment, famille), et ce qu'elles empêchent>
|
||||
aucune | - <une lecture des détecteurs autre que celle des étiquettes, gardée : les étiquettes (id, station, moment, famille), la lecture des détecteurs, ce qu'elle change au benchmark>
|
||||
|
||||
## Pas corrigé
|
||||
aucune | <ce qui reste, et pourquoi>
|
||||
|
||||
@@ -22,7 +22,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la
|
||||
|
||||
## 2. Dans l'ordre
|
||||
|
||||
Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre, sauf une consigne de l'utilisateur arrivée en cours de séance ou donnée au lancement : ajoute-la telle quelle à la demande des agents suivants (`Consigne de l'utilisateur : …`) et note-la au bilan ; elle passe avant leurs consignes, pas avant leur périmètre de fichiers, et ce qu'ils ne peuvent pas en faire va dans leur « Pas corrigé ». Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>`.
|
||||
Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre, sauf une consigne de l'utilisateur arrivée en cours de séance ou donnée au lancement : ajoute-la telle quelle à la demande des agents suivants (`Consigne de l'utilisateur : …`) et note-la au bilan ; elle passe avant leurs consignes, pas avant leur périmètre de fichiers, et ce qu'ils ne peuvent pas en faire va dans leur « Pas corrigé ». Un verdict se lit par `grep '^\*\*Verdict\*\* :' <rendu>` ; ce qui l'accompagne (« Réserves » du contrôle) ne change pas la suite, il va au bilan. Le but de la séance : des détecteurs qui font au mieux, pas parfaits ; une autre lecture que les étiquettes, cohérente, est admise (D-135).
|
||||
|
||||
1. **Benchmark avant** : étape `avant`, donc `<séance>/benchmark-avant.txt`.
|
||||
Commit `<séance>/ detector-learner/historique.csv`, message `Detector-learner <FAMILLE>: benchmark`.
|
||||
@@ -47,7 +47,7 @@ Un rendu absent ou sans verdict lisible : note-le, remets les détecteurs comme
|
||||
|
||||
Le benchmark, étape `fin`, dans `<séance>/benchmark-fin.txt` : les détecteurs gardés.
|
||||
|
||||
`<séance>/bilan.md` : la famille, la base de la séance (`git log --oneline <base>..HEAD`), le nombre d'étiquettes de la famille (`cat labeling/auto/*.jsonl | grep -c '"categorie": "<FAMILLE>"'`) ; avant → fin, la ligne `<FAMILLE>` de chaque station qui a changé et du `Total`, puis les autres lignes changées (station, famille) ; critique (`d'accord` / suggestions n, les stations examinées), modification (aucune / gardée en K passages / gardée sans S<n>… / annulée / erreur) ; `## À trancher par l'utilisateur` (copiés tels quels : « Limites » de la critique, « À trancher par l'utilisateur » des modifications ; aucune s'il n'y a rien) ; `## Suggestions non traitées` (« Pas corrigé » des modifications) ; `## Erreurs` (aucune, ou ce qui manquait).
|
||||
`<séance>/bilan.md` : la famille, la base de la séance (`git log --oneline <base>..HEAD`), le nombre d'étiquettes de la famille (`cat labeling/auto/*.jsonl | grep -c '"categorie": "<FAMILLE>"'`) ; avant → fin, la ligne `<FAMILLE>` de chaque station qui a changé et du `Total`, puis les autres lignes changées (station, famille) ; critique (`d'accord` / suggestions n, les stations examinées), modification (aucune / gardée en K passages / gardée sans S<n>… / annulée / erreur) ; `## À trancher par l'utilisateur` (copiés tels quels : « Limites » de la critique, « À trancher par l'utilisateur » des modifications, « Réserves » des contrôles ; aucune s'il n'y a rien) ; `## Suggestions non traitées` (« Pas corrigé » des modifications) ; `## Erreurs` (aucune, ou ce qui manquait).
|
||||
|
||||
Commit `<séance>/ detector-learner/historique.csv`, message `Detector-learner <FAMILLE>: bilan`.
|
||||
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
"""Pour le critique de /detector-learner : la cadence des mesures du lot, puis chaque événement de la commande du lot avec
|
||||
ses capteurs (categories.py n'en donne que le nombre). Même calcul que categories.py sans --tranche (3 jours d'historique).
|
||||
ses capteurs (categories.py n'en donne que le nombre) ; avant, le nombre de cibles et de références de la station. Même calcul que categories.py sans --tranche (3 jours d'historique).
|
||||
Usage : python3 .claude/skills/detector-learner/capteurs.py <dossier> --du AAAA-MM-JJ --au AAAA-MM-JJ
|
||||
"""
|
||||
import argparse
|
||||
@@ -23,5 +23,7 @@ lot = {s: k for s, ms in mesures.items() if (k := [m for m in ms if debut - time
|
||||
ts = sorted({m["t"] for ms in lot.values() for m in ms if m["t"] >= debut})
|
||||
pas = [(b - a).total_seconds() / 60 for a, b in zip(ts, ts[1:])]
|
||||
print(f"cadence : {statistics.median(pas):.0f} min (médiane des pas entre mesures)" if pas else "cadence : pas de mesure")
|
||||
refs = sum(ms[0]["pattern_type"] == "global_ref" for ms in lot.values())
|
||||
print(f"capteurs : {len(lot) - refs} cibles, {refs} références")
|
||||
for v in (v for v in categories.evenements(lot, fin, a.dossier) if v["end"] >= categories.iso(debut)) if lot else []:
|
||||
print(v["start"], "→", v["end"], f"{v['category']:<20}", "|", ", ".join(sorted(v["sensors"])) or "tous les capteurs")
|
||||
@@ -27,8 +27,9 @@ def plage(chemin):
|
||||
with open(chemin, encoding="utf-8") as f:
|
||||
etiq = [json.loads(l) for l in f if l.strip()]
|
||||
du = min(e["debut"] for e in etiq)[:10]
|
||||
fin = max(e["fin"] for e in etiq)
|
||||
au = fin[:10] if fin[11:16] in ("", "00:00") else score.iso(score.instant(fin[:10]) + score.timedelta(days=1))[:10]
|
||||
# ponytail: la fin du lot n'est pas écrite ; minuit le plus proche de la dernière borne (une borne d'étiquette déborde
|
||||
# d'une mesure après minuit) ; la fin réelle du lot dans labeling/auto/ si l'écart compte
|
||||
au = score.iso(score.instant(max(e["fin"] for e in etiq)) + score.timedelta(hours=12))[:10]
|
||||
return score.iso(score.instant(du)), score.iso(score.instant(au))
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user