Score the detectors against every label of the station at each loop batch (D-062, point 45)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
02ed7a4a60
commit
7714a55cfa
12 files changed
+238
-16
No files matched your search
@@ -9,7 +9,7 @@ Tu es l'upgrader de la boucle automatique. Un analyste a jugé ce que les détec
|
||||
|
||||
## Ta demande
|
||||
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
|
||||
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
|
||||
|
||||
## Lis d'abord
|
||||
|
||||
@@ -41,6 +41,8 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
|
||||
|
||||
Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Le défaut relevé doit avoir bougé dans le bon sens, sans casser les autres événements du lot.
|
||||
|
||||
Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. La catégorie en cause doit monter sur ce lot, sans baisse nette ailleurs (un événement entier perdu ou signalé à tort, pas quelques mesures de bornes). Ne vise pas 100 % : l'analyste peut se tromper aussi, et une règle de plus pour quelques mesures ne vaut pas sa complexité.
|
||||
|
||||
## Ton rendu, `modification-K.md`
|
||||
|
||||
```markdown
|
||||
@@ -55,6 +57,9 @@ Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Aprè
|
||||
## Avant / après sur le lot
|
||||
<les deux sorties de la commande du lot>
|
||||
|
||||
## Score
|
||||
<les lignes qui ont changé, avant → après, lot par lot>
|
||||
|
||||
## Pas corrigé
|
||||
aucune | <ce qui reste, et pourquoi>
|
||||
|
||||
|
||||
@@ -9,16 +9,17 @@ Tu es le validateur de la boucle automatique. Un analyste a jugé ce que les dé
|
||||
|
||||
## Ta demande
|
||||
|
||||
Le dossier de station, le lot (UTC), la commande du lot, la critique, la modification, le commit de base du lot, le passage K sur 3, le chemin de ton rendu `validation-K.md`.
|
||||
Le dossier de station, le lot (UTC), la commande du lot, la critique, le score avant, la modification, le commit de base du lot, le passage K sur 3, le chemin de ton rendu `validation-K.md`.
|
||||
|
||||
## Ce que tu fais
|
||||
|
||||
1. Lis la critique (parties 3 et 5), puis la modification.
|
||||
2. Lis le diff : `git diff <base> -- vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md`.
|
||||
3. Lance la commande du lot avec `2>&1`. Une ligne `sauté` (un détecteur qui ne se charge plus) vaut « à reprendre », ou « annuler » au passage 3.
|
||||
4. Réponds à quatre questions :
|
||||
4. Lance le **score**, `python3 .claude/skills/boucle/score.py <dossier>`, et compare-le au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. C'est un fait, pas un verdict : l'analyste peut se tromper aussi.
|
||||
5. Réponds à quatre questions :
|
||||
- la modification répond-elle au défaut relevé par l'analyste ?
|
||||
- va-t-elle dans le bon sens sur ce lot ?
|
||||
- va-t-elle dans le bon sens ? Le score le dit : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant ;
|
||||
- est-elle simple, à la mesure du gain ?
|
||||
- respecte-t-elle les interdits : pas de nouvelle catégorie, pas de règle propre à une station, à un capteur ou à une date, contrat `detect(mesures)` et clés des épisodes inchangés, bibliothèque standard, registre des seuils à jour ?
|
||||
|
||||
@@ -30,11 +31,11 @@ C'est la consigne la plus importante. Aucune modification des détecteurs n'est
|
||||
|
||||
Ne renvoie que pour un défaut net :
|
||||
- le problème relevé n'est pas réglé, ou pas du tout amélioré ;
|
||||
- un autre événement du lot est cassé ;
|
||||
- un autre événement du lot est cassé, ou le score baisse net sur un lot d'avant : un événement entier perdu ou signalé à tort, pas quelques mesures de bornes ;
|
||||
- la complexité est hors de proportion avec le gain ;
|
||||
- un interdit n'est pas respecté, ou un détecteur est sauté.
|
||||
|
||||
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni une vérification sur d'autres lots. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
|
||||
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni 100 % au score, ni une vérification sur d'autres lots que celle du score. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
|
||||
|
||||
## Ton rendu, `validation-K.md`
|
||||
|
||||
@@ -47,6 +48,9 @@ Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni une
|
||||
## Réponses
|
||||
<les quatre questions, une ligne chacune>
|
||||
|
||||
## Score
|
||||
<les lignes qui ont changé depuis le score avant, avant → après, lot par lot>
|
||||
|
||||
## Remarques
|
||||
aucune | 1. … (au plus trois)
|
||||
|
||||
|
||||
@@ -29,12 +29,13 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
|
||||
|
||||
1. **Analyste** (`analyste`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Écris <lot>/critique.md.`
|
||||
`python3 .claude/skills/critiquer-lot/etiquettes.py <dossier> <lot>/etiquettes.json` : sa dernière ligne va au bilan (colonne Étiquettes : « n moments », « absentes » ou « n défauts ») ; tu ne corriges rien et ne relances pas l'analyste pour elles (D-061).
|
||||
`python3 .claude/skills/boucle/score.py <dossier> > <lot>/score-avant.txt 2>&1` : le score des détecteurs du début du lot sur toutes les étiquettes de la station, ce lot compris (D-062).
|
||||
Commit `<lot>/`, message `Loop <STATION> lot NN: critique (<verdict>)`.
|
||||
2. Verdict `d'accord` : va à l'étape 5.
|
||||
3. **Upgrader** (`upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`.
|
||||
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
|
||||
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
|
||||
Commit `vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md <lot>/`, message `Loop <STATION> lot NN: modification K`.
|
||||
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
|
||||
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
|
||||
Commit `<lot>/`, message `Loop <STATION> lot NN: validation K (<verdict>)`.
|
||||
- `accepté` ou `garder` : va à l'étape 5.
|
||||
- `à reprendre` : retour à l'étape 3, passage K + 1.
|
||||
@@ -42,7 +43,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
|
||||
5. **Builder** (`builder`), seulement si l'un des rendus du lot a, sous `## Nouveautés`, autre chose que `aucune` : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Dossier du lot : <lot>/. Séance : <séance>/. Écris <lot>/builder.md.`
|
||||
Si sa ligne `**Cas créés** :` n'est pas `aucun` : commit `agents/diagnostic/cas/ .claude/skills/anonymiser-cas/registre.csv <lot>/`, message `Loop <STATION> lot NN: cas C-xxx, …` ; sinon commit `<lot>/`, message `Loop <STATION> lot NN: builder (aucun cas)`.
|
||||
|
||||
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. Pas de rejeu des lots déjà vus.
|
||||
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. L'analyste ne relit pas les lots déjà vus ; le score les rejoue, sur leurs étiquettes.
|
||||
|
||||
## 4. Imprévus
|
||||
|
||||
@@ -50,6 +51,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
|
||||
|
||||
## 5. Bilan
|
||||
|
||||
`python3 .claude/skills/boucle/score.py <dossier> > <séance>/score-fin.txt 2>&1` : le score des détecteurs de fin de séance sur toutes les étiquettes de la station.
|
||||
|
||||
`<séance>/bilan.md` :
|
||||
|
||||
```markdown
|
||||
@@ -57,6 +60,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
|
||||
|
||||
Branche : boucle/<SEANCE>_<STATION>
|
||||
|
||||
Score : au début de chaque lot `lot-NN/score-avant.txt`, en fin de séance `score-fin.txt` (D-062).
|
||||
|
||||
| Lot | Dates (UTC) | Analyste | Étiquettes | Modification | Cas créés |
|
||||
|---|---|---|---|---|---|
|
||||
| 01 | … → … | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | C-xxx / aucun |
|
||||
@@ -71,7 +76,7 @@ Branche : boucle/<SEANCE>_<STATION>
|
||||
aucune | <lot, agent, ce qui manquait>
|
||||
```
|
||||
|
||||
Commit `<séance>/bilan.md`, message `Loop <STATION>: bilan`.
|
||||
Commit `<séance>/bilan.md <séance>/score-fin.txt`, message `Loop <STATION>: bilan`.
|
||||
|
||||
## 6. Difficultés
|
||||
|
||||
|
||||
@@ -0,0 +1,153 @@
|
||||
"""Score des détecteurs du journal face aux étiquettes de l'analyste (point 45 du plan du journal du matin, D-062).
|
||||
|
||||
Une case : une mesure d'un capteur dans un lot. Chaque case reçoit, d'un côté, les catégories des moments de l'analyste
|
||||
qui la couvrent (etiquettes.json, D-061), de l'autre, celles des événements des détecteurs (categories.py, le lot classé
|
||||
avec ses 3 jours d'historique, comme la commande du lot). Pour chaque catégorie, et pour les deux niveaux de validité
|
||||
qui ne sont pas « fiable » :
|
||||
trouvées : cases étiquetées que les détecteurs ont aussi signalées (part des étiquetées) ;
|
||||
justes : cases signalées que l'analyste a aussi étiquetées (part des signalées).
|
||||
Validité d'une case : la pire de ses catégories ; « à ignorer » : les zones grisées du journal (carte des événements,
|
||||
section 4) ; « prudence » : visibilité réduite et turbulence ; « fiable » sinon (dilatation, contraction, à vérifier :
|
||||
jamais grisées), et sans catégorie. Un trou n'a pas de mesure, donc pas de case ; un moment « aucune » n'est pas compté.
|
||||
Le score est un fait, pas un verdict : l'analyste peut se tromper aussi.
|
||||
Usage : python3 .claude/skills/boucle/score.py <dossier de station> [etiquettes.json ...]
|
||||
(défaut : vues-deplacements/boucle/*/lot-*/etiquettes.json de la station)
|
||||
python3 .claude/skills/boucle/score.py --test
|
||||
"""
|
||||
import glob
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
from datetime import timedelta
|
||||
from pathlib import Path
|
||||
|
||||
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
|
||||
sys.path.insert(0, os.path.join(RACINE, "vues-deplacements", "journal"))
|
||||
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "critiquer-lot"))
|
||||
import categories # noqa: E402 (il met lui-même agents/diagnostic/outils sur le chemin)
|
||||
from donnees import charger, instant, iso # noqa: E402
|
||||
from etiquettes import defauts, vocabulaire # noqa: E402
|
||||
|
||||
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
|
||||
IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "saut_bref"} # zones grisées (carte, section 4)
|
||||
# ponytail: la turbulence est toujours « prudence » : l'étiquette ne dit pas si elle est forte (grisée alors dans le
|
||||
# journal) ; un champ de force dans les étiquettes si cet écart compte
|
||||
PRUDENCE = {"visibilite_reduite", "turbulence"}
|
||||
NIVEAUX = ("à ignorer", "prudence")
|
||||
|
||||
|
||||
def validite(cats):
|
||||
return "à ignorer" if cats & IGNORER else "prudence" if cats & PRUDENCE else None
|
||||
|
||||
|
||||
def cases(mesures, debut, fin):
|
||||
"""Mesures -> [(capteur, instant iso)] du lot, fin exclue."""
|
||||
return [(s, t) for s, ms in mesures.items() for m in ms if debut <= (t := iso(m["t"])) < fin]
|
||||
|
||||
|
||||
def marquer(cs, spans):
|
||||
"""Cases, [(début, fin, capteurs, catégorie)] -> {case: {catégories}} ; fin incluse, capteurs vides : tous."""
|
||||
out = {c: set() for c in cs}
|
||||
for d, f, capteurs, cat in spans:
|
||||
for s, t in cs:
|
||||
if d <= t <= f and (not capteurs or s in capteurs):
|
||||
out[(s, t)].add(cat)
|
||||
return out
|
||||
|
||||
|
||||
def detectes(mesures, debut, fin):
|
||||
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique -> spans de marquer."""
|
||||
h, b = instant(debut) - HISTORIQUE, instant(fin)
|
||||
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
|
||||
return [(v["start"], v["end"], v["sensors"], v["category"])
|
||||
for v in (categories.evenements(tranche) if tranche else []) if v["end"] >= debut]
|
||||
|
||||
|
||||
def score(etiq, det):
|
||||
"""{case: catégories de l'analyste}, {case: catégories des détecteurs} -> {clé: [étiquetées, signalées, les deux]}."""
|
||||
n = {}
|
||||
for c in etiq:
|
||||
a, d = [x | {v} if (v := validite(x)) else x for x in (etiq[c], det[c])]
|
||||
for k in a | d:
|
||||
x = n.setdefault(k, [0, 0, 0])
|
||||
x[0], x[1], x[2] = x[0] + (k in a), x[1] + (k in d), x[2] + (k in a and k in d)
|
||||
return n
|
||||
|
||||
|
||||
def pct(a, b):
|
||||
return f"{a}/{b} ({round(100 * a / b)} %)" if b else "—"
|
||||
|
||||
|
||||
def afficher(titre, n):
|
||||
print(titre)
|
||||
print(f" {'':<22}{'trouvées':>20}{'justes':>20}")
|
||||
for k in [*NIVEAUX, *sorted(set(n) - set(NIVEAUX))]:
|
||||
if k in n:
|
||||
lab, sig, both = n[k]
|
||||
print(f" {k:<22}{pct(both, lab):>20}{pct(both, sig):>20}")
|
||||
|
||||
|
||||
def lots(dossier, chemins, explicite):
|
||||
station = os.path.basename(os.path.normpath(dossier))
|
||||
mesures = charger(dossier)
|
||||
vocab = vocabulaire()
|
||||
total, vus = {}, 0
|
||||
for chemin in chemins:
|
||||
nom = os.path.join(*Path(chemin).resolve().parent.parts[-2:])
|
||||
with open(chemin, encoding="utf-8") as f:
|
||||
lot = json.load(f)
|
||||
if lot.get("station") != station:
|
||||
if explicite:
|
||||
print(f"{nom} : station {lot.get('station')!r}, le dossier est {station!r} : sauté")
|
||||
continue
|
||||
if fautes := defauts(lot, station, set(mesures), *vocab):
|
||||
print(f"{nom} : étiquettes à corriger ({len(fautes)} défauts, etiquettes.py) : sauté")
|
||||
continue
|
||||
cs = cases(mesures, lot["debut"], lot["fin"])
|
||||
if not cs:
|
||||
print(f"{nom} : aucune mesure du lot dans {dossier} : sauté")
|
||||
continue
|
||||
moments = [m for m in lot["moments"] if m["categorie"] != "aucune"]
|
||||
etiq = marquer(cs, [(m["debut"], m["fin"], m["capteurs"], m["categorie"]) for m in moments])
|
||||
n = score(etiq, marquer(cs, detectes(mesures, lot["debut"], lot["fin"])))
|
||||
afficher(f"{nom} : {lot['debut']} → {lot['fin']}, {len(moments)} moments comptés "
|
||||
f"({len(lot['moments']) - len(moments)} « aucune »), {len(cs)} cases", n)
|
||||
for k, v in n.items():
|
||||
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
|
||||
vus += 1
|
||||
if vus > 1:
|
||||
afficher(f"Total : {vus} lots", total)
|
||||
elif not vus:
|
||||
print(f"Aucun lot étiqueté de {station} à compter.")
|
||||
|
||||
|
||||
def test():
|
||||
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
|
||||
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
|
||||
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
|
||||
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
|
||||
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
|
||||
cs = cases(mesures, debut, fin)
|
||||
spans = detectes(mesures, debut, fin)
|
||||
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
|
||||
det = marquer(cs, spans)
|
||||
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
|
||||
cat = next(s[3] for s in spans if validite({s[3]}))
|
||||
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
|
||||
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
|
||||
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
|
||||
assert ajout == [len(cs), 0, 0], ajout
|
||||
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
|
||||
assert validite({"dilatation_thermique", "a_verifier"}) is None
|
||||
print("test : bon")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if sys.argv[1:] == ["--test"]:
|
||||
test()
|
||||
elif len(sys.argv) >= 2:
|
||||
explicites = sys.argv[2:]
|
||||
tous = sorted(glob.glob(os.path.join(RACINE, "vues-deplacements", "boucle", "*", "lot-*", "etiquettes.json")))
|
||||
lots(sys.argv[1], explicites or tous, bool(explicites))
|
||||
else:
|
||||
sys.exit(__doc__)
|
||||
@@ -85,6 +85,7 @@ La ligne Verdict porte un seul mot : `d'accord` ou `suggestions`. Sans suggestio
|
||||
```
|
||||
|
||||
- `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`.
|
||||
- Les bornes d'un moment sont la première et la dernière mesure touchées, au quart d'heure près : un score les compare, mesure par mesure, à celles des détecteurs (D-062). Un saut qui dure (`a_verifier`) : la mesure du saut seule, pas la période décalée qui suit.
|
||||
- `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés.
|
||||
- `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"` (rien qui soit une catégorie du journal : début d'export, mouvement de caméra compensé…).
|
||||
- `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie.
|
||||
|
||||
Reference in new issue
Block a user