Score the detectors against every label of the station at each loop batch (D-062, point 45)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-25 11:25:12 +01:00
1 parent 02ed7a4a60
commit 7714a55cfa
12 files changed
+238 -16

No files matched your search

+6 -1
View File
@@ -9,7 +9,7 @@ Tu es l'upgrader de la boucle automatique. Un analyste a jugé ce que les détec
## Ta demande
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
## Lis d'abord
@@ -41,6 +41,8 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Le défaut relevé doit avoir bougé dans le bon sens, sans casser les autres événements du lot.
Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. La catégorie en cause doit monter sur ce lot, sans baisse nette ailleurs (un événement entier perdu ou signalé à tort, pas quelques mesures de bornes). Ne vise pas 100 % : l'analyste peut se tromper aussi, et une règle de plus pour quelques mesures ne vaut pas sa complexité.
## Ton rendu, `modification-K.md`
```markdown
@@ -55,6 +57,9 @@ Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Aprè
## Avant / après sur le lot
<les deux sorties de la commande du lot>
## Score
<les lignes qui ont changé, avant → après, lot par lot>
## Pas corrigé
aucune | <ce qui reste, et pourquoi>
+9 -5
View File
@@ -9,16 +9,17 @@ Tu es le validateur de la boucle automatique. Un analyste a jugé ce que les dé
## Ta demande
Le dossier de station, le lot (UTC), la commande du lot, la critique, la modification, le commit de base du lot, le passage K sur 3, le chemin de ton rendu `validation-K.md`.
Le dossier de station, le lot (UTC), la commande du lot, la critique, le score avant, la modification, le commit de base du lot, le passage K sur 3, le chemin de ton rendu `validation-K.md`.
## Ce que tu fais
1. Lis la critique (parties 3 et 5), puis la modification.
2. Lis le diff : `git diff <base> -- vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md`.
3. Lance la commande du lot avec `2>&1`. Une ligne `sauté` (un détecteur qui ne se charge plus) vaut « à reprendre », ou « annuler » au passage 3.
4. Réponds à quatre questions :
4. Lance le **score**, `python3 .claude/skills/boucle/score.py <dossier>`, et compare-le au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. C'est un fait, pas un verdict : l'analyste peut se tromper aussi.
5. Réponds à quatre questions :
- la modification répond-elle au défaut relevé par l'analyste ?
- va-t-elle dans le bon sens sur ce lot ?
- va-t-elle dans le bon sens ? Le score le dit : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant ;
- est-elle simple, à la mesure du gain ?
- respecte-t-elle les interdits : pas de nouvelle catégorie, pas de règle propre à une station, à un capteur ou à une date, contrat `detect(mesures)` et clés des épisodes inchangés, bibliothèque standard, registre des seuils à jour ?
@@ -30,11 +31,11 @@ C'est la consigne la plus importante. Aucune modification des détecteurs n'est
Ne renvoie que pour un défaut net :
- le problème relevé n'est pas réglé, ou pas du tout amélioré ;
- un autre événement du lot est cassé ;
- un autre événement du lot est cassé, ou le score baisse net sur un lot d'avant : un événement entier perdu ou signalé à tort, pas quelques mesures de bornes ;
- la complexité est hors de proportion avec le gain ;
- un interdit n'est pas respecté, ou un détecteur est sauté.
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni une vérification sur d'autres lots. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni 100 % au score, ni une vérification sur d'autres lots que celle du score. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
## Ton rendu, `validation-K.md`
@@ -47,6 +48,9 @@ Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni une
## Réponses
<les quatre questions, une ligne chacune>
## Score
<les lignes qui ont changé depuis le score avant, avant → après, lot par lot>
## Remarques
aucune | 1. … (au plus trois)
+9 -4
View File
@@ -29,12 +29,13 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
1. **Analyste** (`analyste`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Écris <lot>/critique.md.`
`python3 .claude/skills/critiquer-lot/etiquettes.py <dossier> <lot>/etiquettes.json` : sa dernière ligne va au bilan (colonne Étiquettes : « n moments », « absentes » ou « n défauts ») ; tu ne corriges rien et ne relances pas l'analyste pour elles (D-061).
`python3 .claude/skills/boucle/score.py <dossier> > <lot>/score-avant.txt 2>&1` : le score des détecteurs du début du lot sur toutes les étiquettes de la station, ce lot compris (D-062).
Commit `<lot>/`, message `Loop <STATION> lot NN: critique (<verdict>)`.
2. Verdict `d'accord` : va à l'étape 5.
3. **Upgrader** (`upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`.
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
Commit `vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md <lot>/`, message `Loop <STATION> lot NN: modification K`.
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
Commit `<lot>/`, message `Loop <STATION> lot NN: validation K (<verdict>)`.
- `accepté` ou `garder` : va à l'étape 5.
- `à reprendre` : retour à l'étape 3, passage K + 1.
@@ -42,7 +43,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
5. **Builder** (`builder`), seulement si l'un des rendus du lot a, sous `## Nouveautés`, autre chose que `aucune` : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Dossier du lot : <lot>/. Séance : <séance>/. Écris <lot>/builder.md.`
Si sa ligne `**Cas créés** :` n'est pas `aucun` : commit `agents/diagnostic/cas/ .claude/skills/anonymiser-cas/registre.csv <lot>/`, message `Loop <STATION> lot NN: cas C-xxx, …` ; sinon commit `<lot>/`, message `Loop <STATION> lot NN: builder (aucun cas)`.
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. Pas de rejeu des lots déjà vus.
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. L'analyste ne relit pas les lots déjà vus ; le score les rejoue, sur leurs étiquettes.
## 4. Imprévus
@@ -50,6 +51,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
## 5. Bilan
`python3 .claude/skills/boucle/score.py <dossier> > <séance>/score-fin.txt 2>&1` : le score des détecteurs de fin de séance sur toutes les étiquettes de la station.
`<séance>/bilan.md` :
```markdown
@@ -57,6 +60,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
Branche : boucle/<SEANCE>_<STATION>
Score : au début de chaque lot `lot-NN/score-avant.txt`, en fin de séance `score-fin.txt` (D-062).
| Lot | Dates (UTC) | Analyste | Étiquettes | Modification | Cas créés |
|---|---|---|---|---|---|
| 01 | … → … | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | C-xxx / aucun |
@@ -71,7 +76,7 @@ Branche : boucle/<SEANCE>_<STATION>
aucune | <lot, agent, ce qui manquait>
```
Commit `<séance>/bilan.md`, message `Loop <STATION>: bilan`.
Commit `<séance>/bilan.md <séance>/score-fin.txt`, message `Loop <STATION>: bilan`.
## 6. Difficultés
+153
View File
@@ -0,0 +1,153 @@
"""Score des détecteurs du journal face aux étiquettes de l'analyste (point 45 du plan du journal du matin, D-062).
Une case : une mesure d'un capteur dans un lot. Chaque case reçoit, d'un côté, les catégories des moments de l'analyste
qui la couvrent (etiquettes.json, D-061), de l'autre, celles des événements des détecteurs (categories.py, le lot classé
avec ses 3 jours d'historique, comme la commande du lot). Pour chaque catégorie, et pour les deux niveaux de validité
qui ne sont pas « fiable » :
trouvées : cases étiquetées que les détecteurs ont aussi signalées (part des étiquetées) ;
justes : cases signalées que l'analyste a aussi étiquetées (part des signalées).
Validité d'une case : la pire de ses catégories ; « à ignorer » : les zones grisées du journal (carte des événements,
section 4) ; « prudence » : visibilité réduite et turbulence ; « fiable » sinon (dilatation, contraction, à vérifier :
jamais grisées), et sans catégorie. Un trou n'a pas de mesure, donc pas de case ; un moment « aucune » n'est pas compté.
Le score est un fait, pas un verdict : l'analyste peut se tromper aussi.
Usage : python3 .claude/skills/boucle/score.py <dossier de station> [etiquettes.json ...]
(défaut : vues-deplacements/boucle/*/lot-*/etiquettes.json de la station)
python3 .claude/skills/boucle/score.py --test
"""
import glob
import json
import os
import sys
from datetime import timedelta
from pathlib import Path
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
sys.path.insert(0, os.path.join(RACINE, "vues-deplacements", "journal"))
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "critiquer-lot"))
import categories # noqa: E402 (il met lui-même agents/diagnostic/outils sur le chemin)
from donnees import charger, instant, iso # noqa: E402
from etiquettes import defauts, vocabulaire # noqa: E402
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "saut_bref"} # zones grisées (carte, section 4)
# ponytail: la turbulence est toujours « prudence » : l'étiquette ne dit pas si elle est forte (grisée alors dans le
# journal) ; un champ de force dans les étiquettes si cet écart compte
PRUDENCE = {"visibilite_reduite", "turbulence"}
NIVEAUX = ("à ignorer", "prudence")
def validite(cats):
return "à ignorer" if cats & IGNORER else "prudence" if cats & PRUDENCE else None
def cases(mesures, debut, fin):
"""Mesures -> [(capteur, instant iso)] du lot, fin exclue."""
return [(s, t) for s, ms in mesures.items() for m in ms if debut <= (t := iso(m["t"])) < fin]
def marquer(cs, spans):
"""Cases, [(début, fin, capteurs, catégorie)] -> {case: {catégories}} ; fin incluse, capteurs vides : tous."""
out = {c: set() for c in cs}
for d, f, capteurs, cat in spans:
for s, t in cs:
if d <= t <= f and (not capteurs or s in capteurs):
out[(s, t)].add(cat)
return out
def detectes(mesures, debut, fin):
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique -> spans de marquer."""
h, b = instant(debut) - HISTORIQUE, instant(fin)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
return [(v["start"], v["end"], v["sensors"], v["category"])
for v in (categories.evenements(tranche) if tranche else []) if v["end"] >= debut]
def score(etiq, det):
"""{case: catégories de l'analyste}, {case: catégories des détecteurs} -> {clé: [étiquetées, signalées, les deux]}."""
n = {}
for c in etiq:
a, d = [x | {v} if (v := validite(x)) else x for x in (etiq[c], det[c])]
for k in a | d:
x = n.setdefault(k, [0, 0, 0])
x[0], x[1], x[2] = x[0] + (k in a), x[1] + (k in d), x[2] + (k in a and k in d)
return n
def pct(a, b):
return f"{a}/{b} ({round(100 * a / b)} %)" if b else "—"
def afficher(titre, n):
print(titre)
print(f" {'':<22}{'trouvées':>20}{'justes':>20}")
for k in [*NIVEAUX, *sorted(set(n) - set(NIVEAUX))]:
if k in n:
lab, sig, both = n[k]
print(f" {k:<22}{pct(both, lab):>20}{pct(both, sig):>20}")
def lots(dossier, chemins, explicite):
station = os.path.basename(os.path.normpath(dossier))
mesures = charger(dossier)
vocab = vocabulaire()
total, vus = {}, 0
for chemin in chemins:
nom = os.path.join(*Path(chemin).resolve().parent.parts[-2:])
with open(chemin, encoding="utf-8") as f:
lot = json.load(f)
if lot.get("station") != station:
if explicite:
print(f"{nom} : station {lot.get('station')!r}, le dossier est {station!r} : sauté")
continue
if fautes := defauts(lot, station, set(mesures), *vocab):
print(f"{nom} : étiquettes à corriger ({len(fautes)} défauts, etiquettes.py) : sauté")
continue
cs = cases(mesures, lot["debut"], lot["fin"])
if not cs:
print(f"{nom} : aucune mesure du lot dans {dossier} : sauté")
continue
moments = [m for m in lot["moments"] if m["categorie"] != "aucune"]
etiq = marquer(cs, [(m["debut"], m["fin"], m["capteurs"], m["categorie"]) for m in moments])
n = score(etiq, marquer(cs, detectes(mesures, lot["debut"], lot["fin"])))
afficher(f"{nom} : {lot['debut']} → {lot['fin']}, {len(moments)} moments comptés "
f"({len(lot['moments']) - len(moments)} « aucune »), {len(cs)} cases", n)
for k, v in n.items():
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
vus += 1
if vus > 1:
afficher(f"Total : {vus} lots", total)
elif not vus:
print(f"Aucun lot étiqueté de {station} à compter.")
def test():
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
cs = cases(mesures, debut, fin)
spans = detectes(mesures, debut, fin)
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
det = marquer(cs, spans)
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
cat = next(s[3] for s in spans if validite({s[3]}))
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
assert ajout == [len(cs), 0, 0], ajout
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
assert validite({"dilatation_thermique", "a_verifier"}) is None
print("test : bon")
if __name__ == "__main__":
if sys.argv[1:] == ["--test"]:
test()
elif len(sys.argv) >= 2:
explicites = sys.argv[2:]
tous = sorted(glob.glob(os.path.join(RACINE, "vues-deplacements", "boucle", "*", "lot-*", "etiquettes.json")))
lots(sys.argv[1], explicites or tous, bool(explicites))
else:
sys.exit(__doc__)
+1
View File
@@ -85,6 +85,7 @@ La ligne Verdict porte un seul mot : `d'accord` ou `suggestions`. Sans suggestio
```
- `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`.
- Les bornes d'un moment sont la première et la dernière mesure touchées, au quart d'heure près : un score les compare, mesure par mesure, à celles des détecteurs (D-062). Un saut qui dure (`a_verifier`) : la mesure du saut seule, pas la période décalée qui suit.
- `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés.
- `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"` (rien qui soit une catégorie du journal : début d'export, mouvement de caméra compensé…).
- `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie.