Score the detectors against every label of the station at each loop batch (D-062, point 45)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-25 11:25:12 +01:00
1 parent 02ed7a4a60
commit 7714a55cfa
12 files changed
+238 -16

No files matched your search

+9 -4
View File
@@ -29,12 +29,13 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
1. **Analyste** (`analyste`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Écris <lot>/critique.md.`
`python3 .claude/skills/critiquer-lot/etiquettes.py <dossier> <lot>/etiquettes.json` : sa dernière ligne va au bilan (colonne Étiquettes : « n moments », « absentes » ou « n défauts ») ; tu ne corriges rien et ne relances pas l'analyste pour elles (D-061).
`python3 .claude/skills/boucle/score.py <dossier> > <lot>/score-avant.txt 2>&1` : le score des détecteurs du début du lot sur toutes les étiquettes de la station, ce lot compris (D-062).
Commit `<lot>/`, message `Loop <STATION> lot NN: critique (<verdict>)`.
2. Verdict `d'accord` : va à l'étape 5.
3. **Upgrader** (`upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`.
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
Commit `vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md <lot>/`, message `Loop <STATION> lot NN: modification K`.
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
Commit `<lot>/`, message `Loop <STATION> lot NN: validation K (<verdict>)`.
- `accepté` ou `garder` : va à l'étape 5.
- `à reprendre` : retour à l'étape 3, passage K + 1.
@@ -42,7 +43,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
5. **Builder** (`builder`), seulement si l'un des rendus du lot a, sous `## Nouveautés`, autre chose que `aucune` : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Dossier du lot : <lot>/. Séance : <séance>/. Écris <lot>/builder.md.`
Si sa ligne `**Cas créés** :` n'est pas `aucun` : commit `agents/diagnostic/cas/ .claude/skills/anonymiser-cas/registre.csv <lot>/`, message `Loop <STATION> lot NN: cas C-xxx, …` ; sinon commit `<lot>/`, message `Loop <STATION> lot NN: builder (aucun cas)`.
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. Pas de rejeu des lots déjà vus.
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. L'analyste ne relit pas les lots déjà vus ; le score les rejoue, sur leurs étiquettes.
## 4. Imprévus
@@ -50,6 +51,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
## 5. Bilan
`python3 .claude/skills/boucle/score.py <dossier> > <séance>/score-fin.txt 2>&1` : le score des détecteurs de fin de séance sur toutes les étiquettes de la station.
`<séance>/bilan.md` :
```markdown
@@ -57,6 +60,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
Branche : boucle/<SEANCE>_<STATION>
Score : au début de chaque lot `lot-NN/score-avant.txt`, en fin de séance `score-fin.txt` (D-062).
| Lot | Dates (UTC) | Analyste | Étiquettes | Modification | Cas créés |
|---|---|---|---|---|---|
| 01 | … → … | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | C-xxx / aucun |
@@ -71,7 +76,7 @@ Branche : boucle/<SEANCE>_<STATION>
aucune | <lot, agent, ce qui manquait>
```
Commit `<séance>/bilan.md`, message `Loop <STATION>: bilan`.
Commit `<séance>/bilan.md <séance>/score-fin.txt`, message `Loop <STATION>: bilan`.
## 6. Difficultés
+153
View File
@@ -0,0 +1,153 @@
"""Score des détecteurs du journal face aux étiquettes de l'analyste (point 45 du plan du journal du matin, D-062).
Une case : une mesure d'un capteur dans un lot. Chaque case reçoit, d'un côté, les catégories des moments de l'analyste
qui la couvrent (etiquettes.json, D-061), de l'autre, celles des événements des détecteurs (categories.py, le lot classé
avec ses 3 jours d'historique, comme la commande du lot). Pour chaque catégorie, et pour les deux niveaux de validité
qui ne sont pas « fiable » :
trouvées : cases étiquetées que les détecteurs ont aussi signalées (part des étiquetées) ;
justes : cases signalées que l'analyste a aussi étiquetées (part des signalées).
Validité d'une case : la pire de ses catégories ; « à ignorer » : les zones grisées du journal (carte des événements,
section 4) ; « prudence » : visibilité réduite et turbulence ; « fiable » sinon (dilatation, contraction, à vérifier :
jamais grisées), et sans catégorie. Un trou n'a pas de mesure, donc pas de case ; un moment « aucune » n'est pas compté.
Le score est un fait, pas un verdict : l'analyste peut se tromper aussi.
Usage : python3 .claude/skills/boucle/score.py <dossier de station> [etiquettes.json ...]
(défaut : vues-deplacements/boucle/*/lot-*/etiquettes.json de la station)
python3 .claude/skills/boucle/score.py --test
"""
import glob
import json
import os
import sys
from datetime import timedelta
from pathlib import Path
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
sys.path.insert(0, os.path.join(RACINE, "vues-deplacements", "journal"))
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "critiquer-lot"))
import categories # noqa: E402 (il met lui-même agents/diagnostic/outils sur le chemin)
from donnees import charger, instant, iso # noqa: E402
from etiquettes import defauts, vocabulaire # noqa: E402
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "saut_bref"} # zones grisées (carte, section 4)
# ponytail: la turbulence est toujours « prudence » : l'étiquette ne dit pas si elle est forte (grisée alors dans le
# journal) ; un champ de force dans les étiquettes si cet écart compte
PRUDENCE = {"visibilite_reduite", "turbulence"}
NIVEAUX = ("à ignorer", "prudence")
def validite(cats):
return "à ignorer" if cats & IGNORER else "prudence" if cats & PRUDENCE else None
def cases(mesures, debut, fin):
"""Mesures -> [(capteur, instant iso)] du lot, fin exclue."""
return [(s, t) for s, ms in mesures.items() for m in ms if debut <= (t := iso(m["t"])) < fin]
def marquer(cs, spans):
"""Cases, [(début, fin, capteurs, catégorie)] -> {case: {catégories}} ; fin incluse, capteurs vides : tous."""
out = {c: set() for c in cs}
for d, f, capteurs, cat in spans:
for s, t in cs:
if d <= t <= f and (not capteurs or s in capteurs):
out[(s, t)].add(cat)
return out
def detectes(mesures, debut, fin):
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique -> spans de marquer."""
h, b = instant(debut) - HISTORIQUE, instant(fin)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
return [(v["start"], v["end"], v["sensors"], v["category"])
for v in (categories.evenements(tranche) if tranche else []) if v["end"] >= debut]
def score(etiq, det):
"""{case: catégories de l'analyste}, {case: catégories des détecteurs} -> {clé: [étiquetées, signalées, les deux]}."""
n = {}
for c in etiq:
a, d = [x | {v} if (v := validite(x)) else x for x in (etiq[c], det[c])]
for k in a | d:
x = n.setdefault(k, [0, 0, 0])
x[0], x[1], x[2] = x[0] + (k in a), x[1] + (k in d), x[2] + (k in a and k in d)
return n
def pct(a, b):
return f"{a}/{b} ({round(100 * a / b)} %)" if b else "—"
def afficher(titre, n):
print(titre)
print(f" {'':<22}{'trouvées':>20}{'justes':>20}")
for k in [*NIVEAUX, *sorted(set(n) - set(NIVEAUX))]:
if k in n:
lab, sig, both = n[k]
print(f" {k:<22}{pct(both, lab):>20}{pct(both, sig):>20}")
def lots(dossier, chemins, explicite):
station = os.path.basename(os.path.normpath(dossier))
mesures = charger(dossier)
vocab = vocabulaire()
total, vus = {}, 0
for chemin in chemins:
nom = os.path.join(*Path(chemin).resolve().parent.parts[-2:])
with open(chemin, encoding="utf-8") as f:
lot = json.load(f)
if lot.get("station") != station:
if explicite:
print(f"{nom} : station {lot.get('station')!r}, le dossier est {station!r} : sauté")
continue
if fautes := defauts(lot, station, set(mesures), *vocab):
print(f"{nom} : étiquettes à corriger ({len(fautes)} défauts, etiquettes.py) : sauté")
continue
cs = cases(mesures, lot["debut"], lot["fin"])
if not cs:
print(f"{nom} : aucune mesure du lot dans {dossier} : sauté")
continue
moments = [m for m in lot["moments"] if m["categorie"] != "aucune"]
etiq = marquer(cs, [(m["debut"], m["fin"], m["capteurs"], m["categorie"]) for m in moments])
n = score(etiq, marquer(cs, detectes(mesures, lot["debut"], lot["fin"])))
afficher(f"{nom} : {lot['debut']} → {lot['fin']}, {len(moments)} moments comptés "
f"({len(lot['moments']) - len(moments)} « aucune »), {len(cs)} cases", n)
for k, v in n.items():
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
vus += 1
if vus > 1:
afficher(f"Total : {vus} lots", total)
elif not vus:
print(f"Aucun lot étiqueté de {station} à compter.")
def test():
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
cs = cases(mesures, debut, fin)
spans = detectes(mesures, debut, fin)
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
det = marquer(cs, spans)
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
cat = next(s[3] for s in spans if validite({s[3]}))
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
assert ajout == [len(cs), 0, 0], ajout
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
assert validite({"dilatation_thermique", "a_verifier"}) is None
print("test : bon")
if __name__ == "__main__":
if sys.argv[1:] == ["--test"]:
test()
elif len(sys.argv) >= 2:
explicites = sys.argv[2:]
tous = sorted(glob.glob(os.path.join(RACINE, "vues-deplacements", "boucle", "*", "lot-*", "etiquettes.json")))
lots(sys.argv[1], explicites or tous, bool(explicites))
else:
sys.exit(__doc__)
+1
View File
@@ -85,6 +85,7 @@ La ligne Verdict porte un seul mot : `d'accord` ou `suggestions`. Sans suggestio
```
- `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`.
- Les bornes d'un moment sont la première et la dernière mesure touchées, au quart d'heure près : un score les compare, mesure par mesure, à celles des détecteurs (D-062). Un saut qui dure (`a_verifier`) : la mesure du saut seule, pas la période décalée qui suit.
- `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés.
- `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"` (rien qui soit une catégorie du journal : début d'export, mouvement de caméra compensé…).
- `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie.