Events: read-event skill to consult the base (D-085), cases renamed events E-xxx (D-086)
- read-event: map and index first, then the card of close events only, then their data with the reading tools; never all cards at once. Diagnostic agent, critiquer-lot and builder point to it; the index header too. Signature length: about 250 characters, a guideline. - "Cas" becomes "event": events/E-xxx/event.md, skills new-event, review-event, anonymize-event. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
4d99585474
commit
446fde3192
1206 files changed
+2172
-2129
No files matched your search
@@ -1,11 +1,11 @@
|
||||
"""Benchmark des détecteurs sur la base de cas (point 48 du plan du journal du matin, D-069).
|
||||
"""Benchmark des détecteurs sur la base d'events (point 48 du plan du journal du matin, D-069).
|
||||
|
||||
Chaque cas d'events/ qui a son etiquettes.json (le diagnostic de l'analyste, figé à la création du cas) :
|
||||
Chaque event d'events/ qui a son etiquettes.json (le diagnostic de l'analyste, figé à la création de l'event) :
|
||||
les détecteurs tels qu'ils sont, face à ces étiquettes, mesure par mesure et capteur par capteur (score.py, D-062).
|
||||
Un calcul seulement, sans agent. Par cas, puis au total, et par catégorie : « trouvées » (part des mesures étiquetées
|
||||
Un calcul seulement, sans agent. Par event, puis au total, et par catégorie : « trouvées » (part des mesures étiquetées
|
||||
que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées) ; « toutes »
|
||||
somme les catégories (pas les deux niveaux de validité, qui les regroupent). Le benchmark garde les détecteurs
|
||||
d'un recul : il n'est pas un but (sur une dizaine de cas, les détecteurs se régleraient sur eux).
|
||||
d'un recul : il n'est pas un but (sur une dizaine d'events, les détecteurs se régleraient sur eux).
|
||||
Avec --etape, chaque ligne entre dans l'historique, vues-deplacements/benchmark/historique.csv, avec la version des
|
||||
détecteurs (le commit, suivi de « + » si detectors/ a des changements non commités) : le score
|
||||
dans le temps, version par version.
|
||||
@@ -37,18 +37,18 @@ def version():
|
||||
|
||||
|
||||
def mesurer():
|
||||
"""-> ({cas: {clé: [étiquetées, signalées, les deux]}}, [cas sautés et pourquoi]) ; le total sous « total »."""
|
||||
"""-> ({event: {clé: [étiquetées, signalées, les deux]}}, [events sautés et pourquoi]) ; le total sous « total »."""
|
||||
res, sautes = {}, []
|
||||
for chemin in sorted(glob.glob(os.path.join(RACINE, "events", "C-*", "etiquettes.json"))):
|
||||
cas = os.path.dirname(chemin)
|
||||
for chemin in sorted(glob.glob(os.path.join(RACINE, "events", "E-*", "etiquettes.json"))):
|
||||
event = os.path.dirname(chemin)
|
||||
sortie = io.StringIO()
|
||||
with contextlib.redirect_stdout(sortie):
|
||||
n = score.lots(cas, [chemin], True)
|
||||
n = score.lots(event, [chemin], True)
|
||||
if "sauté" in sortie.getvalue():
|
||||
sautes.append(sortie.getvalue().strip())
|
||||
continue
|
||||
n[TOUTES] = [sum(v[i] for k, v in n.items() if k not in score.NIVEAUX) for i in range(3)]
|
||||
res[os.path.basename(cas)] = n
|
||||
res[os.path.basename(event)] = n
|
||||
total = {}
|
||||
for n in res.values():
|
||||
for k, v in n.items():
|
||||
@@ -59,12 +59,12 @@ def mesurer():
|
||||
|
||||
|
||||
def afficher(res, sautes, ver):
|
||||
print(f"Benchmark des détecteurs (version {ver}) sur {len(res) - 1 if res else 0} cas, mesure par mesure")
|
||||
print(f"{'cas':8}{'catégorie':24}{'trouvées':>20}{'justes':>20}")
|
||||
for cas, n in res.items():
|
||||
print(f"Benchmark des détecteurs (version {ver}) sur {len(res) - 1 if res else 0} events, mesure par mesure")
|
||||
print(f"{'event':8}{'catégorie':24}{'trouvées':>20}{'justes':>20}")
|
||||
for event, n in res.items():
|
||||
for i, k in enumerate([TOUTES, *sorted(k for k in n if k != TOUTES)]):
|
||||
lab, sig, both = n[k]
|
||||
print(f"{cas if i == 0 else '':8}{k:24}{score.pct(both, lab):>20}{score.pct(both, sig):>20}")
|
||||
print(f"{event if i == 0 else '':8}{k:24}{score.pct(both, lab):>20}{score.pct(both, sig):>20}")
|
||||
for s in sautes:
|
||||
print(s)
|
||||
|
||||
@@ -76,8 +76,8 @@ def historiser(res, ver, seance, etape):
|
||||
with open(HISTORIQUE, "a", newline="", encoding="utf-8") as f:
|
||||
w = csv.writer(f)
|
||||
if neuf:
|
||||
w.writerow(("date", "seance", "etape", "version", "cas", "categorie", "etiquetees", "signalees", "les_deux"))
|
||||
w.writerows((date, seance, etape, ver, cas, k, *v) for cas, n in res.items() for k, v in sorted(n.items()))
|
||||
w.writerow(("date", "seance", "etape", "version", "event", "categorie", "etiquetees", "signalees", "les_deux"))
|
||||
w.writerows((date, seance, etape, ver, event, k, *v) for event, n in res.items() for k, v in sorted(n.items()))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
Reference in new issue
Block a user