Aligné sur le dépôt detectors finalisé (3886196) : scripts/, events, /detectors:wf-improve avec sa requête complète

La page Data lit detectors/scripts/categories.py (events) ; « Optimiser » envoie à /detectors:wf-improve la plage
de l'analyse, ses étiquettes, la vérité de référence, les familles, rapport.md et le dossier de sortie
<analyse>/detectors/<heure>/, dont le summary.md est le bilan affiché. Run app ne monte detectors qu'une fois,
sur main, pour ne pas masquer les commits d'une optimisation. Docs et commandes (--from/--to) à jour.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-13 13:10:33 +01:00
1 parent e4978e85f0
commit 8c82368dec
9 files changed
+57 -42

No files matched your search

+22 -11
View File
@@ -4,10 +4,10 @@ labeling/auto/analyses/<STATION>_<début>_<fin>/ ses étiquettes (etiquettes.jso
figures à côté) ; à la fin, le serveur verse ses étiquettes dans labeling/auto/<STATION>.jsonl, marquées de leur analyse
(champ `analyse`). Puis l'utilisateur peut lui écrire : la même session reprend (`claude -p --resume`), et ses étiquettes, si
elles changent, remplacent celles qu'il avait versées.
Sur une analyse finie, « Optimiser » lance `/detectors:detector-learner <analyse>` (le plugin du dépôt detectors, monté en
detectors/), qui améliore les détecteurs depuis l'analyse, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer
Sur une analyse finie, « Optimiser » lance `/detectors:wf-improve` (le plugin du dépôt detectors, monté en detectors/) sur
la plage de l'analyse, ses étiquettes pour vérité, qui améliore les détecteurs, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer
les scripts de l'analyste dans les outils de lecture ; une optimisation à la fois, ni analyse ni message pendant ; le bilan de
la séance (detectors/detector-learner/<séance>_<analyse>/bilan.md) et celui des outils (<analyse>/outils.md) s'affichent sous
la séance (<analyse>/detectors/<heure>/summary.md) et celui des outils (<analyse>/outils.md) s'affichent sous
le rapport.
"""
import html
@@ -15,14 +15,20 @@ import json
import os
import subprocess
import threading
from datetime import datetime, timezone
from datetime import date, datetime, timedelta, timezone
import markdown
import station
DOSSIER = station.ETIQUETTES / "auto" / "analyses"
SEANCES = station.RACINE / "detectors" / "detector-learner" # les séances de /detectors:detector-learner, <séance>_<analyse>/
DETECTEURS = station.RACINE / "detectors"
# la requête de /detectors:wf-improve (detectors/README.md) : tout ce qu'il lit et écrit est donné ici, avec ses règles git
AMELIORER = """/detectors:wf-improve DETECTORS: detectors/. STATION: {donnees}/{station}. FROM: {du}. TO: {au}. \
LABELS: {etiquettes}/auto/{station}.jsonl. REFERENCE: --labels {etiquettes}/auto --data {donnees}. \
FAMILIES: {etiquettes}/familles.md. CONTEXT: {analyse}/rapport.md. OUT: {sortie}/. Caller's context: Diagnostic-app, \
the detectors/ submodule; read-only on {donnees}/ and {etiquettes}/; commit only in detectors/, on its current branch; \
OUT is in Diagnostic-app: do not commit it."""
DEMANDE = """Station : data/{station}/. Plage : {debut} → {fin} (UTC). Indices de l'utilisateur : {indices}. \
Dossier de sortie : {sortie}/."""
@@ -212,11 +218,11 @@ def rapport(nom, sombre):
return _page(fichier(nom, "rapport.md").read_text(encoding="utf-8"), nom, sombre)
# --- « Optimiser » : /detectors:detector-learner <analyse>, puis le tool-builder, par claude -p
# --- « Optimiser » : /detectors:wf-improve sur l'analyse, puis le tool-builder, par claude -p
def _bilan(nom):
"""Le bilan de la dernière séance de cette analyse, ou None."""
bilans = sorted(SEANCES.glob(f"*_{nom}/bilan.md")) # <séance> en tête du nom : l'ordre du nom est celui du temps
bilans = sorted((DOSSIER / nom / "detectors").glob("*/summary.md")) # <heure>/ : l'ordre du nom est celui du temps
return bilans[-1] if bilans else None
@@ -239,7 +245,7 @@ def optimiser(nom):
"""Le bouton « Optimiser » sur une analyse finie : la séance dans un fil ; refusée si une optimisation ou une analyse tourne."""
if etat(nom)["etat"] != "fini":
raise station.Refus("seule une analyse finie s'optimise")
if not (station.RACINE / "detectors" / ".claude-plugin" / "plugin.json").exists():
if not (DETECTEURS / ".claude-plugin" / "plugin.json").exists():
raise station.Refus("le dépôt detectors n'est pas monté en detectors/ (git submodule update --init)")
with verrou:
if _optimise():
@@ -256,12 +262,17 @@ def optimiser_fil(nom):
(le tool-builder, même si les détecteurs n'ont pas changé)."""
o, sortie = optimisations[nom], DOSSIER / nom
rel = os.path.relpath(sortie, station.RACINE)
tours = [["/detectors:detector-learner " + nom, "--plugin-dir", "detectors",
"--allowedTools", "Read,Write,Edit,Bash,Agent"],
[f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]]
(sortie / "travail").mkdir(exist_ok=True)
with open(sortie / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux:
try:
d = json.loads((sortie / "demande.json").read_text(encoding="utf-8"))
requete = AMELIORER.format( # TO exclu : le jour après la fin de la plage, comme la page
station=d["station"], du=d["debut"][:10], au=date.fromisoformat(d["fin"][:10]) + timedelta(days=1),
donnees=os.path.relpath(station.DONNEES, station.RACINE), etiquettes=os.path.relpath(station.ETIQUETTES, station.RACINE),
analyse=rel, sortie=f"{rel}/detectors/{datetime.now(timezone.utc):%Y%m%dT%H%MZ}")
tours = [[requete, "--plugin-dir", "detectors",
"--allowedTools", "Read,Write,Edit,Bash,Agent"],
[f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]]
for prompt, *options in tours:
p = subprocess.Popen(["claude", "-p", prompt, "--output-format", "stream-json", "--verbose",
"--permission-mode", "acceptEdits", *options],
+13 -9
View File
@@ -105,18 +105,20 @@ def check_optimisation():
import analyse
fin = threading.Event()
lances = []
class FauxProcessus:
returncode = 0
stdout = iter(lambda: fin.wait() and "", "") # rien, jusqu'au signal
def __init__(self, *a, **k):
pass
def __init__(self, args, *a, **k):
lances.append(args)
def wait(self):
return 0
avant = analyse.DOSSIER, analyse.SEANCES, analyse.subprocess.Popen
analyse.DOSSIER, analyse.SEANCES = seance_temporaire(), seance_temporaire()
avant = analyse.DOSSIER, analyse.subprocess.Popen
analyse.DOSSIER = seance_temporaire()
analyse.subprocess.Popen = FauxProcessus
try:
for nom in ("NORDEND_a", "NORDEND_b"):
@@ -135,6 +137,9 @@ def check_optimisation():
while analyse.etat("NORDEND_a")["optimisation"]["etat"] == "en cours":
time.sleep(0.05)
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini"
requete = lances[0][2] # la plage de l'analyse, TO exclu
assert requete.startswith("/detectors:wf-improve ") and "/NORDEND. FROM: 2026-11-04. TO: 2026-11-08. LABELS: " \
in requete and "/NORDEND_a/detectors/" in requete, requete
analyse.analyses["NORDEND_b"]["etat"] = "en cours" # une analyse qui tourne bloque l'optimisation
leve(analyse.optimiser, "NORDEND_a")
# après un redémarrage : le flux finit par {"type": "fin"} -> fini ; sans cette ligne -> interrompue ; le bilan des
@@ -147,18 +152,17 @@ def check_optimisation():
flux.write_text('{"type": "assistant", "message": {"content": []}}\n')
analyse.optimisations.clear()
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "interrompue"
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a").mkdir()
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a" / "bilan.md").write_text("# Optimisation\n\n**Résultat** : aucune")
(analyse.DOSSIER / "NORDEND_a" / "detectors" / "20261113T1000Z").mkdir(parents=True)
(analyse.DOSSIER / "NORDEND_a" / "detectors" / "20261113T1000Z" / "summary.md").write_text("# wf-improve\n\n**Result**: none")
(analyse.DOSSIER / "NORDEND_a" / "outils.md").write_text("# Outils\n\n**Outils modifiés** : aucun")
assert analyse.etat("NORDEND_a")["optimisation"]["bilan"]
page = analyse.bilan("NORDEND_a", False)
assert "<strong>Résultat</strong>" in page and "<strong>Outils modifiés</strong>" in page, page
assert "<strong>Result</strong>" in page and "<strong>Outils modifiés</strong>" in page, page
assert analyse.etat("NORDEND_b")["optimisation"] is None
finally:
fin.set()
shutil.rmtree(analyse.DOSSIER)
shutil.rmtree(analyse.SEANCES)
analyse.DOSSIER, analyse.SEANCES, analyse.subprocess.Popen = avant
analyse.DOSSIER, analyse.subprocess.Popen = avant
analyse.analyses.clear()
analyse.optimisations.clear()
+7 -7
View File
@@ -3,7 +3,7 @@
Repris de view/view.py et labeling/labeling.py (le calcul, pas les pages) ; positions, references, COULEURS, POSE et
attribuer sont copiés de detectors-view/detecteurs.py et labeling/ids.py (app/README.md, « Copies »). La lecture des données est
celle des agents, agent-tools/donnees.py ; les événements des détecteurs, ceux du journal,
detectors/categories.py (D-140). Lecture seule sur data/ ; écrit seulement dans labeling/{auto,manual}/.
detectors/scripts/categories.py (D-140). Lecture seule sur data/ ; écrit seulement dans labeling/{auto,manual}/.
"""
import bisect
import functools
@@ -18,9 +18,9 @@ from datetime import datetime, timedelta
from pathlib import Path
RACINE = Path(__file__).resolve().parents[2]
sys.path[:0] = [str(RACINE / "agent-tools"), str(RACINE / "detectors")]
sys.path[:0] = [str(RACINE / "agent-tools"), str(RACINE / "detectors" / "scripts")]
import donnees # noqa: E402
from categories import evenements # noqa: E402
from categories import events # noqa: E402
DONNEES = Path(os.environ.get("AIMSIGHT_DATA", RACINE / "data")).resolve()
ETIQUETTES = Path(os.environ.get("AIMSIGHT_LABELS", RACINE / "labeling")).resolve()
@@ -180,7 +180,7 @@ def courbes(station, du, au):
HISTORIQUE = timedelta(days=3) # jours d'avant donnés aux détecteurs, comme categories.py (règle du 2026-10-24)
# ponytail: gardés jusqu'au redémarrage du serveur (une minute ou plus par plage) ; relancer après une séance de /detector-learner
# ponytail: gardés jusqu'au redémarrage du serveur (une minute ou plus par plage) ; relancer après un /detectors:wf-improve lancé hors de l'app
@functools.lru_cache(maxsize=32)
def detecteurs(station, du, au, cibles=""):
"""-> les événements des détecteurs sur la plage, au format des étiquettes (debut, fin, categorie, description) ;
@@ -195,7 +195,7 @@ def detecteurs(station, du, au, cibles=""):
raise Refus(f"aucun export « advanced » pour {station}" + " avec ces cibles" * bool(cibles))
a, b = plage(tout, du, au)
mesures = {s: k for s, ms in tout.items() if (k := [m for m in ms if a - HISTORIQUE <= m["t"] < b])}
evs = [v for v in evenements(mesures, b, str(d)) if v["end"] >= donnees.iso(a)] if mesures else []
evs = [v for v in events(mesures, b, str(d)) if v["end"] >= donnees.iso(a)] if mesures else []
refs = {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"}
return [{"id": f"D-{i + 1}", "debut": v["start"], "fin": v["end"], "categorie": v["category"], "sorte": v["episodes"][0]["label"],
"description": f"{v['episodes'][0]['label']}. {v['text']}", "capteurs": v["sensors"], "ignore": v["ignore"],
@@ -205,14 +205,14 @@ def detecteurs(station, du, au, cibles=""):
def message(texte):
"""Ce qui arrive : la première phrase du journal (detectors/categories.py, phrase), jusqu'à son « ; » ; la suite y dit quoi
"""Ce qui arrive : la première phrase du journal (detectors/scripts/categories.py, sentence), jusqu'à son « ; » ; la suite y dit quoi
en faire, sauf la phrase des sauts absorbés, gardée. ". " seulement : « 1.5× » ou « 0.30 px » ne coupent pas."""
meme = re.search(r" (The jumps? of .* same cause\.)$", texte)
return re.split(r"\. |; ", texte, maxsplit=1)[0].rstrip(".") + "." + (" " + meme.group(1) if meme else "")
# Quoi en faire : la colonne « Pour le client » de labeling/familles.md, par famille ; précisée par sorte (le label de l'épisode
# principal, avec son niveau) d'après les phrases du journal validées le 2026-10-24 (detectors/categories.py, phrase)
# principal, avec son niveau) d'après les phrases du journal validées le 2026-10-24 (detectors/scripts/categories.py, sentence)
ACTION_FAMILLE = {
"Visibility": "Do not trust the curves in this period: this is not a movement.",
"Obstruction": "Ignore the curves of the hidden targets in this period.",