Les détecteurs en sous-module (dépôt detectors, avec leur plugin detector-learner) ; l'analyste de la page Data ; sans docs, vues-deplacements ni releveur ; tâche Run app
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
56f0c902d7
commit
e4978e85f0
34 files changed
+206
-4148
No files matched your search
+57
-64
@@ -1,12 +1,14 @@
|
||||
"""L'onglet Analysis de la page Data : un analyste (l'étiqueteur, .claude/agents/etiqueteur.md) lancé par `claude -p`, non
|
||||
interactif, sur une plage choisie dans la page, avec les indices facultatifs de l'utilisateur. Il écrit dans
|
||||
"""L'onglet Analysis de la page Data : l'analyste (.claude/agents/analyste.md) lancé par `claude -p`, non interactif, sur une
|
||||
plage choisie dans la page, avec les indices facultatifs de l'utilisateur. Il écrit dans
|
||||
labeling/auto/analyses/<STATION>_<début>_<fin>/ ses étiquettes (etiquettes.jsonl) et un rapport de diagnostic (rapport.md, ses
|
||||
figures à côté) ; à la fin, le serveur verse ses étiquettes dans labeling/auto/<STATION>.jsonl, marquées de leur analyse
|
||||
(champ `analyse`, sans `revue` : à relire par /review-auto-labels). Puis l'utilisateur peut lui écrire : la même
|
||||
session reprend (`claude -p --resume`), et ses étiquettes, si elles changent, remplacent celles qu'il avait versées.
|
||||
Sur une analyse finie, « Optimiser » lance `/detector-learner <analyse>` par `claude -p` (D-148) : les détecteurs, puis les outils de
|
||||
lecture, améliorés depuis l'analyse ; une optimisation à la fois, ni analyse ni message pendant ; son bilan,
|
||||
detector-learner/<séance>_<analyse>/bilan.md, s'affiche sous le rapport.
|
||||
(champ `analyse`). Puis l'utilisateur peut lui écrire : la même session reprend (`claude -p --resume`), et ses étiquettes, si
|
||||
elles changent, remplacent celles qu'il avait versées.
|
||||
Sur une analyse finie, « Optimiser » lance `/detectors:detector-learner <analyse>` (le plugin du dépôt detectors, monté en
|
||||
detectors/), qui améliore les détecteurs depuis l'analyse, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer
|
||||
les scripts de l'analyste dans les outils de lecture ; une optimisation à la fois, ni analyse ni message pendant ; le bilan de
|
||||
la séance (detectors/detector-learner/<séance>_<analyse>/bilan.md) et celui des outils (<analyse>/outils.md) s'affichent sous
|
||||
le rapport.
|
||||
"""
|
||||
import html
|
||||
import json
|
||||
@@ -20,31 +22,9 @@ import markdown
|
||||
import station
|
||||
|
||||
DOSSIER = station.ETIQUETTES / "auto" / "analyses"
|
||||
SEANCES = station.RACINE / "detector-learner" # les séances de /detector-learner, <séance>_<analyse>/
|
||||
CONSIGNE = """Tu travailles pour la page Data de la web app : l'utilisateur a sélectionné une plage et te demande de la \
|
||||
diagnostiquer. Ce n'est pas un lot ordinaire : il y a vu une anomalie que les détecteurs captent mal, ou il veut une analyse \
|
||||
plus poussée.
|
||||
|
||||
- Station : data/{station}/
|
||||
- Lot : {debut} → {fin} (UTC)
|
||||
- Dossier de sortie : {sortie}/ (tes figures de travail et les sorties des outils dans {sortie}/travail/)
|
||||
- Indices de l'utilisateur : {indices}
|
||||
|
||||
Fais ton travail d'étiqueteur sur ce lot, à ces différences près :
|
||||
1. Tes étiquettes vont dans {sortie}/etiquettes.jsonl ; c'est le serveur qui les versera dans labeling/auto/{station}.jsonl. \
|
||||
Celles qui y sont déjà sur la plage (lis-les) restent : ne refais pas une étiquette juste ; une étiquette que tu crois fausse, \
|
||||
dis-le dans le rapport.
|
||||
2. En plus de {sortie}/analyse.md, écris {sortie}/rapport.md, le rapport de diagnostic que l'utilisateur lira dans la page, \
|
||||
en français, comme l'analyse d'un cas du support :
|
||||
- `# {station} : <le sujet en quelques mots>`, puis la question (sa sélection, ses indices) en une ou deux phrases ;
|
||||
- « Ce que montrent les données » : chaque événement daté (UTC), les capteurs touchés et ceux qui ne bougent pas, la \
|
||||
cause et son niveau de preuve (confirmed / strongly supported / consistent with / possible / insufficient evidence / not \
|
||||
observed), la commande qui fonde chaque fait ;
|
||||
- les figures qui prouvent, chacune insérée par `` et suivie d'une ligne qui dit ce \
|
||||
qu'on y voit : courbes (graphique.py), vignettes, images entières de la caméra (copie-les dans {sortie}/ avec cp) ; \
|
||||
quelques-unes, choisies, pas toutes celles de travail ;
|
||||
- « Ce qui reste non établi » ; « Étiquettes » : celles que tu proposes, en une ligne chacune.
|
||||
Réponds en 2 lignes : le nombre d'étiquettes, le chemin du rapport."""
|
||||
SEANCES = station.RACINE / "detectors" / "detector-learner" # les séances de /detectors:detector-learner, <séance>_<analyse>/
|
||||
DEMANDE = """Station : data/{station}/. Plage : {debut} → {fin} (UTC). Indices de l'utilisateur : {indices}. \
|
||||
Dossier de sortie : {sortie}/."""
|
||||
|
||||
# nom -> {"etat": "en cours" | "fini" | "erreur", "lignes": [...], "versees": n} ; une analyse à la fois par plage
|
||||
analyses, verrou = {}, threading.Lock()
|
||||
@@ -76,7 +56,7 @@ def lancer(corps):
|
||||
analyses[nom] = {"etat": "en cours", "lignes": [], "versees": 0, "station": st, "demande": demande}
|
||||
(sortie / "travail").mkdir(parents=True)
|
||||
(sortie / "demande.json").write_text(json.dumps(demande, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||
prompt = CONSIGNE.format(station=st, debut=debut, fin=fin, sortie=sortie.relative_to(station.RACINE),
|
||||
prompt = DEMANDE.format(station=st, debut=debut, fin=fin, sortie=sortie.relative_to(station.RACINE),
|
||||
indices=indices or "aucun")
|
||||
threading.Thread(target=travailler, args=(nom, sortie, prompt), daemon=True).start()
|
||||
return {"nom": nom}
|
||||
@@ -86,7 +66,7 @@ def travailler(nom, sortie, prompt, reprise=None):
|
||||
"""Un tour de l'analyste : la demande, ou un message de l'utilisateur dans la même session (reprise : son id)."""
|
||||
a = analyses[nom]
|
||||
try:
|
||||
p = subprocess.Popen(["claude", "-p", prompt, "--agent", "etiqueteur", "--output-format", "stream-json", "--verbose",
|
||||
p = subprocess.Popen(["claude", "-p", prompt, "--agent", "analyste", "--output-format", "stream-json", "--verbose",
|
||||
"--allowedTools", "Read,Write,Bash", "--permission-mode", "acceptEdits"]
|
||||
+ (["--resume", reprise] if reprise else []),
|
||||
cwd=station.RACINE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
|
||||
@@ -220,19 +200,19 @@ table{border-collapse:collapse}td,th{border:1px solid #dee2e6;padding:3px 8px;te
|
||||
body.sombre{color:#c9c9c9}body.sombre code{background:#2e2e2e}body.sombre td,body.sombre th,body.sombre img{border-color:#424242}"""
|
||||
|
||||
|
||||
def _page(chemin, titre, sombre):
|
||||
def _page(texte, titre, sombre):
|
||||
"""Un markdown en HTML, au style de la page ; ses images relatives se résolvent dans le dossier de l'adresse."""
|
||||
corps = markdown.markdown(chemin.read_text(encoding="utf-8"), extensions=["tables", "fenced_code"])
|
||||
corps = markdown.markdown(texte, extensions=["tables", "fenced_code"])
|
||||
return (f"<!doctype html><meta charset=utf-8><title>{html.escape(titre)}</title><style>{STYLE}</style>"
|
||||
f"<body class='{'sombre' if sombre else ''}'>{corps}</body>")
|
||||
|
||||
|
||||
def rapport(nom, sombre):
|
||||
"""rapport.md en HTML, servi dans le dossier de l'analyse : ses images relatives s'y retrouvent."""
|
||||
return _page(fichier(nom, "rapport.md"), nom, sombre)
|
||||
return _page(fichier(nom, "rapport.md").read_text(encoding="utf-8"), nom, sombre)
|
||||
|
||||
|
||||
# --- « Optimiser » : /detector-learner <analyse> par claude -p (D-148)
|
||||
# --- « Optimiser » : /detectors:detector-learner <analyse>, puis le tool-builder, par claude -p
|
||||
|
||||
def _bilan(nom):
|
||||
"""Le bilan de la dernière séance de cette analyse, ou None."""
|
||||
@@ -241,15 +221,16 @@ def _bilan(nom):
|
||||
|
||||
|
||||
def optimisation(nom):
|
||||
"""-> None (jamais optimisée) ou {etat, lignes, bilan : mtime du dernier bilan}. Après un redémarrage, l'état se relit sur
|
||||
le disque : fini si un bilan est plus récent que le flux, sinon interrompue."""
|
||||
"""-> None (jamais optimisée) ou {etat, lignes, bilan : mtime du dernier bilan}. Après un redémarrage, l'état se relit dans
|
||||
le flux : sa dernière ligne {"type": "fin"} dit fini ou erreur ; sans elle, l'optimisation a été coupée (interrompue)."""
|
||||
flux, b = DOSSIER / nom / "travail" / "optimisation.jsonl", _bilan(nom)
|
||||
o = optimisations.get(nom)
|
||||
if o is None:
|
||||
if not flux.exists():
|
||||
return None if b is None else {"etat": "fini", "lignes": [], "bilan": int(b.stat().st_mtime)}
|
||||
o = {"etat": "fini" if b and b.stat().st_mtime >= flux.stat().st_mtime else "interrompue",
|
||||
"lignes": [r for l in open(flux, encoding="utf-8") for r in resume(l)]}
|
||||
return None
|
||||
lignes = flux.read_text(encoding="utf-8").splitlines()
|
||||
fin = json.loads(lignes[-1]) if lignes and lignes[-1].startswith('{"type": "fin"') else None
|
||||
o = {"etat": "interrompue" if fin is None else fin["etat"], "lignes": [r for l in lignes for r in resume(l)]}
|
||||
optimisations[nom] = o
|
||||
return {"etat": o["etat"], "lignes": o["lignes"], "bilan": int(b.stat().st_mtime) if b else None}
|
||||
|
||||
@@ -258,6 +239,8 @@ def optimiser(nom):
|
||||
"""Le bouton « Optimiser » sur une analyse finie : la séance dans un fil ; refusée si une optimisation ou une analyse tourne."""
|
||||
if etat(nom)["etat"] != "fini":
|
||||
raise station.Refus("seule une analyse finie s'optimise")
|
||||
if not (station.RACINE / "detectors" / ".claude-plugin" / "plugin.json").exists():
|
||||
raise station.Refus("le dépôt detectors n'est pas monté en detectors/ (git submodule update --init)")
|
||||
with verrou:
|
||||
if _optimise():
|
||||
raise station.Refus(OCCUPE)
|
||||
@@ -269,28 +252,38 @@ def optimiser(nom):
|
||||
|
||||
|
||||
def optimiser_fil(nom):
|
||||
o = optimisations[nom]
|
||||
try:
|
||||
p = subprocess.Popen(["claude", "-p", f"/detector-learner {nom}", "--output-format", "stream-json", "--verbose",
|
||||
"--allowedTools", "Read,Write,Edit,Bash,Agent", "--permission-mode", "acceptEdits"],
|
||||
cwd=station.RACINE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
|
||||
(DOSSIER / nom / "travail").mkdir(exist_ok=True)
|
||||
with open(DOSSIER / nom / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux:
|
||||
for ligne in p.stdout:
|
||||
flux.write(ligne)
|
||||
o["lignes"] += resume(ligne)
|
||||
if p.wait():
|
||||
raise RuntimeError(f"claude a fini avec le code {p.returncode}")
|
||||
o["etat"] = "fini"
|
||||
except Exception as e: # noqa: BLE001 — l'erreur s'affiche dans la page, le serveur continue
|
||||
o["lignes"].append(f"Erreur : {e}")
|
||||
o["etat"] = "erreur"
|
||||
finally:
|
||||
station.detecteurs.cache_clear() # les détecteurs ont pu changer : la page Data les recalcule
|
||||
"""Les deux tours de l'optimisation, l'un après l'autre : les détecteurs (le plugin detectors), puis les outils de lecture
|
||||
(le tool-builder, même si les détecteurs n'ont pas changé)."""
|
||||
o, sortie = optimisations[nom], DOSSIER / nom
|
||||
rel = os.path.relpath(sortie, station.RACINE)
|
||||
tours = [["/detectors:detector-learner " + nom, "--plugin-dir", "detectors",
|
||||
"--allowedTools", "Read,Write,Edit,Bash,Agent"],
|
||||
[f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]]
|
||||
(sortie / "travail").mkdir(exist_ok=True)
|
||||
with open(sortie / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux:
|
||||
try:
|
||||
for prompt, *options in tours:
|
||||
p = subprocess.Popen(["claude", "-p", prompt, "--output-format", "stream-json", "--verbose",
|
||||
"--permission-mode", "acceptEdits", *options],
|
||||
cwd=station.RACINE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
|
||||
for ligne in p.stdout:
|
||||
flux.write(ligne)
|
||||
o["lignes"] += resume(ligne)
|
||||
if p.wait():
|
||||
raise RuntimeError(f"claude a fini avec le code {p.returncode}")
|
||||
o["etat"] = "fini"
|
||||
except Exception as e: # noqa: BLE001 — l'erreur s'affiche dans la page, le serveur continue
|
||||
o["lignes"].append(f"Erreur : {e}")
|
||||
o["etat"] = "erreur"
|
||||
finally:
|
||||
flux.write(json.dumps({"type": "fin", "etat": o["etat"]}) + "\n")
|
||||
station.detecteurs.cache_clear() # les détecteurs ont pu changer : la page Data les recalcule
|
||||
|
||||
|
||||
def bilan(nom, sombre):
|
||||
b = _bilan(nom)
|
||||
if b is None:
|
||||
"""Le bilan de la séance des détecteurs, puis celui des outils (<analyse>/outils.md), en une page."""
|
||||
b, outils = _bilan(nom), DOSSIER / nom / "outils.md"
|
||||
if b is None and not outils.exists():
|
||||
raise station.Refus("aucun bilan pour cette analyse")
|
||||
return _page(b, nom, sombre)
|
||||
texte = "\n\n".join(f.read_text(encoding="utf-8") for f in (b, outils) if f and f.exists())
|
||||
return _page(texte, nom, sombre)
|
||||
+11
-6
@@ -137,17 +137,22 @@ def check_optimisation():
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini"
|
||||
analyse.analyses["NORDEND_b"]["etat"] = "en cours" # une analyse qui tourne bloque l'optimisation
|
||||
leve(analyse.optimiser, "NORDEND_a")
|
||||
# après un redémarrage : un flux sans bilan plus récent -> interrompue ; un bilan plus récent -> fini, rendu en HTML
|
||||
# après un redémarrage : le flux finit par {"type": "fin"} -> fini ; sans cette ligne -> interrompue ; le bilan des
|
||||
# détecteurs et celui des outils en une page
|
||||
flux = analyse.DOSSIER / "NORDEND_a" / "travail" / "optimisation.jsonl"
|
||||
assert flux.read_text().endswith('{"type": "fin", "etat": "fini"}\n'), flux.read_text()
|
||||
analyse.analyses.clear()
|
||||
analyse.optimisations.clear()
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini"
|
||||
flux.write_text('{"type": "assistant", "message": {"content": []}}\n')
|
||||
analyse.optimisations.clear()
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "interrompue"
|
||||
time.sleep(0.01)
|
||||
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a").mkdir()
|
||||
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a" / "bilan.md").write_text("# Optimisation\n\n**Résultat** : aucune")
|
||||
analyse.optimisations.clear()
|
||||
o = analyse.etat("NORDEND_a")["optimisation"]
|
||||
assert o["etat"] == "fini" and o["bilan"], o
|
||||
assert "<strong>Résultat</strong>" in analyse.bilan("NORDEND_a", False)
|
||||
(analyse.DOSSIER / "NORDEND_a" / "outils.md").write_text("# Outils\n\n**Outils modifiés** : aucun")
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["bilan"]
|
||||
page = analyse.bilan("NORDEND_a", False)
|
||||
assert "<strong>Résultat</strong>" in page and "<strong>Outils modifiés</strong>" in page, page
|
||||
assert analyse.etat("NORDEND_b")["optimisation"] is None
|
||||
finally:
|
||||
fin.set()
|
||||
|
||||
Reference in new issue
Block a user