Les détecteurs en sous-module (dépôt detectors, avec leur plugin detector-learner) ; l'analyste de la page Data ; sans docs, vues-deplacements ni releveur ; tâche Run app

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-13 11:51:16 +01:00
1 parent 56f0c902d7
commit e4978e85f0
34 files changed
+206 -4148

No files matched your search

+57 -64
View File
@@ -1,12 +1,14 @@
"""L'onglet Analysis de la page Data : un analyste (l'étiqueteur, .claude/agents/etiqueteur.md) lancé par `claude -p`, non
interactif, sur une plage choisie dans la page, avec les indices facultatifs de l'utilisateur. Il écrit dans
"""L'onglet Analysis de la page Data : l'analyste (.claude/agents/analyste.md) lancé par `claude -p`, non interactif, sur une
plage choisie dans la page, avec les indices facultatifs de l'utilisateur. Il écrit dans
labeling/auto/analyses/<STATION>_<début>_<fin>/ ses étiquettes (etiquettes.jsonl) et un rapport de diagnostic (rapport.md, ses
figures à côté) ; à la fin, le serveur verse ses étiquettes dans labeling/auto/<STATION>.jsonl, marquées de leur analyse
(champ `analyse`, sans `revue` : à relire par /review-auto-labels). Puis l'utilisateur peut lui écrire : la même
session reprend (`claude -p --resume`), et ses étiquettes, si elles changent, remplacent celles qu'il avait versées.
Sur une analyse finie, « Optimiser » lance `/detector-learner <analyse>` par `claude -p` (D-148) : les détecteurs, puis les outils de
lecture, améliorés depuis l'analyse ; une optimisation à la fois, ni analyse ni message pendant ; son bilan,
detector-learner/<séance>_<analyse>/bilan.md, s'affiche sous le rapport.
(champ `analyse`). Puis l'utilisateur peut lui écrire : la même session reprend (`claude -p --resume`), et ses étiquettes, si
elles changent, remplacent celles qu'il avait versées.
Sur une analyse finie, « Optimiser » lance `/detectors:detector-learner <analyse>` (le plugin du dépôt detectors, monté en
detectors/), qui améliore les détecteurs depuis l'analyse, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer
les scripts de l'analyste dans les outils de lecture ; une optimisation à la fois, ni analyse ni message pendant ; le bilan de
la séance (detectors/detector-learner/<séance>_<analyse>/bilan.md) et celui des outils (<analyse>/outils.md) s'affichent sous
le rapport.
"""
import html
import json
@@ -20,31 +22,9 @@ import markdown
import station
DOSSIER = station.ETIQUETTES / "auto" / "analyses"
SEANCES = station.RACINE / "detector-learner" # les séances de /detector-learner, <séance>_<analyse>/
CONSIGNE = """Tu travailles pour la page Data de la web app : l'utilisateur a sélectionné une plage et te demande de la \
diagnostiquer. Ce n'est pas un lot ordinaire : il y a vu une anomalie que les détecteurs captent mal, ou il veut une analyse \
plus poussée.
- Station : data/{station}/
- Lot : {debut} → {fin} (UTC)
- Dossier de sortie : {sortie}/ (tes figures de travail et les sorties des outils dans {sortie}/travail/)
- Indices de l'utilisateur : {indices}
Fais ton travail d'étiqueteur sur ce lot, à ces différences près :
1. Tes étiquettes vont dans {sortie}/etiquettes.jsonl ; c'est le serveur qui les versera dans labeling/auto/{station}.jsonl. \
Celles qui y sont déjà sur la plage (lis-les) restent : ne refais pas une étiquette juste ; une étiquette que tu crois fausse, \
dis-le dans le rapport.
2. En plus de {sortie}/analyse.md, écris {sortie}/rapport.md, le rapport de diagnostic que l'utilisateur lira dans la page, \
en français, comme l'analyse d'un cas du support :
- `# {station} : <le sujet en quelques mots>`, puis la question (sa sélection, ses indices) en une ou deux phrases ;
- « Ce que montrent les données » : chaque événement daté (UTC), les capteurs touchés et ceux qui ne bougent pas, la \
cause et son niveau de preuve (confirmed / strongly supported / consistent with / possible / insufficient evidence / not \
observed), la commande qui fonde chaque fait ;
- les figures qui prouvent, chacune insérée par `![légende](chemin relatif à {sortie}/)` et suivie d'une ligne qui dit ce \
qu'on y voit : courbes (graphique.py), vignettes, images entières de la caméra (copie-les dans {sortie}/ avec cp) ; \
quelques-unes, choisies, pas toutes celles de travail ;
- « Ce qui reste non établi » ; « Étiquettes » : celles que tu proposes, en une ligne chacune.
Réponds en 2 lignes : le nombre d'étiquettes, le chemin du rapport."""
SEANCES = station.RACINE / "detectors" / "detector-learner" # les séances de /detectors:detector-learner, <séance>_<analyse>/
DEMANDE = """Station : data/{station}/. Plage : {debut} → {fin} (UTC). Indices de l'utilisateur : {indices}. \
Dossier de sortie : {sortie}/."""
# nom -> {"etat": "en cours" | "fini" | "erreur", "lignes": [...], "versees": n} ; une analyse à la fois par plage
analyses, verrou = {}, threading.Lock()
@@ -76,7 +56,7 @@ def lancer(corps):
analyses[nom] = {"etat": "en cours", "lignes": [], "versees": 0, "station": st, "demande": demande}
(sortie / "travail").mkdir(parents=True)
(sortie / "demande.json").write_text(json.dumps(demande, ensure_ascii=False, indent=1), encoding="utf-8")
prompt = CONSIGNE.format(station=st, debut=debut, fin=fin, sortie=sortie.relative_to(station.RACINE),
prompt = DEMANDE.format(station=st, debut=debut, fin=fin, sortie=sortie.relative_to(station.RACINE),
indices=indices or "aucun")
threading.Thread(target=travailler, args=(nom, sortie, prompt), daemon=True).start()
return {"nom": nom}
@@ -86,7 +66,7 @@ def travailler(nom, sortie, prompt, reprise=None):
"""Un tour de l'analyste : la demande, ou un message de l'utilisateur dans la même session (reprise : son id)."""
a = analyses[nom]
try:
p = subprocess.Popen(["claude", "-p", prompt, "--agent", "etiqueteur", "--output-format", "stream-json", "--verbose",
p = subprocess.Popen(["claude", "-p", prompt, "--agent", "analyste", "--output-format", "stream-json", "--verbose",
"--allowedTools", "Read,Write,Bash", "--permission-mode", "acceptEdits"]
+ (["--resume", reprise] if reprise else []),
cwd=station.RACINE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
@@ -220,19 +200,19 @@ table{border-collapse:collapse}td,th{border:1px solid #dee2e6;padding:3px 8px;te
body.sombre{color:#c9c9c9}body.sombre code{background:#2e2e2e}body.sombre td,body.sombre th,body.sombre img{border-color:#424242}"""
def _page(chemin, titre, sombre):
def _page(texte, titre, sombre):
"""Un markdown en HTML, au style de la page ; ses images relatives se résolvent dans le dossier de l'adresse."""
corps = markdown.markdown(chemin.read_text(encoding="utf-8"), extensions=["tables", "fenced_code"])
corps = markdown.markdown(texte, extensions=["tables", "fenced_code"])
return (f"<!doctype html><meta charset=utf-8><title>{html.escape(titre)}</title><style>{STYLE}</style>"
f"<body class='{'sombre' if sombre else ''}'>{corps}</body>")
def rapport(nom, sombre):
"""rapport.md en HTML, servi dans le dossier de l'analyse : ses images relatives s'y retrouvent."""
return _page(fichier(nom, "rapport.md"), nom, sombre)
return _page(fichier(nom, "rapport.md").read_text(encoding="utf-8"), nom, sombre)
# --- « Optimiser » : /detector-learner <analyse> par claude -p (D-148)
# --- « Optimiser » : /detectors:detector-learner <analyse>, puis le tool-builder, par claude -p
def _bilan(nom):
"""Le bilan de la dernière séance de cette analyse, ou None."""
@@ -241,15 +221,16 @@ def _bilan(nom):
def optimisation(nom):
"""-> None (jamais optimisée) ou {etat, lignes, bilan : mtime du dernier bilan}. Après un redémarrage, l'état se relit sur
le disque : fini si un bilan est plus récent que le flux, sinon interrompue."""
"""-> None (jamais optimisée) ou {etat, lignes, bilan : mtime du dernier bilan}. Après un redémarrage, l'état se relit dans
le flux : sa dernière ligne {"type": "fin"} dit fini ou erreur ; sans elle, l'optimisation a été coupée (interrompue)."""
flux, b = DOSSIER / nom / "travail" / "optimisation.jsonl", _bilan(nom)
o = optimisations.get(nom)
if o is None:
if not flux.exists():
return None if b is None else {"etat": "fini", "lignes": [], "bilan": int(b.stat().st_mtime)}
o = {"etat": "fini" if b and b.stat().st_mtime >= flux.stat().st_mtime else "interrompue",
"lignes": [r for l in open(flux, encoding="utf-8") for r in resume(l)]}
return None
lignes = flux.read_text(encoding="utf-8").splitlines()
fin = json.loads(lignes[-1]) if lignes and lignes[-1].startswith('{"type": "fin"') else None
o = {"etat": "interrompue" if fin is None else fin["etat"], "lignes": [r for l in lignes for r in resume(l)]}
optimisations[nom] = o
return {"etat": o["etat"], "lignes": o["lignes"], "bilan": int(b.stat().st_mtime) if b else None}
@@ -258,6 +239,8 @@ def optimiser(nom):
"""Le bouton « Optimiser » sur une analyse finie : la séance dans un fil ; refusée si une optimisation ou une analyse tourne."""
if etat(nom)["etat"] != "fini":
raise station.Refus("seule une analyse finie s'optimise")
if not (station.RACINE / "detectors" / ".claude-plugin" / "plugin.json").exists():
raise station.Refus("le dépôt detectors n'est pas monté en detectors/ (git submodule update --init)")
with verrou:
if _optimise():
raise station.Refus(OCCUPE)
@@ -269,28 +252,38 @@ def optimiser(nom):
def optimiser_fil(nom):
o = optimisations[nom]
try:
p = subprocess.Popen(["claude", "-p", f"/detector-learner {nom}", "--output-format", "stream-json", "--verbose",
"--allowedTools", "Read,Write,Edit,Bash,Agent", "--permission-mode", "acceptEdits"],
cwd=station.RACINE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
(DOSSIER / nom / "travail").mkdir(exist_ok=True)
with open(DOSSIER / nom / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux:
for ligne in p.stdout:
flux.write(ligne)
o["lignes"] += resume(ligne)
if p.wait():
raise RuntimeError(f"claude a fini avec le code {p.returncode}")
o["etat"] = "fini"
except Exception as e: # noqa: BLE001 — l'erreur s'affiche dans la page, le serveur continue
o["lignes"].append(f"Erreur : {e}")
o["etat"] = "erreur"
finally:
station.detecteurs.cache_clear() # les détecteurs ont pu changer : la page Data les recalcule
"""Les deux tours de l'optimisation, l'un après l'autre : les détecteurs (le plugin detectors), puis les outils de lecture
(le tool-builder, même si les détecteurs n'ont pas changé)."""
o, sortie = optimisations[nom], DOSSIER / nom
rel = os.path.relpath(sortie, station.RACINE)
tours = [["/detectors:detector-learner " + nom, "--plugin-dir", "detectors",
"--allowedTools", "Read,Write,Edit,Bash,Agent"],
[f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]]
(sortie / "travail").mkdir(exist_ok=True)
with open(sortie / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux:
try:
for prompt, *options in tours:
p = subprocess.Popen(["claude", "-p", prompt, "--output-format", "stream-json", "--verbose",
"--permission-mode", "acceptEdits", *options],
cwd=station.RACINE, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)
for ligne in p.stdout:
flux.write(ligne)
o["lignes"] += resume(ligne)
if p.wait():
raise RuntimeError(f"claude a fini avec le code {p.returncode}")
o["etat"] = "fini"
except Exception as e: # noqa: BLE001 — l'erreur s'affiche dans la page, le serveur continue
o["lignes"].append(f"Erreur : {e}")
o["etat"] = "erreur"
finally:
flux.write(json.dumps({"type": "fin", "etat": o["etat"]}) + "\n")
station.detecteurs.cache_clear() # les détecteurs ont pu changer : la page Data les recalcule
def bilan(nom, sombre):
b = _bilan(nom)
if b is None:
"""Le bilan de la séance des détecteurs, puis celui des outils (<analyse>/outils.md), en une page."""
b, outils = _bilan(nom), DOSSIER / nom / "outils.md"
if b is None and not outils.exists():
raise station.Refus("aucun bilan pour cette analyse")
return _page(b, nom, sombre)
texte = "\n\n".join(f.read_text(encoding="utf-8") for f in (b, outils) if f and f.exists())
return _page(texte, nom, sombre)
+11 -6
View File
@@ -137,17 +137,22 @@ def check_optimisation():
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini"
analyse.analyses["NORDEND_b"]["etat"] = "en cours" # une analyse qui tourne bloque l'optimisation
leve(analyse.optimiser, "NORDEND_a")
# après un redémarrage : un flux sans bilan plus récent -> interrompue ; un bilan plus récent -> fini, rendu en HTML
# après un redémarrage : le flux finit par {"type": "fin"} -> fini ; sans cette ligne -> interrompue ; le bilan des
# détecteurs et celui des outils en une page
flux = analyse.DOSSIER / "NORDEND_a" / "travail" / "optimisation.jsonl"
assert flux.read_text().endswith('{"type": "fin", "etat": "fini"}\n'), flux.read_text()
analyse.analyses.clear()
analyse.optimisations.clear()
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini"
flux.write_text('{"type": "assistant", "message": {"content": []}}\n')
analyse.optimisations.clear()
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "interrompue"
time.sleep(0.01)
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a").mkdir()
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a" / "bilan.md").write_text("# Optimisation\n\n**Résultat** : aucune")
analyse.optimisations.clear()
o = analyse.etat("NORDEND_a")["optimisation"]
assert o["etat"] == "fini" and o["bilan"], o
assert "<strong>Résultat</strong>" in analyse.bilan("NORDEND_a", False)
(analyse.DOSSIER / "NORDEND_a" / "outils.md").write_text("# Outils\n\n**Outils modifiés** : aucun")
assert analyse.etat("NORDEND_a")["optimisation"]["bilan"]
page = analyse.bilan("NORDEND_a", False)
assert "<strong>Résultat</strong>" in page and "<strong>Outils modifiés</strong>" in page, page
assert analyse.etat("NORDEND_b")["optimisation"] is None
finally:
fin.set()