Aligné sur le dépôt detectors finalisé (3886196) : scripts/, events, /detectors:wf-improve avec sa requête complète
La page Data lit detectors/scripts/categories.py (events) ; « Optimiser » envoie à /detectors:wf-improve la plage de l'analyse, ses étiquettes, la vérité de référence, les familles, rapport.md et le dossier de sortie <analyse>/detectors/<heure>/, dont le summary.md est le bilan affiché. Run app ne monte detectors qu'une fois, sur main, pour ne pas masquer les commits d'une optimisation. Docs et commandes (--from/--to) à jour. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
e4978e85f0
commit
8c82368dec
9 files changed
+57
-42
No files matched your search
+22
-11
@@ -4,10 +4,10 @@ labeling/auto/analyses/<STATION>_<début>_<fin>/ ses étiquettes (etiquettes.jso
|
||||
figures à côté) ; à la fin, le serveur verse ses étiquettes dans labeling/auto/<STATION>.jsonl, marquées de leur analyse
|
||||
(champ `analyse`). Puis l'utilisateur peut lui écrire : la même session reprend (`claude -p --resume`), et ses étiquettes, si
|
||||
elles changent, remplacent celles qu'il avait versées.
|
||||
Sur une analyse finie, « Optimiser » lance `/detectors:detector-learner <analyse>` (le plugin du dépôt detectors, monté en
|
||||
detectors/), qui améliore les détecteurs depuis l'analyse, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer
|
||||
Sur une analyse finie, « Optimiser » lance `/detectors:wf-improve` (le plugin du dépôt detectors, monté en detectors/) sur
|
||||
la plage de l'analyse, ses étiquettes pour vérité, qui améliore les détecteurs, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer
|
||||
les scripts de l'analyste dans les outils de lecture ; une optimisation à la fois, ni analyse ni message pendant ; le bilan de
|
||||
la séance (detectors/detector-learner/<séance>_<analyse>/bilan.md) et celui des outils (<analyse>/outils.md) s'affichent sous
|
||||
la séance (<analyse>/detectors/<heure>/summary.md) et celui des outils (<analyse>/outils.md) s'affichent sous
|
||||
le rapport.
|
||||
"""
|
||||
import html
|
||||
@@ -15,14 +15,20 @@ import json
|
||||
import os
|
||||
import subprocess
|
||||
import threading
|
||||
from datetime import datetime, timezone
|
||||
from datetime import date, datetime, timedelta, timezone
|
||||
|
||||
import markdown
|
||||
|
||||
import station
|
||||
|
||||
DOSSIER = station.ETIQUETTES / "auto" / "analyses"
|
||||
SEANCES = station.RACINE / "detectors" / "detector-learner" # les séances de /detectors:detector-learner, <séance>_<analyse>/
|
||||
DETECTEURS = station.RACINE / "detectors"
|
||||
# la requête de /detectors:wf-improve (detectors/README.md) : tout ce qu'il lit et écrit est donné ici, avec ses règles git
|
||||
AMELIORER = """/detectors:wf-improve DETECTORS: detectors/. STATION: {donnees}/{station}. FROM: {du}. TO: {au}. \
|
||||
LABELS: {etiquettes}/auto/{station}.jsonl. REFERENCE: --labels {etiquettes}/auto --data {donnees}. \
|
||||
FAMILIES: {etiquettes}/familles.md. CONTEXT: {analyse}/rapport.md. OUT: {sortie}/. Caller's context: Diagnostic-app, \
|
||||
the detectors/ submodule; read-only on {donnees}/ and {etiquettes}/; commit only in detectors/, on its current branch; \
|
||||
OUT is in Diagnostic-app: do not commit it."""
|
||||
DEMANDE = """Station : data/{station}/. Plage : {debut} → {fin} (UTC). Indices de l'utilisateur : {indices}. \
|
||||
Dossier de sortie : {sortie}/."""
|
||||
|
||||
@@ -212,11 +218,11 @@ def rapport(nom, sombre):
|
||||
return _page(fichier(nom, "rapport.md").read_text(encoding="utf-8"), nom, sombre)
|
||||
|
||||
|
||||
# --- « Optimiser » : /detectors:detector-learner <analyse>, puis le tool-builder, par claude -p
|
||||
# --- « Optimiser » : /detectors:wf-improve sur l'analyse, puis le tool-builder, par claude -p
|
||||
|
||||
def _bilan(nom):
|
||||
"""Le bilan de la dernière séance de cette analyse, ou None."""
|
||||
bilans = sorted(SEANCES.glob(f"*_{nom}/bilan.md")) # <séance> en tête du nom : l'ordre du nom est celui du temps
|
||||
bilans = sorted((DOSSIER / nom / "detectors").glob("*/summary.md")) # <heure>/ : l'ordre du nom est celui du temps
|
||||
return bilans[-1] if bilans else None
|
||||
|
||||
|
||||
@@ -239,7 +245,7 @@ def optimiser(nom):
|
||||
"""Le bouton « Optimiser » sur une analyse finie : la séance dans un fil ; refusée si une optimisation ou une analyse tourne."""
|
||||
if etat(nom)["etat"] != "fini":
|
||||
raise station.Refus("seule une analyse finie s'optimise")
|
||||
if not (station.RACINE / "detectors" / ".claude-plugin" / "plugin.json").exists():
|
||||
if not (DETECTEURS / ".claude-plugin" / "plugin.json").exists():
|
||||
raise station.Refus("le dépôt detectors n'est pas monté en detectors/ (git submodule update --init)")
|
||||
with verrou:
|
||||
if _optimise():
|
||||
@@ -256,12 +262,17 @@ def optimiser_fil(nom):
|
||||
(le tool-builder, même si les détecteurs n'ont pas changé)."""
|
||||
o, sortie = optimisations[nom], DOSSIER / nom
|
||||
rel = os.path.relpath(sortie, station.RACINE)
|
||||
tours = [["/detectors:detector-learner " + nom, "--plugin-dir", "detectors",
|
||||
"--allowedTools", "Read,Write,Edit,Bash,Agent"],
|
||||
[f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]]
|
||||
(sortie / "travail").mkdir(exist_ok=True)
|
||||
with open(sortie / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux:
|
||||
try:
|
||||
d = json.loads((sortie / "demande.json").read_text(encoding="utf-8"))
|
||||
requete = AMELIORER.format( # TO exclu : le jour après la fin de la plage, comme la page
|
||||
station=d["station"], du=d["debut"][:10], au=date.fromisoformat(d["fin"][:10]) + timedelta(days=1),
|
||||
donnees=os.path.relpath(station.DONNEES, station.RACINE), etiquettes=os.path.relpath(station.ETIQUETTES, station.RACINE),
|
||||
analyse=rel, sortie=f"{rel}/detectors/{datetime.now(timezone.utc):%Y%m%dT%H%MZ}")
|
||||
tours = [[requete, "--plugin-dir", "detectors",
|
||||
"--allowedTools", "Read,Write,Edit,Bash,Agent"],
|
||||
[f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]]
|
||||
for prompt, *options in tours:
|
||||
p = subprocess.Popen(["claude", "-p", prompt, "--output-format", "stream-json", "--verbose",
|
||||
"--permission-mode", "acceptEdits", *options],
|
||||
|
||||
+13
-9
@@ -105,18 +105,20 @@ def check_optimisation():
|
||||
import analyse
|
||||
fin = threading.Event()
|
||||
|
||||
lances = []
|
||||
|
||||
class FauxProcessus:
|
||||
returncode = 0
|
||||
stdout = iter(lambda: fin.wait() and "", "") # rien, jusqu'au signal
|
||||
|
||||
def __init__(self, *a, **k):
|
||||
pass
|
||||
def __init__(self, args, *a, **k):
|
||||
lances.append(args)
|
||||
|
||||
def wait(self):
|
||||
return 0
|
||||
|
||||
avant = analyse.DOSSIER, analyse.SEANCES, analyse.subprocess.Popen
|
||||
analyse.DOSSIER, analyse.SEANCES = seance_temporaire(), seance_temporaire()
|
||||
avant = analyse.DOSSIER, analyse.subprocess.Popen
|
||||
analyse.DOSSIER = seance_temporaire()
|
||||
analyse.subprocess.Popen = FauxProcessus
|
||||
try:
|
||||
for nom in ("NORDEND_a", "NORDEND_b"):
|
||||
@@ -135,6 +137,9 @@ def check_optimisation():
|
||||
while analyse.etat("NORDEND_a")["optimisation"]["etat"] == "en cours":
|
||||
time.sleep(0.05)
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini"
|
||||
requete = lances[0][2] # la plage de l'analyse, TO exclu
|
||||
assert requete.startswith("/detectors:wf-improve ") and "/NORDEND. FROM: 2026-11-04. TO: 2026-11-08. LABELS: " \
|
||||
in requete and "/NORDEND_a/detectors/" in requete, requete
|
||||
analyse.analyses["NORDEND_b"]["etat"] = "en cours" # une analyse qui tourne bloque l'optimisation
|
||||
leve(analyse.optimiser, "NORDEND_a")
|
||||
# après un redémarrage : le flux finit par {"type": "fin"} -> fini ; sans cette ligne -> interrompue ; le bilan des
|
||||
@@ -147,18 +152,17 @@ def check_optimisation():
|
||||
flux.write_text('{"type": "assistant", "message": {"content": []}}\n')
|
||||
analyse.optimisations.clear()
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "interrompue"
|
||||
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a").mkdir()
|
||||
(analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a" / "bilan.md").write_text("# Optimisation\n\n**Résultat** : aucune")
|
||||
(analyse.DOSSIER / "NORDEND_a" / "detectors" / "20261113T1000Z").mkdir(parents=True)
|
||||
(analyse.DOSSIER / "NORDEND_a" / "detectors" / "20261113T1000Z" / "summary.md").write_text("# wf-improve\n\n**Result**: none")
|
||||
(analyse.DOSSIER / "NORDEND_a" / "outils.md").write_text("# Outils\n\n**Outils modifiés** : aucun")
|
||||
assert analyse.etat("NORDEND_a")["optimisation"]["bilan"]
|
||||
page = analyse.bilan("NORDEND_a", False)
|
||||
assert "<strong>Résultat</strong>" in page and "<strong>Outils modifiés</strong>" in page, page
|
||||
assert "<strong>Result</strong>" in page and "<strong>Outils modifiés</strong>" in page, page
|
||||
assert analyse.etat("NORDEND_b")["optimisation"] is None
|
||||
finally:
|
||||
fin.set()
|
||||
shutil.rmtree(analyse.DOSSIER)
|
||||
shutil.rmtree(analyse.SEANCES)
|
||||
analyse.DOSSIER, analyse.SEANCES, analyse.subprocess.Popen = avant
|
||||
analyse.DOSSIER, analyse.subprocess.Popen = avant
|
||||
analyse.analyses.clear()
|
||||
analyse.optimisations.clear()
|
||||
|
||||
|
||||
@@ -3,7 +3,7 @@
|
||||
Repris de view/view.py et labeling/labeling.py (le calcul, pas les pages) ; positions, references, COULEURS, POSE et
|
||||
attribuer sont copiés de detectors-view/detecteurs.py et labeling/ids.py (app/README.md, « Copies »). La lecture des données est
|
||||
celle des agents, agent-tools/donnees.py ; les événements des détecteurs, ceux du journal,
|
||||
detectors/categories.py (D-140). Lecture seule sur data/ ; écrit seulement dans labeling/{auto,manual}/.
|
||||
detectors/scripts/categories.py (D-140). Lecture seule sur data/ ; écrit seulement dans labeling/{auto,manual}/.
|
||||
"""
|
||||
import bisect
|
||||
import functools
|
||||
@@ -18,9 +18,9 @@ from datetime import datetime, timedelta
|
||||
from pathlib import Path
|
||||
|
||||
RACINE = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(RACINE / "agent-tools"), str(RACINE / "detectors")]
|
||||
sys.path[:0] = [str(RACINE / "agent-tools"), str(RACINE / "detectors" / "scripts")]
|
||||
import donnees # noqa: E402
|
||||
from categories import evenements # noqa: E402
|
||||
from categories import events # noqa: E402
|
||||
|
||||
DONNEES = Path(os.environ.get("AIMSIGHT_DATA", RACINE / "data")).resolve()
|
||||
ETIQUETTES = Path(os.environ.get("AIMSIGHT_LABELS", RACINE / "labeling")).resolve()
|
||||
@@ -180,7 +180,7 @@ def courbes(station, du, au):
|
||||
HISTORIQUE = timedelta(days=3) # jours d'avant donnés aux détecteurs, comme categories.py (règle du 2026-10-24)
|
||||
|
||||
|
||||
# ponytail: gardés jusqu'au redémarrage du serveur (une minute ou plus par plage) ; relancer après une séance de /detector-learner
|
||||
# ponytail: gardés jusqu'au redémarrage du serveur (une minute ou plus par plage) ; relancer après un /detectors:wf-improve lancé hors de l'app
|
||||
@functools.lru_cache(maxsize=32)
|
||||
def detecteurs(station, du, au, cibles=""):
|
||||
"""-> les événements des détecteurs sur la plage, au format des étiquettes (debut, fin, categorie, description) ;
|
||||
@@ -195,7 +195,7 @@ def detecteurs(station, du, au, cibles=""):
|
||||
raise Refus(f"aucun export « advanced » pour {station}" + " avec ces cibles" * bool(cibles))
|
||||
a, b = plage(tout, du, au)
|
||||
mesures = {s: k for s, ms in tout.items() if (k := [m for m in ms if a - HISTORIQUE <= m["t"] < b])}
|
||||
evs = [v for v in evenements(mesures, b, str(d)) if v["end"] >= donnees.iso(a)] if mesures else []
|
||||
evs = [v for v in events(mesures, b, str(d)) if v["end"] >= donnees.iso(a)] if mesures else []
|
||||
refs = {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"}
|
||||
return [{"id": f"D-{i + 1}", "debut": v["start"], "fin": v["end"], "categorie": v["category"], "sorte": v["episodes"][0]["label"],
|
||||
"description": f"{v['episodes'][0]['label']}. {v['text']}", "capteurs": v["sensors"], "ignore": v["ignore"],
|
||||
@@ -205,14 +205,14 @@ def detecteurs(station, du, au, cibles=""):
|
||||
|
||||
|
||||
def message(texte):
|
||||
"""Ce qui arrive : la première phrase du journal (detectors/categories.py, phrase), jusqu'à son « ; » ; la suite y dit quoi
|
||||
"""Ce qui arrive : la première phrase du journal (detectors/scripts/categories.py, sentence), jusqu'à son « ; » ; la suite y dit quoi
|
||||
en faire, sauf la phrase des sauts absorbés, gardée. ". " seulement : « 1.5× » ou « 0.30 px » ne coupent pas."""
|
||||
meme = re.search(r" (The jumps? of .* same cause\.)$", texte)
|
||||
return re.split(r"\. |; ", texte, maxsplit=1)[0].rstrip(".") + "." + (" " + meme.group(1) if meme else "")
|
||||
|
||||
|
||||
# Quoi en faire : la colonne « Pour le client » de labeling/familles.md, par famille ; précisée par sorte (le label de l'épisode
|
||||
# principal, avec son niveau) d'après les phrases du journal validées le 2026-10-24 (detectors/categories.py, phrase)
|
||||
# principal, avec son niveau) d'après les phrases du journal validées le 2026-10-24 (detectors/scripts/categories.py, sentence)
|
||||
ACTION_FAMILLE = {
|
||||
"Visibility": "Do not trust the curves in this period: this is not a movement.",
|
||||
"Obstruction": "Ignore the curves of the hidden targets in this period.",
|
||||
|
||||
Reference in new issue
Block a user