diff --git a/CLAUDE.md b/CLAUDE.md index 46b9fbe..9666589 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -7,7 +7,7 @@ Optimizer fait converger les détecteurs AIMsight (le dépôt `~/detectors`, par - **Les liens**, hors de git, en lecture seule : `data/` → `~/aimsight-data/data` (rempli par le pompage du dépôt aimsight-data) ; `labeling/` → `~/labeling` (le dépôt des étiquettes, partagé avec Diagnostic-App) (`familles.md` ; `auto/`, la vérité de référence du benchmark). - **Les détecteurs** : leur contrat est dans `detectors/CLAUDE.md` ; Optimizer lit `categories.events`, `categories.CATEGORIES` et `scripts/data.py`. Diagnostic-App y pointe par le même lien (une seule copie : un commit de l'un se voit aussitôt chez l'autre) ; son mode ciblé (une analyse approfondie) et ce mode large seront deux appelants du même `/detectors:wf-improve`. - **Les essais** : `docs/essais/.md`, un journal par essai de bout en bout ; `outils/`, les scripts de lecture qui en sont restés. -- **Vérifier un changement** : `python3 batch.py --jour --sans-scan` sur un jour réel, puis regarder les figures. +- **Vérifier un changement** : `.venv/bin/python outils/etape1.py / ` sur un jour réel (ou `python3 batch.py --jour --sans-scan` sur un jour sans batch), puis regarder les figures ; à vérité intacte, `regression.py --labels /detecteurs --data data --from --to ` doit être à 100 %. Règles : - **Les agents tournent sur l'abonnement Claude, jamais sur une clé d'API** : `batch.py` lance `claude -p` sans `ANTHROPIC_API_KEY` ni `ANTHROPIC_AUTH_TOKEN`, et l'arrête si son message d'ouverture dit une autre source que l'abonnement (`apiKeySource` ≠ `none`). Le montant en $ du flux n'est qu'un équivalent API, non facturé. diff --git a/README.md b/README.md index 54de90f..7a38d06 100644 --- a/README.md +++ b/README.md @@ -40,4 +40,4 @@ Une étape faite ne se refait pas : relancer après `--sans-scan` fait le reste - `scan.jsonl` : son flux, avec son coût (hors de git) ; - `improve/` : la séance d'amélioration, ses mesures avant et après, `modification.md` (l'upgrader), `validation.md` (le validator), `summary.md` (le bilan), `tools/` (les scripts que ses agents ont écrits, à réutiliser) ; `improve.jsonl`, son flux (hors de git). -`outils/` : des scripts de lecture des données brutes pour contrôler un batch à la main (`JOUR=AAAA-MM-JJ python3 outils/instants.py NORDEND 00:45 01:30`), venus de l'audit du premier essai ; `docs/essais/` : les journaux des essais. +`outils/` : de quoi suivre et contrôler un batch à la main. `suivre.py ` suit un agent pendant qu'il tourne ; `etape1.py` refait l'étape 1 dans un dossier de travail (vérifier un changement sans toucher à `batches/`) ; les autres lisent les données brutes (`JOUR=AAAA-MM-JJ python3 outils/instants.py NORDEND 00:45 01:30`), venus de l'audit du premier essai. `docs/essais/` : les journaux des essais. diff --git a/outils/etape1.py b/outils/etape1.py new file mode 100644 index 0000000..0078e57 --- /dev/null +++ b/outils/etape1.py @@ -0,0 +1,12 @@ +"""Refait l'étape 1 de batch.py (détecteurs, figures, résumé) dans un dossier de travail, sans toucher à batches/ : +.venv/bin/python outils/etape1.py / [A,B]. Pour vérifier un changement de batch.py ou des détecteurs.""" +import sys +from datetime import datetime, timezone +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1])) # batch.py +import batch +dossier, jour = Path(sys.argv[1]), sys.argv[2] +stations = sys.argv[3].split(",") if len(sys.argv) > 3 else sorted(p.name for p in batch.DONNEES.iterdir() if p.is_dir()) +dossier.parent.mkdir(parents=True, exist_ok=True) +batch.detecteurs(dossier, datetime.strptime(jour, "%Y-%m-%d").replace(tzinfo=timezone.utc), stations) diff --git a/outils/suivre.py b/outils/suivre.py new file mode 100644 index 0000000..065da52 --- /dev/null +++ b/outils/suivre.py @@ -0,0 +1,42 @@ +"""Suit le flux d'un agent du batch pendant qu'il tourne (batches//scan.jsonl ou improve.jsonl, écrit par claude -p) et +imprime ce qui compte : l'ouverture (source d'authentification, modèle, plugins), les sous-agents lancés, les commandes git et +de mesure, les fichiers écrits, les erreurs d'outil, la fin et son coût. python3 outils/suivre.py """ +import json, sys, time +chemin = sys.argv[1] +while True: + try: + f = open(chemin, encoding="utf-8"); break + except FileNotFoundError: + time.sleep(1) +outils = {} +while True: + l = f.readline() + if not l: + time.sleep(1); continue + if not l.startswith("{"): + print("RAW", l[:200], flush=True); continue + d = json.loads(l) + t, sub, par = d.get("type"), d.get("subtype"), d.get("parent_tool_use_id") + qui = "sous-agent" if par else "orchestrateur" + if t == "system" and sub == "init": + print(f"INIT apiKeySource={d.get('apiKeySource')} model={d.get('model')} plugins={[p['name'] for p in d.get('plugins', [])]} agents={[a for a in d.get('agents', []) if ':' in a]}", flush=True) + elif t == "assistant": + for c in d["message"].get("content", []): + if c.get("type") != "tool_use": + continue + i = c["input"]; outils[c["id"]] = (c["name"], i) + if c["name"] in ("Agent", "Task"): + print(f"AGENT {i.get('subagent_type')} lancé : {i.get('description')}", flush=True) + elif c["name"] == "Bash" and any(k in i.get("command", "") for k in ("git -C", "git commit", "regression.py", "score.py", "revert")): + print(f"BASH ({qui}) {i['command'][:220]}", flush=True) + elif c["name"] in ("Write", "Edit") and "/scripts/" in i.get("file_path", "") or c["name"] == "Write" and i.get("file_path", "").endswith(".md"): + print(f"{c['name'].upper()} ({qui}) {i.get('file_path')}", flush=True) + elif t == "user": + for c in d["message"].get("content", []) if isinstance(d["message"].get("content"), list) else []: + if c.get("type") == "tool_result" and c.get("is_error"): + n, i = outils.get(c.get("tool_use_id"), ("?", {})) + print(f"ERREUR ({qui}) {n} {str(i.get('command') or i.get('file_path') or '')[:120]} -> {str(c.get('content'))[:250]}", flush=True) + elif t == "result": + print(f"FIN {sub} tours={d.get('num_turns')} durée={round((d.get('duration_ms') or 0)/1000)}s coût_équiv={d.get('total_cost_usd')} refus={d.get('permission_denials')}", flush=True) + print("RÉPONSE", (d.get("result") or "")[:600].replace("\n", " | "), flush=True) + break