diff --git a/.vscode/tasks.json b/.vscode/tasks.json index b43ddec..90103d4 100644 --- a/.vscode/tasks.json +++ b/.vscode/tasks.json @@ -5,7 +5,7 @@ "label": "Run app", "detail": "Monte detectors, prépare .venv et le front au besoin, puis lance le serveur sur http://127.0.0.1:8770", "type": "shell", - "command": "git submodule update --init && { [ -d .venv ] || { python3 -m venv .venv && .venv/bin/pip install -q fastapi uvicorn markdown plotly matplotlib; }; } && (cd app/web && { [ -d node_modules ] || npm install; } && npm run build) && .venv/bin/python app/serveur/serveur.py", + "command": "{ [ -e detectors/.git ] || { git submodule update --init && git -C detectors checkout -q -B main; }; } && { [ -d .venv ] || { python3 -m venv .venv && .venv/bin/pip install -q fastapi uvicorn markdown plotly matplotlib; }; } && (cd app/web && { [ -d node_modules ] || npm install; } && npm run build) && .venv/bin/python app/serveur/serveur.py", "isBackground": true, "problemMatcher": [] } diff --git a/CLAUDE.md b/CLAUDE.md index 69046d6..532767b 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -2,9 +2,9 @@ Diagnostic-app : la web app de diagnostic AIMsight et les agents qu'elle lance par `claude -p` (`README.md`). Une caméra suit des cibles sur un ouvrage ; les détecteurs (`detectors/`, un sous-module : le dépôt detectors) lisent les séries de déplacement des stations (`data//`, hors de git) et signalent les moments où il ne faut pas se fier aux courbes (pluie, buée, toile d'araignée, turbulence…) ou un vrai mouvement. -- **Les processus** : l'onglet Analysis lance l'`analyste` sur une plage (étiquettes et rapport dans `labeling/auto/analyses/__/`, versées dans `labeling/auto/.jsonl`) ; « Optimiser les détecteurs » lance `/detectors:detector-learner ` (le plugin du sous-module `detectors/`, `claude --plugin-dir detectors`), qui commite dans `detectors/`, puis le `tool-builder`, qui commite les outils ici. +- **Les processus** : l'onglet Analysis lance l'`analyste` sur une plage (étiquettes et rapport dans `labeling/auto/analyses/__/`, versées dans `labeling/auto/.jsonl`) ; « Optimiser les détecteurs » lance `/detectors:wf-improve` sur la plage de l'analyse (le plugin du sous-module `detectors/`, `claude --plugin-dir detectors` ; la requête dans `app/serveur/analyse.py`, son bilan dans `/detectors//summary.md`), qui commite dans `detectors/`, puis le `tool-builder`, qui commite les outils ici. - **La vérité** : les étiquettes de `labeling/auto/` ; le savoir du labeling est dans `labeling/` (règles, familles, carte, connaissances). -- **Le benchmark** : `python3 detectors/skills/detector-learner/regression.py` ; le score d'une plage : `python3 detectors/skills/detector-learner/score.py data/ --du AAAA-MM-JJ --au AAAA-MM-JJ`. +- **Le benchmark** : `python3 detectors/skills/wf-improve/scripts/regression.py --labels labeling/auto --data data` ; le score d'une plage : `python3 detectors/skills/wf-improve/scripts/score.py data/ --labels labeling/auto/.jsonl --from AAAA-MM-JJ --to AAAA-MM-JJ` (`--to` exclu). Le contrat entre l'app et les détecteurs : `detectors/CLAUDE.md`. - **Vérifier un changement de l'app** : `.venv/bin/python app/serveur/check.py`, puis `cd app/web && npm run build` et lancer le serveur. Règles : diff --git a/README.md b/README.md index f4ed21a..049f89e 100644 --- a/README.md +++ b/README.md @@ -3,7 +3,7 @@ La web app de diagnostic AIMsight : la page Data (courbes, images de la caméra, étiquettes, événements des détecteurs) et son onglet Analysis, qui lance par `claude -p` : - l'`analyste`, sur une plage choisie (« Analyser la plage ») : un rapport de diagnostic et des étiquettes ; -- « Optimiser les détecteurs », sur une analyse finie : `/detectors:detector-learner ` (le plugin du dépôt detectors) améliore les détecteurs depuis cette analyse, sans sur-apprentissage, contrôlé par le benchmark de toutes les étiquettes ; puis le `tool-builder` fait entrer les scripts de l'analyste dans les outils de lecture. +- « Optimiser les détecteurs », sur une analyse finie : `/detectors:wf-improve` (le plugin du dépôt detectors) améliore les détecteurs sur la plage de l'analyse, ses étiquettes pour vérité, sans sur-apprentissage, contrôlé par le benchmark de toutes les étiquettes ; puis le `tool-builder` fait entrer les scripts de l'analyste dans les outils de lecture. ## Le dépôt @@ -11,12 +11,12 @@ La web app de diagnostic AIMsight : la page Data (courbes, images de la caméra, - `.claude/` : les agents de l'app, `analyste` et `tool-builder`, et le skill `lire-les-donnees` (le mode d'emploi des outils de lecture). - `agent-tools/` : les outils de lecture ; `donnees.py`, la lecture commune, sert aussi à l'app. - `labeling/` : le savoir du labeling (`regles-d-etiquetage.md`, `familles.md`, `carte-des-etiquettes.md`, `connaissances/`), les étiquettes (`auto/.jsonl`, la vérité du benchmark ; `manual/`), les analyses de l'app (`auto/analyses/`), et `controle.py`, `ids.py`. -- `detectors/` : le dépôt **detectors**, en sous-module : les détecteurs et le plugin Claude Code qui les améliore (`/detectors:detector-learner`), ses séances et son historique. La séance y commite ; pousser `detectors` pour que tous aient les détecteurs à jour. +- `detectors/` : le dépôt **detectors**, en sous-module : les détecteurs (`scripts/`) et le plugin Claude Code qui les améliore (`/detectors:wf-improve`). L'app lui donne tout à chaque séance (plage, étiquettes, vérité de référence, familles, dossier de sortie : `/detectors//`) ; la séance commite dans `detectors/`, sur sa branche `main`. Ensuite : `git -C detectors push`, puis ici `git commit -m "..." -- detectors` pour que le dépôt pointe la nouvelle version. Mettre à jour les détecteurs : `git -C detectors pull`. - `data/` : les données des stations, **hors de git**, un dossier par station (`displacement/`, `metrics/`, `camera/`, `images/`). ## Installer et lancer -La tâche VS Code **Run app** fait tout : monte `detectors`, crée `.venv` et construit le front s'ils manquent, lance le serveur. Il faut seulement les données : +La tâche VS Code **Run app** fait tout : monte `detectors` la première fois (sur sa branche `main`), crée `.venv` et construit le front s'ils manquent, lance le serveur. Il faut seulement les données : ```bash ln -s /data data # ou un dossier data/ rempli par le pompage @@ -25,10 +25,10 @@ ln -s /data data # ou un dossier data/ rempli À la main : ```bash -git submodule update --init +git submodule update --init && git -C detectors checkout -B main python3 -m venv .venv && .venv/bin/pip install fastapi uvicorn markdown plotly matplotlib cd app/web && npm install && npm run build && cd ../.. .venv/bin/python app/serveur/serveur.py ``` -La page s'ouvre sur `http://127.0.0.1:8770`. `claude` (Claude Code, connecté) doit être sur le `PATH` pour l'onglet Analysis. Vérifications : `.venv/bin/python app/serveur/check.py`. Benchmark des détecteurs : `python3 detectors/skills/detector-learner/regression.py`. +La page s'ouvre sur `http://127.0.0.1:8770`. `claude` (Claude Code, connecté) doit être sur le `PATH` pour l'onglet Analysis. Vérifications : `.venv/bin/python app/serveur/check.py`. Benchmark des détecteurs : `python3 detectors/skills/wf-improve/scripts/regression.py --labels labeling/auto --data data` (~3 min). diff --git a/app/README.md b/app/README.md index c114e79..b82bedc 100644 --- a/app/README.md +++ b/app/README.md @@ -2,7 +2,7 @@ L'outil du diagnostic manuel : la page Data (la page Images, retirée, vit dans Data ; la page Support est retirée). -- **Data** (D-139) : le visualiseur de courbes, et l'étiquetage de `labeling/labeling.py` : un plot au départ (déplacements, caméra, qualité, métriques système), « Ajouter un plot » pour en voir plusieurs, alignés sur le temps, la croix pour en enlever un, un clic sur une courbe cale les images sur l'image la plus proche de son instant ; sous eux le choix des étiquettes, Detectors (les événements des détecteurs du journal, `detectors/categories.py`, en lecture seule, D-140), LLM (`labeling/auto/`, en lecture seule) ou Analysis (les mêmes étiquettes de `labeling/auto/`, à modifier, supprimer), et leur barre ; avec Detectors et LLM, y glisser zoome dans le temps ; avec Analysis, y glisser sélectionne une plage, puis des indices facultatifs, « Analyser la plage » : `serveur/analyse.py` lance l'analyste par `claude -p` (non interactif) sur la plage ; il écrit dans `labeling/auto/analyses/__/` ses étiquettes et un rapport de diagnostic (`rapport.md`, ses figures ; son travail et le journal de claude dans `travail/`, hors de git) ; la page suit son avancement, puis montre le rapport, et le serveur verse ses étiquettes dans `labeling/auto/.jsonl` (champ `analyse`, sans `revue` : à relire par `/review-auto-labels`) ; « Voir le rapport » sur une étiquette ainsi faite le rouvre. La barre latérale range toutes les analyses de `labeling/auto/analyses/` en dossiers, un par station (ouvert d'office s'il en a une en cours), et dedans une analyse par plage, la plus récente en tête, avec son état ; un clic ouvre Data sur elle. Une analyse s'arrête avec le serveur (« interrompue ») : sa session gardée, « continue » dans le champ de message la reprend. Sur une analyse finie, « Optimiser les détecteurs » lance `/detector-learner ` par `claude -p` (D-148) : les détecteurs, puis les outils de lecture, améliorés depuis l'analyse, commités sur `main` ; la page suit le fil de la séance (`travail/optimisation.jsonl`), puis montre son bilan (`detector-learner/_/bilan.md`) sous le rapport. Une optimisation à la fois ; pendant, ni analyse ni message à l'analyste ; une optimisation coupée par l'arrêt du serveur se relance par le bouton. Un clic met une étiquette en évidence sur les plots et la barre, cale les images sur son début, et l'ouvre (avec Analysis : bornes, famille, texte, Enregistrer, Supprimer) ; un clic ailleurs sur la barre la referme. Les zones des étiquettes sur les plots sont à peine visibles (opacité 0,05, 0,07 en sombre). Écrit dans `labeling/auto/.jsonl` ; `labeling/manual/` ne s'écrit plus que par `labeling/labeling.py`. À droite, les images de la caméra, comme `view/view.py` (glisseur, ◀ ▶ et flèches du clavier ; molette pour zoomer, glisser pour se déplacer, double clic pour l'image entière ; case Noms ; une plage sur la barre sous le glisseur dessine la flèche de déplacement de chaque capteur), sur la même station et la même plage (D-140) ; une flèche en haut à gauche de l'image l'agrandit et pousse les plots vers la gauche (les colonnes glissent, les plots se recalent à la fin du glissement), la flèche inverse la ramène. Les événements des détecteurs ne portent que leur famille dans la barre ; la bulle donne leurs cibles ; au clic, leurs dates, leurs capteurs (cibles et références), le message (la première phrase du journal) et l'action (la colonne « Pour le client » de `labeling/familles.md`, précisée par sorte, `station.ACTION_SORTE`). Sous l'image, les paramètres du diagnostic : « Focus on event curves » (un événement ouvert, les plots ne montrent que ses capteurs : ceux des détecteurs, ou ceux que nomme le texte d'une étiquette), les familles montrées (filtre immédiat de la page) et, pour Detectors seulement, les cibles considérées, les autres écartées avant les détecteurs (« Relancer les détecteurs », paramètre `cibles` de `/api/detecteurs`). Sans dates dans l'adresse, la sélection prend les 5 derniers jours UTC, aujourd'hui compris. Detectors est la source par défaut. +- **Data** (D-139) : le visualiseur de courbes, et l'étiquetage de `labeling/labeling.py` : un plot au départ (déplacements, caméra, qualité, métriques système), « Ajouter un plot » pour en voir plusieurs, alignés sur le temps, la croix pour en enlever un, un clic sur une courbe cale les images sur l'image la plus proche de son instant ; sous eux le choix des étiquettes, Detectors (les événements des détecteurs du journal, `detectors/categories.py`, en lecture seule, D-140), LLM (`labeling/auto/`, en lecture seule) ou Analysis (les mêmes étiquettes de `labeling/auto/`, à modifier, supprimer), et leur barre ; avec Detectors et LLM, y glisser zoome dans le temps ; avec Analysis, y glisser sélectionne une plage, puis des indices facultatifs, « Analyser la plage » : `serveur/analyse.py` lance l'analyste par `claude -p` (non interactif) sur la plage ; il écrit dans `labeling/auto/analyses/__/` ses étiquettes et un rapport de diagnostic (`rapport.md`, ses figures ; son travail et le journal de claude dans `travail/`, hors de git) ; la page suit son avancement, puis montre le rapport, et le serveur verse ses étiquettes dans `labeling/auto/.jsonl` (champ `analyse`, sans `revue` : à relire par `/review-auto-labels`) ; « Voir le rapport » sur une étiquette ainsi faite le rouvre. La barre latérale range toutes les analyses de `labeling/auto/analyses/` en dossiers, un par station (ouvert d'office s'il en a une en cours), et dedans une analyse par plage, la plus récente en tête, avec son état ; un clic ouvre Data sur elle. Une analyse s'arrête avec le serveur (« interrompue ») : sa session gardée, « continue » dans le champ de message la reprend. Sur une analyse finie, « Optimiser les détecteurs » lance `/detectors:wf-improve` sur la plage de l'analyse, par `claude -p` (D-148) : les détecteurs, puis les outils de lecture, améliorés depuis l'analyse, commités sur `main` (les détecteurs dans `detectors/`) ; la page suit le fil de la séance (`travail/optimisation.jsonl`), puis montre son bilan (`/detectors//summary.md`, puis `/outils.md`) sous le rapport. Une optimisation à la fois ; pendant, ni analyse ni message à l'analyste ; une optimisation coupée par l'arrêt du serveur se relance par le bouton. Un clic met une étiquette en évidence sur les plots et la barre, cale les images sur son début, et l'ouvre (avec Analysis : bornes, famille, texte, Enregistrer, Supprimer) ; un clic ailleurs sur la barre la referme. Les zones des étiquettes sur les plots sont à peine visibles (opacité 0,05, 0,07 en sombre). Écrit dans `labeling/auto/.jsonl` ; `labeling/manual/` ne s'écrit plus que par `labeling/labeling.py`. À droite, les images de la caméra, comme `view/view.py` (glisseur, ◀ ▶ et flèches du clavier ; molette pour zoomer, glisser pour se déplacer, double clic pour l'image entière ; case Noms ; une plage sur la barre sous le glisseur dessine la flèche de déplacement de chaque capteur), sur la même station et la même plage (D-140) ; une flèche en haut à gauche de l'image l'agrandit et pousse les plots vers la gauche (les colonnes glissent, les plots se recalent à la fin du glissement), la flèche inverse la ramène. Les événements des détecteurs ne portent que leur famille dans la barre ; la bulle donne leurs cibles ; au clic, leurs dates, leurs capteurs (cibles et références), le message (la première phrase du journal) et l'action (la colonne « Pour le client » de `labeling/familles.md`, précisée par sorte, `station.ACTION_SORTE`). Sous l'image, les paramètres du diagnostic : « Focus on event curves » (un événement ouvert, les plots ne montrent que ses capteurs : ceux des détecteurs, ou ceux que nomme le texte d'une étiquette), les familles montrées (filtre immédiat de la page) et, pour Detectors seulement, les cibles considérées, les autres écartées avant les détecteurs (« Relancer les détecteurs », paramètre `cibles` de `/api/detecteurs`). Sans dates dans l'adresse, la sélection prend les 5 derniers jours UTC, aujourd'hui compris. Detectors est la source par défaut. Data garde la station et la plage (UTC, Au exclue) dans l'adresse : `#/data?station=NIEDERHORN&du=2026-09-25&au=2026-10-08`. @@ -28,7 +28,7 @@ La page s'ouvre sur `http://127.0.0.1:8770`. Réglages par variables : `AIMSIGHT - `serveur/serveur.py` : FastAPI ; sert la page construite et l'API sous `/api` (stations, images, courbes, détecteurs, étiquettes, analyses) ; ne répond qu'aux pages du poste (Host local, JSON déclaré). - `serveur/station.py` : les données de la page Data ; lecture seule sur `data/`, écrit seulement dans `labeling/{auto,manual}/`. -- `serveur/analyse.py` : l'onglet Analysis ; lance `claude` (Claude Code, connecté) avec l'agent `analyste`, outils Read, Write, Bash autorisés sans demande ; et l'optimisation, `/detectors:detector-learner ` (`--plugin-dir detectors`, outils Read, Write, Edit, Bash, Agent) puis l'agent `tool-builder` (Read, Write, Edit, Bash), autorisés sans demande. +- `serveur/analyse.py` : l'onglet Analysis ; lance `claude` (Claude Code, connecté) avec l'agent `analyste`, outils Read, Write, Bash autorisés sans demande ; et l'optimisation, `/detectors:wf-improve` sur la plage de l'analyse (`--plugin-dir detectors`, outils Read, Write, Edit, Bash, Agent) puis l'agent `tool-builder` (Read, Write, Edit, Bash), autorisés sans demande. - `serveur/check.py` : vérifications, sans appel à claude : `.venv/bin/python app/serveur/check.py`. - `web/` : React (Vite) et Mantine ; `src/App.jsx` (en-tête, barre latérale, adresse), `src/pages/` (une page par fichier), `src/commun.jsx` (requêtes, cartes, sélecteur), `src/main.jsx` (thème). Plotly, habillé aux couleurs de Mantine (D-139), ne se charge qu'avec Data. `dist/` et `node_modules/` hors de git. @@ -43,4 +43,4 @@ Le calcul de la page Data reprend des outils du dépôt Support-Agent ; ce qui e | `detectors-view/detecteurs.py` : `positions()`, `references()`, `COULEURS`, `POSE`, `MARGE_PX` | idem | 6e9f69a | 2026-11-05 | aucune | | `labeling/ids.py` : `attribuer()`, `en_tete()` | `attribuer()` | 6e9f69a | 2026-11-05 | sans `retires` (inutile à l'ajout) | -La lecture des données est celle des agents, `agent-tools/donnees.py` ; les événements des détecteurs, ceux du journal, `detectors/categories.py`, lus tels quels (pas une copie : la page montre les détecteurs du jour ; il garde leurs résultats, et les oublie à la fin d'une optimisation ; relancer le serveur après une séance de `/detector-learner` lancée hors de l'app). +La lecture des données est celle des agents, `agent-tools/donnees.py` ; les événements des détecteurs, ceux du journal, `detectors/scripts/categories.py` (`events`), lus tels quels (pas une copie : la page montre les détecteurs du jour ; il garde leurs résultats, et les oublie à la fin d'une optimisation ; relancer le serveur après un `/detectors:wf-improve` lancé hors de l'app). diff --git a/app/serveur/analyse.py b/app/serveur/analyse.py index 5bef905..fd5bc5a 100644 --- a/app/serveur/analyse.py +++ b/app/serveur/analyse.py @@ -4,10 +4,10 @@ labeling/auto/analyses/__/ ses étiquettes (etiquettes.jso figures à côté) ; à la fin, le serveur verse ses étiquettes dans labeling/auto/.jsonl, marquées de leur analyse (champ `analyse`). Puis l'utilisateur peut lui écrire : la même session reprend (`claude -p --resume`), et ses étiquettes, si elles changent, remplacent celles qu'il avait versées. -Sur une analyse finie, « Optimiser » lance `/detectors:detector-learner ` (le plugin du dépôt detectors, monté en -detectors/), qui améliore les détecteurs depuis l'analyse, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer +Sur une analyse finie, « Optimiser » lance `/detectors:wf-improve` (le plugin du dépôt detectors, monté en detectors/) sur +la plage de l'analyse, ses étiquettes pour vérité, qui améliore les détecteurs, puis le tool-builder (.claude/agents/tool-builder.md), qui fait entrer les scripts de l'analyste dans les outils de lecture ; une optimisation à la fois, ni analyse ni message pendant ; le bilan de -la séance (detectors/detector-learner/_/bilan.md) et celui des outils (/outils.md) s'affichent sous +la séance (/detectors//summary.md) et celui des outils (/outils.md) s'affichent sous le rapport. """ import html @@ -15,14 +15,20 @@ import json import os import subprocess import threading -from datetime import datetime, timezone +from datetime import date, datetime, timedelta, timezone import markdown import station DOSSIER = station.ETIQUETTES / "auto" / "analyses" -SEANCES = station.RACINE / "detectors" / "detector-learner" # les séances de /detectors:detector-learner, _/ +DETECTEURS = station.RACINE / "detectors" +# la requête de /detectors:wf-improve (detectors/README.md) : tout ce qu'il lit et écrit est donné ici, avec ses règles git +AMELIORER = """/detectors:wf-improve DETECTORS: detectors/. STATION: {donnees}/{station}. FROM: {du}. TO: {au}. \ +LABELS: {etiquettes}/auto/{station}.jsonl. REFERENCE: --labels {etiquettes}/auto --data {donnees}. \ +FAMILIES: {etiquettes}/familles.md. CONTEXT: {analyse}/rapport.md. OUT: {sortie}/. Caller's context: Diagnostic-app, \ +the detectors/ submodule; read-only on {donnees}/ and {etiquettes}/; commit only in detectors/, on its current branch; \ +OUT is in Diagnostic-app: do not commit it.""" DEMANDE = """Station : data/{station}/. Plage : {debut} → {fin} (UTC). Indices de l'utilisateur : {indices}. \ Dossier de sortie : {sortie}/.""" @@ -212,11 +218,11 @@ def rapport(nom, sombre): return _page(fichier(nom, "rapport.md").read_text(encoding="utf-8"), nom, sombre) -# --- « Optimiser » : /detectors:detector-learner , puis le tool-builder, par claude -p +# --- « Optimiser » : /detectors:wf-improve sur l'analyse, puis le tool-builder, par claude -p def _bilan(nom): """Le bilan de la dernière séance de cette analyse, ou None.""" - bilans = sorted(SEANCES.glob(f"*_{nom}/bilan.md")) # en tête du nom : l'ordre du nom est celui du temps + bilans = sorted((DOSSIER / nom / "detectors").glob("*/summary.md")) # / : l'ordre du nom est celui du temps return bilans[-1] if bilans else None @@ -239,7 +245,7 @@ def optimiser(nom): """Le bouton « Optimiser » sur une analyse finie : la séance dans un fil ; refusée si une optimisation ou une analyse tourne.""" if etat(nom)["etat"] != "fini": raise station.Refus("seule une analyse finie s'optimise") - if not (station.RACINE / "detectors" / ".claude-plugin" / "plugin.json").exists(): + if not (DETECTEURS / ".claude-plugin" / "plugin.json").exists(): raise station.Refus("le dépôt detectors n'est pas monté en detectors/ (git submodule update --init)") with verrou: if _optimise(): @@ -256,12 +262,17 @@ def optimiser_fil(nom): (le tool-builder, même si les détecteurs n'ont pas changé).""" o, sortie = optimisations[nom], DOSSIER / nom rel = os.path.relpath(sortie, station.RACINE) - tours = [["/detectors:detector-learner " + nom, "--plugin-dir", "detectors", - "--allowedTools", "Read,Write,Edit,Bash,Agent"], - [f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]] (sortie / "travail").mkdir(exist_ok=True) with open(sortie / "travail" / "optimisation.jsonl", "a", encoding="utf-8") as flux: try: + d = json.loads((sortie / "demande.json").read_text(encoding="utf-8")) + requete = AMELIORER.format( # TO exclu : le jour après la fin de la plage, comme la page + station=d["station"], du=d["debut"][:10], au=date.fromisoformat(d["fin"][:10]) + timedelta(days=1), + donnees=os.path.relpath(station.DONNEES, station.RACINE), etiquettes=os.path.relpath(station.ETIQUETTES, station.RACINE), + analyse=rel, sortie=f"{rel}/detectors/{datetime.now(timezone.utc):%Y%m%dT%H%MZ}") + tours = [[requete, "--plugin-dir", "detectors", + "--allowedTools", "Read,Write,Edit,Bash,Agent"], + [f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]] for prompt, *options in tours: p = subprocess.Popen(["claude", "-p", prompt, "--output-format", "stream-json", "--verbose", "--permission-mode", "acceptEdits", *options], diff --git a/app/serveur/check.py b/app/serveur/check.py index 6f0fb66..7a5fbe1 100644 --- a/app/serveur/check.py +++ b/app/serveur/check.py @@ -105,18 +105,20 @@ def check_optimisation(): import analyse fin = threading.Event() + lances = [] + class FauxProcessus: returncode = 0 stdout = iter(lambda: fin.wait() and "", "") # rien, jusqu'au signal - def __init__(self, *a, **k): - pass + def __init__(self, args, *a, **k): + lances.append(args) def wait(self): return 0 - avant = analyse.DOSSIER, analyse.SEANCES, analyse.subprocess.Popen - analyse.DOSSIER, analyse.SEANCES = seance_temporaire(), seance_temporaire() + avant = analyse.DOSSIER, analyse.subprocess.Popen + analyse.DOSSIER = seance_temporaire() analyse.subprocess.Popen = FauxProcessus try: for nom in ("NORDEND_a", "NORDEND_b"): @@ -135,6 +137,9 @@ def check_optimisation(): while analyse.etat("NORDEND_a")["optimisation"]["etat"] == "en cours": time.sleep(0.05) assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "fini" + requete = lances[0][2] # la plage de l'analyse, TO exclu + assert requete.startswith("/detectors:wf-improve ") and "/NORDEND. FROM: 2026-11-04. TO: 2026-11-08. LABELS: " \ + in requete and "/NORDEND_a/detectors/" in requete, requete analyse.analyses["NORDEND_b"]["etat"] = "en cours" # une analyse qui tourne bloque l'optimisation leve(analyse.optimiser, "NORDEND_a") # après un redémarrage : le flux finit par {"type": "fin"} -> fini ; sans cette ligne -> interrompue ; le bilan des @@ -147,18 +152,17 @@ def check_optimisation(): flux.write_text('{"type": "assistant", "message": {"content": []}}\n') analyse.optimisations.clear() assert analyse.etat("NORDEND_a")["optimisation"]["etat"] == "interrompue" - (analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a").mkdir() - (analyse.SEANCES / "2026-11-13T1000Z_NORDEND_a" / "bilan.md").write_text("# Optimisation\n\n**Résultat** : aucune") + (analyse.DOSSIER / "NORDEND_a" / "detectors" / "20261113T1000Z").mkdir(parents=True) + (analyse.DOSSIER / "NORDEND_a" / "detectors" / "20261113T1000Z" / "summary.md").write_text("# wf-improve\n\n**Result**: none") (analyse.DOSSIER / "NORDEND_a" / "outils.md").write_text("# Outils\n\n**Outils modifiés** : aucun") assert analyse.etat("NORDEND_a")["optimisation"]["bilan"] page = analyse.bilan("NORDEND_a", False) - assert "Résultat" in page and "Outils modifiés" in page, page + assert "Result" in page and "Outils modifiés" in page, page assert analyse.etat("NORDEND_b")["optimisation"] is None finally: fin.set() shutil.rmtree(analyse.DOSSIER) - shutil.rmtree(analyse.SEANCES) - analyse.DOSSIER, analyse.SEANCES, analyse.subprocess.Popen = avant + analyse.DOSSIER, analyse.subprocess.Popen = avant analyse.analyses.clear() analyse.optimisations.clear() diff --git a/app/serveur/station.py b/app/serveur/station.py index 0271781..928a6b7 100644 --- a/app/serveur/station.py +++ b/app/serveur/station.py @@ -3,7 +3,7 @@ Repris de view/view.py et labeling/labeling.py (le calcul, pas les pages) ; positions, references, COULEURS, POSE et attribuer sont copiés de detectors-view/detecteurs.py et labeling/ids.py (app/README.md, « Copies »). La lecture des données est celle des agents, agent-tools/donnees.py ; les événements des détecteurs, ceux du journal, -detectors/categories.py (D-140). Lecture seule sur data/ ; écrit seulement dans labeling/{auto,manual}/. +detectors/scripts/categories.py (D-140). Lecture seule sur data/ ; écrit seulement dans labeling/{auto,manual}/. """ import bisect import functools @@ -18,9 +18,9 @@ from datetime import datetime, timedelta from pathlib import Path RACINE = Path(__file__).resolve().parents[2] -sys.path[:0] = [str(RACINE / "agent-tools"), str(RACINE / "detectors")] +sys.path[:0] = [str(RACINE / "agent-tools"), str(RACINE / "detectors" / "scripts")] import donnees # noqa: E402 -from categories import evenements # noqa: E402 +from categories import events # noqa: E402 DONNEES = Path(os.environ.get("AIMSIGHT_DATA", RACINE / "data")).resolve() ETIQUETTES = Path(os.environ.get("AIMSIGHT_LABELS", RACINE / "labeling")).resolve() @@ -180,7 +180,7 @@ def courbes(station, du, au): HISTORIQUE = timedelta(days=3) # jours d'avant donnés aux détecteurs, comme categories.py (règle du 2026-10-24) -# ponytail: gardés jusqu'au redémarrage du serveur (une minute ou plus par plage) ; relancer après une séance de /detector-learner +# ponytail: gardés jusqu'au redémarrage du serveur (une minute ou plus par plage) ; relancer après un /detectors:wf-improve lancé hors de l'app @functools.lru_cache(maxsize=32) def detecteurs(station, du, au, cibles=""): """-> les événements des détecteurs sur la plage, au format des étiquettes (debut, fin, categorie, description) ; @@ -195,7 +195,7 @@ def detecteurs(station, du, au, cibles=""): raise Refus(f"aucun export « advanced » pour {station}" + " avec ces cibles" * bool(cibles)) a, b = plage(tout, du, au) mesures = {s: k for s, ms in tout.items() if (k := [m for m in ms if a - HISTORIQUE <= m["t"] < b])} - evs = [v for v in evenements(mesures, b, str(d)) if v["end"] >= donnees.iso(a)] if mesures else [] + evs = [v for v in events(mesures, b, str(d)) if v["end"] >= donnees.iso(a)] if mesures else [] refs = {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"} return [{"id": f"D-{i + 1}", "debut": v["start"], "fin": v["end"], "categorie": v["category"], "sorte": v["episodes"][0]["label"], "description": f"{v['episodes'][0]['label']}. {v['text']}", "capteurs": v["sensors"], "ignore": v["ignore"], @@ -205,14 +205,14 @@ def detecteurs(station, du, au, cibles=""): def message(texte): - """Ce qui arrive : la première phrase du journal (detectors/categories.py, phrase), jusqu'à son « ; » ; la suite y dit quoi + """Ce qui arrive : la première phrase du journal (detectors/scripts/categories.py, sentence), jusqu'à son « ; » ; la suite y dit quoi en faire, sauf la phrase des sauts absorbés, gardée. ". " seulement : « 1.5× » ou « 0.30 px » ne coupent pas.""" meme = re.search(r" (The jumps? of .* same cause\.)$", texte) return re.split(r"\. |; ", texte, maxsplit=1)[0].rstrip(".") + "." + (" " + meme.group(1) if meme else "") # Quoi en faire : la colonne « Pour le client » de labeling/familles.md, par famille ; précisée par sorte (le label de l'épisode -# principal, avec son niveau) d'après les phrases du journal validées le 2026-10-24 (detectors/categories.py, phrase) +# principal, avec son niveau) d'après les phrases du journal validées le 2026-10-24 (detectors/scripts/categories.py, sentence) ACTION_FAMILLE = { "Visibility": "Do not trust the curves in this period: this is not a movement.", "Obstruction": "Ignore the curves of the hidden targets in this period.", diff --git a/app/web/src/pages/Data.jsx b/app/web/src/pages/Data.jsx index 66def3b..232082f 100644 --- a/app/web/src/pages/Data.jsx +++ b/app/web/src/pages/Data.jsx @@ -488,7 +488,7 @@ const COULEUR_ETAT = { "en cours": "blue", fini: "teal", erreur: "red", interrom // Une analyse de l'onglet Analysis : son fil (relu toutes les 3 s tant qu'elle travaille), son rapport, et un message à // l'analyste, qui reprend sa session ; à la fin de chaque tour, les étiquettes se relisent. Une analyse finie s'optimise -// (/detectors:detector-learner , puis le tool-builder) : le fil de la séance, puis ses bilans sous le rapport +// (/detectors:wf-improve sur la plage de l'analyse, puis le tool-builder) : le fil de la séance, puis ses bilans sous le rapport function Analyse({ nom, sombre, fini, fermer }) { const [a, setA] = useState(null), [tour, setTour] = useState(0), [texte, setTexte] = useState(""); const boite = useRef(), charge = !!a; @@ -524,7 +524,7 @@ function Analyse({ nom, sombre, fini, fermer }) { {occupe && } - {a.etat === "fini" && + {a.etat === "fini" && } @@ -552,7 +552,7 @@ function Analyse({ nom, sombre, fini, fermer }) { {o.etat === "interrompue" && Arrêtée avec le serveur ; la relancer par le bouton.} {o.bilan && } - {o.bilan && python3 detectors-view/compare.py data/{d.station} --du {d.debut.slice(0, 10)} --au {au}} + {o.bilan && python3 detectors/skills/wf-improve/scripts/score.py data/{d.station} --labels labeling/auto/{d.station}.jsonl --from {d.debut.slice(0, 10)} --to {au}} )} labeling/auto/analyses/{nom}/ diff --git a/detectors b/detectors index 9b3ac0e..3886196 160000 --- a/detectors +++ b/detectors @@ -1 +1 @@ -Subproject commit 9b3ac0ecfeb71255ff4c3cb77f7196e04463ee8e +Subproject commit 388619685a24840bd9a887f8989d5672b02bda9d