diff --git a/.gitignore b/.gitignore index 857f907..e1eb2aa 100644 --- a/.gitignore +++ b/.gitignore @@ -4,5 +4,6 @@ __pycache__/ app/web/node_modules/ app/web/dist/ labeling +detectors .env /out/ diff --git a/.gitmodules b/.gitmodules deleted file mode 100644 index be064c2..0000000 --- a/.gitmodules +++ /dev/null @@ -1,4 +0,0 @@ -[submodule "detectors"] - path = detectors - url = gitea@exchange.sensima.ch:maxime.pasquier/detectors.git - branch = main diff --git a/.vscode/tasks.json b/.vscode/tasks.json index 85e1578..c442929 100644 --- a/.vscode/tasks.json +++ b/.vscode/tasks.json @@ -3,9 +3,9 @@ "tasks": [ { "label": "Run app", - "detail": "Monte detectors, prépare .venv et le front au besoin, puis lance le serveur sur http://127.0.0.1:8770", + "detail": "Prépare .venv et le front au besoin, puis lance le serveur sur http://127.0.0.1:8770 (liens data, labeling et detectors : README.md)", "type": "shell", - "command": "{ [ -e detectors/.git ] || { git submodule update --init && git -C detectors checkout -q -B main; }; } && { [ -d .venv ] || { python3 -m venv .venv && .venv/bin/pip install -q -r app/requirements.txt; }; } && (cd app/web && { [ -d node_modules ] || npm install; } && npm run build) && .venv/bin/python app/serveur/serveur.py", + "command": "{ [ -d .venv ] || { python3 -m venv .venv && .venv/bin/pip install -q -r app/requirements.txt; }; } && (cd app/web && { [ -d node_modules ] || npm install; } && npm run build) && .venv/bin/python app/serveur/serveur.py", "isBackground": true, "problemMatcher": [] } diff --git a/CLAUDE.md b/CLAUDE.md index 6ea2163..55a2c96 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -1,10 +1,10 @@ # CLAUDE.md -Diagnostic-app : la web app de diagnostic AIMsight et les agents qu'elle lance par `claude -p` (`README.md`). Une caméra suit des cibles sur un ouvrage ; les détecteurs (`detectors/`, un sous-module : le dépôt detectors) lisent les séries de déplacement des stations (`data//`, un lien vers `~/aimsight-data/data`, rempli par le pompage de ce dépôt) et signalent les moments où il ne faut pas se fier aux courbes (pluie, buée, toile d'araignée, turbulence…) ou un vrai mouvement. +Diagnostic-app : la web app de diagnostic AIMsight et les agents qu'elle lance par `claude -p` (`README.md`). Une caméra suit des cibles sur un ouvrage ; les détecteurs (`detectors/`, un lien vers le dépôt `~/detectors`, partagé avec Optimizer) lisent les séries de déplacement des stations (`data//`, un lien vers `~/aimsight-data/data`, rempli par le pompage de ce dépôt) et signalent les moments où il ne faut pas se fier aux courbes (pluie, buée, toile d'araignée, turbulence…) ou un vrai mouvement. -- **Les processus** : l'onglet Analysis lance l'`analyste` sur une plage (étiquettes et rapport dans `labeling/auto/analyses/__/`, versées dans `labeling/auto/.jsonl`) ; « Optimiser les détecteurs » lance `/detectors:wf-improve` sur la plage de l'analyse (le plugin du sous-module `detectors/`, `claude --plugin-dir detectors` ; la requête dans `app/serveur/analyse.py`, son bilan dans `/detectors//summary.md`), qui commite dans `detectors/`, puis le `tool-builder`, qui commite les outils ici. +- **Les processus** : l'onglet Analysis lance l'`analyste` sur une plage (étiquettes et rapport dans `labeling/auto/analyses/__/`, versées dans `labeling/auto/.jsonl`) ; « Optimiser les détecteurs » lance `/detectors:wf-improve` sur la plage de l'analyse (le plugin du dépôt detectors, `claude --plugin-dir detectors` ; la requête dans `app/serveur/analyse.py`, son bilan dans `/detectors//summary.md`), qui commite dans `detectors/`, puis le `tool-builder`, qui commite les outils ici. - **La vérité** : les étiquettes de `labeling/auto/` ; le savoir du labeling est dans `labeling/` (règles, familles, carte, connaissances). `labeling/` est un lien vers le dépôt `~/labeling`, partagé avec Optimizer : on y commite les étiquettes, pas ici. -- **Les détecteurs** : le contrat entre l'app et eux est dans `detectors/CLAUDE.md` (`categories.events`, la requête de `/detectors:wf-improve`, les CLI `--from/--to`) ; un renommage là-bas demande le changement ici. `agent-tools/donnees.py` et `detectors/scripts/data.py` lisent les mêmes mesures : une correction de lecture dans l'un se reporte dans l'autre. Après un commit dans `detectors/` : `git -C detectors push`, puis `git commit -m "..." -- detectors`. +- **Les détecteurs** : le contrat entre l'app et eux est dans `detectors/CLAUDE.md` (`categories.events`, la requête de `/detectors:wf-improve`, les CLI `--from/--to`) ; un renommage là-bas demande le changement ici. `agent-tools/donnees.py` et `detectors/scripts/data.py` lisent les mêmes mesures : une correction de lecture dans l'un se reporte dans l'autre. Un commit dans `detectors/` est un commit du dépôt `~/detectors` : rien à commiter ici, et Optimizer a aussitôt la même version. - **Le benchmark** : `python3 detectors/skills/wf-improve/scripts/regression.py --labels labeling/auto --data data` (~3 min) ; le score d'une plage : `python3 detectors/skills/wf-improve/scripts/score.py data/ --labels labeling/auto/.jsonl --from AAAA-MM-JJ --to AAAA-MM-JJ` (`--to` exclu). - **Le pompage** : dans `~/aimsight-data` (`extraction/pomper.sh`, tâches VS Code **pomper**, **pomper une plage**), en lecture seule sur la plateforme ; mode d'emploi `~/aimsight-data/extraction/README.md`. Claude peut le lancer sur de petites plages ; une longue plage ou un historique, hors des heures chargées. - **Vérifier un changement de l'app** : `.venv/bin/python app/serveur/check.py`, puis `cd app/web && npm run build` et lancer le serveur. Les étiquettes : `python3 labeling/controle.py` (les 18 étiquettes versées par l'app n'ont pas encore `revue`, qu'elle exige : 18 erreurs attendues). diff --git a/README.md b/README.md index 883c7fd..dca92e9 100644 --- a/README.md +++ b/README.md @@ -11,7 +11,7 @@ La web app de diagnostic AIMsight : la page Data (courbes, images de la caméra, - `.claude/` : les agents de l'app, `analyste` et `tool-builder`, et le skill `lire-les-donnees` (le mode d'emploi des outils de lecture). - `agent-tools/` : les outils de lecture ; `donnees.py`, la lecture commune, sert aussi à l'app. - `labeling/` : un lien vers le dépôt `~/labeling`, partagé avec Optimizer (on y commite les étiquettes) : le savoir du labeling (`regles-d-etiquetage.md`, `familles.md`, `carte-des-etiquettes.md`, `connaissances/`), les étiquettes (`auto/.jsonl`, la vérité du benchmark ; `manual/`), les analyses de l'app (`auto/analyses/`), et `controle.py`, `ids.py`. -- `detectors/` : le dépôt **detectors**, en sous-module (voir plus bas). +- `detectors/` : un lien vers le dépôt **detectors** (`~/detectors`), partagé avec Optimizer (voir plus bas). - `data/` : un lien vers `~/aimsight-data/data`, les données des stations, **hors de git**, un dossier par station (`displacement/`, `metrics/`, `camera/`, `images/`). ## Les détecteurs (`detectors/`) @@ -20,18 +20,17 @@ Le dépôt detectors : un détecteur par famille d'étiquettes (`scripts/`), `sc - la page Data montre les événements de `categories.events`, calculés sur les mesures lues par `agent-tools/donnees.py` (les mêmes que celles de `detectors/scripts/data.py`) ; - « Optimiser les détecteurs » donne à `/detectors:wf-improve` la plage, les étiquettes (`labeling/auto/.jsonl`), la vérité de référence (`labeling/auto`, `data`), les familles (`labeling/familles.md`), le rapport de l'analyse et le dossier de sortie, `/detectors//` (la requête : `app/serveur/analyse.py`) ; -- la séance commite dans `detectors/`, sur sa branche `main`, sans pousser. Ensuite : `git -C detectors push`, puis ici `git commit -m "..." -- detectors`, pour que ce dépôt pointe la nouvelle version. +- la séance commite dans `detectors/`, donc dans le dépôt `~/detectors`, sur sa branche courante, sans pousser : Optimizer a aussitôt les nouveaux détecteurs. Pousser : `git -C detectors push`. -Mettre à jour les détecteurs : `git -C detectors pull`, puis `git commit -m "..." -- detectors`. +Mettre à jour les détecteurs : `git -C detectors pull`. ## Installer et lancer -La tâche VS Code **Run app** fait tout : monte `detectors` la première fois (sur sa branche `main`), crée `.venv` et construit le front s'ils manquent, lance le serveur. Il faut les liens vers les données et les étiquettes : `ln -s ~/aimsight-data/data data` et `ln -s ~/labeling labeling` (les dépôts aimsight-data et labeling, clonés à côté). +La tâche VS Code **Run app** crée `.venv` et construit le front s'ils manquent, puis lance le serveur. Il faut les liens vers les données, les étiquettes et les détecteurs : `ln -s ~/aimsight-data/data data`, `ln -s ~/labeling labeling` et `ln -s ~/detectors detectors` (les dépôts aimsight-data, labeling et detectors, clonés à côté). À la main : ```bash -git submodule update --init && git -C detectors checkout -B main python3 -m venv .venv && .venv/bin/pip install -r app/requirements.txt cd app/web && npm install && npm run build && cd ../.. .venv/bin/python app/serveur/serveur.py diff --git a/app/serveur/analyse.py b/app/serveur/analyse.py index b5db475..ccd6347 100644 --- a/app/serveur/analyse.py +++ b/app/serveur/analyse.py @@ -27,7 +27,7 @@ DETECTEURS = station.RACINE / "detectors" AMELIORER = """/detectors:wf-improve DETECTORS: detectors/. STATION: {donnees}/{station}. FROM: {du}. TO: {au}. \ LABELS: {etiquettes}/auto/{station}.jsonl. REFERENCE: --labels {etiquettes}/auto --data {donnees}. \ FAMILIES: {etiquettes}/familles.md. CONTEXT: {analyse}/rapport.md. OUT: {sortie}/. Caller's context: Diagnostic-app, \ -the detectors/ submodule; read-only on {donnees}/ and {etiquettes}/; commit only in detectors/, on its current branch; \ +detectors/ is a link to the detectors repository, shared with Optimizer; read-only on {donnees}/ and {etiquettes}/; commit only in detectors/, on its current branch; \ OUT is in the labeling repository (labeling/ is a link to it): do not commit it.""" DEMANDE = """Station : data/{station}/. Plage : {debut} → {fin} (UTC). Indices de l'utilisateur : {indices}. \ Dossier de sortie : {sortie}/.""" @@ -246,7 +246,7 @@ def optimiser(nom): if etat(nom)["etat"] != "fini": raise station.Refus("seule une analyse finie s'optimise") if not (DETECTEURS / ".claude-plugin" / "plugin.json").exists(): - raise station.Refus("le dépôt detectors n'est pas monté en detectors/ (git submodule update --init)") + raise station.Refus("pas de dépôt detectors en detectors/ (le lien : ln -s ~/detectors detectors)") with verrou: if _optimise(): raise station.Refus(OCCUPE) @@ -270,7 +270,7 @@ def optimiser_fil(nom): station=d["station"], du=d["debut"][:10], au=date.fromisoformat(d["fin"][:10]) + timedelta(days=1), donnees=os.path.relpath(station.DONNEES, station.RACINE), etiquettes=os.path.relpath(station.ETIQUETTES, station.RACINE), analyse=rel, sortie=f"{rel}/detectors/{datetime.now(timezone.utc):%Y%m%dT%H%MZ}") - tours = [[requete, "--plugin-dir", "detectors", + tours = [[requete, "--plugin-dir", "detectors", "--add-dir", str(DETECTEURS.resolve()), # la cible du lien, où la séance écrit "--allowedTools", "Read,Write,Edit,Bash,Agent"], [f"Analyse : {rel}/. Écris {rel}/outils.md.", "--agent", "tool-builder", "--allowedTools", "Read,Write,Edit,Bash"]] for prompt, *options in tours: diff --git a/detectors b/detectors deleted file mode 160000 index 21a35d9..0000000 --- a/detectors +++ /dev/null @@ -1 +0,0 @@ -Subproject commit 21a35d90aaf6d9ffae0e1dde0a228a5b2a68ec10