From 6dcc1fbc8e4e37e0e202815158696eb77d51c58a Mon Sep 17 00:00:00 2001 From: maxime Date: Mon, 16 Nov 2026 11:37:50 +0100 Subject: [PATCH] =?UTF-8?q?Les=20pr=C3=A9c=C3=A9dents=20ne=20lisent=20que?= =?UTF-8?q?=20auto/=20:=20manual/=20est=20=C3=A0=20l'utilisateur=20seul,?= =?UTF-8?q?=20aucun=20processus=20ne=20s'en=20sert?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- CLAUDE.md | 2 +- README.md | 4 ++-- precedents.py | 27 ++++++++++++++++----------- 3 files changed, 19 insertions(+), 14 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index 4351c77..0489144 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -8,7 +8,7 @@ labeling : les étiquettes des déplacements AIMsight et le savoir pour les pose - **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`. Règles : -- **`manual/` est à l'expert** : aucun agent n'y écrit. +- **`manual/` est à l'expert, pour lui seul** : aucun agent ni aucun processus n'y lit ni n'y écrit ; tout le projet (analyste, précédents, benchmark, optimisation) n'utilise que `auto/`. - Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais. - Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée. - Pas de règle propre à une station, une cible ou une date dans les règles et les familles. diff --git a/README.md b/README.md index e8e38f8..2f72b32 100644 --- a/README.md +++ b/README.md @@ -2,11 +2,11 @@ Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste. -- `manual/.jsonl` : les étiquettes de l'expert ; `auto/.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille. +- `manual/.jsonl` : les étiquettes de l'expert, pour lui seul : aucun processus ni aucun agent ne s'en sert ; `auto/.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille. - `auto/analyses/__/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git). - `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris. - `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune). -- `precedents.py` : le RAG des étiquettes. Les étiquettes de `manual/` et `auto/` les plus proches d'un texte par le sens, avec leur provenance ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU). +- `precedents.py` : le RAG des étiquettes. Les étiquettes de `auto/` les plus proches d'un texte par le sens, avec leur provenance (relue ou non) ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU). Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`). diff --git a/precedents.py b/precedents.py index d3914dc..f9955e6 100644 --- a/precedents.py +++ b/precedents.py @@ -1,7 +1,8 @@ -"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG). +"""Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur +seul : aucun processus ne s'en sert. L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes -stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas. +stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas. python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence" python3 labeling/precedents.py "" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5 @@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle def etiquettes(racine=ICI): - """Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance.""" - for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))): - source, station = Path(f).parent.name, Path(f).stem + """Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/.""" + for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))): + station = Path(f).stem for ligne in open(f, encoding="utf-8"): if ligne.strip(): e = json.loads(ligne) - e["station"], e["provenance"] = station, provenance(source, e) + e["station"], e["provenance"] = station, provenance(e) yield e -def provenance(source, e): - if source == "manual": - return "expert" +def provenance(e): if e.get("revue"): return f"auto, relue le {e['revue']}" return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "") @@ -109,8 +108,14 @@ def check(): assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z") assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z") - assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04" - assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)" + assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04" + import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul + with tempfile.TemporaryDirectory() as d: + for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")): + (Path(d) / sous).mkdir() + (Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8") + assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"] + assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)" a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"} vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]} assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]