Les précédents ne lisent que auto/ : manual/ est à l'utilisateur seul, aucun processus ne s'en sert

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-16 11:37:50 +01:00
1 parent f379836cdc
commit 6dcc1fbc8e
3 files changed
+19 -14

No files matched your search

+1 -1
View File
@@ -8,7 +8,7 @@ labeling : les étiquettes des déplacements AIMsight et le savoir pour les pose
- **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`. - **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`.
Règles : Règles :
- **`manual/` est à l'expert** : aucun agent n'y écrit. - **`manual/` est à l'expert, pour lui seul** : aucun agent ni aucun processus n'y lit ni n'y écrit ; tout le projet (analyste, précédents, benchmark, optimisation) n'utilise que `auto/`.
- Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais. - Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais.
- Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée. - Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée.
- Pas de règle propre à une station, une cible ou une date dans les règles et les familles. - Pas de règle propre à une station, une cible ou une date dans les règles et les familles.
+2 -2
View File
@@ -2,11 +2,11 @@
Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste. Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste.
- `manual/<STATION>.jsonl` : les étiquettes de l'expert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille. - `manual/<STATION>.jsonl` : les étiquettes de l'expert, pour lui seul : aucun processus ni aucun agent ne s'en sert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
- `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git). - `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git).
- `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris. - `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris.
- `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune). - `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune).
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `manual/` et `auto/` les plus proches d'un texte par le sens, avec leur provenance ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU). - `precedents.py` : le RAG des étiquettes. Les étiquettes de `auto/` les plus proches d'un texte par le sens, avec leur provenance (relue ou non) ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`). Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`).
+16 -11
View File
@@ -1,7 +1,8 @@
"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG). """Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur
seul : aucun processus ne s'en sert.
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas. stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas.
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence" python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5 python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
@@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle
def etiquettes(racine=ICI): def etiquettes(racine=ICI):
"""Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance.""" """Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/."""
for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))): for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))):
source, station = Path(f).parent.name, Path(f).stem station = Path(f).stem
for ligne in open(f, encoding="utf-8"): for ligne in open(f, encoding="utf-8"):
if ligne.strip(): if ligne.strip():
e = json.loads(ligne) e = json.loads(ligne)
e["station"], e["provenance"] = station, provenance(source, e) e["station"], e["provenance"] = station, provenance(e)
yield e yield e
def provenance(source, e): def provenance(e):
if source == "manual":
return "expert"
if e.get("revue"): if e.get("revue"):
return f"auto, relue le {e['revue']}" return f"auto, relue le {e['revue']}"
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "") return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
@@ -109,8 +108,14 @@ def check():
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z") assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z") assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04" assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)" import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul
with tempfile.TemporaryDirectory() as d:
for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")):
(Path(d) / sous).mkdir()
(Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8")
assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"]
assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)"
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"} a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]} vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"] assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]