Les précédents ne lisent que auto/ : manual/ est à l'utilisateur seul, aucun processus ne s'en sert

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-16 11:37:50 +01:00
1 parent f379836cdc
commit 6dcc1fbc8e
3 files changed
+19 -14

No files matched your search

+1 -1
View File
@@ -8,7 +8,7 @@ labeling : les étiquettes des déplacements AIMsight et le savoir pour les pose
- **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`.
Règles :
- **`manual/` est à l'expert** : aucun agent n'y écrit.
- **`manual/` est à l'expert, pour lui seul** : aucun agent ni aucun processus n'y lit ni n'y écrit ; tout le projet (analyste, précédents, benchmark, optimisation) n'utilise que `auto/`.
- Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais.
- Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée.
- Pas de règle propre à une station, une cible ou une date dans les règles et les familles.
+2 -2
View File
@@ -2,11 +2,11 @@
Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste.
- `manual/<STATION>.jsonl` : les étiquettes de l'expert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
- `manual/<STATION>.jsonl` : les étiquettes de l'expert, pour lui seul : aucun processus ni aucun agent ne s'en sert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
- `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git).
- `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris.
- `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune).
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `manual/` et `auto/` les plus proches d'un texte par le sens, avec leur provenance ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `auto/` les plus proches d'un texte par le sens, avec leur provenance (relue ou non) ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`).
+16 -11
View File
@@ -1,7 +1,8 @@
"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG).
"""Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur
seul : aucun processus ne s'en sert.
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas.
stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas.
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
@@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle
def etiquettes(racine=ICI):
"""Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance."""
for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))):
source, station = Path(f).parent.name, Path(f).stem
"""Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/."""
for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))):
station = Path(f).stem
for ligne in open(f, encoding="utf-8"):
if ligne.strip():
e = json.loads(ligne)
e["station"], e["provenance"] = station, provenance(source, e)
e["station"], e["provenance"] = station, provenance(e)
yield e
def provenance(source, e):
if source == "manual":
return "expert"
def provenance(e):
if e.get("revue"):
return f"auto, relue le {e['revue']}"
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
@@ -109,8 +108,14 @@ def check():
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)"
assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul
with tempfile.TemporaryDirectory() as d:
for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")):
(Path(d) / sous).mkdir()
(Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8")
assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"]
assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)"
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]