Les précédents ne lisent que auto/ : manual/ est à l'utilisateur seul, aucun processus ne s'en sert
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f379836cdc
commit
6dcc1fbc8e
3 files changed
+19
-14
No files matched your search
@@ -8,7 +8,7 @@ labeling : les étiquettes des déplacements AIMsight et le savoir pour les pose
|
||||
- **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`.
|
||||
|
||||
Règles :
|
||||
- **`manual/` est à l'expert** : aucun agent n'y écrit.
|
||||
- **`manual/` est à l'expert, pour lui seul** : aucun agent ni aucun processus n'y lit ni n'y écrit ; tout le projet (analyste, précédents, benchmark, optimisation) n'utilise que `auto/`.
|
||||
- Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais.
|
||||
- Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée.
|
||||
- Pas de règle propre à une station, une cible ou une date dans les règles et les familles.
|
||||
|
||||
@@ -2,11 +2,11 @@
|
||||
|
||||
Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste.
|
||||
|
||||
- `manual/<STATION>.jsonl` : les étiquettes de l'expert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
|
||||
- `manual/<STATION>.jsonl` : les étiquettes de l'expert, pour lui seul : aucun processus ni aucun agent ne s'en sert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
|
||||
- `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git).
|
||||
- `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris.
|
||||
- `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune).
|
||||
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `manual/` et `auto/` les plus proches d'un texte par le sens, avec leur provenance ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
|
||||
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `auto/` les plus proches d'un texte par le sens, avec leur provenance (relue ou non) ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
|
||||
|
||||
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`).
|
||||
|
||||
|
||||
+16
-11
@@ -1,7 +1,8 @@
|
||||
"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG).
|
||||
"""Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur
|
||||
seul : aucun processus ne s'en sert.
|
||||
|
||||
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
|
||||
stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas.
|
||||
stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas.
|
||||
|
||||
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
|
||||
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
|
||||
@@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle
|
||||
|
||||
|
||||
def etiquettes(racine=ICI):
|
||||
"""Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance."""
|
||||
for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))):
|
||||
source, station = Path(f).parent.name, Path(f).stem
|
||||
"""Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/."""
|
||||
for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))):
|
||||
station = Path(f).stem
|
||||
for ligne in open(f, encoding="utf-8"):
|
||||
if ligne.strip():
|
||||
e = json.loads(ligne)
|
||||
e["station"], e["provenance"] = station, provenance(source, e)
|
||||
e["station"], e["provenance"] = station, provenance(e)
|
||||
yield e
|
||||
|
||||
|
||||
def provenance(source, e):
|
||||
if source == "manual":
|
||||
return "expert"
|
||||
def provenance(e):
|
||||
if e.get("revue"):
|
||||
return f"auto, relue le {e['revue']}"
|
||||
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
|
||||
@@ -109,8 +108,14 @@ def check():
|
||||
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
|
||||
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
|
||||
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
|
||||
assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
|
||||
assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)"
|
||||
assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
|
||||
import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul
|
||||
with tempfile.TemporaryDirectory() as d:
|
||||
for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")):
|
||||
(Path(d) / sous).mkdir()
|
||||
(Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8")
|
||||
assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"]
|
||||
assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)"
|
||||
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
|
||||
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
|
||||
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]
|
||||
|
||||
Reference in new issue
Block a user