Les précédents ne lisent que auto/ : manual/ est à l'utilisateur seul, aucun processus ne s'en sert
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f379836cdc
commit
6dcc1fbc8e
3 files changed
+19
-14
No files matched your search
@@ -8,7 +8,7 @@ labeling : les étiquettes des déplacements AIMsight et le savoir pour les pose
|
|||||||
- **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`.
|
- **Vérifier** : `python3 controle.py` (aujourd'hui 18 erreurs attendues : les étiquettes versées par l'app sans `revue`) et `python3 precedents.py --check`.
|
||||||
|
|
||||||
Règles :
|
Règles :
|
||||||
- **`manual/` est à l'expert** : aucun agent n'y écrit.
|
- **`manual/` est à l'expert, pour lui seul** : aucun agent ni aucun processus n'y lit ni n'y écrit ; tout le projet (analyste, précédents, benchmark, optimisation) n'utilise que `auto/`.
|
||||||
- Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais.
|
- Une étiquette ajoutée à `auto/` passe par `ids.py` puis `controle.py` ; un id ne change jamais.
|
||||||
- Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée.
|
- Toute heure est en UTC ; descriptions en mots, sans valeur chiffrée.
|
||||||
- Pas de règle propre à une station, une cible ou une date dans les règles et les familles.
|
- Pas de règle propre à une station, une cible ou une date dans les règles et les familles.
|
||||||
|
|||||||
@@ -2,11 +2,11 @@
|
|||||||
|
|
||||||
Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste.
|
Les étiquettes des déplacements AIMsight et toute la connaissance métier pour les poser, en un seul exemplaire sur le poste.
|
||||||
|
|
||||||
- `manual/<STATION>.jsonl` : les étiquettes de l'expert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
|
- `manual/<STATION>.jsonl` : les étiquettes de l'expert, pour lui seul : aucun processus ni aucun agent ne s'en sert ; `auto/<STATION>.jsonl` : celles de l'`etiqueteur` de Support-Agent, relues (`revue`), et celles que verse l'`analyste` de Diagnostic-App, sans `revue` tant qu'elles ne sont pas relues ; une étiquette par ligne, `{"id", "debut", "fin", "categorie", "description", ...}`, heures UTC, `categorie` = la famille.
|
||||||
- `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git).
|
- `auto/analyses/<STATION>_<début>_<fin>/` : les analyses lancées depuis la page Data de Diagnostic-App (`travail/` hors de git).
|
||||||
- `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris.
|
- `familles.md`, `regles-d-etiquetage.md`, `carte-des-etiquettes.md`, `connaissances/` : comment étiqueter, ce que les étiquettes ont appris.
|
||||||
- `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune).
|
- `controle.py` (les étiquettes face aux règles), `ids.py` (l'id stable de chacune).
|
||||||
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `manual/` et `auto/` les plus proches d'un texte par le sens, avec leur provenance ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
|
- `precedents.py` : le RAG des étiquettes. Les étiquettes de `auto/` les plus proches d'un texte par le sens, avec leur provenance (relue ou non) ; `--exclure STATION DEBUT FIN` écarte la plage analysée. Modèle bge-m3 du conteneur Ollama `ollama-bge-m3` (`docker start ollama-bge-m3`, port 11435) ; l'index `.index/`, hors de git, se met à jour seul à chaque appel (seules les étiquettes nouvelles ou modifiées passent par le modèle ; ~8 min pour tout refaire sur CPU).
|
||||||
|
|
||||||
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`).
|
Diagnostic-App et Optimizer y accèdent par un lien `labeling -> ~/labeling`, ignoré par git : Diagnostic-App y lit et écrit (étiquettes, analyses), Optimizer y lit seulement ; on commite ici. `controle.py` et `ids.py` se lancent d'ici ou par le lien (`python3 labeling/controle.py`).
|
||||||
|
|
||||||
|
|||||||
+16
-11
@@ -1,7 +1,8 @@
|
|||||||
"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG).
|
"""Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur
|
||||||
|
seul : aucun processus ne s'en sert.
|
||||||
|
|
||||||
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
|
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
|
||||||
stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas.
|
stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas.
|
||||||
|
|
||||||
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
|
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
|
||||||
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
|
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
|
||||||
@@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle
|
|||||||
|
|
||||||
|
|
||||||
def etiquettes(racine=ICI):
|
def etiquettes(racine=ICI):
|
||||||
"""Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance."""
|
"""Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/."""
|
||||||
for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))):
|
for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))):
|
||||||
source, station = Path(f).parent.name, Path(f).stem
|
station = Path(f).stem
|
||||||
for ligne in open(f, encoding="utf-8"):
|
for ligne in open(f, encoding="utf-8"):
|
||||||
if ligne.strip():
|
if ligne.strip():
|
||||||
e = json.loads(ligne)
|
e = json.loads(ligne)
|
||||||
e["station"], e["provenance"] = station, provenance(source, e)
|
e["station"], e["provenance"] = station, provenance(e)
|
||||||
yield e
|
yield e
|
||||||
|
|
||||||
|
|
||||||
def provenance(source, e):
|
def provenance(e):
|
||||||
if source == "manual":
|
|
||||||
return "expert"
|
|
||||||
if e.get("revue"):
|
if e.get("revue"):
|
||||||
return f"auto, relue le {e['revue']}"
|
return f"auto, relue le {e['revue']}"
|
||||||
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
|
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
|
||||||
@@ -109,8 +108,14 @@ def check():
|
|||||||
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
|
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
|
||||||
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
|
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
|
||||||
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
|
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
|
||||||
assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
|
assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
|
||||||
assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)"
|
import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul
|
||||||
|
with tempfile.TemporaryDirectory() as d:
|
||||||
|
for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")):
|
||||||
|
(Path(d) / sous).mkdir()
|
||||||
|
(Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8")
|
||||||
|
assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"]
|
||||||
|
assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)"
|
||||||
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
|
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
|
||||||
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
|
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
|
||||||
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]
|
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]
|
||||||
|
|||||||
Reference in new issue
Block a user