Les précédents ne lisent que auto/ : manual/ est à l'utilisateur seul, aucun processus ne s'en sert

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-16 11:37:50 +01:00
1 parent f379836cdc
commit 6dcc1fbc8e
3 files changed
+19 -14

No files matched your search

+16 -11
View File
@@ -1,7 +1,8 @@
"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG).
"""Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur
seul : aucun processus ne s'en sert.
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas.
stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas.
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
@@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle
def etiquettes(racine=ICI):
"""Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance."""
for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))):
source, station = Path(f).parent.name, Path(f).stem
"""Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/."""
for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))):
station = Path(f).stem
for ligne in open(f, encoding="utf-8"):
if ligne.strip():
e = json.loads(ligne)
e["station"], e["provenance"] = station, provenance(source, e)
e["station"], e["provenance"] = station, provenance(e)
yield e
def provenance(source, e):
if source == "manual":
return "expert"
def provenance(e):
if e.get("revue"):
return f"auto, relue le {e['revue']}"
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
@@ -109,8 +108,14 @@ def check():
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)"
assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul
with tempfile.TemporaryDirectory() as d:
for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")):
(Path(d) / sous).mkdir()
(Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8")
assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"]
assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)"
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]