Les précédents ne lisent que auto/ : manual/ est à l'utilisateur seul, aucun processus ne s'en sert
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
f379836cdc
commit
6dcc1fbc8e
3 files changed
+19
-14
No files matched your search
+16
-11
@@ -1,7 +1,8 @@
|
||||
"""Les précédents : les étiquettes (manual/ et auto/) les plus proches d'un texte, par le sens (RAG).
|
||||
"""Les précédents : les étiquettes de auto/ les plus proches d'un texte, par le sens (RAG). manual/ est à l'utilisateur
|
||||
seul : aucun processus ne s'en sert.
|
||||
|
||||
L'analyste décrit ce qu'il voit sur sa plage ; l'outil rend les étiquettes déjà posées qui en parlent le plus, toutes
|
||||
stations, avec leur provenance (expert, auto relue, auto non relue) : à lui de juger si elles valent pour son cas.
|
||||
stations, avec leur provenance (relue, non relue) : à lui de juger si elles valent pour son cas.
|
||||
|
||||
python3 labeling/precedents.py "les cibles sautent ensemble quand une référence est rejetée par intermittence"
|
||||
python3 labeling/precedents.py "<texte>" --exclure NORDEND 2026-11-04T21:12Z 2026-11-07T14:12Z --famille Obstruction --k 5
|
||||
@@ -31,19 +32,17 @@ LOT = 32 # textes par appel au modèle
|
||||
|
||||
|
||||
def etiquettes(racine=ICI):
|
||||
"""Toutes les étiquettes de manual/ et auto/, avec leur station et leur provenance."""
|
||||
for f in sorted(glob.glob(str(racine / "manual" / "*.jsonl")) + glob.glob(str(racine / "auto" / "*.jsonl"))):
|
||||
source, station = Path(f).parent.name, Path(f).stem
|
||||
"""Toutes les étiquettes de auto/, avec leur station et leur provenance ; jamais celles de manual/."""
|
||||
for f in sorted(glob.glob(str(racine / "auto" / "*.jsonl"))):
|
||||
station = Path(f).stem
|
||||
for ligne in open(f, encoding="utf-8"):
|
||||
if ligne.strip():
|
||||
e = json.loads(ligne)
|
||||
e["station"], e["provenance"] = station, provenance(source, e)
|
||||
e["station"], e["provenance"] = station, provenance(e)
|
||||
yield e
|
||||
|
||||
|
||||
def provenance(source, e):
|
||||
if source == "manual":
|
||||
return "expert"
|
||||
def provenance(e):
|
||||
if e.get("revue"):
|
||||
return f"auto, relue le {e['revue']}"
|
||||
return "auto, non relue" + (f" (analyse {e['analyse']})" if e.get("analyse") else "")
|
||||
@@ -109,8 +108,14 @@ def check():
|
||||
assert recouvre(e, "S", "2026-11-03T00:00Z", "2026-11-04T00:00Z") # bord commun : exclue
|
||||
assert not recouvre(e, "S", "2026-11-05T00:01Z", "2026-11-06T00:00Z")
|
||||
assert not recouvre(e, "T", "2026-11-04T12:00Z", "2026-11-06T00:00Z")
|
||||
assert provenance("manual", {}) == "expert" and provenance("auto", {"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
|
||||
assert provenance("auto", {"analyse": "X"}) == "auto, non relue (analyse X)"
|
||||
assert provenance({"revue": "2026-11-04"}) == "auto, relue le 2026-11-04"
|
||||
import tempfile # seules les étiquettes de auto/ servent : manual/ est à l'utilisateur seul
|
||||
with tempfile.TemporaryDirectory() as d:
|
||||
for sous, desc in (("manual", "de l'utilisateur"), ("auto", "d'un agent")):
|
||||
(Path(d) / sous).mkdir()
|
||||
(Path(d) / sous / "S.jsonl").write_text(json.dumps({**e, "description": desc}) + "\n", encoding="utf-8")
|
||||
assert [x["description"] for x in etiquettes(Path(d))] == ["d'un agent"]
|
||||
assert provenance({"analyse": "X"}) == "auto, non relue (analyse X)"
|
||||
a, b = {**e, "categorie": "A", "description": "a"}, {**e, "station": "T", "categorie": "B", "description": "b"}
|
||||
vec = {cle(texte(a)): [1.0, 0.0], cle(texte(b)): [0.6, 0.8]}
|
||||
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]
|
||||
|
||||
Reference in new issue
Block a user