From 4d926ecddc972f5d48dbb8d51aaa4f94916eae92 Mon Sep 17 00:00:00 2001 From: maxime Date: Mon, 16 Nov 2026 12:13:17 +0100 Subject: [PATCH] =?UTF-8?q?precedents.py=20d=C3=A9marre=20le=20conteneur?= =?UTF-8?q?=20Ollama=20s'il=20ne=20r=C3=A9pond=20pas,=20puis=20relance=20;?= =?UTF-8?q?=20test=C3=A9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- precedents.py | 59 +++++++++++++++++++++++++++++++++++++++++++++------ 1 file changed, 52 insertions(+), 7 deletions(-) diff --git a/precedents.py b/precedents.py index f9955e6..c0f30b5 100644 --- a/precedents.py +++ b/precedents.py @@ -10,8 +10,8 @@ stations, avec leur provenance (relue, non relue) : à lui de juger si elles val python3 labeling/precedents.py --check # contrôle de la logique, sans Ollama L'index (.index/, hors de git) garde le vecteur de chaque texte : à chaque appel, seules les étiquettes nouvelles ou -modifiées passent par le modèle. Modèle : bge-m3 servi par Ollama, le conteneur ollama-bge-m3 (`docker start -ollama-bge-m3`) ; OLLAMA_URL et RAG_MODELE pour en changer. Bibliothèque standard seulement. +modifiées passent par le modèle. Modèle : bge-m3 servi par Ollama, le conteneur ollama-bge-m3, que l'outil démarre +lui-même s'il ne répond pas (`docker start`) ; OLLAMA_URL et RAG_MODELE pour en changer. Bibliothèque standard seulement. """ import argparse import glob @@ -19,7 +19,9 @@ import hashlib import json import math import os +import subprocess import sys +import time import urllib.request from datetime import datetime from pathlib import Path @@ -27,6 +29,7 @@ from pathlib import Path ICI = Path(__file__).resolve().parent URL = os.environ.get("OLLAMA_URL", "http://10.0.2.140:11435") # le port publié par le conteneur ollama-bge-m3 MODELE = os.environ.get("RAG_MODELE", "bge-m3:567m") +CONTENEUR = "ollama-bge-m3" # démarré par l'outil s'il ne répond pas INDEX = ICI / ".index" / f"{MODELE.replace(':', '_')}.json" LOT = 32 # textes par appel au modèle @@ -70,14 +73,30 @@ def norme(v): return [round(x / n, 5) for x in v] +def demarrer_ollama(attente=120): + """Le conteneur ollama-bge-m3 arrêté : `docker start`, puis attendre qu'il réponde -> True s'il répond.""" + if subprocess.run(["docker", "start", CONTENEUR], capture_output=True).returncode: + return False + fin = time.monotonic() + attente + while time.monotonic() < fin: + try: + with urllib.request.urlopen(f"{URL}/api/version", timeout=5): + return True + except OSError: + time.sleep(2) + return False + + def vectoriser(textes): corps = json.dumps({"model": MODELE, "input": textes}).encode() req = urllib.request.Request(f"{URL}/api/embed", corps, {"Content-Type": "application/json"}) - try: - with urllib.request.urlopen(req, timeout=300) as r: - return [norme(v) for v in json.load(r)["embeddings"]] - except OSError as err: - sys.exit(f"Ollama injoignable sur {URL} ({err}) : `docker start ollama-bge-m3`, ou OLLAMA_URL.") + for essai in (1, 2): # Ollama arrêté : on démarre son conteneur, une fois, puis on relance + try: + with urllib.request.urlopen(req, timeout=300) as r: + return [norme(v) for v in json.load(r)["embeddings"]] + except OSError as err: + if essai == 2 or not demarrer_ollama(): + sys.exit(f"Ollama injoignable sur {URL} ({err}) : `docker start {CONTENEUR}`, ou OLLAMA_URL.") def index_a_jour(toutes): @@ -121,6 +140,32 @@ def check(): assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"] assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0], exclure=("T", e["debut"], e["fin"]))] == ["A"] assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0], famille="A")] == ["A"] + appels, reponses = [], iter([OSError("refusé"), {"embeddings": [[3.0, 4.0]]}]) # Ollama arrêté : démarré, puis la relance passe + + class Reponse: + def __init__(self, r): + self.r = r + + def __enter__(self): + return self + + def __exit__(self, *a): + return False + + def read(self): + return json.dumps(self.r).encode() + + def ouvrir(*a, **k): + r = next(reponses) + if isinstance(r, Exception): + raise r + return Reponse(r) + avant = urllib.request.urlopen, globals()["demarrer_ollama"] + urllib.request.urlopen, globals()["demarrer_ollama"] = ouvrir, lambda: appels.append(1) or True + try: + assert vectoriser(["x"]) == [[0.6, 0.8]] and appels == [1], appels + finally: + urllib.request.urlopen, globals()["demarrer_ollama"] = avant print("ok")