precedents.py démarre le conteneur Ollama s'il ne répond pas, puis relance ; testé

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-16 12:13:17 +01:00
1 parent ac86d8f6cc
commit 4d926ecddc
1 file changed
+52 -7
+52 -7
View File
@@ -10,8 +10,8 @@ stations, avec leur provenance (relue, non relue) : à lui de juger si elles val
python3 labeling/precedents.py --check # contrôle de la logique, sans Ollama
L'index (.index/, hors de git) garde le vecteur de chaque texte : à chaque appel, seules les étiquettes nouvelles ou
modifiées passent par le modèle. Modèle : bge-m3 servi par Ollama, le conteneur ollama-bge-m3 (`docker start
ollama-bge-m3`) ; OLLAMA_URL et RAG_MODELE pour en changer. Bibliothèque standard seulement.
modifiées passent par le modèle. Modèle : bge-m3 servi par Ollama, le conteneur ollama-bge-m3, que l'outil démarre
lui-même s'il ne répond pas (`docker start`) ; OLLAMA_URL et RAG_MODELE pour en changer. Bibliothèque standard seulement.
"""
import argparse
import glob
@@ -19,7 +19,9 @@ import hashlib
import json
import math
import os
import subprocess
import sys
import time
import urllib.request
from datetime import datetime
from pathlib import Path
@@ -27,6 +29,7 @@ from pathlib import Path
ICI = Path(__file__).resolve().parent
URL = os.environ.get("OLLAMA_URL", "http://10.0.2.140:11435") # le port publié par le conteneur ollama-bge-m3
MODELE = os.environ.get("RAG_MODELE", "bge-m3:567m")
CONTENEUR = "ollama-bge-m3" # démarré par l'outil s'il ne répond pas
INDEX = ICI / ".index" / f"{MODELE.replace(':', '_')}.json"
LOT = 32 # textes par appel au modèle
@@ -70,14 +73,30 @@ def norme(v):
return [round(x / n, 5) for x in v]
def demarrer_ollama(attente=120):
"""Le conteneur ollama-bge-m3 arrêté : `docker start`, puis attendre qu'il réponde -> True s'il répond."""
if subprocess.run(["docker", "start", CONTENEUR], capture_output=True).returncode:
return False
fin = time.monotonic() + attente
while time.monotonic() < fin:
try:
with urllib.request.urlopen(f"{URL}/api/version", timeout=5):
return True
except OSError:
time.sleep(2)
return False
def vectoriser(textes):
corps = json.dumps({"model": MODELE, "input": textes}).encode()
req = urllib.request.Request(f"{URL}/api/embed", corps, {"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=300) as r:
return [norme(v) for v in json.load(r)["embeddings"]]
except OSError as err:
sys.exit(f"Ollama injoignable sur {URL} ({err}) : `docker start ollama-bge-m3`, ou OLLAMA_URL.")
for essai in (1, 2): # Ollama arrêté : on démarre son conteneur, une fois, puis on relance
try:
with urllib.request.urlopen(req, timeout=300) as r:
return [norme(v) for v in json.load(r)["embeddings"]]
except OSError as err:
if essai == 2 or not demarrer_ollama():
sys.exit(f"Ollama injoignable sur {URL} ({err}) : `docker start {CONTENEUR}`, ou OLLAMA_URL.")
def index_a_jour(toutes):
@@ -121,6 +140,32 @@ def check():
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0])] == ["B", "A"]
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0], exclure=("T", e["debut"], e["fin"]))] == ["A"]
assert [x["categorie"] for _, x in chercher("", [a, b], vec, [0.0, 1.0], famille="A")] == ["A"]
appels, reponses = [], iter([OSError("refusé"), {"embeddings": [[3.0, 4.0]]}]) # Ollama arrêté : démarré, puis la relance passe
class Reponse:
def __init__(self, r):
self.r = r
def __enter__(self):
return self
def __exit__(self, *a):
return False
def read(self):
return json.dumps(self.r).encode()
def ouvrir(*a, **k):
r = next(reponses)
if isinstance(r, Exception):
raise r
return Reponse(r)
avant = urllib.request.urlopen, globals()["demarrer_ollama"]
urllib.request.urlopen, globals()["demarrer_ollama"] = ouvrir, lambda: appels.append(1) or True
try:
assert vectoriser(["x"]) == [[0.6, 0.8]] and appels == [1], appels
finally:
urllib.request.urlopen, globals()["demarrer_ollama"] = avant
print("ok")