Ollama : image avec bge-m3 embarqué, lancement, vérification
Image en deux étapes : sans les bibliothèques GPU (2,43 Go au lieu de 10,7 Go), sans appel à ollama.com. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c07a230ea0
commit
72a10c3c4c
5 files changed
+211
No files matched your search
@@ -0,0 +1,29 @@
|
||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier.py).
|
||||
|
||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||
FROM ollama/ollama:0.40.16 AS source
|
||||
RUN ollama serve >/tmp/serve.log 2>&1 & \
|
||||
for i in $(seq 30); do ollama list >/dev/null 2>&1 && break; sleep 1; done && \
|
||||
ollama pull bge-m3:567m && \
|
||||
ollama list | grep -q 'bge-m3:567m' && \
|
||||
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
||||
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
||||
|
||||
# 2. L'image livrée : la même Ubuntu 24.04 que l'image officielle, Ollama, ses bibliothèques processeur, le modèle.
|
||||
FROM ubuntu:noble-20261024.1
|
||||
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
||||
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
||||
COPY --from=source /root/.ollama /root/.ollama
|
||||
|
||||
# Écoute sur toutes les interfaces du conteneur ; c'est le compose qui choisit où le port est publié.
|
||||
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
||||
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
||||
ENV OLLAMA_HOST=0.0.0.0:11434 \
|
||||
OLLAMA_KEEP_ALIVE=-1 \
|
||||
OLLAMA_NO_CLOUD=1
|
||||
EXPOSE 11434
|
||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
||||
ENTRYPOINT ["/usr/bin/ollama"]
|
||||
CMD ["serve"]
|
||||
@@ -0,0 +1,13 @@
|
||||
# Surcharge : rattache Ollama au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
networks:
|
||||
libredesk:
|
||||
aliases: [ollama]
|
||||
|
||||
networks:
|
||||
libredesk:
|
||||
name: ${RESEAU_LIBREDESK:?donner le réseau Docker de LibreDesk dans RESEAU_LIBREDESK}
|
||||
external: true
|
||||
@@ -0,0 +1,14 @@
|
||||
# Ollama + bge-m3, pour LibreDesk. Ollama n'a pas d'authentification : son port n'est publié que sur 127.0.0.1,
|
||||
# sauf si OLLAMA_BIND donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique).
|
||||
# OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# docker compose -f ollama/compose.yml build
|
||||
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m
|
||||
container_name: ollama-bge-m3
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
||||
@@ -0,0 +1,47 @@
|
||||
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||
|
||||
python3 ollama/verifier.py http://127.0.0.1:11434/v1
|
||||
"""
|
||||
import json
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
MODELE = "bge-m3:567m"
|
||||
DIMENSION = 1024
|
||||
|
||||
|
||||
def _appel(url: str, corps: dict | None = None) -> dict:
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None,
|
||||
headers={"Content-Type": "application/json", "Authorization": "Bearer ollama"})
|
||||
try:
|
||||
with urllib.request.urlopen(r, timeout=120) as rep:
|
||||
return json.loads(rep.read())
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
raise RuntimeError(f"Ollama injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
|
||||
|
||||
def verifier(base_url: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions » ; lève RuntimeError avec ce qui manque."""
|
||||
base = base_url.rstrip("/")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models").get("data") or []]
|
||||
if MODELE not in modeles:
|
||||
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
||||
vecteur = _appel(f"{base}/embeddings", {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
)["data"][0]["embedding"]
|
||||
if len(vecteur) != DIMENSION:
|
||||
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions"
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 2:
|
||||
sys.exit(__doc__)
|
||||
try:
|
||||
print(verifier(sys.argv[1]))
|
||||
except RuntimeError as e:
|
||||
sys.exit(f"ÉCHEC : {e}")
|
||||
@@ -0,0 +1,108 @@
|
||||
"""L'image Ollama : le script de vérification (contre un faux serveur) et les garde-fous du lancement (design §2, §5)."""
|
||||
import json
|
||||
import socket
|
||||
import sys
|
||||
import threading
|
||||
import unittest
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
from pathlib import Path
|
||||
|
||||
OLLAMA = Path(__file__).resolve().parents[1] / "ollama"
|
||||
COMPOSE = OLLAMA / "compose.yml"
|
||||
DOCKERFILE = OLLAMA / "Dockerfile"
|
||||
sys.path.insert(0, str(OLLAMA))
|
||||
from verifier import verifier # noqa: E402
|
||||
|
||||
|
||||
class FauxOllama:
|
||||
"""Rend `modeles` sur GET /v1/models et un vecteur de `dimension` nombres sur POST /v1/embeddings."""
|
||||
|
||||
def __init__(self, modeles: list[str], dimension: int):
|
||||
faux = self
|
||||
self.corps_recus: list[dict] = []
|
||||
|
||||
class Gestion(BaseHTTPRequestHandler):
|
||||
def _json(self, data: dict):
|
||||
texte = json.dumps(data).encode()
|
||||
self.send_response(200)
|
||||
self.send_header("Content-Type", "application/json")
|
||||
self.send_header("Content-Length", str(len(texte)))
|
||||
self.end_headers()
|
||||
self.wfile.write(texte)
|
||||
|
||||
def do_GET(self):
|
||||
self._json({"object": "list", "data": [{"id": m, "object": "model"} for m in modeles]})
|
||||
|
||||
def do_POST(self):
|
||||
n = int(self.headers.get("Content-Length") or 0)
|
||||
faux.corps_recus.append(json.loads(self.rfile.read(n)))
|
||||
self._json({"object": "list", "data": [{"object": "embedding", "index": 0,
|
||||
"embedding": [0.01] * dimension}]})
|
||||
|
||||
def log_message(self, *_):
|
||||
pass
|
||||
|
||||
self._serveur = ThreadingHTTPServer(("127.0.0.1", 0), Gestion)
|
||||
self.url = f"http://127.0.0.1:{self._serveur.server_address[1]}/v1"
|
||||
threading.Thread(target=self._serveur.serve_forever, daemon=True).start()
|
||||
|
||||
def arreter(self):
|
||||
self._serveur.shutdown()
|
||||
self._serveur.server_close()
|
||||
|
||||
|
||||
class TestVerifier(unittest.TestCase):
|
||||
def faux(self, modeles: list[str], dimension: int) -> FauxOllama:
|
||||
f = FauxOllama(modeles, dimension)
|
||||
self.addCleanup(f.arreter)
|
||||
return f
|
||||
|
||||
def test_modele_et_dimension_ok(self):
|
||||
f = self.faux(["bge-m3:567m"], 1024)
|
||||
self.assertIn("1024", verifier(f.url))
|
||||
self.assertEqual(f.corps_recus[0]["model"], "bge-m3:567m")
|
||||
|
||||
def test_modele_absent(self):
|
||||
f = self.faux(["nomic-embed-text:latest"], 1024)
|
||||
with self.assertRaisesRegex(RuntimeError, "bge-m3:567m"):
|
||||
verifier(f.url)
|
||||
|
||||
def test_mauvaise_dimension(self):
|
||||
f = self.faux(["bge-m3:567m"], 768)
|
||||
with self.assertRaisesRegex(RuntimeError, "768"):
|
||||
verifier(f.url)
|
||||
|
||||
def test_adresse_injoignable(self):
|
||||
with socket.socket() as s: # un port libre, que personne n'écoute une fois fermé (refus immédiat)
|
||||
s.bind(("127.0.0.1", 0))
|
||||
port = s.getsockname()[1]
|
||||
with self.assertRaisesRegex(RuntimeError, "injoignable"):
|
||||
verifier(f"http://127.0.0.1:{port}/v1")
|
||||
|
||||
|
||||
class TestLancement(unittest.TestCase):
|
||||
def test_port_lie_a_localhost_par_defaut(self): # Ollama n'a pas d'authentification
|
||||
self.assertIn('"${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"', COMPOSE.read_text())
|
||||
self.assertNotIn("0.0.0.0:11434:", COMPOSE.read_text())
|
||||
|
||||
def test_redemarrage_automatique(self):
|
||||
self.assertIn("restart: unless-stopped", COMPOSE.read_text())
|
||||
|
||||
def test_version_figee(self):
|
||||
texte = DOCKERFILE.read_text()
|
||||
self.assertRegex(texte, r"FROM ollama/ollama:\d+\.\d+\.\d+\s")
|
||||
self.assertNotIn("latest", texte)
|
||||
self.assertIn("bge-m3:567m", texte)
|
||||
|
||||
def test_pas_d_appel_au_nuage(self): # sans ce réglage, Ollama interroge ollama.com au démarrage
|
||||
self.assertIn("OLLAMA_NO_CLOUD=1", DOCKERFILE.read_text())
|
||||
|
||||
def test_bibliotheques_gpu_non_livrees(self): # 4,4 Go de CUDA inutiles : bge-m3 tourne sur processeur
|
||||
texte = DOCKERFILE.read_text()
|
||||
self.assertIn("COPY --from=", texte)
|
||||
for d in ("cuda_v12", "cuda_v13", "mlx_cuda_v13"):
|
||||
self.assertIn(f"/usr/lib/ollama/{d}", texte)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
Reference in new issue
Block a user