Ollama : image avec bge-m3 embarqué, lancement, vérification
Image en deux étapes : sans les bibliothèques GPU (2,43 Go au lieu de 10,7 Go), sans appel à ollama.com. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c07a230ea0
commit
72a10c3c4c
5 files changed
+211
No files matched your search
@@ -0,0 +1,29 @@
|
||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier.py).
|
||||
|
||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||
FROM ollama/ollama:0.40.16 AS source
|
||||
RUN ollama serve >/tmp/serve.log 2>&1 & \
|
||||
for i in $(seq 30); do ollama list >/dev/null 2>&1 && break; sleep 1; done && \
|
||||
ollama pull bge-m3:567m && \
|
||||
ollama list | grep -q 'bge-m3:567m' && \
|
||||
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
||||
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
||||
|
||||
# 2. L'image livrée : la même Ubuntu 24.04 que l'image officielle, Ollama, ses bibliothèques processeur, le modèle.
|
||||
FROM ubuntu:noble-20261024.1
|
||||
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
||||
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
||||
COPY --from=source /root/.ollama /root/.ollama
|
||||
|
||||
# Écoute sur toutes les interfaces du conteneur ; c'est le compose qui choisit où le port est publié.
|
||||
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
||||
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
||||
ENV OLLAMA_HOST=0.0.0.0:11434 \
|
||||
OLLAMA_KEEP_ALIVE=-1 \
|
||||
OLLAMA_NO_CLOUD=1
|
||||
EXPOSE 11434
|
||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
||||
ENTRYPOINT ["/usr/bin/ollama"]
|
||||
CMD ["serve"]
|
||||
@@ -0,0 +1,13 @@
|
||||
# Surcharge : rattache Ollama au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
networks:
|
||||
libredesk:
|
||||
aliases: [ollama]
|
||||
|
||||
networks:
|
||||
libredesk:
|
||||
name: ${RESEAU_LIBREDESK:?donner le réseau Docker de LibreDesk dans RESEAU_LIBREDESK}
|
||||
external: true
|
||||
@@ -0,0 +1,14 @@
|
||||
# Ollama + bge-m3, pour LibreDesk. Ollama n'a pas d'authentification : son port n'est publié que sur 127.0.0.1,
|
||||
# sauf si OLLAMA_BIND donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique).
|
||||
# OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# docker compose -f ollama/compose.yml build
|
||||
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m
|
||||
container_name: ollama-bge-m3
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
||||
@@ -0,0 +1,47 @@
|
||||
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||
|
||||
python3 ollama/verifier.py http://127.0.0.1:11434/v1
|
||||
"""
|
||||
import json
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
MODELE = "bge-m3:567m"
|
||||
DIMENSION = 1024
|
||||
|
||||
|
||||
def _appel(url: str, corps: dict | None = None) -> dict:
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None,
|
||||
headers={"Content-Type": "application/json", "Authorization": "Bearer ollama"})
|
||||
try:
|
||||
with urllib.request.urlopen(r, timeout=120) as rep:
|
||||
return json.loads(rep.read())
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
raise RuntimeError(f"Ollama injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
|
||||
|
||||
def verifier(base_url: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions » ; lève RuntimeError avec ce qui manque."""
|
||||
base = base_url.rstrip("/")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models").get("data") or []]
|
||||
if MODELE not in modeles:
|
||||
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
||||
vecteur = _appel(f"{base}/embeddings", {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
)["data"][0]["embedding"]
|
||||
if len(vecteur) != DIMENSION:
|
||||
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions"
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 2:
|
||||
sys.exit(__doc__)
|
||||
try:
|
||||
print(verifier(sys.argv[1]))
|
||||
except RuntimeError as e:
|
||||
sys.exit(f"ÉCHEC : {e}")
|
||||
Reference in new issue
Block a user