Image embeddings-bge-m3 : jeton exigé devant Ollama
L'image ollama-bge-m3 devient embeddings-bge-m3 (image et conteneur), avec une description OCI pour la page du paquet dans Gitea. Caddy 2.10.2, devant Ollama, ne laisse passer que les requêtes qui portent « Authorization: Bearer <EMBEDDINGS_JETON> » (la « API key » des embeddings dans LibreDesk) ; Ollama n'écoute plus que dans le conteneur (127.0.0.1:11435). Le jeton est donné au lancement (ollama/.env, hors de git), jamais rangé dans l'image publique ; sans jeton valable, le conteneur refuse de démarrer. verifier_ollama.py lit le jeton à côté de lui et vérifie aussi qu'une requête sans jeton est refusée ; 3_brancher_ia.py le donne à l'instance de test. Essais réels hors ligne et gestes de production (points 1 ter, 6 bis) dans docs/. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
369f2e0a44
commit
0fa7c4936b
13 files changed
+315
-57
No files matched your search
@@ -0,0 +1,27 @@
|
||||
# Le portier de l'image embeddings-bge-m3 : seul port publié (11434), il ne laisse passer vers Ollama
|
||||
# (127.0.0.1:11435, joignable seulement dans le conteneur) que les requêtes qui portent
|
||||
# « Authorization: Bearer <EMBEDDINGS_JETON> ». Le jeton est donné au lancement, jamais rangé dans l'image.
|
||||
# demarrer.sh vérifie le jeton avant de lancer Caddy : 32 caractères au moins, lettres, chiffres, « _ » et « - »
|
||||
# seulement (« * » serait un joker pour le filtre header, « } » casserait la substitution).
|
||||
{
|
||||
admin off
|
||||
auto_https off
|
||||
persist_config off
|
||||
}
|
||||
|
||||
:11434 {
|
||||
@autorise header Authorization "Bearer {$EMBEDDINGS_JETON}"
|
||||
|
||||
handle @autorise {
|
||||
reverse_proxy 127.0.0.1:11435 {
|
||||
# Ollama, lié à 127.0.0.1, refuse (403) un Host qui n'est pas local, comme « ollama:11434 ».
|
||||
header_up Host 127.0.0.1:11435
|
||||
header_up -Authorization
|
||||
}
|
||||
}
|
||||
|
||||
handle {
|
||||
header WWW-Authenticate "Bearer"
|
||||
respond "jeton manquant ou invalide" 401
|
||||
}
|
||||
}
|
||||
+20
-6
@@ -1,5 +1,8 @@
|
||||
# embeddings-bge-m3 : un service d'embeddings (bge-m3, 1024 dimensions, format OpenAI) protégé par un jeton.
|
||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier_ollama.py).
|
||||
# Devant Ollama, Caddy exige « Authorization: Bearer <EMBEDDINGS_JETON> » (Caddyfile, demarrer.sh).
|
||||
# Versions figées (Ollama 2026-11-12, Caddy 2026-11-18) ; les changer = reconstruire et revérifier
|
||||
# (ollama/verifier_ollama.py).
|
||||
|
||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||
@@ -11,21 +14,32 @@ RUN ollama serve >/tmp/serve.log 2>&1 & \
|
||||
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
||||
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
||||
|
||||
# 2. L'image livrée : la même Ubuntu 24.04 que l'image officielle, Ollama, ses bibliothèques processeur, le modèle.
|
||||
# 2. Le portier : Caddy, un seul binaire statique, pris dans l'image officielle.
|
||||
FROM caddy:2.10.2-alpine AS portier
|
||||
|
||||
# 3. L'image livrée : la même Ubuntu 24.04 que l'image officielle d'Ollama, Ollama, ses bibliothèques processeur,
|
||||
# le modèle, et Caddy.
|
||||
FROM ubuntu:noble-20261024.1
|
||||
LABEL org.opencontainers.image.title="embeddings-bge-m3" \
|
||||
org.opencontainers.image.description="Service d'embeddings bge-m3:567m (1024 dimensions), API OpenAI /v1/embeddings, sur processeur, hors ligne, protégé par un jeton (EMBEDDINGS_JETON). Pour la recherche dans la base de connaissances de LibreDesk." \
|
||||
org.opencontainers.image.source="https://exchange.sensima.ch/maxime.pasquier/aimsight-libredesk" \
|
||||
org.opencontainers.image.version="0.40.16-567m"
|
||||
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
||||
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
||||
# Seulement les modèles : la clé d'identité (id_ed25519) créée par le serveur du pull reste dans l'étape 1 ;
|
||||
# chaque conteneur génère la sienne au premier démarrage.
|
||||
COPY --from=source /root/.ollama/models /root/.ollama/models
|
||||
COPY --from=portier /usr/bin/caddy /usr/bin/caddy
|
||||
COPY Caddyfile /etc/caddy/Caddyfile
|
||||
COPY demarrer.sh /usr/local/bin/demarrer.sh
|
||||
|
||||
# Écoute sur toutes les interfaces du conteneur ; c'est le compose qui choisit où le port est publié.
|
||||
# Ollama n'écoute que dans le conteneur (127.0.0.1:11435) ; seul Caddy (11434) est joignable de l'extérieur, et
|
||||
# c'est le compose qui choisit où ce port est publié.
|
||||
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
||||
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
||||
ENV OLLAMA_HOST=0.0.0.0:11434 \
|
||||
ENV OLLAMA_HOST=127.0.0.1:11435 \
|
||||
OLLAMA_KEEP_ALIVE=-1 \
|
||||
OLLAMA_NO_CLOUD=1
|
||||
EXPOSE 11434
|
||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
||||
ENTRYPOINT ["/usr/bin/ollama"]
|
||||
CMD ["serve"]
|
||||
ENTRYPOINT ["/bin/bash", "/usr/local/bin/demarrer.sh"]
|
||||
@@ -1,5 +1,5 @@
|
||||
# Surcharge : rattache Ollama au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# Surcharge : rattache embeddings-bge-m3 au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1, avec le jeton comme pour une adresse publiée). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
|
||||
+12
-6
@@ -1,14 +1,20 @@
|
||||
# Ollama + bge-m3, pour LibreDesk. Ollama n'a pas d'authentification : son port n'est publié que sur 127.0.0.1,
|
||||
# sauf si OLLAMA_BIND donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique).
|
||||
# OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# embeddings-bge-m3 (Ollama + bge-m3 derrière Caddy), pour LibreDesk. Chaque requête doit porter
|
||||
# « Authorization: Bearer <EMBEDDINGS_JETON> » (dans LibreDesk : le champ « API key » des embeddings).
|
||||
# - ollama/.env (hors de git, jamais lu par Claude) : EMBEDDINGS_JETON (32 caractères au moins, lettres, chiffres,
|
||||
# « _ » et « - ») ; sans lui, le conteneur refuse de démarrer. Et, s'il le faut, OLLAMA_BIND, OLLAMA_PORT.
|
||||
# - Le jeton ne dispense pas de garder le port à l'intérieur : il n'est publié que sur 127.0.0.1, sauf si OLLAMA_BIND
|
||||
# donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique ; HTTP en clair).
|
||||
# - OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# docker compose -f ollama/compose.yml build
|
||||
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m
|
||||
container_name: ollama-bge-m3
|
||||
image: exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m
|
||||
container_name: embeddings-bge-m3
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
EMBEDDINGS_JETON: ${EMBEDDINGS_JETON:-}
|
||||
ports:
|
||||
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
||||
@@ -0,0 +1,32 @@
|
||||
#!/bin/bash
|
||||
# Démarrage de l'image embeddings-bge-m3 : Ollama sur 127.0.0.1:11435 (seulement dans le conteneur), et devant lui
|
||||
# Caddy sur 11434, qui exige le jeton (Caddyfile). Sans jeton valable, rien ne démarre : on ne peut pas lancer le
|
||||
# service ouvert par oubli. Si l'un des deux s'arrête, le conteneur s'arrête, et Docker le relance (unless-stopped).
|
||||
set -uo pipefail
|
||||
|
||||
jeton="${EMBEDDINGS_JETON:-}"
|
||||
if [[ ! "$jeton" =~ ^[A-Za-z0-9_-]{32,}$ ]]; then
|
||||
echo "EMBEDDINGS_JETON manquant ou invalide : 32 caractères au moins, lettres, chiffres, « _ » et « - » seulement." >&2
|
||||
echo "Par exemple : python3 -c 'import secrets; print(secrets.token_urlsafe(32))'" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# Ollama n'a pas besoin du jeton : il ne le reçoit pas.
|
||||
env -u EMBEDDINGS_JETON /usr/bin/ollama serve &
|
||||
ollama=$!
|
||||
/usr/bin/caddy run --config /etc/caddy/Caddyfile --adapter caddyfile &
|
||||
caddy=$!
|
||||
|
||||
arreter() {
|
||||
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||
wait
|
||||
exit 0
|
||||
}
|
||||
trap arreter TERM INT
|
||||
|
||||
wait -n
|
||||
code=$?
|
||||
echo "Ollama ou Caddy s'est arrêté (code $code) : arrêt du conteneur." >&2
|
||||
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||
wait
|
||||
exit 1
|
||||
+50
-11
@@ -1,49 +1,88 @@
|
||||
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
||||
"""Vérifie qu'une adresse embeddings-bge-m3 (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk
|
||||
l'attend, avec le jeton, et qu'elle refuse une requête sans jeton.
|
||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||
|
||||
python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
|
||||
|
||||
Le jeton vient de la variable EMBEDDINGS_JETON, sinon du fichier .env posé à côté de ce script (ollama/.env, ou
|
||||
~/ollama/.env sur le serveur) : il n'apparaît ni dans la commande ni dans l'historique, et n'est jamais affiché.
|
||||
"""
|
||||
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
||||
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
MODELE = "bge-m3:567m"
|
||||
DIMENSION = 1024
|
||||
VARIABLE = "EMBEDDINGS_JETON"
|
||||
|
||||
|
||||
def _appel(url: str, corps: dict | None = None) -> dict:
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None,
|
||||
headers={"Content-Type": "application/json", "Authorization": "Bearer ollama"})
|
||||
class JetonRefuse(RuntimeError):
|
||||
pass
|
||||
|
||||
|
||||
def lire_jeton(env: dict | None = None, fichier: Path | None = None) -> str | None:
|
||||
"""Le jeton de `env` (os.environ par défaut), sinon celui du .env à côté de ce script ; None s'il n'y en a pas."""
|
||||
env = os.environ if env is None else env
|
||||
fichier = Path(__file__).with_name(".env") if fichier is None else fichier
|
||||
if env.get(VARIABLE):
|
||||
return env[VARIABLE]
|
||||
if not fichier.is_file():
|
||||
return None
|
||||
for ligne in fichier.read_text(encoding="utf-8").splitlines():
|
||||
cle, egal, valeur = ligne.strip().partition("=")
|
||||
if egal and cle.strip() == VARIABLE:
|
||||
return valeur.strip().strip("'\"") or None
|
||||
return None
|
||||
|
||||
|
||||
def _appel(url: str, jeton: str | None, corps: dict | None = None) -> dict:
|
||||
entetes = {"Content-Type": "application/json"}
|
||||
if jeton is not None:
|
||||
entetes["Authorization"] = f"Bearer {jeton}"
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None, headers=entetes)
|
||||
try:
|
||||
with urllib.request.urlopen(r, timeout=120) as rep:
|
||||
return json.loads(rep.read())
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
if e.code == 401:
|
||||
raise JetonRefuse(f"{url} : 401, jeton refusé") from e
|
||||
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
raise RuntimeError(f"Ollama injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
raise RuntimeError(f"service d'embeddings injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
|
||||
|
||||
def verifier(base_url: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions » ; lève RuntimeError avec ce qui manque."""
|
||||
def verifier(base_url: str, jeton: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions, jeton exigé » ; lève RuntimeError avec ce qui manque."""
|
||||
base = base_url.rstrip("/")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models").get("data") or []]
|
||||
try:
|
||||
_appel(f"{base}/models", None)
|
||||
except JetonRefuse:
|
||||
pass
|
||||
else:
|
||||
raise RuntimeError(f"{base} répond sans jeton : la protection n'est pas active (ancienne image, ou Ollama nu ?)")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models", jeton).get("data") or []]
|
||||
if MODELE not in modeles:
|
||||
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
||||
vecteur = _appel(f"{base}/embeddings", {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
vecteur = _appel(f"{base}/embeddings", jeton, {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
)["data"][0]["embedding"]
|
||||
if len(vecteur) != DIMENSION:
|
||||
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions"
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions, jeton exigé"
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 2:
|
||||
sys.exit(__doc__)
|
||||
jeton = lire_jeton()
|
||||
if not jeton:
|
||||
sys.exit(f"ÉCHEC : pas de jeton ({VARIABLE} dans l'environnement ou dans {Path(__file__).with_name('.env')})")
|
||||
try:
|
||||
print(verifier(sys.argv[1]))
|
||||
print(verifier(sys.argv[1], jeton))
|
||||
except RuntimeError as e:
|
||||
sys.exit(f"ÉCHEC : {e}")
|
||||
Reference in new issue
Block a user