Image embeddings-bge-m3 : jeton exigé devant Ollama

L'image ollama-bge-m3 devient embeddings-bge-m3 (image et conteneur), avec
une description OCI pour la page du paquet dans Gitea.

Caddy 2.10.2, devant Ollama, ne laisse passer que les requêtes qui portent
« Authorization: Bearer <EMBEDDINGS_JETON> » (la « API key » des embeddings
dans LibreDesk) ; Ollama n'écoute plus que dans le conteneur
(127.0.0.1:11435). Le jeton est donné au lancement (ollama/.env, hors de
git), jamais rangé dans l'image publique ; sans jeton valable, le conteneur
refuse de démarrer.

verifier_ollama.py lit le jeton à côté de lui et vérifie aussi qu'une
requête sans jeton est refusée ; 3_brancher_ia.py le donne à l'instance de
test. Essais réels hors ligne et gestes de production (points 1 ter, 6 bis)
dans docs/.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-18 15:28:41 +01:00
1 parent 369f2e0a44
commit 0fa7c4936b
13 files changed
+315 -57

No files matched your search

+27
View File
@@ -0,0 +1,27 @@
# Le portier de l'image embeddings-bge-m3 : seul port publié (11434), il ne laisse passer vers Ollama
# (127.0.0.1:11435, joignable seulement dans le conteneur) que les requêtes qui portent
# « Authorization: Bearer <EMBEDDINGS_JETON> ». Le jeton est donné au lancement, jamais rangé dans l'image.
# demarrer.sh vérifie le jeton avant de lancer Caddy : 32 caractères au moins, lettres, chiffres, « _ » et « - »
# seulement (« * » serait un joker pour le filtre header, « } » casserait la substitution).
{
admin off
auto_https off
persist_config off
}
:11434 {
@autorise header Authorization "Bearer {$EMBEDDINGS_JETON}"
handle @autorise {
reverse_proxy 127.0.0.1:11435 {
# Ollama, lié à 127.0.0.1, refuse (403) un Host qui n'est pas local, comme « ollama:11434 ».
header_up Host 127.0.0.1:11435
header_up -Authorization
}
}
handle {
header WWW-Authenticate "Bearer"
respond "jeton manquant ou invalide" 401
}
}
+20 -6
View File
@@ -1,5 +1,8 @@
# embeddings-bge-m3 : un service d'embeddings (bge-m3, 1024 dimensions, format OpenAI) protégé par un jeton.
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier_ollama.py).
# Devant Ollama, Caddy exige « Authorization: Bearer <EMBEDDINGS_JETON> » (Caddyfile, demarrer.sh).
# Versions figées (Ollama 2026-11-12, Caddy 2026-11-18) ; les changer = reconstruire et revérifier
# (ollama/verifier_ollama.py).
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
@@ -11,21 +14,32 @@ RUN ollama serve >/tmp/serve.log 2>&1 & \
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
/usr/lib/ollama/vulkan /usr/lib/ollama/include
# 2. L'image livrée : la même Ubuntu 24.04 que l'image officielle, Ollama, ses bibliothèques processeur, le modèle.
# 2. Le portier : Caddy, un seul binaire statique, pris dans l'image officielle.
FROM caddy:2.10.2-alpine AS portier
# 3. L'image livrée : la même Ubuntu 24.04 que l'image officielle d'Ollama, Ollama, ses bibliothèques processeur,
# le modèle, et Caddy.
FROM ubuntu:noble-20261024.1
LABEL org.opencontainers.image.title="embeddings-bge-m3" \
org.opencontainers.image.description="Service d'embeddings bge-m3:567m (1024 dimensions), API OpenAI /v1/embeddings, sur processeur, hors ligne, protégé par un jeton (EMBEDDINGS_JETON). Pour la recherche dans la base de connaissances de LibreDesk." \
org.opencontainers.image.source="https://exchange.sensima.ch/maxime.pasquier/aimsight-libredesk" \
org.opencontainers.image.version="0.40.16-567m"
COPY --from=source /usr/bin/ollama /usr/bin/ollama
COPY --from=source /usr/lib/ollama /usr/lib/ollama
# Seulement les modèles : la clé d'identité (id_ed25519) créée par le serveur du pull reste dans l'étape 1 ;
# chaque conteneur génère la sienne au premier démarrage.
COPY --from=source /root/.ollama/models /root/.ollama/models
COPY --from=portier /usr/bin/caddy /usr/bin/caddy
COPY Caddyfile /etc/caddy/Caddyfile
COPY demarrer.sh /usr/local/bin/demarrer.sh
# Écoute sur toutes les interfaces du conteneur ; c'est le compose qui choisit où le port est publié.
# Ollama n'écoute que dans le conteneur (127.0.0.1:11435) ; seul Caddy (11434) est joignable de l'extérieur, et
# c'est le compose qui choisit où ce port est publié.
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
ENV OLLAMA_HOST=0.0.0.0:11434 \
ENV OLLAMA_HOST=127.0.0.1:11435 \
OLLAMA_KEEP_ALIVE=-1 \
OLLAMA_NO_CLOUD=1
EXPOSE 11434
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
ENTRYPOINT ["/usr/bin/ollama"]
CMD ["serve"]
ENTRYPOINT ["/bin/bash", "/usr/local/bin/demarrer.sh"]
+2 -2
View File
@@ -1,5 +1,5 @@
# Surcharge : rattache Ollama au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
# (http://ollama:11434/v1). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
# Surcharge : rattache embeddings-bge-m3 au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
# (http://ollama:11434/v1, avec le jeton comme pour une adresse publiée). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
services:
ollama:
+12 -6
View File
@@ -1,14 +1,20 @@
# Ollama + bge-m3, pour LibreDesk. Ollama n'a pas d'authentification : son port n'est publié que sur 127.0.0.1,
# sauf si OLLAMA_BIND donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique).
# OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
# Ollama occupe déjà 11434.
# embeddings-bge-m3 (Ollama + bge-m3 derrière Caddy), pour LibreDesk. Chaque requête doit porter
# « Authorization: Bearer <EMBEDDINGS_JETON> » (dans LibreDesk : le champ « API key » des embeddings).
# - ollama/.env (hors de git, jamais lu par Claude) : EMBEDDINGS_JETON (32 caractères au moins, lettres, chiffres,
# « _ » et « - ») ; sans lui, le conteneur refuse de démarrer. Et, s'il le faut, OLLAMA_BIND, OLLAMA_PORT.
# - Le jeton ne dispense pas de garder le port à l'intérieur : il n'est publié que sur 127.0.0.1, sauf si OLLAMA_BIND
# donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique ; HTTP en clair).
# - OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
# Ollama occupe déjà 11434.
# docker compose -f ollama/compose.yml build
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
services:
ollama:
build: .
image: exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m
container_name: ollama-bge-m3
image: exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m
container_name: embeddings-bge-m3
restart: unless-stopped
environment:
EMBEDDINGS_JETON: ${EMBEDDINGS_JETON:-}
ports:
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
+32
View File
@@ -0,0 +1,32 @@
#!/bin/bash
# Démarrage de l'image embeddings-bge-m3 : Ollama sur 127.0.0.1:11435 (seulement dans le conteneur), et devant lui
# Caddy sur 11434, qui exige le jeton (Caddyfile). Sans jeton valable, rien ne démarre : on ne peut pas lancer le
# service ouvert par oubli. Si l'un des deux s'arrête, le conteneur s'arrête, et Docker le relance (unless-stopped).
set -uo pipefail
jeton="${EMBEDDINGS_JETON:-}"
if [[ ! "$jeton" =~ ^[A-Za-z0-9_-]{32,}$ ]]; then
echo "EMBEDDINGS_JETON manquant ou invalide : 32 caractères au moins, lettres, chiffres, « _ » et « - » seulement." >&2
echo "Par exemple : python3 -c 'import secrets; print(secrets.token_urlsafe(32))'" >&2
exit 1
fi
# Ollama n'a pas besoin du jeton : il ne le reçoit pas.
env -u EMBEDDINGS_JETON /usr/bin/ollama serve &
ollama=$!
/usr/bin/caddy run --config /etc/caddy/Caddyfile --adapter caddyfile &
caddy=$!
arreter() {
kill -TERM "$ollama" "$caddy" 2>/dev/null
wait
exit 0
}
trap arreter TERM INT
wait -n
code=$?
echo "Ollama ou Caddy s'est arrêté (code $code) : arrêt du conteneur." >&2
kill -TERM "$ollama" "$caddy" 2>/dev/null
wait
exit 1
+50 -11
View File
@@ -1,49 +1,88 @@
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
"""Vérifie qu'une adresse embeddings-bge-m3 (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk
l'attend, avec le jeton, et qu'elle refuse une requête sans jeton.
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
Le jeton vient de la variable EMBEDDINGS_JETON, sinon du fichier .env posé à côté de ce script (ollama/.env, ou
~/ollama/.env sur le serveur) : il n'apparaît ni dans la commande ni dans l'historique, et n'est jamais affiché.
"""
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
import json
import os
import sys
import urllib.error
import urllib.request
from pathlib import Path
MODELE = "bge-m3:567m"
DIMENSION = 1024
VARIABLE = "EMBEDDINGS_JETON"
def _appel(url: str, corps: dict | None = None) -> dict:
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None,
headers={"Content-Type": "application/json", "Authorization": "Bearer ollama"})
class JetonRefuse(RuntimeError):
pass
def lire_jeton(env: dict | None = None, fichier: Path | None = None) -> str | None:
"""Le jeton de `env` (os.environ par défaut), sinon celui du .env à côté de ce script ; None s'il n'y en a pas."""
env = os.environ if env is None else env
fichier = Path(__file__).with_name(".env") if fichier is None else fichier
if env.get(VARIABLE):
return env[VARIABLE]
if not fichier.is_file():
return None
for ligne in fichier.read_text(encoding="utf-8").splitlines():
cle, egal, valeur = ligne.strip().partition("=")
if egal and cle.strip() == VARIABLE:
return valeur.strip().strip("'\"") or None
return None
def _appel(url: str, jeton: str | None, corps: dict | None = None) -> dict:
entetes = {"Content-Type": "application/json"}
if jeton is not None:
entetes["Authorization"] = f"Bearer {jeton}"
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None, headers=entetes)
try:
with urllib.request.urlopen(r, timeout=120) as rep:
return json.loads(rep.read())
except urllib.error.HTTPError as e:
with e:
if e.code == 401:
raise JetonRefuse(f"{url} : 401, jeton refusé") from e
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
except (urllib.error.URLError, TimeoutError) as e:
raise RuntimeError(f"Ollama injoignable à {url} : {getattr(e, 'reason', e)}") from e
raise RuntimeError(f"service d'embeddings injoignable à {url} : {getattr(e, 'reason', e)}") from e
def verifier(base_url: str) -> str:
"""Rend « OK bge-m3:567m, 1024 dimensions » ; lève RuntimeError avec ce qui manque."""
def verifier(base_url: str, jeton: str) -> str:
"""Rend « OK bge-m3:567m, 1024 dimensions, jeton exigé » ; lève RuntimeError avec ce qui manque."""
base = base_url.rstrip("/")
modeles = [m.get("id") for m in _appel(f"{base}/models").get("data") or []]
try:
_appel(f"{base}/models", None)
except JetonRefuse:
pass
else:
raise RuntimeError(f"{base} répond sans jeton : la protection n'est pas active (ancienne image, ou Ollama nu ?)")
modeles = [m.get("id") for m in _appel(f"{base}/models", jeton).get("data") or []]
if MODELE not in modeles:
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
vecteur = _appel(f"{base}/embeddings", {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
vecteur = _appel(f"{base}/embeddings", jeton, {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
)["data"][0]["embedding"]
if len(vecteur) != DIMENSION:
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
return f"OK {MODELE}, {DIMENSION} dimensions"
return f"OK {MODELE}, {DIMENSION} dimensions, jeton exigé"
if __name__ == "__main__":
if len(sys.argv) != 2:
sys.exit(__doc__)
jeton = lire_jeton()
if not jeton:
sys.exit(f"ÉCHEC : pas de jeton ({VARIABLE} dans l'environnement ou dans {Path(__file__).with_name('.env')})")
try:
print(verifier(sys.argv[1]))
print(verifier(sys.argv[1], jeton))
except RuntimeError as e:
sys.exit(f"ÉCHEC : {e}")