diff --git a/.vscode/tasks.json b/.vscode/tasks.json index 15f949d..afb2005 100644 --- a/.vscode/tasks.json +++ b/.vscode/tasks.json @@ -21,6 +21,12 @@ "command": "python3 instance-de-test/preparer.py '${input:motDePasse}'", "problemMatcher": [] }, + { + "label": "Instance de test : arrêter", + "type": "shell", + "command": "docker compose -f instance-de-test/docker-compose.yml -p ldtest stop", + "problemMatcher": [] + }, { "label": "Instance de test : effacer", "type": "shell", @@ -57,6 +63,12 @@ "command": "RESEAU_LIBREDESK=ldtest_libredesk OLLAMA_PORT=11435 docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d", "problemMatcher": [] }, + { + "label": "Ollama : arrêter", + "type": "shell", + "command": "docker compose -f ollama/compose.yml stop", + "problemMatcher": [] + }, { "label": "Ollama : vérifier (poste, port 11435)", "type": "shell", diff --git a/docs/production.md b/docs/production.md index 5efa9af..37d69ea 100644 --- a/docs/production.md +++ b/docs/production.md @@ -36,16 +36,34 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk Et la configuration de Caddy, en lecture (`docker exec cat /etc/caddy/Caddyfile`, ou `/etc/caddy/Caddyfile`). **Point d'arrêt** : on s'arrête et Maxime décide si Docker manque, si Maxime n'est pas dans le groupe `docker` (ou sans `sudo`), si `uname -m` n'est pas `x86_64`, si `ip -brief addr` montre l'adresse publique 46.14.212.91 sur une interface du serveur, si la mémoire libre est sous 2 Go, ou si le disque a moins de 5 Go libres. Noter : le nom du conteneur et du réseau de LibreDesk (s'il est dans Docker), l'adresse interne du serveur (`10.…`), et que le port 11434 est libre. -- [ ] **8. Installer Ollama.** Copier le dossier `ollama/` du dépôt sur le serveur (`scp -r ollama :~/`). Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh 'gunzip | docker load'`. - Puis écrire `~/ollama/.env` sur le serveur (Docker Compose le lit à chaque lancement, le réglage survit aux redémarrages), selon l'état des lieux : - - **LibreDesk dans Docker** (cas attendu) : `RESEAU_LIBREDESK=`. Lancer : `cd ~/ollama && docker compose -f compose.yml -f compose.reseau.yml up -d`. Adresse pour LibreDesk : `http://ollama:11434/v1`. Le port n'est publié que sur `127.0.0.1` du serveur. - - **LibreDesk hors de Docker** : `OLLAMA_BIND=`. Lancer : `cd ~/ollama && docker compose -f compose.yml up -d`. Adresse pour LibreDesk : `http://:11434/v1`. - Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped`. +- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk). + ```bash + ssh mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier.py :ollama/ + ``` + Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`. + Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux : + - **LibreDesk dans Docker** (cas attendu) : + ``` + COMPOSE_FILE=compose.yml:compose.reseau.yml + RESEAU_LIBREDESK= + ``` + Adresse pour LibreDesk : `http://ollama:11434/v1`. Le port n'est publié que sur `127.0.0.1` du serveur. + - **LibreDesk hors de Docker** : + ``` + OLLAMA_BIND= + ``` + Adresse pour LibreDesk : `http://:11434/v1`. + Lancer, dans les deux cas (`--no-build` : si l'image manque, Compose s'arrête au lieu de la construire) : + ```bash + cd ~/ollama && docker compose up -d --no-build + ``` + Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`. - [ ] **9. Vérifier Ollama.** - Depuis le serveur : `python3 ~/ollama/verifier.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`. - - Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier.py http://ollama:11434/v1` → même résultat. - - **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`docker compose down`) et revoir le point 7 avec la personne qui gère le serveur. + - Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi). + - **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur. + - Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`. - **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`). - [ ] **10. Brancher LibreDesk sur Ollama.** Admin → IA → Providers, Embeddings : fournisseur OpenAI, URL de l'étape 8, modèle `bge-m3:567m`, clé `ollama`, *dimensions* 0, *embedding max tokens* 2048. Bouton de test, puis enregistrer seulement s'il réussit. @@ -61,11 +79,12 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk - [ ] **13. LM Studio n'est plus nécessaire.** Le PC de Maxime peut être éteint ; garder LM Studio installé quelques jours pour le retour en arrière. ### Retour en arrière -Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `text-embedding-bge-m3`, clé `lm-studio` (LM Studio lancé sur le PC de Maxime), tester, enregistrer : LibreDesk recalcule de nouveau. Puis `cd ~/ollama && docker compose down` sur le serveur si besoin. +Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `text-embedding-bge-m3`, clé `lm-studio` (LM Studio lancé sur le PC de Maxime), tester, enregistrer : LibreDesk recalcule de nouveau. Puis, sur le serveur si besoin : `cd ~/ollama && docker compose down`. ## Au quotidien -- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier.py …` sur le serveur ; `docker start ollama-bge-m3` s'il a été arrêté à la main (un arrêt manuel n'est pas relancé seul). +- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama. +- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk. - **Retoucher la base** : modifier le fichier dans `base_connaissances/corpus/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets. - **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul. diff --git a/ollama/verifier.py b/ollama/verifier.py index c23bf13..5d5711b 100644 --- a/ollama/verifier.py +++ b/ollama/verifier.py @@ -3,6 +3,8 @@ Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans python3 ollama/verifier.py http://127.0.0.1:11434/v1 """ +from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9) + import json import sys import urllib.error diff --git a/tests/test_ollama.py b/tests/test_ollama.py index 5d76c86..e67c3a7 100644 --- a/tests/test_ollama.py +++ b/tests/test_ollama.py @@ -1,4 +1,5 @@ """L'image Ollama : le script de vérification (contre un faux serveur) et les garde-fous du lancement (design §2, §5).""" +import ast import json import socket import sys @@ -80,6 +81,18 @@ class TestVerifier(unittest.TestCase): verifier(f"http://127.0.0.1:{port}/v1") +class TestCompatibilite(unittest.TestCase): + def test_verifier_lisible_par_un_vieux_python(self): # le Python du serveur est inconnu (3.8, 3.9…) + texte = (OLLAMA / "verifier.py").read_text() + arbre = ast.parse(texte) + futur = any(isinstance(n, ast.ImportFrom) and n.module == "__future__" + and any(a.name == "annotations" for a in n.names) for n in arbre.body) + unions = [n for n in ast.walk(arbre) if isinstance(n, (ast.FunctionDef, ast.arg)) + for a in [n.returns if isinstance(n, ast.FunctionDef) else n.annotation] + if a is not None and any(isinstance(b, ast.BinOp) for b in ast.walk(a))] + self.assertTrue(futur or not unions, "annotations « X | None » évaluées à la définition : Python ≥ 3.10") + + class TestLancement(unittest.TestCase): def test_port_lie_a_localhost_par_defaut(self): # Ollama n'a pas d'authentification self.assertIn('"${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"', COMPOSE.read_text()) diff --git a/tests/test_production.py b/tests/test_production.py new file mode 100644 index 0000000..e97ec94 --- /dev/null +++ b/tests/test_production.py @@ -0,0 +1,30 @@ +"""Les gestes de production (docs/production.md) ne peuvent pas abîmer le serveur partagé avec LibreDesk (design §2).""" +import re +import unittest +from pathlib import Path + +PRODUCTION = Path(__file__).resolve().parents[1] / "docs" / "production.md" + + +def lignes_compose() -> list[str]: + return [l for l in PRODUCTION.read_text(encoding="utf-8").splitlines() if re.search(r"docker compose\b.*\bup\b", l)] + + +class TestProduction(unittest.TestCase): + def test_le_serveur_ne_construit_jamais_l_image(self): # un build tirerait ~10 Go sur le disque de LibreDesk + texte = PRODUCTION.read_text(encoding="utf-8") + self.assertNotIn("scp -r ollama", texte) # pas de Dockerfile sur le serveur + self.assertNotIn("Dockerfile ", texte) + self.assertTrue(lignes_compose()) + for l in lignes_compose(): + self.assertIn("--no-build", l, l) + + def test_le_reseau_de_libredesk_est_retenu_par_le_env(self): # un « up » sans -f ne doit pas couper Ollama + texte = PRODUCTION.read_text(encoding="utf-8") + self.assertIn("COMPOSE_FILE=compose.yml:compose.reseau.yml", texte) + self.assertNotIn("-f compose.reseau.yml", texte) + self.assertNotIn("-f compose.yml", texte) + + +if __name__ == "__main__": + unittest.main() diff --git a/tests/test_taches.py b/tests/test_taches.py index 3bf344a..5d0dbe1 100644 --- a/tests/test_taches.py +++ b/tests/test_taches.py @@ -53,6 +53,11 @@ class TestTaches(unittest.TestCase): c = next(c for l, c in commandes().items() if "down -v" in c) self.assertIn('[ "${input:confirmation}" = oui ]', c) + def test_arreter_sans_effacer(self): # design §5 : démarrage ET arrêt de l'instance de test + cmds = list(commandes().values()) + self.assertTrue(any("-p ldtest stop" in c for c in cmds), "pas de tâche qui arrête l'instance de test") + self.assertTrue(any("ollama/compose.yml" in c and " stop" in c for c in cmds), "pas de tâche qui arrête Ollama") + def test_scripts_references_existent(self): for libelle, c in commandes().items(): for chemin in re.findall(r"(?:instance-de-test|ollama)/[\w.-]+\.(?:py|sh|yml)", c):