Noms plus clairs : snippets/, scripts de test numérotés, verifier_ollama.py

- base_connaissances/ → snippets/ (corpus/ → textes/, instructions.md → consignes_redaction.md, decoupage.py → fichiers.py, importer.py → envoyer.py) ; python3 -m snippets.envoyer.
- instance-de-test/ : 1_demarrer.sh, 2_creer_boite_et_cle.py, 3_brancher_ia.py, 4_essayer_brouillons.py, voir_empreintes.sh, connexion_admin.py.
- ollama/verifier.py → ollama/verifier_ollama.py ; tests, tâches VS Code et docs alignés.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-12 10:27:06 +01:00
1 parent 3e0b5d03a3
commit 10ed887417
142 files changed
+89 -85

No files matched your search

+9 -9
View File
@@ -8,13 +8,13 @@ Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon
## Déjà fait (repris de Support-AI)
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `base_connaissances/corpus/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `snippets/textes/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `base_connaissances/instructions.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Import : simulation (PRODUCTION) » puis « Import : ÉCRIRE (PRODUCTION) », puis tout révoquer.
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `snippets/consignes_redaction.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Snippets : envoyer en simulation (PRODUCTION) » puis « Snippets : ENVOYER (PRODUCTION) », puis tout révoquer.
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
## Ollama sur le serveur
@@ -38,7 +38,7 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
```bash
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier.py <serveur>:ollama/
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier_ollama.py <serveur>:ollama/
```
Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`.
Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
@@ -60,8 +60,8 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`.
- [ ] **9. Vérifier Ollama.**
- Depuis le serveur : `python3 ~/ollama/verifier.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
- Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`.
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
@@ -83,9 +83,9 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
## Au quotidien
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
- **Retoucher la base** : modifier le fichier dans `base_connaissances/corpus/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
- **Retoucher la base** : modifier le fichier dans `snippets/textes/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
## Plus tard
@@ -99,5 +99,5 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
- `essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
- `4_essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
@@ -1,5 +1,7 @@
# Support-LibreDesk : plan de réalisation
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
@@ -1,5 +1,7 @@
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
## 1. L'intention
+3 -3
View File
@@ -29,21 +29,21 @@ Repris de Support-AI (vérifications des 2026-11-09 et 2026-11-11), limité à c
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
**L'image**
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
- Changement d'adresse (`configurer_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
- Changement d'adresse (`3_brancher_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`voir_empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
**Ollama arrêté pendant le recalcul**
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
**L'essai des brouillons** (`essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
**L'essai des brouillons** (`4_essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.