Noms plus clairs : snippets/, scripts de test numérotés, verifier_ollama.py
- base_connaissances/ → snippets/ (corpus/ → textes/, instructions.md → consignes_redaction.md, decoupage.py → fichiers.py, importer.py → envoyer.py) ; python3 -m snippets.envoyer. - instance-de-test/ : 1_demarrer.sh, 2_creer_boite_et_cle.py, 3_brancher_ia.py, 4_essayer_brouillons.py, voir_empreintes.sh, connexion_admin.py. - ollama/verifier.py → ollama/verifier_ollama.py ; tests, tâches VS Code et docs alignés. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
3e0b5d03a3
commit
10ed887417
142 files changed
+89
-85
No files matched your search
Vendored
+15
-15
@@ -12,13 +12,13 @@
|
|||||||
{
|
{
|
||||||
"label": "Instance de test : démarrer",
|
"label": "Instance de test : démarrer",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "bash instance-de-test/demarrer.sh '${input:motDePasse}'",
|
"command": "bash instance-de-test/1_demarrer.sh '${input:motDePasse}'",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Instance de test : préparer",
|
"label": "Instance de test : préparer",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "python3 instance-de-test/preparer.py '${input:motDePasse}'",
|
"command": "python3 instance-de-test/2_creer_boite_et_cle.py '${input:motDePasse}'",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@@ -36,19 +36,19 @@
|
|||||||
{
|
{
|
||||||
"label": "Instance de test : brancher sur Ollama",
|
"label": "Instance de test : brancher sur Ollama",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/configurer_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m",
|
"command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/3_brancher_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Instance de test : essai des brouillons",
|
"label": "Instance de test : essai des brouillons",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "python3 instance-de-test/essayer_brouillons.py '${input:motDePasse}'",
|
"command": "python3 instance-de-test/4_essayer_brouillons.py '${input:motDePasse}'",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Instance de test : empreintes des extraits",
|
"label": "Instance de test : voir les empreintes",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "bash instance-de-test/empreintes.sh",
|
"command": "bash instance-de-test/voir_empreintes.sh",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@@ -72,31 +72,31 @@
|
|||||||
{
|
{
|
||||||
"label": "Ollama : vérifier (poste, port 11435)",
|
"label": "Ollama : vérifier (poste, port 11435)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "python3 ollama/verifier.py http://127.0.0.1:11435/v1",
|
"command": "python3 ollama/verifier_ollama.py http://127.0.0.1:11435/v1",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : simulation (instance de test)",
|
"label": "Snippets : envoyer en simulation (instance de test)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer",
|
"command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : ÉCRIRE (instance de test)",
|
"label": "Snippets : ENVOYER (instance de test)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire",
|
"command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : simulation (PRODUCTION)",
|
"label": "Snippets : envoyer en simulation (PRODUCTION)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m base_connaissances.importer",
|
"command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : ÉCRIRE (PRODUCTION)",
|
"label": "Snippets : ENVOYER (PRODUCTION)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m base_connaissances.importer --ecrire",
|
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer --ecrire",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
|
|||||||
@@ -3,7 +3,7 @@
|
|||||||
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
|
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
|
||||||
|
|
||||||
Ce dépôt porte tout ce qu'il faut pour cela :
|
Ce dépôt porte tout ce qu'il faut pour cela :
|
||||||
- `base_connaissances/` : le corpus relu (un fichier par extrait), les instructions communes (`instructions.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
|
- `snippets/` : les textes des snippets, relus (`textes/`, un fichier par snippet), les consignes de rédaction (`consignes_redaction.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
|
||||||
- `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ;
|
- `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ;
|
||||||
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
|
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
|
||||||
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
|
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
|
||||||
@@ -26,18 +26,18 @@ Sous WSL (Ubuntu), depuis `~/Support-LibreDesk`. Il faut `python3` (bibliothèqu
|
|||||||
python3 -m unittest discover -s tests -v
|
python3 -m unittest discover -s tests -v
|
||||||
```
|
```
|
||||||
|
|
||||||
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) et `instance-de-test/.env` (écrit par `preparer.py`).
|
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) et `instance-de-test/.env` (écrit par `2_creer_boite_et_cle.py`).
|
||||||
|
|
||||||
### L'instance de test
|
### L'instance de test
|
||||||
|
|
||||||
Tâches « Instance de test : … », ou :
|
Tâches « Instance de test : … », ou :
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
bash instance-de-test/demarrer.sh 'TestAdmin-2026!'
|
bash instance-de-test/1_demarrer.sh 'TestAdmin-2026!'
|
||||||
```
|
```
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python3 instance-de-test/preparer.py 'TestAdmin-2026!'
|
python3 instance-de-test/2_creer_boite_et_cle.py 'TestAdmin-2026!'
|
||||||
```
|
```
|
||||||
|
|
||||||
Puis Ollama sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435) :
|
Puis Ollama sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435) :
|
||||||
@@ -51,21 +51,21 @@ RESEAU_LIBREDESK=ldtest_libredesk OLLAMA_PORT=11435 docker compose -f ollama/com
|
|||||||
```
|
```
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/configurer_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/3_brancher_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||||
```
|
```
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire
|
set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire
|
||||||
```
|
```
|
||||||
|
|
||||||
L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) :
|
L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) :
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python3 instance-de-test/essayer_brouillons.py 'TestAdmin-2026!'
|
python3 instance-de-test/4_essayer_brouillons.py 'TestAdmin-2026!'
|
||||||
```
|
```
|
||||||
|
|
||||||
Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`.
|
Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`.
|
||||||
|
|
||||||
### Retoucher la base de connaissances
|
### Retoucher la base de connaissances
|
||||||
|
|
||||||
Modifier le fichier dans `base_connaissances/corpus/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Import : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
|
Modifier le fichier dans `snippets/textes/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Snippets : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
|
||||||
+9
-9
@@ -8,13 +8,13 @@ Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon
|
|||||||
|
|
||||||
## Déjà fait (repris de Support-AI)
|
## Déjà fait (repris de Support-AI)
|
||||||
|
|
||||||
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `base_connaissances/corpus/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
|
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `snippets/textes/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
|
||||||
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
|
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
|
||||||
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
|
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
|
||||||
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
|
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
|
||||||
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
|
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
|
||||||
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `base_connaissances/instructions.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
|
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `snippets/consignes_redaction.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
|
||||||
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Import : simulation (PRODUCTION) » puis « Import : ÉCRIRE (PRODUCTION) », puis tout révoquer.
|
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Snippets : envoyer en simulation (PRODUCTION) » puis « Snippets : ENVOYER (PRODUCTION) », puis tout révoquer.
|
||||||
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
|
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
|
||||||
|
|
||||||
## Ollama sur le serveur
|
## Ollama sur le serveur
|
||||||
@@ -38,7 +38,7 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
|||||||
|
|
||||||
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
|
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
|
||||||
```bash
|
```bash
|
||||||
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier.py <serveur>:ollama/
|
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier_ollama.py <serveur>:ollama/
|
||||||
```
|
```
|
||||||
Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`.
|
Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`.
|
||||||
Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
||||||
@@ -60,8 +60,8 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
|||||||
Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`.
|
Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`.
|
||||||
|
|
||||||
- [ ] **9. Vérifier Ollama.**
|
- [ ] **9. Vérifier Ollama.**
|
||||||
- Depuis le serveur : `python3 ~/ollama/verifier.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
|
- Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
|
||||||
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
||||||
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
||||||
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`.
|
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`.
|
||||||
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
|
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
|
||||||
@@ -83,9 +83,9 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
|
|||||||
|
|
||||||
## Au quotidien
|
## Au quotidien
|
||||||
|
|
||||||
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
||||||
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
|
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
|
||||||
- **Retoucher la base** : modifier le fichier dans `base_connaissances/corpus/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
|
- **Retoucher la base** : modifier le fichier dans `snippets/textes/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
|
||||||
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
|
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
|
||||||
|
|
||||||
## Plus tard
|
## Plus tard
|
||||||
@@ -99,5 +99,5 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
|
|||||||
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
|
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
|
||||||
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
|
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
|
||||||
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
|
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
|
||||||
- `essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
|
- `4_essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
|
||||||
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
|
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
|
||||||
@@ -1,5 +1,7 @@
|
|||||||
# Support-LibreDesk : plan de réalisation
|
# Support-LibreDesk : plan de réalisation
|
||||||
|
|
||||||
|
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
|
||||||
|
|
||||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||||
|
|
||||||
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
|
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
|
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
|
||||||
|
|
||||||
|
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
|
||||||
|
|
||||||
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
|
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
|
||||||
|
|
||||||
## 1. L'intention
|
## 1. L'intention
|
||||||
|
|||||||
@@ -29,21 +29,21 @@ Repris de Support-AI (vérifications des 2026-11-09 et 2026-11-11), limité à c
|
|||||||
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
|
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
|
||||||
|
|
||||||
**L'image**
|
**L'image**
|
||||||
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
|
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
|
||||||
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
|
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
|
||||||
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
|
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
|
||||||
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
|
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
|
||||||
|
|
||||||
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
|
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
|
||||||
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
|
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
|
||||||
- Changement d'adresse (`configurer_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
|
- Changement d'adresse (`3_brancher_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`voir_empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
|
||||||
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
|
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
|
||||||
|
|
||||||
**Ollama arrêté pendant le recalcul**
|
**Ollama arrêté pendant le recalcul**
|
||||||
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
|
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
|
||||||
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
|
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
|
||||||
|
|
||||||
**L'essai des brouillons** (`essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
|
**L'essai des brouillons** (`4_essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
|
||||||
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
|
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
|
||||||
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
|
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
|
||||||
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.
|
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.
|
||||||
@@ -1,9 +1,9 @@
|
|||||||
#!/usr/bin/env bash
|
#!/usr/bin/env bash
|
||||||
# Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit.
|
# Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit.
|
||||||
# bash instance-de-test/demarrer.sh <mot de passe System>
|
# bash instance-de-test/1_demarrer.sh <mot de passe System>
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
cd "$(dirname "$0")"
|
cd "$(dirname "$0")"
|
||||||
MDP="${1:?usage : demarrer.sh <mot de passe System>}"
|
MDP="${1:?usage : 1_demarrer.sh <mot de passe System>}"
|
||||||
|
|
||||||
if [ ! -f config.toml ]; then
|
if [ ! -f config.toml ]; then
|
||||||
curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml
|
curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml
|
||||||
@@ -2,12 +2,12 @@
|
|||||||
« Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY,
|
« Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY,
|
||||||
LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée.
|
LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée.
|
||||||
|
|
||||||
python3 instance-de-test/preparer.py <mot de passe System>
|
python3 instance-de-test/2_creer_boite_et_cle.py <mot de passe System>
|
||||||
"""
|
"""
|
||||||
import sys
|
import sys
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from session import B, connexion, req
|
from connexion_admin import B, connexion, req
|
||||||
|
|
||||||
SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none",
|
SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none",
|
||||||
"tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s",
|
"tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s",
|
||||||
@@ -19,7 +19,7 @@ IMAP = {"host": "127.0.0.1", "port": 1, "username": "x", "password": "x", "mailb
|
|||||||
def main(mot_de_passe: str) -> None:
|
def main(mot_de_passe: str) -> None:
|
||||||
connexion(mot_de_passe)
|
connexion(mot_de_passe)
|
||||||
if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []):
|
if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []):
|
||||||
sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis demarrer.sh")
|
sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis 1_demarrer.sh")
|
||||||
req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False,
|
req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False,
|
||||||
"from": "Support <support@example.com>",
|
"from": "Support <support@example.com>",
|
||||||
"config": {"auth_type": "password", "from": "Support <support@example.com>",
|
"config": {"auth_type": "password", "from": "Support <support@example.com>",
|
||||||
@@ -2,16 +2,16 @@
|
|||||||
Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur
|
Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur
|
||||||
d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle.
|
d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle.
|
||||||
|
|
||||||
ANTHROPIC_API_KEY=… python3 instance-de-test/configurer_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
|
ANTHROPIC_API_KEY=… python3 instance-de-test/3_brancher_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
|
||||||
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||||
"""
|
"""
|
||||||
import os
|
import os
|
||||||
import sys
|
import sys
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from session import connexion, req
|
from connexion_admin import connexion, req
|
||||||
|
|
||||||
INSTRUCTIONS = Path(__file__).resolve().parents[1] / "base_connaissances" / "instructions.md"
|
CONSIGNES = Path(__file__).resolve().parents[1] / "snippets" / "consignes_redaction.md"
|
||||||
|
|
||||||
|
|
||||||
def configurer(type_: str, config: dict) -> None:
|
def configurer(type_: str, config: dict) -> None:
|
||||||
@@ -25,7 +25,7 @@ def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str = "ollama
|
|||||||
connexion(mot_de_passe)
|
connexion(mot_de_passe)
|
||||||
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
|
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
|
||||||
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
|
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
|
||||||
"instructions": INSTRUCTIONS.read_text(encoding="utf-8").strip(), "vision": True})
|
"instructions": CONSIGNES.read_text(encoding="utf-8").strip(), "vision": True})
|
||||||
configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele,
|
configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele,
|
||||||
"dimensions": 0, "embedding_max_tokens": 2048})
|
"dimensions": 0, "embedding_max_tokens": 2048})
|
||||||
|
|
||||||
@@ -1,9 +1,9 @@
|
|||||||
"""L'essai des brouillons sur l'instance de test (après preparer.py et configurer_ia.py) : une conversation par mail de
|
"""L'essai des brouillons sur l'instance de test (après 2_creer_boite_et_cle.py et 3_brancher_ia.py) : une conversation par mail de
|
||||||
instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger.
|
instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger.
|
||||||
|
|
||||||
Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir.
|
Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir.
|
||||||
|
|
||||||
python3 instance-de-test/essayer_brouillons.py [mot de passe System]
|
python3 instance-de-test/4_essayer_brouillons.py [mot de passe System]
|
||||||
"""
|
"""
|
||||||
import datetime
|
import datetime
|
||||||
import html
|
import html
|
||||||
@@ -14,7 +14,7 @@ import time
|
|||||||
import urllib.request
|
import urllib.request
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from session import connexion, req
|
from connexion_admin import connexion, req
|
||||||
|
|
||||||
MAILPIT = "http://127.0.0.1:9125/api/v1/messages"
|
MAILPIT = "http://127.0.0.1:9125/api/v1/messages"
|
||||||
ICI = Path(__file__).resolve().parent
|
ICI = Path(__file__).resolve().parent
|
||||||
File renamed without changes.
File renamed without changes.
+1
-1
@@ -1,5 +1,5 @@
|
|||||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||||
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier.py).
|
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier_ollama.py).
|
||||||
|
|
||||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||||
|
|||||||
@@ -1,7 +1,7 @@
|
|||||||
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
||||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||||
|
|
||||||
python3 ollama/verifier.py http://127.0.0.1:11434/v1
|
python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
|
||||||
"""
|
"""
|
||||||
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
||||||
|
|
||||||
File renamed without changes.
File renamed without changes.
@@ -1,10 +1,10 @@
|
|||||||
"""Pousse le corpus dans la base de connaissances de LibreDesk (les « extraits », privés, lus par l'IA seulement).
|
"""Envoie les textes de snippets/textes/ dans LibreDesk : ce sont ses snippets (les « extraits », privés, lus par l'IA seulement).
|
||||||
|
|
||||||
Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais :
|
Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais :
|
||||||
un extrait de LibreDesk absent du corpus est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par
|
un extrait de LibreDesk absent de snippets/textes/ est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par
|
||||||
défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage).
|
défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage).
|
||||||
|
|
||||||
LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m base_connaissances.importer [--ecrire]
|
LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m snippets.envoyer [--ecrire]
|
||||||
"""
|
"""
|
||||||
import html as html_lib
|
import html as html_lib
|
||||||
import json
|
import json
|
||||||
@@ -17,9 +17,9 @@ import urllib.request
|
|||||||
from dataclasses import dataclass, field
|
from dataclasses import dataclass, field
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from base_connaissances.decoupage import Extrait, lire_corpus
|
from snippets.fichiers import Extrait, lire_textes
|
||||||
|
|
||||||
CORPUS = Path(__file__).resolve().parent / "corpus"
|
TEXTES = Path(__file__).resolve().parent / "textes"
|
||||||
PUCE = re.compile(r"^\s*- ")
|
PUCE = re.compile(r"^\s*- ")
|
||||||
|
|
||||||
|
|
||||||
@@ -120,11 +120,11 @@ def main(argv: list[str]) -> None:
|
|||||||
ecrire = "--ecrire" in argv
|
ecrire = "--ecrire" in argv
|
||||||
api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"],
|
api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"],
|
||||||
ecrire=ecrire)
|
ecrire=ecrire)
|
||||||
b = synchroniser(api, lire_corpus(CORPUS))
|
b = synchroniser(api, lire_textes(TEXTES))
|
||||||
print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}"
|
print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}"
|
||||||
+ ("" if ecrire else " (simulation : rien n'a été écrit)"))
|
+ ("" if ecrire else " (simulation : rien n'a été écrit)"))
|
||||||
for t in b.inconnus:
|
for t in b.inconnus:
|
||||||
print(f"dans LibreDesk mais pas dans le corpus (non supprimé) : {t}")
|
print(f"dans LibreDesk mais pas dans snippets/textes/ (non supprimé) : {t}")
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
@@ -1,5 +1,5 @@
|
|||||||
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
|
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
|
||||||
de LibreDesk ; écriture et lecture du corpus (un fichier Markdown par extrait)."""
|
de LibreDesk ; écriture et lecture de snippets/textes/ (un fichier Markdown par extrait)."""
|
||||||
import re
|
import re
|
||||||
import unicodedata
|
import unicodedata
|
||||||
from dataclasses import dataclass
|
from dataclasses import dataclass
|
||||||
@@ -95,13 +95,13 @@ def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extr
|
|||||||
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
|
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
|
||||||
|
|
||||||
|
|
||||||
def ecrire_corpus(extraits: list[Extrait], dossier: Path) -> None:
|
def ecrire_textes(extraits: list[Extrait], dossier: Path) -> None:
|
||||||
dossier.mkdir(parents=True, exist_ok=True)
|
dossier.mkdir(parents=True, exist_ok=True)
|
||||||
for e in extraits:
|
for e in extraits:
|
||||||
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
|
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
|
||||||
|
|
||||||
|
|
||||||
def lire_corpus(dossier: Path) -> list[Extrait]:
|
def lire_textes(dossier: Path) -> list[Extrait]:
|
||||||
extraits = []
|
extraits = []
|
||||||
for f in sorted(dossier.glob("*.md")):
|
for f in sorted(dossier.glob("*.md")):
|
||||||
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
|
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
|
||||||
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
Loaded 100 of 142 files, more files were not shown because too many files have changed in this diff.
Show more
Reference in new issue
Block a user