Noms plus clairs : snippets/, scripts de test numérotés, verifier_ollama.py

- base_connaissances/ → snippets/ (corpus/ → textes/, instructions.md → consignes_redaction.md, decoupage.py → fichiers.py, importer.py → envoyer.py) ; python3 -m snippets.envoyer.
- instance-de-test/ : 1_demarrer.sh, 2_creer_boite_et_cle.py, 3_brancher_ia.py, 4_essayer_brouillons.py, voir_empreintes.sh, connexion_admin.py.
- ollama/verifier.py → ollama/verifier_ollama.py ; tests, tâches VS Code et docs alignés.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-12 10:27:06 +01:00
1 parent 3e0b5d03a3
commit 10ed887417
142 files changed
+89 -85

No files matched your search

+15 -15
View File
@@ -12,13 +12,13 @@
{ {
"label": "Instance de test : démarrer", "label": "Instance de test : démarrer",
"type": "shell", "type": "shell",
"command": "bash instance-de-test/demarrer.sh '${input:motDePasse}'", "command": "bash instance-de-test/1_demarrer.sh '${input:motDePasse}'",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Instance de test : préparer", "label": "Instance de test : préparer",
"type": "shell", "type": "shell",
"command": "python3 instance-de-test/preparer.py '${input:motDePasse}'", "command": "python3 instance-de-test/2_creer_boite_et_cle.py '${input:motDePasse}'",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
@@ -36,19 +36,19 @@
{ {
"label": "Instance de test : brancher sur Ollama", "label": "Instance de test : brancher sur Ollama",
"type": "shell", "type": "shell",
"command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/configurer_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m", "command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/3_brancher_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Instance de test : essai des brouillons", "label": "Instance de test : essai des brouillons",
"type": "shell", "type": "shell",
"command": "python3 instance-de-test/essayer_brouillons.py '${input:motDePasse}'", "command": "python3 instance-de-test/4_essayer_brouillons.py '${input:motDePasse}'",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Instance de test : empreintes des extraits", "label": "Instance de test : voir les empreintes",
"type": "shell", "type": "shell",
"command": "bash instance-de-test/empreintes.sh", "command": "bash instance-de-test/voir_empreintes.sh",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
@@ -72,31 +72,31 @@
{ {
"label": "Ollama : vérifier (poste, port 11435)", "label": "Ollama : vérifier (poste, port 11435)",
"type": "shell", "type": "shell",
"command": "python3 ollama/verifier.py http://127.0.0.1:11435/v1", "command": "python3 ollama/verifier_ollama.py http://127.0.0.1:11435/v1",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Import : simulation (instance de test)", "label": "Snippets : envoyer en simulation (instance de test)",
"type": "shell", "type": "shell",
"command": "set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer", "command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Import : ÉCRIRE (instance de test)", "label": "Snippets : ENVOYER (instance de test)",
"type": "shell", "type": "shell",
"command": "set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire", "command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Import : simulation (PRODUCTION)", "label": "Snippets : envoyer en simulation (PRODUCTION)",
"type": "shell", "type": "shell",
"command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m base_connaissances.importer", "command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer",
"problemMatcher": [] "problemMatcher": []
}, },
{ {
"label": "Import : ÉCRIRE (PRODUCTION)", "label": "Snippets : ENVOYER (PRODUCTION)",
"type": "shell", "type": "shell",
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m base_connaissances.importer --ecrire", "command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer --ecrire",
"problemMatcher": [] "problemMatcher": []
} }
], ],
+8 -8
View File
@@ -3,7 +3,7 @@
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».** Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
Ce dépôt porte tout ce qu'il faut pour cela : Ce dépôt porte tout ce qu'il faut pour cela :
- `base_connaissances/` : le corpus relu (un fichier par extrait), les instructions communes (`instructions.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ; - `snippets/` : les textes des snippets, relus (`textes/`, un fichier par snippet), les consignes de rédaction (`consignes_redaction.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
- `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ; - `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ;
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ; - `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task). - `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
@@ -26,18 +26,18 @@ Sous WSL (Ubuntu), depuis `~/Support-LibreDesk`. Il faut `python3` (bibliothèqu
python3 -m unittest discover -s tests -v python3 -m unittest discover -s tests -v
``` ```
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) et `instance-de-test/.env` (écrit par `preparer.py`). Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) et `instance-de-test/.env` (écrit par `2_creer_boite_et_cle.py`).
### L'instance de test ### L'instance de test
Tâches « Instance de test : … », ou : Tâches « Instance de test : … », ou :
```bash ```bash
bash instance-de-test/demarrer.sh 'TestAdmin-2026!' bash instance-de-test/1_demarrer.sh 'TestAdmin-2026!'
``` ```
```bash ```bash
python3 instance-de-test/preparer.py 'TestAdmin-2026!' python3 instance-de-test/2_creer_boite_et_cle.py 'TestAdmin-2026!'
``` ```
Puis Ollama sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435) : Puis Ollama sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435) :
@@ -51,21 +51,21 @@ RESEAU_LIBREDESK=ldtest_libredesk OLLAMA_PORT=11435 docker compose -f ollama/com
``` ```
```bash ```bash
eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/configurer_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/3_brancher_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
``` ```
```bash ```bash
set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire
``` ```
L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) : L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) :
```bash ```bash
python3 instance-de-test/essayer_brouillons.py 'TestAdmin-2026!' python3 instance-de-test/4_essayer_brouillons.py 'TestAdmin-2026!'
``` ```
Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`. Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`.
### Retoucher la base de connaissances ### Retoucher la base de connaissances
Modifier le fichier dans `base_connaissances/corpus/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Import : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4). Modifier le fichier dans `snippets/textes/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Snippets : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
+9 -9
View File
@@ -8,13 +8,13 @@ Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon
## Déjà fait (repris de Support-AI) ## Déjà fait (repris de Support-AI)
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `base_connaissances/corpus/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client. - [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `snippets/textes/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ». - [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé. - [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.** - [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048. - [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `base_connaissances/instructions.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`. - [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `snippets/consignes_redaction.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Import : simulation (PRODUCTION) » puis « Import : ÉCRIRE (PRODUCTION) », puis tout révoquer. - [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Snippets : envoyer en simulation (PRODUCTION) » puis « Snippets : ENVOYER (PRODUCTION) », puis tout révoquer.
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA. - [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
## Ollama sur le serveur ## Ollama sur le serveur
@@ -38,7 +38,7 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk). - [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
```bash ```bash
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier.py <serveur>:ollama/ ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier_ollama.py <serveur>:ollama/
``` ```
Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`. Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`.
Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux : Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
@@ -60,8 +60,8 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`. Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`.
- [ ] **9. Vérifier Ollama.** - [ ] **9. Vérifier Ollama.**
- Depuis le serveur : `python3 ~/ollama/verifier.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`. - Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi). - Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur. - **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`. - Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`.
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`). - **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
@@ -83,9 +83,9 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
## Au quotidien ## Au quotidien
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama. - **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk. - **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
- **Retoucher la base** : modifier le fichier dans `base_connaissances/corpus/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets. - **Retoucher la base** : modifier le fichier dans `snippets/textes/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul. - **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
## Plus tard ## Plus tard
@@ -99,5 +99,5 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique). - Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée. - L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL. - Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
- `essayer_brouillons.py` est fragile si la réponse est vide ou tardive. - `4_essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait. - La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
@@ -1,5 +1,7 @@
# Support-LibreDesk : plan de réalisation # Support-LibreDesk : plan de réalisation
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking. > **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime. **Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
@@ -1,5 +1,7 @@
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk # Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk). Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
## 1. L'intention ## 1. L'intention
+3 -3
View File
@@ -29,21 +29,21 @@ Repris de Support-AI (vérifications des 2026-11-09 et 2026-11-11), limité à c
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`). Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
**L'image** **L'image**
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`. - Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`). - Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur. - Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`). - Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL) **Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ. - Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
- Changement d'adresse (`configurer_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant. - Changement d'adresse (`3_brancher_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`voir_empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production). - Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
**Ollama arrêté pendant le recalcul** **Ollama arrêté pendant le recalcul**
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs). - Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention. - Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
**L'essai des brouillons** (`essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git) **L'essai des brouillons** (`4_essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération. - 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59). - `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio. - Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.
@@ -1,9 +1,9 @@
#!/usr/bin/env bash #!/usr/bin/env bash
# Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit. # Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit.
# bash instance-de-test/demarrer.sh <mot de passe System> # bash instance-de-test/1_demarrer.sh <mot de passe System>
set -euo pipefail set -euo pipefail
cd "$(dirname "$0")" cd "$(dirname "$0")"
MDP="${1:?usage : demarrer.sh <mot de passe System>}" MDP="${1:?usage : 1_demarrer.sh <mot de passe System>}"
if [ ! -f config.toml ]; then if [ ! -f config.toml ]; then
curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml
@@ -2,12 +2,12 @@
« Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY, « Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY,
LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée. LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée.
python3 instance-de-test/preparer.py <mot de passe System> python3 instance-de-test/2_creer_boite_et_cle.py <mot de passe System>
""" """
import sys import sys
from pathlib import Path from pathlib import Path
from session import B, connexion, req from connexion_admin import B, connexion, req
SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none", SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none",
"tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s", "tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s",
@@ -19,7 +19,7 @@ IMAP = {"host": "127.0.0.1", "port": 1, "username": "x", "password": "x", "mailb
def main(mot_de_passe: str) -> None: def main(mot_de_passe: str) -> None:
connexion(mot_de_passe) connexion(mot_de_passe)
if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []): if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []):
sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis demarrer.sh") sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis 1_demarrer.sh")
req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False, req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False,
"from": "Support <support@example.com>", "from": "Support <support@example.com>",
"config": {"auth_type": "password", "from": "Support <support@example.com>", "config": {"auth_type": "password", "from": "Support <support@example.com>",
@@ -2,16 +2,16 @@
Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur
d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle. d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle.
ANTHROPIC_API_KEY=… python3 instance-de-test/configurer_ia.py <mot de passe System> <url des embeddings> <modèle> [clé] ANTHROPIC_API_KEY=… python3 instance-de-test/3_brancher_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
""" """
import os import os
import sys import sys
from pathlib import Path from pathlib import Path
from session import connexion, req from connexion_admin import connexion, req
INSTRUCTIONS = Path(__file__).resolve().parents[1] / "base_connaissances" / "instructions.md" CONSIGNES = Path(__file__).resolve().parents[1] / "snippets" / "consignes_redaction.md"
def configurer(type_: str, config: dict) -> None: def configurer(type_: str, config: dict) -> None:
@@ -25,7 +25,7 @@ def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str = "ollama
connexion(mot_de_passe) connexion(mot_de_passe)
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude, configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium", "model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
"instructions": INSTRUCTIONS.read_text(encoding="utf-8").strip(), "vision": True}) "instructions": CONSIGNES.read_text(encoding="utf-8").strip(), "vision": True})
configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele, configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele,
"dimensions": 0, "embedding_max_tokens": 2048}) "dimensions": 0, "embedding_max_tokens": 2048})
@@ -1,9 +1,9 @@
"""L'essai des brouillons sur l'instance de test (après preparer.py et configurer_ia.py) : une conversation par mail de """L'essai des brouillons sur l'instance de test (après 2_creer_boite_et_cle.py et 3_brancher_ia.py) : une conversation par mail de
instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger. instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger.
Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir. Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir.
python3 instance-de-test/essayer_brouillons.py [mot de passe System] python3 instance-de-test/4_essayer_brouillons.py [mot de passe System]
""" """
import datetime import datetime
import html import html
@@ -14,7 +14,7 @@ import time
import urllib.request import urllib.request
from pathlib import Path from pathlib import Path
from session import connexion, req from connexion_admin import connexion, req
MAILPIT = "http://127.0.0.1:9125/api/v1/messages" MAILPIT = "http://127.0.0.1:9125/api/v1/messages"
ICI = Path(__file__).resolve().parent ICI = Path(__file__).resolve().parent
File renamed without changes.
File renamed without changes.
+1 -1
View File
@@ -1,5 +1,5 @@
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout. # Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier.py). # Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier_ollama.py).
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ; # 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur. # puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
@@ -1,7 +1,7 @@
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend. """Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python. Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
python3 ollama/verifier.py http://127.0.0.1:11434/v1 python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
""" """
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9) from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
File renamed without changes.
File renamed without changes.
@@ -1,10 +1,10 @@
"""Pousse le corpus dans la base de connaissances de LibreDesk (les « extraits », privés, lus par l'IA seulement). """Envoie les textes de snippets/textes/ dans LibreDesk : ce sont ses snippets (les « extraits », privés, lus par l'IA seulement).
Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais : Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais :
un extrait de LibreDesk absent du corpus est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par un extrait de LibreDesk absent de snippets/textes/ est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par
défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage). défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage).
LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m base_connaissances.importer [--ecrire] LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m snippets.envoyer [--ecrire]
""" """
import html as html_lib import html as html_lib
import json import json
@@ -17,9 +17,9 @@ import urllib.request
from dataclasses import dataclass, field from dataclasses import dataclass, field
from pathlib import Path from pathlib import Path
from base_connaissances.decoupage import Extrait, lire_corpus from snippets.fichiers import Extrait, lire_textes
CORPUS = Path(__file__).resolve().parent / "corpus" TEXTES = Path(__file__).resolve().parent / "textes"
PUCE = re.compile(r"^\s*- ") PUCE = re.compile(r"^\s*- ")
@@ -120,11 +120,11 @@ def main(argv: list[str]) -> None:
ecrire = "--ecrire" in argv ecrire = "--ecrire" in argv
api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"], api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"],
ecrire=ecrire) ecrire=ecrire)
b = synchroniser(api, lire_corpus(CORPUS)) b = synchroniser(api, lire_textes(TEXTES))
print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}" print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}"
+ ("" if ecrire else " (simulation : rien n'a été écrit)")) + ("" if ecrire else " (simulation : rien n'a été écrit)"))
for t in b.inconnus: for t in b.inconnus:
print(f"dans LibreDesk mais pas dans le corpus (non supprimé) : {t}") print(f"dans LibreDesk mais pas dans snippets/textes/ (non supprimé) : {t}")
if __name__ == "__main__": if __name__ == "__main__":
@@ -1,5 +1,5 @@
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances """Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
de LibreDesk ; écriture et lecture du corpus (un fichier Markdown par extrait).""" de LibreDesk ; écriture et lecture de snippets/textes/ (un fichier Markdown par extrait)."""
import re import re
import unicodedata import unicodedata
from dataclasses import dataclass from dataclasses import dataclass
@@ -95,13 +95,13 @@ def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extr
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()] return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
def ecrire_corpus(extraits: list[Extrait], dossier: Path) -> None: def ecrire_textes(extraits: list[Extrait], dossier: Path) -> None:
dossier.mkdir(parents=True, exist_ok=True) dossier.mkdir(parents=True, exist_ok=True)
for e in extraits: for e in extraits:
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n") (dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
def lire_corpus(dossier: Path) -> list[Extrait]: def lire_textes(dossier: Path) -> list[Extrait]:
extraits = [] extraits = []
for f in sorted(dossier.glob("*.md")): for f in sorted(dossier.glob("*.md")):
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1) tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
Loaded 100 of 142 files, more files were not shown because too many files have changed in this diff. Show more