Compare commits
17
Commits
3e0b5d03a3
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
a836fb4eac | ||
|
|
8aa61da11a | ||
|
|
01317cb2f8 | ||
|
|
2dc3442cc4 | ||
|
|
e3c4a29e90 | ||
|
|
0fa7c4936b | ||
|
|
2ecf9cedeb | ||
|
|
553562622f | ||
|
|
2a03b57b49 | ||
|
|
116488ddd4 | ||
|
|
369f2e0a44 | ||
|
|
2f7ec25731 | ||
|
|
77fdf998c5 | ||
|
|
0a6307fe2f | ||
|
|
1ba80869bd | ||
|
|
84d162caf3 | ||
|
|
10ed887417 |
No files matched your search
@@ -0,0 +1,14 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://json.schemastore.org/claude-code-settings.json",
|
||||||
|
"permissions": {
|
||||||
|
"allow": [],
|
||||||
|
"deny": [
|
||||||
|
"Read(./.env)",
|
||||||
|
"Read(./.env.*)",
|
||||||
|
"Read(./instance-de-test/.env)",
|
||||||
|
"Read(./acces/.env)",
|
||||||
|
"Read(./ollama/.env)"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"hooks": {}
|
||||||
|
}
|
||||||
@@ -1,7 +1,15 @@
|
|||||||
.env
|
.env
|
||||||
instance-de-test/.env
|
instance-de-test/.env
|
||||||
|
acces/.env
|
||||||
|
ollama/.env
|
||||||
|
acces/database.db
|
||||||
|
acces/utilisateurs.json
|
||||||
instance-de-test/config.toml
|
instance-de-test/config.toml
|
||||||
instance-de-test/uploads/
|
instance-de-test/uploads/
|
||||||
__pycache__/
|
__pycache__/
|
||||||
cases/
|
cases/
|
||||||
.superpowers/
|
.superpowers/
|
||||||
|
|
||||||
|
# sauvegardes de draw.io
|
||||||
|
.$*.bkp
|
||||||
|
out/
|
||||||
Vendored
+21
-15
@@ -12,13 +12,13 @@
|
|||||||
{
|
{
|
||||||
"label": "Instance de test : démarrer",
|
"label": "Instance de test : démarrer",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "bash instance-de-test/demarrer.sh '${input:motDePasse}'",
|
"command": "bash instance-de-test/1_demarrer.sh '${input:motDePasse}'",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Instance de test : préparer",
|
"label": "Instance de test : préparer",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "python3 instance-de-test/preparer.py '${input:motDePasse}'",
|
"command": "python3 instance-de-test/2_creer_boite_et_cle.py '${input:motDePasse}'",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@@ -36,19 +36,19 @@
|
|||||||
{
|
{
|
||||||
"label": "Instance de test : brancher sur Ollama",
|
"label": "Instance de test : brancher sur Ollama",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/configurer_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m",
|
"command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/3_brancher_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Instance de test : essai des brouillons",
|
"label": "Instance de test : essai des brouillons",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "python3 instance-de-test/essayer_brouillons.py '${input:motDePasse}'",
|
"command": "python3 instance-de-test/4_essayer_brouillons.py '${input:motDePasse}'",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Instance de test : empreintes des extraits",
|
"label": "Instance de test : voir les empreintes",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "bash instance-de-test/empreintes.sh",
|
"command": "bash instance-de-test/voir_empreintes.sh",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@@ -72,31 +72,37 @@
|
|||||||
{
|
{
|
||||||
"label": "Ollama : vérifier (poste, port 11435)",
|
"label": "Ollama : vérifier (poste, port 11435)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "python3 ollama/verifier.py http://127.0.0.1:11435/v1",
|
"command": "python3 ollama/verifier_ollama.py http://127.0.0.1:11435/v1",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : simulation (instance de test)",
|
"label": "Snippets : envoyer en simulation (instance de test)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer",
|
"command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : ÉCRIRE (instance de test)",
|
"label": "Snippets : ENVOYER (instance de test)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire",
|
"command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : simulation (PRODUCTION)",
|
"label": "Snippets : envoyer en simulation (PRODUCTION)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m base_connaissances.importer",
|
"command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"label": "Import : ÉCRIRE (PRODUCTION)",
|
"label": "Snippets : ENVOYER (PRODUCTION)",
|
||||||
"type": "shell",
|
"type": "shell",
|
||||||
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m base_connaissances.importer --ecrire",
|
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer --ecrire",
|
||||||
|
"problemMatcher": []
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"label": "Conversations : pomper",
|
||||||
|
"type": "shell",
|
||||||
|
"command": "conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations",
|
||||||
"problemMatcher": []
|
"problemMatcher": []
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
|
|||||||
@@ -1,10 +1,12 @@
|
|||||||
# Support-LibreDesk : le brouillon de réponse dans LibreDesk
|
# aimsight-libredesk : le brouillon de réponse dans LibreDesk
|
||||||
|
|
||||||
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
|
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
|
||||||
|
|
||||||
Ce dépôt porte tout ce qu'il faut pour cela :
|
Ce dépôt porte tout ce qu'il faut pour cela :
|
||||||
- `base_connaissances/` : le corpus relu (un fichier par extrait), les instructions communes (`instructions.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
|
- `snippets/` : les textes des snippets, relus (`textes/`, un fichier par snippet), les consignes de rédaction (`consignes_redaction.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
|
||||||
- `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ;
|
- `ollama/` : l'image `embeddings-bge-m3`, Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué (API OpenAI, 1024 dimensions, hors ligne), qui sert la recherche dans la base depuis le serveur de LibreDesk. Caddy, devant Ollama, exige `Authorization: Bearer <EMBEDDINGS_JETON>` : le jeton est dans `ollama/.env` (hors de git), et c'est la « API key » des embeddings dans LibreDesk ;
|
||||||
|
- `acces/` : le service d'accès, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » : les stations que le client de la conversation peut voir sur le dashboard (export d'Auth0 `acces/utilisateurs.json` + ses UserGroup, en lecture seule) ; lancement dans `acces/compose.yml` ;
|
||||||
|
- `conversations/` : le pompage des conversations, **en lecture seule**, vers `~/aimsight-labeling/auto/conversations/` (le fil, les images, les pièces jointes), pour le support et l'entraînement ; lancé par l'onglet Conversations d'aimsight-app (section ci-dessous) ;
|
||||||
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
|
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
|
||||||
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
|
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
|
||||||
|
|
||||||
@@ -14,33 +16,37 @@ Design : `docs/superpowers/specs/2026-11-12-support-libredesk-design.md`. Gestes
|
|||||||
|
|
||||||
## Aucun message ne part au client
|
## Aucun message ne part au client
|
||||||
|
|
||||||
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_base.py`).
|
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_snippets.py`) ; le pompage des conversations ne fait que des GET (`tests/test_garde_fou_conversations.py`).
|
||||||
- Seule l'instance de test crée des conversations, et son SMTP est Mailpit.
|
- Seule l'instance de test crée des conversations, et son SMTP est Mailpit.
|
||||||
- Les assistants IA de LibreDesk (qui répondraient seuls) restent désactivés ; aucune règle d'automatisation.
|
- Les assistants IA de LibreDesk (qui répondraient seuls) restent désactivés ; aucune règle d'automatisation.
|
||||||
|
|
||||||
## Sur le poste
|
## Sur le poste
|
||||||
|
|
||||||
Sous WSL (Ubuntu), depuis `~/Support-LibreDesk`. Il faut `python3` (bibliothèque standard seulement, aucun paquet à installer) et Docker.
|
Sous WSL (Ubuntu), depuis `~/aimsight-libredesk` (ex-Support-LibreDesk, renommé le 2026-11-17). Il faut `python3` (bibliothèque standard seulement, aucun paquet à installer) et Docker.
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python3 -m unittest discover -s tests -v
|
python3 -m unittest discover -s tests -v
|
||||||
```
|
```
|
||||||
|
|
||||||
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) et `instance-de-test/.env` (écrit par `preparer.py`).
|
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) , `instance-de-test/.env` (écrit par `2_creer_boite_et_cle.py`) et `ollama/.env` (`EMBEDDINGS_JETON=…`, le jeton d'embeddings-bge-m3 ; 32 caractères au moins, lettres, chiffres, `_` et `-`) :
|
||||||
|
|
||||||
|
```bash
|
||||||
|
echo "EMBEDDINGS_JETON=$(python3 -c 'import secrets; print(secrets.token_urlsafe(32))')" >> ollama/.env && chmod 600 ollama/.env
|
||||||
|
```
|
||||||
|
|
||||||
### L'instance de test
|
### L'instance de test
|
||||||
|
|
||||||
Tâches « Instance de test : … », ou :
|
Tâches « Instance de test : … », ou :
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
bash instance-de-test/demarrer.sh 'TestAdmin-2026!'
|
bash instance-de-test/1_demarrer.sh 'TestAdmin-2026!'
|
||||||
```
|
```
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python3 instance-de-test/preparer.py 'TestAdmin-2026!'
|
python3 instance-de-test/2_creer_boite_et_cle.py 'TestAdmin-2026!'
|
||||||
```
|
```
|
||||||
|
|
||||||
Puis Ollama sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435) :
|
Puis embeddings-bge-m3 sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435 ; le jeton vient de `ollama/.env`, et `3_brancher_ia.py` le donne à LibreDesk comme clé) :
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
docker compose -f ollama/compose.yml build
|
docker compose -f ollama/compose.yml build
|
||||||
@@ -51,21 +57,40 @@ RESEAU_LIBREDESK=ldtest_libredesk OLLAMA_PORT=11435 docker compose -f ollama/com
|
|||||||
```
|
```
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/configurer_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/3_brancher_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||||
```
|
```
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire
|
set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire
|
||||||
```
|
```
|
||||||
|
|
||||||
L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) :
|
L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) :
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
python3 instance-de-test/essayer_brouillons.py 'TestAdmin-2026!'
|
python3 instance-de-test/4_essayer_brouillons.py 'TestAdmin-2026!'
|
||||||
```
|
```
|
||||||
|
|
||||||
Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`.
|
Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`.
|
||||||
|
|
||||||
### Retoucher la base de connaissances
|
### Retoucher la base de connaissances
|
||||||
|
|
||||||
Modifier le fichier dans `base_connaissances/corpus/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Import : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
|
Modifier le fichier dans `snippets/textes/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Snippets : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
|
||||||
|
|
||||||
|
### Pomper les conversations
|
||||||
|
|
||||||
|
`conversations/pomper.py` copie les conversations de LibreDesk, toutes les boîtes et tous les statuts, notes privées comprises, dans un dossier par conversation : `conversation.json`, `messages.json` (les URL des pièces jointes remplacées par leur chemin local), `attachments/` et `transcript.md`, le fil lisible (texte seul, images en ligne). Que des GET ; la clé ne va qu'à LibreDesk. Sans dates, ce qui a changé depuis le dernier pompage complet (`pumped.json` dans le dossier de sortie ; la première fois, tout l'historique, à une heure calme) ; avec `--depuis/--jusqu-a`, une plage de mises à jour.
|
||||||
|
|
||||||
|
La clé : un agent « Lecture conversations » dans LibreDesk, avec un rôle qui n'a que `conversations:read_all` et `messages:read`, et sa clé d'API dans `.env` :
|
||||||
|
|
||||||
|
```bash
|
||||||
|
export LIBREDESK_API_KEY=…
|
||||||
|
export LIBREDESK_API_SECRET=…
|
||||||
|
```
|
||||||
|
|
||||||
|
D'habitude depuis l'onglet **Conversations** d'aimsight-app (qui appelle `conversations/pompage.py`), sinon la tâche « Conversations : pomper », ou :
|
||||||
|
|
||||||
|
```bash
|
||||||
|
conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations
|
||||||
|
```
|
||||||
|
|
||||||
|
Un pompage à la fois (`out/conversations.lock`), journal dans `out/conversations.log`. Les conversations se commitent ensuite dans aimsight-labeling, à la main.
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
# Le service d'accès (acces/service.py) : bibliothèque standard seulement, rien à installer.
|
||||||
|
# Version figée (2026-11-18) ; la changer = reconstruire et relancer tests/test_acces.py.
|
||||||
|
FROM python:3.12.8-slim-bookworm
|
||||||
|
COPY service.py /app/service.py
|
||||||
|
USER nobody
|
||||||
|
EXPOSE 8080
|
||||||
|
CMD ["python", "-u", "/app/service.py"]
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
# Surcharge : rattache le service d'accès au réseau Docker de LibreDesk, où il est joignable sous le nom « acces »
|
||||||
|
# (http://acces:8080/customer/access). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||||
|
# RESEAU_LIBREDESK=<réseau> docker compose -f acces/compose.yml -f acces/compose.reseau.yml up -d
|
||||||
|
services:
|
||||||
|
acces:
|
||||||
|
networks:
|
||||||
|
libredesk:
|
||||||
|
aliases: [acces]
|
||||||
|
|
||||||
|
networks:
|
||||||
|
libredesk:
|
||||||
|
name: ${RESEAU_LIBREDESK:?donner le réseau Docker de LibreDesk dans RESEAU_LIBREDESK}
|
||||||
|
external: true
|
||||||
@@ -0,0 +1,23 @@
|
|||||||
|
# Le service d'accès. Son port n'est publié que sur 127.0.0.1, sauf si ACCES_BIND donne une autre adresse (une adresse
|
||||||
|
# INTERNE, jamais publique) ; ACCES_PORT change le port publié (8080 par défaut).
|
||||||
|
# - acces/.env (hors de git, jamais lu par Claude) : ACCES_JETON, le même que l'en-tête « Authorization: Bearer … » de
|
||||||
|
# l'outil get_customer_access de LibreDesk ; ACCES_BIND, ACCES_PORT, BASE_DASHBOARD s'il le faut ;
|
||||||
|
# - BASE_DASHBOARD : le chemin, sur l'hôte, du database.db du dashboard (acces/database.db par défaut) ;
|
||||||
|
# acces/utilisateurs.json : l'export d'Auth0 (acces/exporter_utilisateurs.py). Les deux montés en lecture seule.
|
||||||
|
# docker compose -f acces/compose.yml up -d --build
|
||||||
|
# Sur le réseau Docker de LibreDesk (URL de l'outil : http://acces:8080/customer/access) : ajouter compose.reseau.yml.
|
||||||
|
services:
|
||||||
|
acces:
|
||||||
|
build: .
|
||||||
|
image: exchange.sensima.ch/maxime.pasquier/libredesk-acces:1
|
||||||
|
container_name: libredesk-acces
|
||||||
|
restart: unless-stopped
|
||||||
|
env_file: .env
|
||||||
|
environment:
|
||||||
|
ACCES_BASE: /data/database.db
|
||||||
|
ACCES_UTILISATEURS: /data/utilisateurs.json
|
||||||
|
volumes:
|
||||||
|
- "${BASE_DASHBOARD:-./database.db}:/data/database.db:ro"
|
||||||
|
- "./utilisateurs.json:/data/utilisateurs.json:ro"
|
||||||
|
ports:
|
||||||
|
- "${ACCES_BIND:-127.0.0.1}:${ACCES_PORT:-8080}:8080"
|
||||||
@@ -0,0 +1,42 @@
|
|||||||
|
"""Les contacts de LibreDesk (lecture seule) : leurs e-mails, pour les comparer aux utilisateurs du dashboard (Auth0).
|
||||||
|
|
||||||
|
Lancé par Maxime (Claude ne lit pas le .env) :
|
||||||
|
set -a && . ./.env && set +a && python3 acces/contacts.py
|
||||||
|
Clé admin (LIBREDESK_ADMIN_KEY / _SECRET) : lister tous les contacts demande `contacts:read_all`, que la clé agent n'a
|
||||||
|
pas. Seulement GET /api/v1/contacts. La liste complète va dans cases/ (hors de git) ; à l'écran, des totaux seulement.
|
||||||
|
"""
|
||||||
|
import collections
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import urllib.request
|
||||||
|
from datetime import date
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
URL = os.environ.get("LIBREDESK_URL", "https://helpdesk.sensima.ch").rstrip("/")
|
||||||
|
SORTIE = Path(__file__).resolve().parents[1] / "cases" / f"contacts-libredesk-{date.today()}.json"
|
||||||
|
|
||||||
|
|
||||||
|
def page(n: int) -> dict:
|
||||||
|
cle = f"token {os.environ['LIBREDESK_ADMIN_KEY']}:{os.environ['LIBREDESK_ADMIN_SECRET']}"
|
||||||
|
requete = urllib.request.Request(f"{URL}/api/v1/contacts?page={n}&page_size=100", headers={"Authorization": cle})
|
||||||
|
with urllib.request.urlopen(requete, timeout=30) as r:
|
||||||
|
return json.load(r)["data"]
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
contacts, n = [], 1
|
||||||
|
while True:
|
||||||
|
d = page(n)
|
||||||
|
contacts += d["results"]
|
||||||
|
if n >= d["total_pages"]:
|
||||||
|
break
|
||||||
|
n += 1
|
||||||
|
SORTIE.parent.mkdir(exist_ok=True)
|
||||||
|
SORTIE.write_text(json.dumps(contacts, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||||
|
emails = [(c.get("email") or "").strip() for c in contacts]
|
||||||
|
domaines = collections.Counter(e.rsplit("@", 1)[-1].lower() for e in emails if "@" in e)
|
||||||
|
print(f"{URL} : {len(contacts)} contacts, {sum(map(bool, emails))} avec e-mail, "
|
||||||
|
f"{sum(e != e.lower() for e in emails)} avec des majuscules, "
|
||||||
|
f"{sum(bool(c.get('external_user_id')) for c in contacts)} avec external_user_id, "
|
||||||
|
f"{len(domaines)} domaines")
|
||||||
|
print(f"liste complète : {SORTIE}")
|
||||||
@@ -0,0 +1,64 @@
|
|||||||
|
"""Exporte une fois les utilisateurs du dashboard depuis Auth0 (e-mail → auth0|…) dans acces/utilisateurs.json (hors de git).
|
||||||
|
|
||||||
|
Lecture seule (GET /users), avec l'application Auth0 du dashboard, comme sa page Settings (`get_all_users`).
|
||||||
|
Lancé par Maxime avec les variables du dashboard (Claude ne lit pas ce .env) :
|
||||||
|
set -a && . ~/monitoring-dashboard/.env && set +a && python3 acces/exporter_utilisateurs.py
|
||||||
|
Variables : AUTH0_API_AUDIENCE (https://<tenant>/api/v2), AUTH0_API_CLIENTID, AUTH0_API_CLIENT_SECRET.
|
||||||
|
À relancer quand des utilisateurs sont ajoutés au dashboard ; le service relit le fichier à chaque appel.
|
||||||
|
"""
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import urllib.parse
|
||||||
|
import urllib.request
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
SORTIE = Path(__file__).resolve().parent / "utilisateurs.json"
|
||||||
|
PAR_PAGE = 100
|
||||||
|
|
||||||
|
|
||||||
|
def index_par_email(utilisateurs: list[dict]) -> dict[str, list[str]]:
|
||||||
|
"""{e-mail en minuscules: [user_id…]} ; une adresse peut avoir plusieurs comptes, un compte sans e-mail est ignoré."""
|
||||||
|
index: dict[str, list[str]] = {}
|
||||||
|
for u in utilisateurs:
|
||||||
|
email = (u.get("email") or "").strip().lower()
|
||||||
|
if email:
|
||||||
|
index.setdefault(email, []).append(u["user_id"])
|
||||||
|
return {e: sorted(ids) for e, ids in sorted(index.items())}
|
||||||
|
|
||||||
|
|
||||||
|
def jeton(api: str) -> str:
|
||||||
|
u = urllib.parse.urlsplit(api)
|
||||||
|
corps = json.dumps({"client_id": os.environ["AUTH0_API_CLIENTID"],
|
||||||
|
"client_secret": os.environ["AUTH0_API_CLIENT_SECRET"],
|
||||||
|
"audience": api + "/", "grant_type": "client_credentials"}).encode()
|
||||||
|
requete = urllib.request.Request(f"{u.scheme}://{u.netloc}/oauth/token", corps, {"Content-Type": "application/json"})
|
||||||
|
with urllib.request.urlopen(requete, timeout=30) as r:
|
||||||
|
return json.load(r)["access_token"]
|
||||||
|
|
||||||
|
|
||||||
|
def tous_les_utilisateurs(api: str) -> list[dict]:
|
||||||
|
entete = {"Authorization": f"Bearer {jeton(api)}"}
|
||||||
|
utilisateurs, page = [], 0
|
||||||
|
while True:
|
||||||
|
q = urllib.parse.urlencode({"page": page, "per_page": PAR_PAGE, "include_totals": "true",
|
||||||
|
"fields": "user_id,email", "include_fields": "true"})
|
||||||
|
with urllib.request.urlopen(urllib.request.Request(f"{api}/users?{q}", headers=entete), timeout=30) as r:
|
||||||
|
d = json.load(r)
|
||||||
|
utilisateurs += d["users"]
|
||||||
|
if not d["users"] or len(utilisateurs) >= d["total"]:
|
||||||
|
return utilisateurs
|
||||||
|
page += 1
|
||||||
|
# ponytail: Auth0 ne pagine que les 1000 premiers comptes ; au-delà, passer par un job d'export
|
||||||
|
if page * PAR_PAGE >= 1000:
|
||||||
|
sys.exit(f"plus de 1000 comptes ({d['total']}) : la pagination d'Auth0 ne suffit plus")
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
api = os.environ["AUTH0_API_AUDIENCE"].rstrip("/")
|
||||||
|
utilisateurs = tous_les_utilisateurs(api)
|
||||||
|
index = index_par_email(utilisateurs)
|
||||||
|
SORTIE.write_text(json.dumps(index, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||||
|
print(f"{len(utilisateurs)} comptes Auth0, {len(index)} adresses, "
|
||||||
|
f"{sum(len(v) > 1 for v in index.values())} adresses avec plusieurs comptes, "
|
||||||
|
f"{sum(not u.get('email') for u in utilisateurs)} comptes sans e-mail → {SORTIE}")
|
||||||
@@ -0,0 +1,94 @@
|
|||||||
|
"""Le service d'accès : les stations qu'un contact LibreDesk a le droit de voir (docs/architecture.drawio).
|
||||||
|
|
||||||
|
GET /customer/access, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » :
|
||||||
|
- `Authorization: Bearer <ACCES_JETON>` (l'en-tête secret déclaré dans l'outil), sinon 401 ;
|
||||||
|
- `X-Libredesk-Contact-Email`, ajouté par LibreDesk lui-même, jamais par le LLM ;
|
||||||
|
- e-mail → comptes du dashboard (utilisateurs.json, exporté d'Auth0 par exporter_utilisateurs.py) → leurs UserGroup
|
||||||
|
→ les projets (Device) : {"projects": [{"project": nom, "serial": station, "role": "dev_admin" | "user"}]}.
|
||||||
|
Les deux rôles voient le projet sur le dashboard ; c'est la règle du dashboard
|
||||||
|
(`Device.user_access`, `can_access_system`). La table UserAccess, ancienne, n'est plus lue par le dashboard : ignorée.
|
||||||
|
ponytail: les admins globaux du dashboard (`is_admin()`, un rôle Auth0, absent de la base) voient tout là-bas mais
|
||||||
|
reçoivent ici une liste vide ; laissé de côté (équipe interne, pas des clients) : exporter les rôles si ça change.
|
||||||
|
Contact sans e-mail, inconnu ou sans droit : liste vide. Fichier ou base illisible : 502, jamais une liste vide
|
||||||
|
(« aucun droit » serait faux).
|
||||||
|
|
||||||
|
Variables : ACCES_JETON (32 caractères au moins), ACCES_BASE (database.db du dashboard, ouverte en lecture seule),
|
||||||
|
ACCES_UTILISATEURS (utilisateurs.json, relu à chaque appel : un nouvel export sert sans redémarrer).
|
||||||
|
Écoute toujours sur 8080 dans le conteneur ; le port publié se choisit dans le compose (ACCES_PORT).
|
||||||
|
"""
|
||||||
|
import hmac
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import sqlite3
|
||||||
|
import sys
|
||||||
|
import urllib.parse
|
||||||
|
from contextlib import closing
|
||||||
|
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
ROUTE = "/customer/access"
|
||||||
|
VARIABLES = ("ACCES_JETON", "ACCES_BASE", "ACCES_UTILISATEURS")
|
||||||
|
|
||||||
|
|
||||||
|
def comptes(utilisateurs: str, email: str) -> list[str]:
|
||||||
|
"""Les comptes du dashboard (auth0|…) de cette adresse."""
|
||||||
|
return json.loads(Path(utilisateurs).read_text(encoding="utf-8")).get(email, [])
|
||||||
|
|
||||||
|
|
||||||
|
def projets(base: str, user_ids: list[str]) -> list[dict]:
|
||||||
|
"""Les projets (Device) dont l'un de ces comptes est membre d'un groupe : nom, station (serial) et rôle (`dev_admin`
|
||||||
|
l'emporte sur `user` si le compte est dans les deux groupes du projet)."""
|
||||||
|
if not user_ids:
|
||||||
|
return []
|
||||||
|
with closing(sqlite3.connect(Path(base).resolve().as_uri() + "?mode=ro", uri=True)) as c:
|
||||||
|
lignes = c.execute(
|
||||||
|
"SELECT d.name, d.serial_number, MIN(CASE g.role WHEN 'dev_admin' THEN 0 ELSE 1 END) "
|
||||||
|
"FROM UserGroupEntry e JOIN UserGroup g ON g.id = e.group_id JOIN Device d ON d.id = g.device_id "
|
||||||
|
f"WHERE d.serial_number IS NOT NULL AND e.user_id IN ({','.join('?' * len(user_ids))}) "
|
||||||
|
"GROUP BY d.id ORDER BY 2, 1", user_ids).fetchall()
|
||||||
|
return [{"project": nom, "serial": serial, "role": "dev_admin" if r == 0 else "user"} for nom, serial, r in lignes]
|
||||||
|
|
||||||
|
|
||||||
|
def creer_serveur(adresse: tuple[str, int], jeton: str, base: str, utilisateurs: str) -> ThreadingHTTPServer:
|
||||||
|
attendu = f"Bearer {jeton}".encode()
|
||||||
|
|
||||||
|
class Gestion(BaseHTTPRequestHandler):
|
||||||
|
def _repondre(self, code: int, corps: dict):
|
||||||
|
texte = json.dumps(corps, ensure_ascii=False).encode()
|
||||||
|
self.send_response(code)
|
||||||
|
self.send_header("Content-Type", "application/json")
|
||||||
|
self.send_header("Content-Length", str(len(texte)))
|
||||||
|
self.end_headers()
|
||||||
|
self.wfile.write(texte)
|
||||||
|
|
||||||
|
def do_GET(self):
|
||||||
|
if urllib.parse.urlsplit(self.path).path != ROUTE:
|
||||||
|
return self._repondre(404, {"error": "not found"})
|
||||||
|
if not hmac.compare_digest(self.headers.get("Authorization", "").encode(), attendu):
|
||||||
|
return self._repondre(401, {"error": "unauthorized"})
|
||||||
|
email = self.headers.get("X-Libredesk-Contact-Email", "").strip().lower()
|
||||||
|
try:
|
||||||
|
liste = projets(base, comptes(utilisateurs, email)) if email else []
|
||||||
|
except Exception as e: # fichier ou base : on refuse plutôt que de répondre « aucun droit »
|
||||||
|
self.log_error("recherche des droits impossible : %r", e)
|
||||||
|
return self._repondre(502, {"error": "access lookup unavailable"})
|
||||||
|
# sans l'adresse : seulement si le contact a un e-mail et combien de projets il voit
|
||||||
|
self.log_message("e-mail %s, %d projet(s)", "présent" if email else "absent", len(liste))
|
||||||
|
self._repondre(200, {"projects": liste})
|
||||||
|
|
||||||
|
return ThreadingHTTPServer(adresse, Gestion)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
manquantes = [n for n in VARIABLES if not os.environ.get(n)]
|
||||||
|
if manquantes:
|
||||||
|
sys.exit("variables manquantes : " + ", ".join(manquantes))
|
||||||
|
if len(os.environ["ACCES_JETON"]) < 32:
|
||||||
|
sys.exit("ACCES_JETON trop court (32 caractères au moins)")
|
||||||
|
base, utilisateurs = os.environ["ACCES_BASE"], os.environ["ACCES_UTILISATEURS"]
|
||||||
|
projets(base, comptes(utilisateurs, "")) # base et fichier lisibles, sinon on s'arrête au démarrage
|
||||||
|
projets(base, ["-"])
|
||||||
|
serveur = creer_serveur(("0.0.0.0", 8080), os.environ["ACCES_JETON"], base,
|
||||||
|
utilisateurs)
|
||||||
|
print(f"service d'accès sur le port {serveur.server_address[1]}", flush=True)
|
||||||
|
serveur.serve_forever()
|
||||||
File renamed without changes.
@@ -0,0 +1,45 @@
|
|||||||
|
"""Ce qu'aimsight-app appelle pour pomper les conversations (son onglet Conversations), le jumeau d'extraction/pumping.py
|
||||||
|
d'aimsight-data : lancer pomper.sh, savoir s'il tourne, lire la fin de son journal. Importé comme module simple (sys.path =
|
||||||
|
conversations/) : aucun import du paquet ici."""
|
||||||
|
import fcntl
|
||||||
|
import os
|
||||||
|
import re
|
||||||
|
import subprocess
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
JOUR = re.compile(r"\d{4}-\d{2}-\d{2}")
|
||||||
|
PLAGE = "a range: From and To, YYYY-MM-DD, From before To" # les mots de pumping.py, montrés tels quels par l'app
|
||||||
|
|
||||||
|
|
||||||
|
def running() -> bool:
|
||||||
|
"""Un pompage en cours : le verrou de pomper.sh est tenu."""
|
||||||
|
try:
|
||||||
|
with open(ROOT / "out" / "conversations.lock") as verrou:
|
||||||
|
fcntl.flock(verrou, fcntl.LOCK_EX | fcntl.LOCK_NB)
|
||||||
|
except FileNotFoundError:
|
||||||
|
return False
|
||||||
|
except BlockingIOError:
|
||||||
|
return True
|
||||||
|
return False
|
||||||
|
|
||||||
|
|
||||||
|
def log(lines: int = 40) -> list[str]:
|
||||||
|
"""Les dernières lignes de out/conversations.log."""
|
||||||
|
try:
|
||||||
|
with open(ROOT / "out" / "conversations.log", "rb") as f:
|
||||||
|
f.seek(max(0, f.seek(0, os.SEEK_END) - 300 * lines))
|
||||||
|
return f.read().decode(errors="replace").splitlines()[-lines:]
|
||||||
|
except FileNotFoundError:
|
||||||
|
return []
|
||||||
|
|
||||||
|
|
||||||
|
def start(depuis: str, jusqu_a: str, sortie: str) -> subprocess.Popen:
|
||||||
|
"""pomper.sh en arrière-plan, dans sortie ; avec une plage (AAAA-MM-JJ, jusqu_a exclu) ou sans (ce qui a changé)."""
|
||||||
|
if bool(depuis) != bool(jusqu_a) or (depuis and not (JOUR.fullmatch(depuis) and JOUR.fullmatch(jusqu_a) and depuis < jusqu_a)):
|
||||||
|
raise ValueError(PLAGE)
|
||||||
|
if running():
|
||||||
|
raise ValueError("a pumping of the conversations is already running")
|
||||||
|
plage = ["--depuis", depuis, "--jusqu-a", jusqu_a] if depuis else []
|
||||||
|
return subprocess.Popen([str(ROOT / "conversations" / "pomper.sh"), "--sortie", str(sortie), *plage], cwd=ROOT,
|
||||||
|
stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
|
||||||
@@ -0,0 +1,178 @@
|
|||||||
|
"""Pompe les conversations de LibreDesk, en lecture seule, dans un dossier par conversation (labeling/auto/conversations/
|
||||||
|
d'aimsight-labeling, par l'onglet Conversations d'aimsight-app) : conversation.json, messages.json, attachments/, et
|
||||||
|
transcript.md, le fil lisible.
|
||||||
|
|
||||||
|
Que des GET : la liste des conversations, leurs messages, et les URL (signées) des pièces jointes que portent les messages ;
|
||||||
|
jamais une adresse trouvée dans le texte d'un message. La clé ne va qu'à LibreDesk ; une pièce jointe ailleurs (un bucket S3)
|
||||||
|
est téléchargée sans elle. Il faut une clé de lecture (un agent dont le rôle n'a que conversations:read_all et messages:read).
|
||||||
|
|
||||||
|
Sans dates : ce qui a changé depuis le dernier pompage complet (pumped.json, écrit seulement à la fin ; la première fois,
|
||||||
|
tout l'historique). Avec --depuis/--jusqu-a : les conversations mises à jour dans la plage (--jusqu-a exclu), repère inchangé.
|
||||||
|
|
||||||
|
LIBREDESK_URL=… LIBREDESK_API_KEY=… LIBREDESK_API_SECRET=… python3 -m conversations.pomper --sortie <dossier>
|
||||||
|
[--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
|
||||||
|
"""
|
||||||
|
import argparse
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import re
|
||||||
|
import sys
|
||||||
|
import urllib.error
|
||||||
|
import urllib.parse
|
||||||
|
import urllib.request
|
||||||
|
from datetime import datetime, timedelta, timezone
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
from conversations.transcript import transcript
|
||||||
|
|
||||||
|
PAGE = 100
|
||||||
|
MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue
|
||||||
|
REFERENCE = re.compile(r"[A-Za-z0-9_-]+")
|
||||||
|
NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers
|
||||||
|
PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée
|
||||||
|
|
||||||
|
|
||||||
|
class Lecteur:
|
||||||
|
"""Le client de LibreDesk, restreint à la lecture des conversations."""
|
||||||
|
|
||||||
|
def __init__(self, url: str, cle: str, secret: str):
|
||||||
|
self.url = url.rstrip("/")
|
||||||
|
self._auth = f"token {cle}:{secret}"
|
||||||
|
|
||||||
|
def _ouvrir(self, url: str) -> bytes:
|
||||||
|
url = urllib.parse.urljoin(self.url + "/", url)
|
||||||
|
if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité
|
||||||
|
raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})")
|
||||||
|
r = urllib.request.Request(url)
|
||||||
|
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
|
||||||
|
r.add_unredirected_header("Authorization", self._auth)
|
||||||
|
with urllib.request.urlopen(r, timeout=60) as rep:
|
||||||
|
return rep.read()
|
||||||
|
|
||||||
|
def _pages(self, chemin: str, **params):
|
||||||
|
page = 1
|
||||||
|
while True:
|
||||||
|
q = urllib.parse.urlencode({"page": page, "page_size": PAGE, **params})
|
||||||
|
data = json.loads(self._ouvrir(f"{chemin}?{q}"))["data"]
|
||||||
|
yield from data.get("results") or []
|
||||||
|
if page >= (data.get("total_pages") or 1):
|
||||||
|
return
|
||||||
|
page += 1
|
||||||
|
|
||||||
|
def conversations(self):
|
||||||
|
"""Toutes les conversations, la plus récemment mise à jour d'abord."""
|
||||||
|
return self._pages("/api/v1/conversations/all", order_by="conversations.updated_at", order="desc")
|
||||||
|
|
||||||
|
def messages(self, uuid: str) -> list[dict]:
|
||||||
|
"""Les messages d'une conversation (notes privées comprises), le plus ancien d'abord."""
|
||||||
|
uuid = urllib.parse.quote(uuid, safe="")
|
||||||
|
return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"]))
|
||||||
|
|
||||||
|
def telecharger(self, url: str, chemin: Path) -> None:
|
||||||
|
contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée
|
||||||
|
chemin.parent.mkdir(parents=True, exist_ok=True)
|
||||||
|
partiel = chemin.with_name(chemin.name + ".part")
|
||||||
|
partiel.write_bytes(contenu)
|
||||||
|
partiel.replace(chemin)
|
||||||
|
|
||||||
|
|
||||||
|
def _date(t: str) -> datetime:
|
||||||
|
d = datetime.fromisoformat(t)
|
||||||
|
return (d if d.tzinfo else d.replace(tzinfo=timezone.utc)).astimezone(timezone.utc)
|
||||||
|
|
||||||
|
|
||||||
|
def _nom_local(nom: str, uuid: str) -> str:
|
||||||
|
"""Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe."""
|
||||||
|
sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731
|
||||||
|
nom = sur(nom) or sur(uuid) or "piece"
|
||||||
|
racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "")
|
||||||
|
while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension
|
||||||
|
racine = racine[:-1] if racine else ""
|
||||||
|
suffixe = suffixe if racine else suffixe[:NOM_MAX // 4]
|
||||||
|
return racine + suffixe
|
||||||
|
|
||||||
|
|
||||||
|
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]:
|
||||||
|
ref = str(c.get("reference_number") or "")
|
||||||
|
dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation"))
|
||||||
|
messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0
|
||||||
|
for m in messages:
|
||||||
|
for a in m.get("attachments") or []:
|
||||||
|
nom = _nom_local(a.get("name"), a.get("uuid"))
|
||||||
|
if nom in pris:
|
||||||
|
nom = _nom_local(f"{a.get('uuid')}_{nom}", "")
|
||||||
|
pris.add(nom)
|
||||||
|
f, url = dossier / "attachments" / nom, a.get("url") or ""
|
||||||
|
if url and not (f.exists() and f.stat().st_size == a.get("size")):
|
||||||
|
try:
|
||||||
|
lecteur.telecharger(url, f)
|
||||||
|
except (urllib.error.HTTPError, ValueError) as e:
|
||||||
|
if isinstance(e, urllib.error.HTTPError):
|
||||||
|
e.close()
|
||||||
|
if e.code not in PERDUE:
|
||||||
|
raise # une erreur passagère : le pompage s'arrête, le suivant reprendra
|
||||||
|
journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}")
|
||||||
|
a["url"], a["absente"] = "", True
|
||||||
|
continue
|
||||||
|
if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne)
|
||||||
|
m["content"] = (m.get("content") or "").replace(url.replace("&", "&"), url).replace(url, f"attachments/{nom}")
|
||||||
|
a["url"] = f"attachments/{nom}"
|
||||||
|
n_pieces += 1
|
||||||
|
c = {k: v for k, v in c.items() if k != "previous_conversations"}
|
||||||
|
dossier.mkdir(parents=True, exist_ok=True)
|
||||||
|
for nom, contenu in (("conversation.json", c), ("messages.json", messages)):
|
||||||
|
(dossier / nom).write_text(json.dumps(contenu, ensure_ascii=False, indent=1) + "\n", encoding="utf-8")
|
||||||
|
(dossier / "transcript.md").write_text(transcript(c, messages), encoding="utf-8")
|
||||||
|
return dossier.name, sum(m.get("type") != "activity" for m in messages), n_pieces
|
||||||
|
|
||||||
|
|
||||||
|
def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: str | None = None, journal=print) -> int:
|
||||||
|
debut, repere, haut = datetime.now(timezone.utc), sortie / "pumped.json", None
|
||||||
|
if depuis:
|
||||||
|
bas, haut = _date(depuis), _date(jusqu_a)
|
||||||
|
else:
|
||||||
|
bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None
|
||||||
|
n, avant = 0, None
|
||||||
|
for c in lecteur.conversations():
|
||||||
|
t = _date(c["updated_at"])
|
||||||
|
if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues
|
||||||
|
raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé")
|
||||||
|
avant = t
|
||||||
|
if haut and t >= haut:
|
||||||
|
continue
|
||||||
|
if bas and t < bas:
|
||||||
|
break
|
||||||
|
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal)
|
||||||
|
journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes")
|
||||||
|
n += 1
|
||||||
|
if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant
|
||||||
|
sortie.mkdir(parents=True, exist_ok=True)
|
||||||
|
repere.write_text(json.dumps({"until": debut.isoformat()}) + "\n")
|
||||||
|
journal(f"{n} conversation(s) pompée(s) dans {sortie}")
|
||||||
|
return n
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
p = argparse.ArgumentParser(description=__doc__.split("\n\n")[0])
|
||||||
|
p.add_argument("--sortie", required=True, type=Path)
|
||||||
|
p.add_argument("--depuis")
|
||||||
|
p.add_argument("--jusqu-a")
|
||||||
|
a = p.parse_args()
|
||||||
|
if bool(a.depuis) != bool(a.jusqu_a):
|
||||||
|
sys.exit("--depuis et --jusqu-a vont ensemble")
|
||||||
|
cle, secret = os.environ.get("LIBREDESK_API_KEY"), os.environ.get("LIBREDESK_API_SECRET")
|
||||||
|
if not (cle and secret):
|
||||||
|
sys.exit("Pas de clé de lecture : LIBREDESK_API_KEY et LIBREDESK_API_SECRET dans .env (README)")
|
||||||
|
lecteur = Lecteur(os.environ.get("LIBREDESK_URL", "https://helpdesk.sensima.ch"), cle, secret)
|
||||||
|
try:
|
||||||
|
pomper(lecteur, a.sortie, a.depuis, a.jusqu_a, journal=lambda l: print(l, flush=True))
|
||||||
|
except urllib.error.HTTPError as e:
|
||||||
|
sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe
|
||||||
|
except (urllib.error.URLError, TimeoutError) as e:
|
||||||
|
sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}")
|
||||||
|
except ValueError as e:
|
||||||
|
sys.exit(str(e))
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
Executable
+18
@@ -0,0 +1,18 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
# Pompe les conversations de LibreDesk (conversations/pomper.py), en lecture seule. Lit la clé de lecture dans le .env à la
|
||||||
|
# racine du dépôt (jamais versionné). Un pompage à la fois (verrou out/conversations.lock), sortie ajoutée à
|
||||||
|
# out/conversations.log.
|
||||||
|
# conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations [--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
|
||||||
|
set -u
|
||||||
|
root=$(cd "$(dirname "$0")/.." && pwd)
|
||||||
|
mkdir -p "$root/out"
|
||||||
|
cd "$root"
|
||||||
|
|
||||||
|
exec 9>"$root/out/conversations.lock"
|
||||||
|
flock -n 9 || { echo "Un pompage des conversations tourne déjà." >&2; exit 1; }
|
||||||
|
|
||||||
|
{
|
||||||
|
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) pomper $*"
|
||||||
|
(set -a +u && . "$root/.env" && set +a -u && python3 -m conversations.pomper "$@")
|
||||||
|
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) fin"
|
||||||
|
} 2>&1 | tee -a "$root/out/conversations.log"
|
||||||
@@ -0,0 +1,83 @@
|
|||||||
|
"""Le transcript lisible d'une conversation pompée (transcript.md) : du texte seul, jamais le HTML d'un mail ; les images
|
||||||
|
en ligne, les autres pièces jointes en lien, vers attachments/. Les messages sont déjà sous leur forme locale (pomper.py)."""
|
||||||
|
import re
|
||||||
|
import urllib.parse
|
||||||
|
from datetime import datetime, timezone
|
||||||
|
from html.parser import HTMLParser
|
||||||
|
|
||||||
|
BLOCS = {"p", "div", "li", "tr", "blockquote", "h1", "h2", "h3", "h4", "h5", "h6"}
|
||||||
|
|
||||||
|
|
||||||
|
class _Texte(HTMLParser):
|
||||||
|
def __init__(self):
|
||||||
|
super().__init__(convert_charrefs=True)
|
||||||
|
self.morceaux, self._cache = [], 0
|
||||||
|
|
||||||
|
def handle_starttag(self, tag, attrs):
|
||||||
|
if tag in ("script", "style"):
|
||||||
|
self._cache += 1
|
||||||
|
elif tag == "br":
|
||||||
|
self.morceaux.append("\n")
|
||||||
|
elif tag in BLOCS:
|
||||||
|
self.morceaux.append("\n\n")
|
||||||
|
|
||||||
|
def handle_endtag(self, tag):
|
||||||
|
if tag in ("script", "style"):
|
||||||
|
self._cache = max(0, self._cache - 1)
|
||||||
|
elif tag in BLOCS:
|
||||||
|
self.morceaux.append("\n\n")
|
||||||
|
|
||||||
|
def handle_data(self, data):
|
||||||
|
if not self._cache:
|
||||||
|
self.morceaux.append(data)
|
||||||
|
|
||||||
|
|
||||||
|
def texte(contenu_html: str) -> str:
|
||||||
|
"""Le HTML d'un message en texte : balises retirées, entités décodées, paragraphes gardés."""
|
||||||
|
p = _Texte()
|
||||||
|
p.feed(contenu_html or "")
|
||||||
|
p.close()
|
||||||
|
t = re.sub(r"[ \t]*\n[ \t]*", "\n", "".join(p.morceaux))
|
||||||
|
return re.sub(r"\n{3,}", "\n\n", t).strip()
|
||||||
|
|
||||||
|
|
||||||
|
def _heure(t: str) -> str:
|
||||||
|
return datetime.fromisoformat(t).astimezone(timezone.utc).strftime("%Y-%m-%d %H:%M") + " UTC"
|
||||||
|
|
||||||
|
|
||||||
|
def _nom(personne: dict | None) -> str:
|
||||||
|
return " ".join(x for x in ((personne or {}).get("first_name"), (personne or {}).get("last_name")) if x)
|
||||||
|
|
||||||
|
|
||||||
|
def _pieces(pieces: list[dict]) -> list[str]:
|
||||||
|
lignes = []
|
||||||
|
for a in pieces:
|
||||||
|
if not a.get("url"): # pas téléchargée : perdue par LibreDesk
|
||||||
|
lignes.append(f"{a.get('name')} (absente)")
|
||||||
|
continue
|
||||||
|
cible = urllib.parse.quote(a.get("url") or "")
|
||||||
|
image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml"
|
||||||
|
lignes.append(f"{'!' * image}[{a.get('name')}]({cible})")
|
||||||
|
return lignes
|
||||||
|
|
||||||
|
|
||||||
|
def transcript(conversation: dict, messages: list[dict]) -> str:
|
||||||
|
c = conversation.get("contact") or {}
|
||||||
|
contact = " ".join(x for x in (_nom(c), c.get("email")) if x)
|
||||||
|
morceaux = [f"# {conversation.get('subject') or '(sans sujet)'} (#{conversation.get('reference_number')})",
|
||||||
|
f"Contact : {contact} · Boîte : {conversation.get('inbox_name')} · Statut : {conversation.get('status')}"
|
||||||
|
f" · Créée : {_heure(conversation['created_at'])}"]
|
||||||
|
for m in messages:
|
||||||
|
corps = (m.get("text_content") or "").strip() or texte(m.get("content"))
|
||||||
|
if m.get("type") == "activity":
|
||||||
|
morceaux.append(f"*{_heure(m['created_at'])} — {corps}*")
|
||||||
|
continue
|
||||||
|
client = m.get("sender_type") == "contact"
|
||||||
|
role = "note privée" if m.get("private") else "client" if client else "agent"
|
||||||
|
auteur = _nom(m.get("author")) or ("Client" if client else "Agent")
|
||||||
|
morceaux.append(f"## {_heure(m['created_at'])} — {auteur} ({role})")
|
||||||
|
if corps:
|
||||||
|
morceaux.append(corps)
|
||||||
|
if lignes := _pieces(m.get("attachments") or []):
|
||||||
|
morceaux.append("\n".join(lignes))
|
||||||
|
return "\n\n".join(morceaux) + "\n"
|
||||||
@@ -0,0 +1,2 @@
|
|||||||
|
docker run -d --name embeddings-bge-m3 --restart unless-stopped --env-file ollama/.env -p 10.0.2.140:11435:11434 exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-
|
||||||
|
567m
|
||||||
@@ -0,0 +1,241 @@
|
|||||||
|
<mxfile host="Electron">
|
||||||
|
<diagram name="1. Architecture" id="arch">
|
||||||
|
<mxGraphModel dx="3204" dy="1013" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="900" math="0" shadow="0">
|
||||||
|
<root>
|
||||||
|
<mxCell id="0" />
|
||||||
|
<mxCell id="1" parent="0" />
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-1" edge="1" parent="1" source="arch-2" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;fillColor=#e51400;strokeColor=#B20000;" target="arch-6">
|
||||||
|
<mxGeometry relative="1" as="geometry">
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="-10" y="240" />
|
||||||
|
<mxPoint x="-10" y="240" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-5" connectable="0" parent="9YVmYg31Dtc29ZtFE1oE-1" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="e-mail" vertex="1">
|
||||||
|
<mxGeometry relative="1" x="-0.0667" as="geometry">
|
||||||
|
<mxPoint y="-10" as="offset" />
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-2" parent="1" style="shape=umlActor;verticalLabelPosition=bottom;verticalAlign=top;html=1;outlineConnect=0;" value="Customer" vertex="1">
|
||||||
|
<mxGeometry height="70" width="40" x="-220" y="205" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-3" edge="1" parent="1" source="arch-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;fillColor=#60a917;strokeColor=#2D7600;" target="arch-2">
|
||||||
|
<mxGeometry relative="1" as="geometry">
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="-320" y="470" />
|
||||||
|
<mxPoint x="-320" y="240" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-4" connectable="0" parent="9YVmYg31Dtc29ZtFE1oE-3" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="Send<div>message</div>" vertex="1">
|
||||||
|
<mxGeometry relative="1" x="-0.075" as="geometry">
|
||||||
|
<mxPoint y="-11" as="offset" />
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-3" parent="1" style="shape=umlActor;verticalLabelPosition=bottom;verticalAlign=top;html=1;outlineConnect=0;" value="Support agent<div>(human)</div>" vertex="1">
|
||||||
|
<mxGeometry height="70" width="40" x="-220" y="435" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-4" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Anthropic</b><div>https://api.anthropic.com/v1</div>" vertex="1">
|
||||||
|
<mxGeometry height="60" width="180" x="225" y="10" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-5" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Ollama</b> + bge-m3<br>embedding model" vertex="1">
|
||||||
|
<mxGeometry height="60" width="180" x="455" y="10" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-2" edge="1" parent="1" source="arch-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;" target="arch-3">
|
||||||
|
<mxGeometry relative="1" as="geometry">
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="-110" y="470" />
|
||||||
|
<mxPoint x="-110" y="470" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-6" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fafafa;strokeColor=#6c8ebf;" value="LibreDesk" vertex="1">
|
||||||
|
<mxGeometry height="465" width="970" x="-30" y="160" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-20" edge="1" parent="1" source="arch-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-4">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Provider</b><br>completion: Claude Sonnet 5.5" vertex="1">
|
||||||
|
<mxGeometry height="70" width="170" x="230" y="180" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-21" edge="1" parent="1" source="arch-8" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-5">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-8" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Embedding</b><br>Ollama, bge-m3" vertex="1">
|
||||||
|
<mxGeometry height="70" width="170" x="460" y="180" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-14" edge="1" parent="1" source="arch-9" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-7">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-15" edge="1" parent="1" source="arch-9" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-11">
|
||||||
|
<mxGeometry relative="1" as="geometry">
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="315" y="400" />
|
||||||
|
<mxPoint x="315" y="400" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-9" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;" value="<b>Generate reply</b><br>draft in the editor" vertex="1">
|
||||||
|
<mxGeometry height="70" width="170" x="230" y="290" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-10" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Snippets</b><br>knowledge base,<br>118 extracts + vectors" vertex="1">
|
||||||
|
<mxGeometry height="70" width="170" x="700" y="180" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-11" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fafafa;strokeColor=#6c8ebf;" value="Tools <span style="font-weight:normal">(function calling: name + JSON schema, exposed to the LLM)</span>" vertex="1">
|
||||||
|
<mxGeometry height="210" width="735" x="135" y="390" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-16" edge="1" parent="1" source="arch-12" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-8">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-17" connectable="0" parent="HigBPHvGvvlsroYYhkdi-16" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="fetch query" vertex="1">
|
||||||
|
<mxGeometry relative="1" x="0.0571" y="-1" as="geometry">
|
||||||
|
<mxPoint x="4" y="-13" as="offset" />
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-18" edge="1" parent="1" source="arch-12" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-10">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-19" connectable="0" parent="HigBPHvGvvlsroYYhkdi-18" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="vector search" vertex="1">
|
||||||
|
<mxGeometry relative="1" x="-0.0896" as="geometry">
|
||||||
|
<mxPoint x="-60" y="-2" as="offset" />
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-12" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="search_articles" vertex="1">
|
||||||
|
<mxGeometry height="55" width="90" x="500" y="435" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="arch-13" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>get_station_diagnostic(serial, from, to)</b><br>new custom tool" vertex="1">
|
||||||
|
<mxGeometry height="75" width="320" x="155" y="510" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-13" edge="1" parent="1" source="HigBPHvGvvlsroYYhkdi-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;" target="arch-9">
|
||||||
|
<mxGeometry relative="1" as="geometry">
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="140" y="325" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="HigBPHvGvvlsroYYhkdi-3" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;" value="<div><b>Client</b></div><b>Conversation</b>" vertex="1">
|
||||||
|
<mxGeometry height="70" width="120" x="80" y="220" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-5" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fff8ef;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="Detector service (independent container)" vertex="1">
|
||||||
|
<mxGeometry height="330" width="420" x="105" y="740" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>REST API</b><br>GET /stations/{serial}/diagnostic?from=…&amp;to=…<br>→ events: family, start, end, evidence" vertex="1">
|
||||||
|
<mxGeometry height="80" width="360" x="135" y="780" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-check" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;dashed=1;strokeWidth=2;" value="<b>Access check</b> (before any data is read)<br>same identity headers → access service:<br>serial among the customer's stations? no → 403" vertex="1">
|
||||||
|
<mxGeometry height="70" width="360" x="135" y="880" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-allowed" edge="1" parent="1" source="acc-check" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="fix-7" value="allowed">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-tool" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>get_customer_access()</b><br>no parameter, on Generate reply<br>secret header Authorization: Bearer …" vertex="1">
|
||||||
|
<mxGeometry height="62" width="320" x="155" y="432" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-e-conv" edge="1" parent="1" source="HigBPHvGvvlsroYYhkdi-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;" target="acc-tool" value="contact e-mail<br>(X-Libredesk-Contact-Email,<br>added by LibreDesk,<br>not the LLM)">
|
||||||
|
<mxGeometry relative="1" x="-0.1837" as="geometry">
|
||||||
|
<mxPoint as="offset" />
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="60" y="260" />
|
||||||
|
<mxPoint x="60" y="448" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-svc" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fdf3f2;strokeColor=#b85450;strokeWidth=2;" value="Access service (independent container: acces/, Python stdlib) <span style="font-weight:normal">in service, provisional: Maxime's PC</span>" vertex="1">
|
||||||
|
<mxGeometry height="350" width="465" x="-390" y="720" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-api" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>REST API</b><br>GET /customer/access · Bearer token, else 401<br>→ {"projects": [{project, serial, role}]}" vertex="1">
|
||||||
|
<mxGeometry height="80" width="425" x="-370" y="780" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-lookup" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>Rights lookup</b><br>contact e-mail → dashboard accounts (auth0|…)<br>→ their UserGroups → Device (project, serial)<br>role: dev_admin wins over user<br>no e-mail, unknown or no rights → empty list<br>file or DB unreadable → 502, never an empty list" vertex="1">
|
||||||
|
<mxGeometry height="150" width="425" x="-370" y="890" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-e-api" edge="1" parent="1" source="acc-api" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;strokeWidth=2;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-lookup" value="">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-auth0" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>utilisateurs.json</b><br>e-mail → auth0|…<br>Auth0 export (exporter_utilisateurs.py),<br>re-read on every call" vertex="1">
|
||||||
|
<mxGeometry height="80" width="200" x="-390" y="1185" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-db" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#f8cecc;strokeColor=#b85450;" value="<b>Access rights</b> (dashboard database.db, copy)<br><b>UserGroupEntry</b>: user → UserGroup<br><b>UserGroup</b>: device × role (user · dev_admin)<br><b>Device</b>: name, serial_number" vertex="1">
|
||||||
|
<mxGeometry height="120" width="245" x="-170" y="1165" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-e-auth0" edge="1" parent="1" source="acc-lookup" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;exitX=0.2;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-auth0" value="e-mail → auth0|…">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-e-db" edge="1" parent="1" source="acc-lookup" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;exitX=0.75;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-db" value="read-only">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-e-tool" edge="1" parent="1" source="acc-tool" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;strokeWidth=2;exitX=0;exitY=0.75;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-api" value="HTTP GET<br>+ Bearer token<br>+ contact e-mail">
|
||||||
|
<mxGeometry relative="1" x="0.1612" as="geometry">
|
||||||
|
<mxPoint as="offset" />
|
||||||
|
<Array as="points">
|
||||||
|
<mxPoint x="100" y="478" />
|
||||||
|
<mxPoint x="100" y="660" />
|
||||||
|
<mxPoint x="-157" y="660" />
|
||||||
|
</Array>
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="acc-e-check" edge="1" parent="1" source="acc-check" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;dashed=1;fontColor=#b85450;exitX=0;exitY=0.5;exitDx=0;exitDy=0;entryX=1;entryY=0.5;entryDx=0;entryDy=0;" target="acc-api" value="re-check:<br>the LLM cannot<br>widen access">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>Detectors</b><br>visibility · obstruction · target issue<br>thermal · no data · displacement<br>→ classified events" vertex="1">
|
||||||
|
<mxGeometry height="80" width="360" x="135" y="975" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-8" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#d5e8d4;strokeColor=#82b366;" value="<b>Station data</b> (AIMsight platform)" vertex="1">
|
||||||
|
<mxGeometry height="70" width="360" x="135" y="1190" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-10" edge="1" parent="1" source="arch-13" style="rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;edgeStyle=orthogonalEdgeStyle;" target="fix-6" value="7. HTTP GET (serial, from, to)<br>+ identity headers">
|
||||||
|
<mxGeometry relative="1" x="0.1306" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-11" edge="1" parent="1" source="fix-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.500;exitY=1.000;exitDx=0;exitDy=0;entryX=0.500;entryY=0.000;entryDx=0;entryDy=0;" target="acc-check" value="">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="fix-12" edge="1" parent="1" source="fix-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.500;exitY=1.000;exitDx=0;exitDy=0;entryX=0.500;entryY=0.000;entryDx=0;entryDy=0;" target="fix-8" value="reads the range (read-only)">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-boundary" edge="1" parent="1" style="endArrow=none;html=1;rounded=0;dashed=1;dashPattern=8 4;strokeColor=#999999;strokeWidth=1;" value="">
|
||||||
|
<mxGeometry relative="1" as="geometry">
|
||||||
|
<mxPoint x="-400" y="680" as="sourcePoint" />
|
||||||
|
<mxPoint x="1380" y="680" as="targetPoint" />
|
||||||
|
</mxGeometry>
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-boundary-lbl" parent="1" style="text;html=1;align=right;verticalAlign=bottom;whiteSpace=wrap;fontColor=#666666;fontSize=11;" value="<b>HTTP / JSON boundary</b><br>below: independent containers, deployable and reusable on their own" vertex="1">
|
||||||
|
<mxGeometry height="40" width="380" x="1000" y="638" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-8" edge="1" parent="1" source="9YVmYg31Dtc29ZtFE1oE-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-6" value="HTTP (params)">
|
||||||
|
<mxGeometry relative="1" x="0.1306" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="9YVmYg31Dtc29ZtFE1oE-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=light-dark(#9673a6, #d2bbdd);dashed=1;strokeWidth=2;" value="<b>other_tool(params)</b><br>any other capability, same mechanism<br><i>e.g. get_contract(customer_id)</i>" vertex="1">
|
||||||
|
<mxGeometry height="75" width="280" x="575" y="510" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-5" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#faf6fc;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="Other service (independent container)" vertex="1">
|
||||||
|
<mxGeometry height="330" width="340" x="545" y="740" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="<b>REST API</b><br>GET /{resource}/{id}?…<br>→ structured JSON" vertex="1">
|
||||||
|
<mxGeometry height="80" width="300" x="565" y="780" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="<b>Domain logic</b><br>rules · models · computations<br>owned by the service, not by the LLM<br>→ structured result" vertex="1">
|
||||||
|
<mxGeometry height="150" width="300" x="565" y="890" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-8" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Domain data</b> (DB, CRM, ERP, …)" vertex="1">
|
||||||
|
<mxGeometry height="70" width="300" x="565" y="1190" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-11" edge="1" parent="1" source="gen-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-7" value="">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-12" edge="1" parent="1" source="gen-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-8" value="data access">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-host" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#999999;dashed=1;fontColor=#666666;" value="<b>Other host app</b><br><i>e.g. sales agent</i><br>own LLM + own tools,<br>calls the same services" vertex="1">
|
||||||
|
<mxGeometry height="80" width="200" x="960" y="780" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-host-edge" edge="1" parent="1" source="gen-host" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#999999;dashed=1;fontColor=#666666;exitX=0;exitY=0.5;exitDx=0;exitDy=0;entryX=1;entryY=0.5;entryDx=0;entryDy=0;" target="gen-6" value="HTTP">
|
||||||
|
<mxGeometry relative="1" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
<mxCell id="gen-legend" parent="1" style="shape=note;whiteSpace=wrap;html=1;size=14;align=left;verticalAlign=top;spacingLeft=10;spacingTop=6;spacingRight=8;fillColor=#fff2cc;strokeColor=#d6b656;" value="<b style="font-size:13px">Reusable mechanism</b><br><br><b>1. Host app</b> (here LibreDesk) triggers an action and sends context + tool list to the LLM.<br><b>2. Tool</b> = name + JSON schema + thin HTTP adapter. No business logic in the host.<br><b>3. Independent service</b> = container exposing a REST API; owns its domain logic and its data access, returns structured JSON.<br><b>4.</b> The LLM turns the tool result into the output (here a draft reviewed by a human).<br><b>5. Access</b>: on Generate reply the LLM first calls get_customer_access; LibreDesk adds the contact identity (headers), the access service (Bearer token) returns the projects the customer may read (Auth0 export + UserGroup, the dashboard's rule). Each data service checks again with the same headers.<br><br>New capability = one service + one tool declaration.<br>Same pattern for another host app (sales agent: CRM, quotes, stock…).<br><br><b>Legend</b><br><span style="color:#6c8ebf">■</span> existing LibreDesk<br><span style="color:#d79b00">■</span> dashed orange: this use case (planned)<br><span style="color:#b85450">■</span> red: access rights (solid: in service; dashed: planned)<br><span style="color:#9673a6">■</span> dashed purple: any other service, plugged the same way<br><span style="color:#999999">■</span> dashed grey: other consumers of the services" vertex="1">
|
||||||
|
<mxGeometry height="450" width="380" x="1000" y="160" as="geometry" />
|
||||||
|
</mxCell>
|
||||||
|
</root>
|
||||||
|
</mxGraphModel>
|
||||||
|
</diagram>
|
||||||
|
</mxfile>
|
||||||
+43
-17
@@ -6,23 +6,34 @@ LibreDesk en production : `helpdesk.sensima.ch` (v2.9.0). Design : `superpowers/
|
|||||||
|
|
||||||
Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon dans l'éditeur, un humain l'envoie.
|
Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon dans l'éditeur, un humain l'envoie.
|
||||||
|
|
||||||
|
**Décision de Maxime (2026-11-12)** : les brouillons de l'essai local suffisent pour un premier essai ; on n'ajoute plus de simulation locale, on essaie directement sur la production. Le risque est faible : le brouillon ne part qu'au clic d'un agent, et un mauvais brouillon n'a pas de conséquence pour l'instant.
|
||||||
|
|
||||||
## Déjà fait (repris de Support-AI)
|
## Déjà fait (repris de Support-AI)
|
||||||
|
|
||||||
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `base_connaissances/corpus/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
|
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `snippets/textes/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
|
||||||
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
|
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
|
||||||
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
|
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
|
||||||
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
|
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
|
||||||
|
- [x] **1 bis provisoire. L'image Ollama sur le PC de Maxime** (2026-11-12), à la place de LM Studio, pour essayer le paquet comme le fera le serveur : dossier `~/essai-production/ollama` avec seulement les deux fichiers compose et `verifier_ollama.py`, `.env` = `OLLAMA_BIND=10.0.2.140` + `OLLAMA_PORT=11435`, `docker compose up -d --no-build` (image tirée de Gitea **sans login** : le paquet est public). Pare-feu de WSL (Hyper-V, bloque tout en entrée par défaut, sans interface graphique) ouvert par Maxime : règle `Ollama-LibreDesk`, TCP 11435, d'abord depuis `10.0.0.0/8`, puis resserrée au seul serveur LibreDesk `10.0.1.184` ; à retirer après l'essai (`Remove-NetFirewallHyperVRule -Name "Ollama-LibreDesk"`). Embeddings dans LibreDesk : `http://10.0.2.140:11435/v1`, `bge-m3:567m`, clé `ollama`, dimensions vides (0). Test réussi ; 118 appels `/v1/embeddings` depuis LibreDesk (`10.0.1.184`), tous en 200. Mêmes limites que LM Studio : PC allumé, adresse Wi-Fi qui peut changer.
|
||||||
|
- [ ] **1 ter. Le jeton sur le PC de Maxime** (image `embeddings-bge-m3`, branche `embeddings-token`). L'image renommée exige `Authorization: Bearer <EMBEDDINGS_JETON>` ; Ollama n'écoute plus que dans le conteneur, Caddy devant lui. Elle est déjà construite sur le PC : pas besoin de l'avoir poussée sur Gitea pour cet essai. L'ancienne image accepte n'importe quelle clé : on change donc d'abord la clé dans LibreDesk, puis le conteneur, sans coupure.
|
||||||
|
1. Tirer un jeton (Maxime, jamais montré à Claude) : `python3 -c 'import secrets; print(secrets.token_urlsafe(32))'`, et l'ajouter à `~/essai-production/ollama/.env` : `EMBEDDINGS_JETON=<jeton>`.
|
||||||
|
2. LibreDesk, Admin → IA → Providers, Embedding : **API key** = le jeton ; URL, modèle et *dimensions* inchangés (*dimensions* vide ou 0 : bge-m3 rend 1024 nombres, pas 1536). *Test connection*, puis *Save*. La clé n'entre pas dans l'empreinte des extraits : pas de recalcul.
|
||||||
|
3. Copier les nouveaux `compose.yml` et `verifier_ollama.py` dans `~/essai-production/ollama`, puis `cd ~/essai-production/ollama && docker compose up -d --no-build` (remplace `ollama-bge-m3` par `embeddings-bge-m3`, quelques secondes sans base).
|
||||||
|
4. Vérification : `python3 ~/essai-production/ollama/verifier_ollama.py http://10.0.2.140:11435/v1` → `OK bge-m3:567m, 1024 dimensions, jeton exigé` (le jeton est lu dans le `.env` voisin) ; dans LibreDesk, *Test connection* réussit ; un « Generate reply » s'appuie sur la base.
|
||||||
|
Retour en arrière : dans le `compose.yml` de `~/essai-production/ollama`, remettre l'image `ollama-bge-m3:0.40.16-567m` et `container_name: ollama-bge-m3`, `docker compose up -d --no-build` ; la clé de LibreDesk peut rester (l'ancienne image l'ignore).
|
||||||
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
|
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
|
||||||
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `base_connaissances/instructions.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
|
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `snippets/consignes_redaction.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
|
||||||
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Import : simulation (PRODUCTION) » puis « Import : ÉCRIRE (PRODUCTION) », puis tout révoquer.
|
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Snippets : envoyer en simulation (PRODUCTION) » puis « Snippets : ENVOYER (PRODUCTION) », puis tout révoquer.
|
||||||
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
|
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
|
||||||
|
|
||||||
## Ollama sur le serveur
|
## Ollama sur le serveur
|
||||||
|
|
||||||
But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk. LibreDesk recalcule seul les vecteurs des 118 extraits quand on enregistre la nouvelle adresse (vérifié sur l'instance de test, `verifications.md`).
|
But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk. LibreDesk recalcule seul les vecteurs des 118 extraits quand on enregistre la nouvelle adresse (vérifié sur l'instance de test, `verifications.md`).
|
||||||
|
|
||||||
- [ ] **6. L'image.** Sur le poste, tâche « Ollama : construire » (ou `docker compose -f ollama/compose.yml build`), puis vérification hors ligne (`verifications.md`). Puis, avec l'accord de Maxime, la pousser au registre Gitea : jeton Gitea à portée `write:package`, `docker login exchange.sensima.ch`, `docker push exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m`.
|
- [x] **6. L'image.** Sur le poste, tâche « Ollama : construire » (ou `docker compose -f ollama/compose.yml build`), puis vérification hors ligne (`verifications.md`). Puis, avec l'accord de Maxime, la pousser au registre Gitea : jeton Gitea à portée `write:package`, `docker login exchange.sensima.ch`, `docker push exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m`, puis `docker logout exchange.sensima.ch` (le login garde le jeton en clair dans `~/.docker/config.json`).
|
||||||
Vérification : l'image apparaît dans Packages du compte. Si le registre la refuse (taille), on la transportera par SSH au point 8.
|
Vérification : l'image apparaît dans Packages du compte. Si le registre la refuse (taille), on la transportera par SSH au point 8.
|
||||||
|
Construite et vérifiée hors ligne le 2026-11-12 (2,43 Go, sans clé privée : chaque conteneur crée la sienne au démarrage). Poussée le 2026-11-12, digest `sha256:332fbdec63583c8b2ac59a168cbd8c3e39624047662b912e58d9f3f7fff99530`. Pour le serveur (point 8) : un autre jeton, `package` en **lecture seule**.
|
||||||
|
- [ ] **6 bis. L'image renommée, avec jeton.** `exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m`, construite et vérifiée hors ligne le 2026-11-18 (2,49 Go ; `verifications.md`). À pousser comme au point 6, avec l'accord de Maxime. Puis, dans Gitea, la rattacher au dépôt (paramètres du paquet → lier au dépôt `aimsight-libredesk`). L'ancien paquet `ollama-bge-m3` ne sera supprimé qu'une fois plus rien ne l'utilise (point 1 ter fait), avec l'accord de Maxime.
|
||||||
|
|
||||||
- [ ] **7. État des lieux du serveur, sans rien changer** (Maxime, en SSH).
|
- [ ] **7. État des lieux du serveur, sans rien changer** (Maxime, en SSH).
|
||||||
```bash
|
```bash
|
||||||
@@ -38,10 +49,10 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
|||||||
|
|
||||||
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
|
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
|
||||||
```bash
|
```bash
|
||||||
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier.py <serveur>:ollama/
|
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier_ollama.py <serveur>:ollama/
|
||||||
```
|
```
|
||||||
Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`.
|
Récupérer l'image : `docker pull exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m` (paquet public : sans login) ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3` montre le tag `0.40.16-567m`.
|
||||||
Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
Puis écrire `~/ollama/.env` sur le serveur (`chmod 600`), avec, dans tous les cas, un jeton **propre au serveur** (pas celui du PC) : `EMBEDDINGS_JETON=<jeton>`, tiré par `python3 -c 'import secrets; print(secrets.token_urlsafe(32))'`. Sans lui, le conteneur refuse de démarrer. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
||||||
- **LibreDesk dans Docker** (cas attendu) :
|
- **LibreDesk dans Docker** (cas attendu) :
|
||||||
```
|
```
|
||||||
COMPOSE_FILE=compose.yml:compose.reseau.yml
|
COMPOSE_FILE=compose.yml:compose.reseau.yml
|
||||||
@@ -57,16 +68,16 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
|||||||
```bash
|
```bash
|
||||||
cd ~/ollama && docker compose up -d --no-build
|
cd ~/ollama && docker compose up -d --no-build
|
||||||
```
|
```
|
||||||
Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`.
|
Vérification : `docker ps --filter name=embeddings-bge-m3` montre `Up … (healthy)` ; `docker inspect embeddings-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `embeddings-bge-m3`.
|
||||||
|
|
||||||
- [ ] **9. Vérifier Ollama.**
|
- [ ] **9. Vérifier Ollama.**
|
||||||
- Depuis le serveur : `python3 ~/ollama/verifier.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
|
- Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions, jeton exigé`. Le jeton est lu dans `~/ollama/.env`, à côté du script ; le script vérifie aussi qu'une requête **sans** jeton est refusée.
|
||||||
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (le `.env` monté avec `/o` donne le jeton ; il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
||||||
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« jeton manquant ou invalide »), le jeton protège encore, mais le port est exposé : arrêter le service (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
||||||
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`.
|
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit rendre `jeton manquant ou invalide` ; avec le jeton (`set -a && . ~/ollama/.env && set +a && curl -s -H "Authorization: Bearer $EMBEDDINGS_JETON" http://127.0.0.1:11434/v1/models`), la liste avec `bge-m3:567m`.
|
||||||
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
|
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
|
||||||
|
|
||||||
- [ ] **10. Brancher LibreDesk sur Ollama.** Admin → IA → Providers, Embeddings : fournisseur OpenAI, URL de l'étape 8, modèle `bge-m3:567m`, clé `ollama`, *dimensions* 0, *embedding max tokens* 2048. Bouton de test, puis enregistrer seulement s'il réussit.
|
- [ ] **10. Brancher LibreDesk sur Ollama.** Admin → IA → Providers, Embeddings : fournisseur OpenAI, URL de l'étape 8, modèle `bge-m3:567m`, clé = le jeton du serveur (`EMBEDDINGS_JETON` de `~/ollama/.env`), *dimensions* 0, *embedding max tokens* 2048. Bouton de test, puis enregistrer seulement s'il réussit.
|
||||||
Vérification : le test réussit ; la complétion n'a pas changé.
|
Vérification : le test réussit ; la complétion n'a pas changé.
|
||||||
|
|
||||||
- [ ] **11. Le recalcul.** LibreDesk recalcule seul les 118 extraits (environ une minute). Dans ses journaux (`docker logs <conteneur LibreDesk> --since 10m 2>&1 | grep -E "embedding provider changed|reconciled embeddings|error generating embeddings"`) :
|
- [ ] **11. Le recalcul.** LibreDesk recalcule seul les 118 extraits (environ une minute). Dans ses journaux (`docker logs <conteneur LibreDesk> --since 10m 2>&1 | grep -E "embedding provider changed|reconciled embeddings|error generating embeddings"`) :
|
||||||
@@ -81,12 +92,27 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
|||||||
### Retour en arrière
|
### Retour en arrière
|
||||||
Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `text-embedding-bge-m3`, clé `lm-studio` (LM Studio lancé sur le PC de Maxime), tester, enregistrer : LibreDesk recalcule de nouveau. Puis, sur le serveur si besoin : `cd ~/ollama && docker compose down`.
|
Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `text-embedding-bge-m3`, clé `lm-studio` (LM Studio lancé sur le PC de Maxime), tester, enregistrer : LibreDesk recalcule de nouveau. Puis, sur le serveur si besoin : `cd ~/ollama && docker compose down`.
|
||||||
|
|
||||||
|
## Le service d'accès (les projets du client)
|
||||||
|
|
||||||
|
Au clic sur « Generate reply », le LLM peut appeler l'outil `get_customer_access` : LibreDesk ajoute l'e-mail du contact (`X-Libredesk-Contact-Email`), le service `acces/` renvoie les projets que ce client voit sur le dashboard (`{"projects": [{"project", "serial", "role"}]}`). Code et données : `acces/` (README du dépôt).
|
||||||
|
|
||||||
|
- [x] **14 provisoire. Sur le PC de Maxime** (2026-11-18), comme Ollama au point 1 bis.
|
||||||
|
- Données, hors de git : `acces/database.db` (copie de la base du dashboard du 2026-11-12) et `acces/utilisateurs.json` (export d'Auth0, e-mail → `auth0|…`, `acces/exporter_utilisateurs.py`, lancé par Maxime avec le `.env` du dashboard).
|
||||||
|
- `acces/.env` (jamais lu par Claude) : `ACCES_JETON`, `ACCES_BIND=10.0.2.140`, `ACCES_PORT=18080`. Construction (sur le poste) : `docker compose -f acces/compose.yml build` ; lancement : `docker compose -f acces/compose.yml up -d --no-build`.
|
||||||
|
- Pare-feu de WSL ouvert par Maxime : règle `Acces-LibreDesk`, TCP 18080, depuis le seul serveur LibreDesk `10.0.1.184` (retrait : `Remove-NetFirewallHyperVRule -Name "Acces-LibreDesk"`).
|
||||||
|
- Outil dans Admin → IA → Tools : `get_customer_access`, `GET http://10.0.2.140:18080/customer/access`, en-tête `Authorization: Bearer <ACCES_JETON>`, paramètres `{"type":"object","properties":{}}`, activé pour Generate reply, sans approbation.
|
||||||
|
- Vérifié : un « Generate reply » en production → `docker logs libredesk-acces` montre `10.0.1.184 … e-mail présent, 1 projet(s)` puis `200`. Le journal ne contient jamais l'adresse.
|
||||||
|
- Mêmes limites qu'Ollama : PC allumé, adresse Wi-Fi qui peut changer ; HTTP en clair sur le réseau interne. Données figées : rafraîchir la base et l'export à la main. Les admins globaux du dashboard (rôle Auth0) reçoivent une liste vide.
|
||||||
|
- Si l'outil est en erreur : `docker ps --filter name=libredesk-acces`, puis `docker compose -f acces/compose.yml up -d --no-build` ; en dernier recours, désactiver l'outil (le brouillon se fait alors sans les projets).
|
||||||
|
- [ ] **15. Les consignes** : dire au LLM quoi faire des projets (`snippets/consignes_redaction.md`).
|
||||||
|
- [ ] **16. Sur le serveur**, à côté d'Ollama (après le point 7) : `acces/compose.reseau.yml`, URL `http://acces:8080/customer/access`, et une base du dashboard tenue à jour.
|
||||||
|
|
||||||
## Au quotidien
|
## Au quotidien
|
||||||
|
|
||||||
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=embeddings-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
||||||
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
|
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
|
||||||
- **Retoucher la base** : modifier le fichier dans `base_connaissances/corpus/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
|
- **Retoucher la base** : modifier le fichier dans `snippets/textes/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
|
||||||
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne et sur l'instance de test, puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
|
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne (`docker run --network none …`, puis `ollama/verifier_ollama.py`), puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
|
||||||
|
|
||||||
## Plus tard
|
## Plus tard
|
||||||
|
|
||||||
@@ -99,5 +125,5 @@ Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `
|
|||||||
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
|
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
|
||||||
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
|
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
|
||||||
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
|
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
|
||||||
- `essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
|
- `4_essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
|
||||||
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
|
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
|
||||||
@@ -1,5 +1,7 @@
|
|||||||
# Support-LibreDesk : plan de réalisation
|
# Support-LibreDesk : plan de réalisation
|
||||||
|
|
||||||
|
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
|
||||||
|
|
||||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||||
|
|
||||||
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
|
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
|
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
|
||||||
|
|
||||||
|
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
|
||||||
|
|
||||||
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
|
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
|
||||||
|
|
||||||
## 1. L'intention
|
## 1. L'intention
|
||||||
|
|||||||
+14
-3
@@ -24,26 +24,37 @@ Repris de Support-AI (vérifications des 2026-11-09 et 2026-11-11), limité à c
|
|||||||
|
|
||||||
**Le réseau du poste** : WSL est en mode `networkingMode=mirrored` ; WSL et Docker ne joignent Windows que par `127.0.0.1`. Pour qu'un conteneur joigne LM Studio sur Windows, il fallait un relais `socat` (voir l'historique de Support-AI) ; avec Ollama dans Docker, le réseau Docker de l'instance suffit.
|
**Le réseau du poste** : WSL est en mode `networkingMode=mirrored` ; WSL et Docker ne joignent Windows que par `127.0.0.1`. Pour qu'un conteneur joigne LM Studio sur Windows, il fallait un relais `socat` (voir l'historique de Support-AI) ; avec Ollama dans Docker, le réseau Docker de l'instance suffit.
|
||||||
|
|
||||||
|
## L'image renommée embeddings-bge-m3, avec jeton (2026-11-18) [code, test]
|
||||||
|
|
||||||
|
Image `exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m` (2,49 Go) : la précédente, plus Caddy 2.10.2 devant Ollama. Ollama n'écoute que sur `127.0.0.1:11435` dans le conteneur ; Caddy, sur 11434, ne transmet que les requêtes qui portent `Authorization: Bearer <EMBEDDINGS_JETON>`.
|
||||||
|
- LibreDesk v2.9.0 envoie la clé des embeddings en `Authorization: Bearer <clé>` (`internal/ai/openai.go`, `post`), et lit un 401 comme « clé API invalide » (`ErrInvalidAPIKey`, sans nouvel essai). La clé n'entre pas dans l'empreinte des extraits (`itemFingerprint`) : la changer ne déclenche pas de recalcul.
|
||||||
|
- Sans jeton, ou avec un jeton de moins de 32 caractères : le conteneur s'arrête aussitôt (code 1, message `EMBEDDINGS_JETON manquant ou invalide`).
|
||||||
|
- Hors ligne (réseau Docker `--internal`, alias `ollama` comme sur le réseau de LibreDesk) : `healthy` ; `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions, jeton exigé` ; sans en-tête, mauvais jeton, ancienne clé `ollama` : 401 ; bon jeton : 200 ; Ollama lui-même (11435) injoignable depuis un autre conteneur.
|
||||||
|
- Ollama, lié à 127.0.0.1, refuse (403) un Host non local comme `ollama:11434` : Caddy réécrit `Host` (`header_up Host 127.0.0.1:11435`), et ne transmet pas le jeton à Ollama.
|
||||||
|
- Le jeton n'apparaît pas dans `docker logs` ; il est dans l'environnement de Caddy seulement, pas dans celui d'Ollama. Il reste lisible par `docker inspect` (comme `ACCES_JETON`) : réservé à qui administre Docker.
|
||||||
|
- `docker stop` : arrêt immédiat (les signaux sont transmis). Ollama tué dans le conteneur : le conteneur s'arrête, Docker le relance (`RestartCount` 1), de nouveau `healthy`.
|
||||||
|
- Port publié sur `127.0.0.1:11436`, depuis WSL : même résultat que hors ligne.
|
||||||
|
|
||||||
## La simulation du passage à Ollama (2026-11-12) [test]
|
## La simulation du passage à Ollama (2026-11-12) [test]
|
||||||
|
|
||||||
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
|
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
|
||||||
|
|
||||||
**L'image**
|
**L'image**
|
||||||
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
|
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
|
||||||
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
|
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
|
||||||
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
|
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
|
||||||
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
|
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
|
||||||
|
|
||||||
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
|
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
|
||||||
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
|
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
|
||||||
- Changement d'adresse (`configurer_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
|
- Changement d'adresse (`3_brancher_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`voir_empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
|
||||||
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
|
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
|
||||||
|
|
||||||
**Ollama arrêté pendant le recalcul**
|
**Ollama arrêté pendant le recalcul**
|
||||||
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
|
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
|
||||||
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
|
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
|
||||||
|
|
||||||
**L'essai des brouillons** (`essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
|
**L'essai des brouillons** (`4_essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
|
||||||
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
|
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
|
||||||
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
|
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
|
||||||
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.
|
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.
|
||||||
@@ -1,9 +1,9 @@
|
|||||||
#!/usr/bin/env bash
|
#!/usr/bin/env bash
|
||||||
# Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit.
|
# Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit.
|
||||||
# bash instance-de-test/demarrer.sh <mot de passe System>
|
# bash instance-de-test/1_demarrer.sh <mot de passe System>
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
cd "$(dirname "$0")"
|
cd "$(dirname "$0")"
|
||||||
MDP="${1:?usage : demarrer.sh <mot de passe System>}"
|
MDP="${1:?usage : 1_demarrer.sh <mot de passe System>}"
|
||||||
|
|
||||||
if [ ! -f config.toml ]; then
|
if [ ! -f config.toml ]; then
|
||||||
curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml
|
curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml
|
||||||
@@ -2,12 +2,12 @@
|
|||||||
« Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY,
|
« Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY,
|
||||||
LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée.
|
LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée.
|
||||||
|
|
||||||
python3 instance-de-test/preparer.py <mot de passe System>
|
python3 instance-de-test/2_creer_boite_et_cle.py <mot de passe System>
|
||||||
"""
|
"""
|
||||||
import sys
|
import sys
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from session import B, connexion, req
|
from connexion_admin import B, connexion, req
|
||||||
|
|
||||||
SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none",
|
SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none",
|
||||||
"tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s",
|
"tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s",
|
||||||
@@ -19,7 +19,7 @@ IMAP = {"host": "127.0.0.1", "port": 1, "username": "x", "password": "x", "mailb
|
|||||||
def main(mot_de_passe: str) -> None:
|
def main(mot_de_passe: str) -> None:
|
||||||
connexion(mot_de_passe)
|
connexion(mot_de_passe)
|
||||||
if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []):
|
if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []):
|
||||||
sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis demarrer.sh")
|
sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis 1_demarrer.sh")
|
||||||
req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False,
|
req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False,
|
||||||
"from": "Support <support@example.com>",
|
"from": "Support <support@example.com>",
|
||||||
"config": {"auth_type": "password", "from": "Support <support@example.com>",
|
"config": {"auth_type": "password", "from": "Support <support@example.com>",
|
||||||
@@ -2,16 +2,21 @@
|
|||||||
Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur
|
Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur
|
||||||
d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle.
|
d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle.
|
||||||
|
|
||||||
ANTHROPIC_API_KEY=… python3 instance-de-test/configurer_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
|
ANTHROPIC_API_KEY=… python3 instance-de-test/3_brancher_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
|
||||||
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||||
|
Sans [clé] : le jeton d'embeddings-bge-m3 (EMBEDDINGS_JETON, dans l'environnement ou dans ollama/.env), pour ne pas
|
||||||
|
le taper dans la commande.
|
||||||
"""
|
"""
|
||||||
import os
|
import os
|
||||||
import sys
|
import sys
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from session import connexion, req
|
from connexion_admin import connexion, req
|
||||||
|
|
||||||
INSTRUCTIONS = Path(__file__).resolve().parents[1] / "base_connaissances" / "instructions.md"
|
DEPOT = Path(__file__).resolve().parents[1]
|
||||||
|
CONSIGNES = DEPOT / "snippets" / "consignes_redaction.md"
|
||||||
|
sys.path.insert(0, str(DEPOT / "ollama"))
|
||||||
|
from verifier_ollama import lire_jeton # noqa: E402
|
||||||
|
|
||||||
|
|
||||||
def configurer(type_: str, config: dict) -> None:
|
def configurer(type_: str, config: dict) -> None:
|
||||||
@@ -20,12 +25,13 @@ def configurer(type_: str, config: dict) -> None:
|
|||||||
print(f"{type_} : test réussi, configuration enregistrée")
|
print(f"{type_} : test réussi, configuration enregistrée")
|
||||||
|
|
||||||
|
|
||||||
def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str = "ollama") -> None:
|
def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str | None = None) -> None:
|
||||||
cle_claude = os.environ.get("ANTHROPIC_API_KEY") or sys.exit("ANTHROPIC_API_KEY manque dans l'environnement")
|
cle_claude = os.environ.get("ANTHROPIC_API_KEY") or sys.exit("ANTHROPIC_API_KEY manque dans l'environnement")
|
||||||
|
cle = cle or lire_jeton() or sys.exit("pas de clé d'embeddings : EMBEDDINGS_JETON manque (environnement ou ollama/.env)")
|
||||||
connexion(mot_de_passe)
|
connexion(mot_de_passe)
|
||||||
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
|
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
|
||||||
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
|
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
|
||||||
"instructions": INSTRUCTIONS.read_text(encoding="utf-8").strip(), "vision": True})
|
"instructions": CONSIGNES.read_text(encoding="utf-8").strip(), "vision": True})
|
||||||
configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele,
|
configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele,
|
||||||
"dimensions": 0, "embedding_max_tokens": 2048})
|
"dimensions": 0, "embedding_max_tokens": 2048})
|
||||||
|
|
||||||
@@ -1,9 +1,9 @@
|
|||||||
"""L'essai des brouillons sur l'instance de test (après preparer.py et configurer_ia.py) : une conversation par mail de
|
"""L'essai des brouillons sur l'instance de test (après 2_creer_boite_et_cle.py et 3_brancher_ia.py) : une conversation par mail de
|
||||||
instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger.
|
instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger.
|
||||||
|
|
||||||
Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir.
|
Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir.
|
||||||
|
|
||||||
python3 instance-de-test/essayer_brouillons.py [mot de passe System]
|
python3 instance-de-test/4_essayer_brouillons.py [mot de passe System]
|
||||||
"""
|
"""
|
||||||
import datetime
|
import datetime
|
||||||
import html
|
import html
|
||||||
@@ -14,7 +14,7 @@ import time
|
|||||||
import urllib.request
|
import urllib.request
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from session import connexion, req
|
from connexion_admin import connexion, req
|
||||||
|
|
||||||
MAILPIT = "http://127.0.0.1:9125/api/v1/messages"
|
MAILPIT = "http://127.0.0.1:9125/api/v1/messages"
|
||||||
ICI = Path(__file__).resolve().parent
|
ICI = Path(__file__).resolve().parent
|
||||||
File renamed without changes.
File renamed without changes.
@@ -0,0 +1,27 @@
|
|||||||
|
# Le portier de l'image embeddings-bge-m3 : seul port publié (11434), il ne laisse passer vers Ollama
|
||||||
|
# (127.0.0.1:11435, joignable seulement dans le conteneur) que les requêtes qui portent
|
||||||
|
# « Authorization: Bearer <EMBEDDINGS_JETON> ». Le jeton est donné au lancement, jamais rangé dans l'image.
|
||||||
|
# demarrer.sh vérifie le jeton avant de lancer Caddy : 32 caractères au moins, lettres, chiffres, « _ » et « - »
|
||||||
|
# seulement (« * » serait un joker pour le filtre header, « } » casserait la substitution).
|
||||||
|
{
|
||||||
|
admin off
|
||||||
|
auto_https off
|
||||||
|
persist_config off
|
||||||
|
}
|
||||||
|
|
||||||
|
:11434 {
|
||||||
|
@autorise header Authorization "Bearer {$EMBEDDINGS_JETON}"
|
||||||
|
|
||||||
|
handle @autorise {
|
||||||
|
reverse_proxy 127.0.0.1:11435 {
|
||||||
|
# Ollama, lié à 127.0.0.1, refuse (403) un Host qui n'est pas local, comme « ollama:11434 ».
|
||||||
|
header_up Host 127.0.0.1:11435
|
||||||
|
header_up -Authorization
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
handle {
|
||||||
|
header WWW-Authenticate "Bearer"
|
||||||
|
respond "jeton manquant ou invalide" 401
|
||||||
|
}
|
||||||
|
}
|
||||||
+23
-7
@@ -1,5 +1,8 @@
|
|||||||
|
# embeddings-bge-m3 : un service d'embeddings (bge-m3, 1024 dimensions, format OpenAI) protégé par un jeton.
|
||||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||||
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier.py).
|
# Devant Ollama, Caddy exige « Authorization: Bearer <EMBEDDINGS_JETON> » (Caddyfile, demarrer.sh).
|
||||||
|
# Versions figées (Ollama 2026-11-12, Caddy 2026-11-18) ; les changer = reconstruire et revérifier
|
||||||
|
# (ollama/verifier_ollama.py).
|
||||||
|
|
||||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||||
@@ -11,19 +14,32 @@ RUN ollama serve >/tmp/serve.log 2>&1 & \
|
|||||||
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
||||||
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
||||||
|
|
||||||
# 2. L'image livrée : la même Ubuntu 24.04 que l'image officielle, Ollama, ses bibliothèques processeur, le modèle.
|
# 2. Le portier : Caddy, un seul binaire statique, pris dans l'image officielle.
|
||||||
|
FROM caddy:2.10.2-alpine AS portier
|
||||||
|
|
||||||
|
# 3. L'image livrée : la même Ubuntu 24.04 que l'image officielle d'Ollama, Ollama, ses bibliothèques processeur,
|
||||||
|
# le modèle, et Caddy.
|
||||||
FROM ubuntu:noble-20261024.1
|
FROM ubuntu:noble-20261024.1
|
||||||
|
LABEL org.opencontainers.image.title="embeddings-bge-m3" \
|
||||||
|
org.opencontainers.image.description="Service d'embeddings bge-m3:567m (1024 dimensions), API OpenAI /v1/embeddings, sur processeur, hors ligne, protégé par un jeton (EMBEDDINGS_JETON). Pour la recherche dans la base de connaissances de LibreDesk." \
|
||||||
|
org.opencontainers.image.source="https://exchange.sensima.ch/maxime.pasquier/aimsight-libredesk" \
|
||||||
|
org.opencontainers.image.version="0.40.16-567m"
|
||||||
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
||||||
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
||||||
COPY --from=source /root/.ollama /root/.ollama
|
# Seulement les modèles : la clé d'identité (id_ed25519) créée par le serveur du pull reste dans l'étape 1 ;
|
||||||
|
# chaque conteneur génère la sienne au premier démarrage.
|
||||||
|
COPY --from=source /root/.ollama/models /root/.ollama/models
|
||||||
|
COPY --from=portier /usr/bin/caddy /usr/bin/caddy
|
||||||
|
COPY Caddyfile /etc/caddy/Caddyfile
|
||||||
|
COPY demarrer.sh /usr/local/bin/demarrer.sh
|
||||||
|
|
||||||
# Écoute sur toutes les interfaces du conteneur ; c'est le compose qui choisit où le port est publié.
|
# Ollama n'écoute que dans le conteneur (127.0.0.1:11435) ; seul Caddy (11434) est joignable de l'extérieur, et
|
||||||
|
# c'est le compose qui choisit où ce port est publié.
|
||||||
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
||||||
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
||||||
ENV OLLAMA_HOST=0.0.0.0:11434 \
|
ENV OLLAMA_HOST=127.0.0.1:11435 \
|
||||||
OLLAMA_KEEP_ALIVE=-1 \
|
OLLAMA_KEEP_ALIVE=-1 \
|
||||||
OLLAMA_NO_CLOUD=1
|
OLLAMA_NO_CLOUD=1
|
||||||
EXPOSE 11434
|
EXPOSE 11434
|
||||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
||||||
ENTRYPOINT ["/usr/bin/ollama"]
|
ENTRYPOINT ["/bin/bash", "/usr/local/bin/demarrer.sh"]
|
||||||
CMD ["serve"]
|
|
||||||
@@ -1,5 +1,5 @@
|
|||||||
# Surcharge : rattache Ollama au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
# Surcharge : rattache embeddings-bge-m3 au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||||
# (http://ollama:11434/v1). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
# (http://ollama:11434/v1, avec le jeton comme pour une adresse publiée). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||||
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||||
services:
|
services:
|
||||||
ollama:
|
ollama:
|
||||||
|
|||||||
+12
-6
@@ -1,14 +1,20 @@
|
|||||||
# Ollama + bge-m3, pour LibreDesk. Ollama n'a pas d'authentification : son port n'est publié que sur 127.0.0.1,
|
# embeddings-bge-m3 (Ollama + bge-m3 derrière Caddy), pour LibreDesk. Chaque requête doit porter
|
||||||
# sauf si OLLAMA_BIND donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique).
|
# « Authorization: Bearer <EMBEDDINGS_JETON> » (dans LibreDesk : le champ « API key » des embeddings).
|
||||||
# OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
# - ollama/.env (hors de git, jamais lu par Claude) : EMBEDDINGS_JETON (32 caractères au moins, lettres, chiffres,
|
||||||
# Ollama occupe déjà 11434.
|
# « _ » et « - ») ; sans lui, le conteneur refuse de démarrer. Et, s'il le faut, OLLAMA_BIND, OLLAMA_PORT.
|
||||||
|
# - Le jeton ne dispense pas de garder le port à l'intérieur : il n'est publié que sur 127.0.0.1, sauf si OLLAMA_BIND
|
||||||
|
# donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique ; HTTP en clair).
|
||||||
|
# - OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||||
|
# Ollama occupe déjà 11434.
|
||||||
# docker compose -f ollama/compose.yml build
|
# docker compose -f ollama/compose.yml build
|
||||||
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
||||||
services:
|
services:
|
||||||
ollama:
|
ollama:
|
||||||
build: .
|
build: .
|
||||||
image: exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m
|
image: exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m
|
||||||
container_name: ollama-bge-m3
|
container_name: embeddings-bge-m3
|
||||||
restart: unless-stopped
|
restart: unless-stopped
|
||||||
|
environment:
|
||||||
|
EMBEDDINGS_JETON: ${EMBEDDINGS_JETON:-}
|
||||||
ports:
|
ports:
|
||||||
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
||||||
@@ -0,0 +1,32 @@
|
|||||||
|
#!/bin/bash
|
||||||
|
# Démarrage de l'image embeddings-bge-m3 : Ollama sur 127.0.0.1:11435 (seulement dans le conteneur), et devant lui
|
||||||
|
# Caddy sur 11434, qui exige le jeton (Caddyfile). Sans jeton valable, rien ne démarre : on ne peut pas lancer le
|
||||||
|
# service ouvert par oubli. Si l'un des deux s'arrête, le conteneur s'arrête, et Docker le relance (unless-stopped).
|
||||||
|
set -uo pipefail
|
||||||
|
|
||||||
|
jeton="${EMBEDDINGS_JETON:-}"
|
||||||
|
if [[ ! "$jeton" =~ ^[A-Za-z0-9_-]{32,}$ ]]; then
|
||||||
|
echo "EMBEDDINGS_JETON manquant ou invalide : 32 caractères au moins, lettres, chiffres, « _ » et « - » seulement." >&2
|
||||||
|
echo "Par exemple : python3 -c 'import secrets; print(secrets.token_urlsafe(32))'" >&2
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
# Ollama n'a pas besoin du jeton : il ne le reçoit pas.
|
||||||
|
env -u EMBEDDINGS_JETON /usr/bin/ollama serve &
|
||||||
|
ollama=$!
|
||||||
|
/usr/bin/caddy run --config /etc/caddy/Caddyfile --adapter caddyfile &
|
||||||
|
caddy=$!
|
||||||
|
|
||||||
|
arreter() {
|
||||||
|
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||||
|
wait
|
||||||
|
exit 0
|
||||||
|
}
|
||||||
|
trap arreter TERM INT
|
||||||
|
|
||||||
|
wait -n
|
||||||
|
code=$?
|
||||||
|
echo "Ollama ou Caddy s'est arrêté (code $code) : arrêt du conteneur." >&2
|
||||||
|
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||||
|
wait
|
||||||
|
exit 1
|
||||||
@@ -1,49 +0,0 @@
|
|||||||
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
|
||||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
|
||||||
|
|
||||||
python3 ollama/verifier.py http://127.0.0.1:11434/v1
|
|
||||||
"""
|
|
||||||
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
|
||||||
|
|
||||||
import json
|
|
||||||
import sys
|
|
||||||
import urllib.error
|
|
||||||
import urllib.request
|
|
||||||
|
|
||||||
MODELE = "bge-m3:567m"
|
|
||||||
DIMENSION = 1024
|
|
||||||
|
|
||||||
|
|
||||||
def _appel(url: str, corps: dict | None = None) -> dict:
|
|
||||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None,
|
|
||||||
headers={"Content-Type": "application/json", "Authorization": "Bearer ollama"})
|
|
||||||
try:
|
|
||||||
with urllib.request.urlopen(r, timeout=120) as rep:
|
|
||||||
return json.loads(rep.read())
|
|
||||||
except urllib.error.HTTPError as e:
|
|
||||||
with e:
|
|
||||||
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
|
||||||
except (urllib.error.URLError, TimeoutError) as e:
|
|
||||||
raise RuntimeError(f"Ollama injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
|
||||||
|
|
||||||
|
|
||||||
def verifier(base_url: str) -> str:
|
|
||||||
"""Rend « OK bge-m3:567m, 1024 dimensions » ; lève RuntimeError avec ce qui manque."""
|
|
||||||
base = base_url.rstrip("/")
|
|
||||||
modeles = [m.get("id") for m in _appel(f"{base}/models").get("data") or []]
|
|
||||||
if MODELE not in modeles:
|
|
||||||
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
|
||||||
vecteur = _appel(f"{base}/embeddings", {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
|
||||||
)["data"][0]["embedding"]
|
|
||||||
if len(vecteur) != DIMENSION:
|
|
||||||
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
|
||||||
return f"OK {MODELE}, {DIMENSION} dimensions"
|
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
|
||||||
if len(sys.argv) != 2:
|
|
||||||
sys.exit(__doc__)
|
|
||||||
try:
|
|
||||||
print(verifier(sys.argv[1]))
|
|
||||||
except RuntimeError as e:
|
|
||||||
sys.exit(f"ÉCHEC : {e}")
|
|
||||||
@@ -0,0 +1,88 @@
|
|||||||
|
"""Vérifie qu'une adresse embeddings-bge-m3 (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk
|
||||||
|
l'attend, avec le jeton, et qu'elle refuse une requête sans jeton.
|
||||||
|
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||||
|
|
||||||
|
python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
|
||||||
|
|
||||||
|
Le jeton vient de la variable EMBEDDINGS_JETON, sinon du fichier .env posé à côté de ce script (ollama/.env, ou
|
||||||
|
~/ollama/.env sur le serveur) : il n'apparaît ni dans la commande ni dans l'historique, et n'est jamais affiché.
|
||||||
|
"""
|
||||||
|
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
||||||
|
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import sys
|
||||||
|
import urllib.error
|
||||||
|
import urllib.request
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
MODELE = "bge-m3:567m"
|
||||||
|
DIMENSION = 1024
|
||||||
|
VARIABLE = "EMBEDDINGS_JETON"
|
||||||
|
|
||||||
|
|
||||||
|
class JetonRefuse(RuntimeError):
|
||||||
|
pass
|
||||||
|
|
||||||
|
|
||||||
|
def lire_jeton(env: dict | None = None, fichier: Path | None = None) -> str | None:
|
||||||
|
"""Le jeton de `env` (os.environ par défaut), sinon celui du .env à côté de ce script ; None s'il n'y en a pas."""
|
||||||
|
env = os.environ if env is None else env
|
||||||
|
fichier = Path(__file__).with_name(".env") if fichier is None else fichier
|
||||||
|
if env.get(VARIABLE):
|
||||||
|
return env[VARIABLE]
|
||||||
|
if not fichier.is_file():
|
||||||
|
return None
|
||||||
|
for ligne in fichier.read_text(encoding="utf-8").splitlines():
|
||||||
|
cle, egal, valeur = ligne.strip().partition("=")
|
||||||
|
if egal and cle.strip() == VARIABLE:
|
||||||
|
return valeur.strip().strip("'\"") or None
|
||||||
|
return None
|
||||||
|
|
||||||
|
|
||||||
|
def _appel(url: str, jeton: str | None, corps: dict | None = None) -> dict:
|
||||||
|
entetes = {"Content-Type": "application/json"}
|
||||||
|
if jeton is not None:
|
||||||
|
entetes["Authorization"] = f"Bearer {jeton}"
|
||||||
|
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None, headers=entetes)
|
||||||
|
try:
|
||||||
|
with urllib.request.urlopen(r, timeout=120) as rep:
|
||||||
|
return json.loads(rep.read())
|
||||||
|
except urllib.error.HTTPError as e:
|
||||||
|
with e:
|
||||||
|
if e.code == 401:
|
||||||
|
raise JetonRefuse(f"{url} : 401, jeton refusé") from e
|
||||||
|
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
||||||
|
except (urllib.error.URLError, TimeoutError) as e:
|
||||||
|
raise RuntimeError(f"service d'embeddings injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||||
|
|
||||||
|
|
||||||
|
def verifier(base_url: str, jeton: str) -> str:
|
||||||
|
"""Rend « OK bge-m3:567m, 1024 dimensions, jeton exigé » ; lève RuntimeError avec ce qui manque."""
|
||||||
|
base = base_url.rstrip("/")
|
||||||
|
try:
|
||||||
|
_appel(f"{base}/models", None)
|
||||||
|
except JetonRefuse:
|
||||||
|
pass
|
||||||
|
else:
|
||||||
|
raise RuntimeError(f"{base} répond sans jeton : la protection n'est pas active (ancienne image, ou Ollama nu ?)")
|
||||||
|
modeles = [m.get("id") for m in _appel(f"{base}/models", jeton).get("data") or []]
|
||||||
|
if MODELE not in modeles:
|
||||||
|
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
||||||
|
vecteur = _appel(f"{base}/embeddings", jeton, {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||||
|
)["data"][0]["embedding"]
|
||||||
|
if len(vecteur) != DIMENSION:
|
||||||
|
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
||||||
|
return f"OK {MODELE}, {DIMENSION} dimensions, jeton exigé"
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
if len(sys.argv) != 2:
|
||||||
|
sys.exit(__doc__)
|
||||||
|
jeton = lire_jeton()
|
||||||
|
if not jeton:
|
||||||
|
sys.exit(f"ÉCHEC : pas de jeton ({VARIABLE} dans l'environnement ou dans {Path(__file__).with_name('.env')})")
|
||||||
|
try:
|
||||||
|
print(verifier(sys.argv[1], jeton))
|
||||||
|
except RuntimeError as e:
|
||||||
|
sys.exit(f"ÉCHEC : {e}")
|
||||||
Whitespace-only changes.
File renamed without changes.
@@ -1,10 +1,10 @@
|
|||||||
"""Pousse le corpus dans la base de connaissances de LibreDesk (les « extraits », privés, lus par l'IA seulement).
|
"""Envoie les textes de snippets/textes/ dans LibreDesk : ce sont ses snippets (les « extraits », privés, lus par l'IA seulement).
|
||||||
|
|
||||||
Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais :
|
Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais :
|
||||||
un extrait de LibreDesk absent du corpus est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par
|
un extrait de LibreDesk absent de snippets/textes/ est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par
|
||||||
défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage).
|
défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage).
|
||||||
|
|
||||||
LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m base_connaissances.importer [--ecrire]
|
LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m snippets.envoyer [--ecrire]
|
||||||
"""
|
"""
|
||||||
import html as html_lib
|
import html as html_lib
|
||||||
import json
|
import json
|
||||||
@@ -17,9 +17,9 @@ import urllib.request
|
|||||||
from dataclasses import dataclass, field
|
from dataclasses import dataclass, field
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
|
|
||||||
from base_connaissances.decoupage import Extrait, lire_corpus
|
from snippets.fichiers import Extrait, lire_textes
|
||||||
|
|
||||||
CORPUS = Path(__file__).resolve().parent / "corpus"
|
TEXTES = Path(__file__).resolve().parent / "textes"
|
||||||
PUCE = re.compile(r"^\s*- ")
|
PUCE = re.compile(r"^\s*- ")
|
||||||
|
|
||||||
|
|
||||||
@@ -120,11 +120,11 @@ def main(argv: list[str]) -> None:
|
|||||||
ecrire = "--ecrire" in argv
|
ecrire = "--ecrire" in argv
|
||||||
api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"],
|
api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"],
|
||||||
ecrire=ecrire)
|
ecrire=ecrire)
|
||||||
b = synchroniser(api, lire_corpus(CORPUS))
|
b = synchroniser(api, lire_textes(TEXTES))
|
||||||
print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}"
|
print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}"
|
||||||
+ ("" if ecrire else " (simulation : rien n'a été écrit)"))
|
+ ("" if ecrire else " (simulation : rien n'a été écrit)"))
|
||||||
for t in b.inconnus:
|
for t in b.inconnus:
|
||||||
print(f"dans LibreDesk mais pas dans le corpus (non supprimé) : {t}")
|
print(f"dans LibreDesk mais pas dans snippets/textes/ (non supprimé) : {t}")
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
@@ -1,5 +1,5 @@
|
|||||||
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
|
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
|
||||||
de LibreDesk ; écriture et lecture du corpus (un fichier Markdown par extrait)."""
|
de LibreDesk ; écriture et lecture de snippets/textes/ (un fichier Markdown par extrait)."""
|
||||||
import re
|
import re
|
||||||
import unicodedata
|
import unicodedata
|
||||||
from dataclasses import dataclass
|
from dataclasses import dataclass
|
||||||
@@ -95,13 +95,13 @@ def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extr
|
|||||||
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
|
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
|
||||||
|
|
||||||
|
|
||||||
def ecrire_corpus(extraits: list[Extrait], dossier: Path) -> None:
|
def ecrire_textes(extraits: list[Extrait], dossier: Path) -> None:
|
||||||
dossier.mkdir(parents=True, exist_ok=True)
|
dossier.mkdir(parents=True, exist_ok=True)
|
||||||
for e in extraits:
|
for e in extraits:
|
||||||
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
|
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
|
||||||
|
|
||||||
|
|
||||||
def lire_corpus(dossier: Path) -> list[Extrait]:
|
def lire_textes(dossier: Path) -> list[Extrait]:
|
||||||
extraits = []
|
extraits = []
|
||||||
for f in sorted(dossier.glob("*.md")):
|
for f in sorted(dossier.glob("*.md")):
|
||||||
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
|
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
|
||||||
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
Loaded 100 of 167 files, more files were not shown because too many files have changed in this diff.
Show more
Reference in new issue
Block a user