Compare commits
15
Commits
84d162caf3
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
a836fb4eac | ||
|
|
8aa61da11a | ||
|
|
01317cb2f8 | ||
|
|
2dc3442cc4 | ||
|
|
e3c4a29e90 | ||
|
|
0fa7c4936b | ||
|
|
2ecf9cedeb | ||
|
|
553562622f | ||
|
|
2a03b57b49 | ||
|
|
116488ddd4 | ||
|
|
369f2e0a44 | ||
|
|
2f7ec25731 | ||
|
|
77fdf998c5 | ||
|
|
0a6307fe2f | ||
|
|
1ba80869bd |
No files matched your search
@@ -0,0 +1,14 @@
|
||||
{
|
||||
"$schema": "https://json.schemastore.org/claude-code-settings.json",
|
||||
"permissions": {
|
||||
"allow": [],
|
||||
"deny": [
|
||||
"Read(./.env)",
|
||||
"Read(./.env.*)",
|
||||
"Read(./instance-de-test/.env)",
|
||||
"Read(./acces/.env)",
|
||||
"Read(./ollama/.env)"
|
||||
]
|
||||
},
|
||||
"hooks": {}
|
||||
}
|
||||
@@ -1,7 +1,15 @@
|
||||
.env
|
||||
instance-de-test/.env
|
||||
acces/.env
|
||||
ollama/.env
|
||||
acces/database.db
|
||||
acces/utilisateurs.json
|
||||
instance-de-test/config.toml
|
||||
instance-de-test/uploads/
|
||||
__pycache__/
|
||||
cases/
|
||||
.superpowers/
|
||||
|
||||
# sauvegardes de draw.io
|
||||
.$*.bkp
|
||||
out/
|
||||
Vendored
+6
@@ -98,6 +98,12 @@
|
||||
"type": "shell",
|
||||
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer --ecrire",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Conversations : pomper",
|
||||
"type": "shell",
|
||||
"command": "conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations",
|
||||
"problemMatcher": []
|
||||
}
|
||||
],
|
||||
"inputs": [
|
||||
|
||||
@@ -1,10 +1,12 @@
|
||||
# Support-LibreDesk : le brouillon de réponse dans LibreDesk
|
||||
# aimsight-libredesk : le brouillon de réponse dans LibreDesk
|
||||
|
||||
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
|
||||
|
||||
Ce dépôt porte tout ce qu'il faut pour cela :
|
||||
- `snippets/` : les textes des snippets, relus (`textes/`, un fichier par snippet), les consignes de rédaction (`consignes_redaction.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
|
||||
- `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ;
|
||||
- `ollama/` : l'image `embeddings-bge-m3`, Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué (API OpenAI, 1024 dimensions, hors ligne), qui sert la recherche dans la base depuis le serveur de LibreDesk. Caddy, devant Ollama, exige `Authorization: Bearer <EMBEDDINGS_JETON>` : le jeton est dans `ollama/.env` (hors de git), et c'est la « API key » des embeddings dans LibreDesk ;
|
||||
- `acces/` : le service d'accès, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » : les stations que le client de la conversation peut voir sur le dashboard (export d'Auth0 `acces/utilisateurs.json` + ses UserGroup, en lecture seule) ; lancement dans `acces/compose.yml` ;
|
||||
- `conversations/` : le pompage des conversations, **en lecture seule**, vers `~/aimsight-labeling/auto/conversations/` (le fil, les images, les pièces jointes), pour le support et l'entraînement ; lancé par l'onglet Conversations d'aimsight-app (section ci-dessous) ;
|
||||
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
|
||||
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
|
||||
|
||||
@@ -14,19 +16,23 @@ Design : `docs/superpowers/specs/2026-11-12-support-libredesk-design.md`. Gestes
|
||||
|
||||
## Aucun message ne part au client
|
||||
|
||||
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_base.py`).
|
||||
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_snippets.py`) ; le pompage des conversations ne fait que des GET (`tests/test_garde_fou_conversations.py`).
|
||||
- Seule l'instance de test crée des conversations, et son SMTP est Mailpit.
|
||||
- Les assistants IA de LibreDesk (qui répondraient seuls) restent désactivés ; aucune règle d'automatisation.
|
||||
|
||||
## Sur le poste
|
||||
|
||||
Sous WSL (Ubuntu), depuis `~/Support-LibreDesk`. Il faut `python3` (bibliothèque standard seulement, aucun paquet à installer) et Docker.
|
||||
Sous WSL (Ubuntu), depuis `~/aimsight-libredesk` (ex-Support-LibreDesk, renommé le 2026-11-17). Il faut `python3` (bibliothèque standard seulement, aucun paquet à installer) et Docker.
|
||||
|
||||
```bash
|
||||
python3 -m unittest discover -s tests -v
|
||||
```
|
||||
|
||||
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) et `instance-de-test/.env` (écrit par `2_creer_boite_et_cle.py`).
|
||||
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) , `instance-de-test/.env` (écrit par `2_creer_boite_et_cle.py`) et `ollama/.env` (`EMBEDDINGS_JETON=…`, le jeton d'embeddings-bge-m3 ; 32 caractères au moins, lettres, chiffres, `_` et `-`) :
|
||||
|
||||
```bash
|
||||
echo "EMBEDDINGS_JETON=$(python3 -c 'import secrets; print(secrets.token_urlsafe(32))')" >> ollama/.env && chmod 600 ollama/.env
|
||||
```
|
||||
|
||||
### L'instance de test
|
||||
|
||||
@@ -40,7 +46,7 @@ bash instance-de-test/1_demarrer.sh 'TestAdmin-2026!'
|
||||
python3 instance-de-test/2_creer_boite_et_cle.py 'TestAdmin-2026!'
|
||||
```
|
||||
|
||||
Puis Ollama sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435) :
|
||||
Puis embeddings-bge-m3 sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435 ; le jeton vient de `ollama/.env`, et `3_brancher_ia.py` le donne à LibreDesk comme clé) :
|
||||
|
||||
```bash
|
||||
docker compose -f ollama/compose.yml build
|
||||
@@ -69,3 +75,22 @@ Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://1
|
||||
### Retoucher la base de connaissances
|
||||
|
||||
Modifier le fichier dans `snippets/textes/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Snippets : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
|
||||
|
||||
### Pomper les conversations
|
||||
|
||||
`conversations/pomper.py` copie les conversations de LibreDesk, toutes les boîtes et tous les statuts, notes privées comprises, dans un dossier par conversation : `conversation.json`, `messages.json` (les URL des pièces jointes remplacées par leur chemin local), `attachments/` et `transcript.md`, le fil lisible (texte seul, images en ligne). Que des GET ; la clé ne va qu'à LibreDesk. Sans dates, ce qui a changé depuis le dernier pompage complet (`pumped.json` dans le dossier de sortie ; la première fois, tout l'historique, à une heure calme) ; avec `--depuis/--jusqu-a`, une plage de mises à jour.
|
||||
|
||||
La clé : un agent « Lecture conversations » dans LibreDesk, avec un rôle qui n'a que `conversations:read_all` et `messages:read`, et sa clé d'API dans `.env` :
|
||||
|
||||
```bash
|
||||
export LIBREDESK_API_KEY=…
|
||||
export LIBREDESK_API_SECRET=…
|
||||
```
|
||||
|
||||
D'habitude depuis l'onglet **Conversations** d'aimsight-app (qui appelle `conversations/pompage.py`), sinon la tâche « Conversations : pomper », ou :
|
||||
|
||||
```bash
|
||||
conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations
|
||||
```
|
||||
|
||||
Un pompage à la fois (`out/conversations.lock`), journal dans `out/conversations.log`. Les conversations se commitent ensuite dans aimsight-labeling, à la main.
|
||||
@@ -0,0 +1,7 @@
|
||||
# Le service d'accès (acces/service.py) : bibliothèque standard seulement, rien à installer.
|
||||
# Version figée (2026-11-18) ; la changer = reconstruire et relancer tests/test_acces.py.
|
||||
FROM python:3.12.8-slim-bookworm
|
||||
COPY service.py /app/service.py
|
||||
USER nobody
|
||||
EXPOSE 8080
|
||||
CMD ["python", "-u", "/app/service.py"]
|
||||
@@ -0,0 +1,13 @@
|
||||
# Surcharge : rattache le service d'accès au réseau Docker de LibreDesk, où il est joignable sous le nom « acces »
|
||||
# (http://acces:8080/customer/access). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f acces/compose.yml -f acces/compose.reseau.yml up -d
|
||||
services:
|
||||
acces:
|
||||
networks:
|
||||
libredesk:
|
||||
aliases: [acces]
|
||||
|
||||
networks:
|
||||
libredesk:
|
||||
name: ${RESEAU_LIBREDESK:?donner le réseau Docker de LibreDesk dans RESEAU_LIBREDESK}
|
||||
external: true
|
||||
@@ -0,0 +1,23 @@
|
||||
# Le service d'accès. Son port n'est publié que sur 127.0.0.1, sauf si ACCES_BIND donne une autre adresse (une adresse
|
||||
# INTERNE, jamais publique) ; ACCES_PORT change le port publié (8080 par défaut).
|
||||
# - acces/.env (hors de git, jamais lu par Claude) : ACCES_JETON, le même que l'en-tête « Authorization: Bearer … » de
|
||||
# l'outil get_customer_access de LibreDesk ; ACCES_BIND, ACCES_PORT, BASE_DASHBOARD s'il le faut ;
|
||||
# - BASE_DASHBOARD : le chemin, sur l'hôte, du database.db du dashboard (acces/database.db par défaut) ;
|
||||
# acces/utilisateurs.json : l'export d'Auth0 (acces/exporter_utilisateurs.py). Les deux montés en lecture seule.
|
||||
# docker compose -f acces/compose.yml up -d --build
|
||||
# Sur le réseau Docker de LibreDesk (URL de l'outil : http://acces:8080/customer/access) : ajouter compose.reseau.yml.
|
||||
services:
|
||||
acces:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/libredesk-acces:1
|
||||
container_name: libredesk-acces
|
||||
restart: unless-stopped
|
||||
env_file: .env
|
||||
environment:
|
||||
ACCES_BASE: /data/database.db
|
||||
ACCES_UTILISATEURS: /data/utilisateurs.json
|
||||
volumes:
|
||||
- "${BASE_DASHBOARD:-./database.db}:/data/database.db:ro"
|
||||
- "./utilisateurs.json:/data/utilisateurs.json:ro"
|
||||
ports:
|
||||
- "${ACCES_BIND:-127.0.0.1}:${ACCES_PORT:-8080}:8080"
|
||||
@@ -0,0 +1,42 @@
|
||||
"""Les contacts de LibreDesk (lecture seule) : leurs e-mails, pour les comparer aux utilisateurs du dashboard (Auth0).
|
||||
|
||||
Lancé par Maxime (Claude ne lit pas le .env) :
|
||||
set -a && . ./.env && set +a && python3 acces/contacts.py
|
||||
Clé admin (LIBREDESK_ADMIN_KEY / _SECRET) : lister tous les contacts demande `contacts:read_all`, que la clé agent n'a
|
||||
pas. Seulement GET /api/v1/contacts. La liste complète va dans cases/ (hors de git) ; à l'écran, des totaux seulement.
|
||||
"""
|
||||
import collections
|
||||
import json
|
||||
import os
|
||||
import urllib.request
|
||||
from datetime import date
|
||||
from pathlib import Path
|
||||
|
||||
URL = os.environ.get("LIBREDESK_URL", "https://helpdesk.sensima.ch").rstrip("/")
|
||||
SORTIE = Path(__file__).resolve().parents[1] / "cases" / f"contacts-libredesk-{date.today()}.json"
|
||||
|
||||
|
||||
def page(n: int) -> dict:
|
||||
cle = f"token {os.environ['LIBREDESK_ADMIN_KEY']}:{os.environ['LIBREDESK_ADMIN_SECRET']}"
|
||||
requete = urllib.request.Request(f"{URL}/api/v1/contacts?page={n}&page_size=100", headers={"Authorization": cle})
|
||||
with urllib.request.urlopen(requete, timeout=30) as r:
|
||||
return json.load(r)["data"]
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
contacts, n = [], 1
|
||||
while True:
|
||||
d = page(n)
|
||||
contacts += d["results"]
|
||||
if n >= d["total_pages"]:
|
||||
break
|
||||
n += 1
|
||||
SORTIE.parent.mkdir(exist_ok=True)
|
||||
SORTIE.write_text(json.dumps(contacts, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||
emails = [(c.get("email") or "").strip() for c in contacts]
|
||||
domaines = collections.Counter(e.rsplit("@", 1)[-1].lower() for e in emails if "@" in e)
|
||||
print(f"{URL} : {len(contacts)} contacts, {sum(map(bool, emails))} avec e-mail, "
|
||||
f"{sum(e != e.lower() for e in emails)} avec des majuscules, "
|
||||
f"{sum(bool(c.get('external_user_id')) for c in contacts)} avec external_user_id, "
|
||||
f"{len(domaines)} domaines")
|
||||
print(f"liste complète : {SORTIE}")
|
||||
@@ -0,0 +1,64 @@
|
||||
"""Exporte une fois les utilisateurs du dashboard depuis Auth0 (e-mail → auth0|…) dans acces/utilisateurs.json (hors de git).
|
||||
|
||||
Lecture seule (GET /users), avec l'application Auth0 du dashboard, comme sa page Settings (`get_all_users`).
|
||||
Lancé par Maxime avec les variables du dashboard (Claude ne lit pas ce .env) :
|
||||
set -a && . ~/monitoring-dashboard/.env && set +a && python3 acces/exporter_utilisateurs.py
|
||||
Variables : AUTH0_API_AUDIENCE (https://<tenant>/api/v2), AUTH0_API_CLIENTID, AUTH0_API_CLIENT_SECRET.
|
||||
À relancer quand des utilisateurs sont ajoutés au dashboard ; le service relit le fichier à chaque appel.
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
SORTIE = Path(__file__).resolve().parent / "utilisateurs.json"
|
||||
PAR_PAGE = 100
|
||||
|
||||
|
||||
def index_par_email(utilisateurs: list[dict]) -> dict[str, list[str]]:
|
||||
"""{e-mail en minuscules: [user_id…]} ; une adresse peut avoir plusieurs comptes, un compte sans e-mail est ignoré."""
|
||||
index: dict[str, list[str]] = {}
|
||||
for u in utilisateurs:
|
||||
email = (u.get("email") or "").strip().lower()
|
||||
if email:
|
||||
index.setdefault(email, []).append(u["user_id"])
|
||||
return {e: sorted(ids) for e, ids in sorted(index.items())}
|
||||
|
||||
|
||||
def jeton(api: str) -> str:
|
||||
u = urllib.parse.urlsplit(api)
|
||||
corps = json.dumps({"client_id": os.environ["AUTH0_API_CLIENTID"],
|
||||
"client_secret": os.environ["AUTH0_API_CLIENT_SECRET"],
|
||||
"audience": api + "/", "grant_type": "client_credentials"}).encode()
|
||||
requete = urllib.request.Request(f"{u.scheme}://{u.netloc}/oauth/token", corps, {"Content-Type": "application/json"})
|
||||
with urllib.request.urlopen(requete, timeout=30) as r:
|
||||
return json.load(r)["access_token"]
|
||||
|
||||
|
||||
def tous_les_utilisateurs(api: str) -> list[dict]:
|
||||
entete = {"Authorization": f"Bearer {jeton(api)}"}
|
||||
utilisateurs, page = [], 0
|
||||
while True:
|
||||
q = urllib.parse.urlencode({"page": page, "per_page": PAR_PAGE, "include_totals": "true",
|
||||
"fields": "user_id,email", "include_fields": "true"})
|
||||
with urllib.request.urlopen(urllib.request.Request(f"{api}/users?{q}", headers=entete), timeout=30) as r:
|
||||
d = json.load(r)
|
||||
utilisateurs += d["users"]
|
||||
if not d["users"] or len(utilisateurs) >= d["total"]:
|
||||
return utilisateurs
|
||||
page += 1
|
||||
# ponytail: Auth0 ne pagine que les 1000 premiers comptes ; au-delà, passer par un job d'export
|
||||
if page * PAR_PAGE >= 1000:
|
||||
sys.exit(f"plus de 1000 comptes ({d['total']}) : la pagination d'Auth0 ne suffit plus")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
api = os.environ["AUTH0_API_AUDIENCE"].rstrip("/")
|
||||
utilisateurs = tous_les_utilisateurs(api)
|
||||
index = index_par_email(utilisateurs)
|
||||
SORTIE.write_text(json.dumps(index, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||
print(f"{len(utilisateurs)} comptes Auth0, {len(index)} adresses, "
|
||||
f"{sum(len(v) > 1 for v in index.values())} adresses avec plusieurs comptes, "
|
||||
f"{sum(not u.get('email') for u in utilisateurs)} comptes sans e-mail → {SORTIE}")
|
||||
@@ -0,0 +1,94 @@
|
||||
"""Le service d'accès : les stations qu'un contact LibreDesk a le droit de voir (docs/architecture.drawio).
|
||||
|
||||
GET /customer/access, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » :
|
||||
- `Authorization: Bearer <ACCES_JETON>` (l'en-tête secret déclaré dans l'outil), sinon 401 ;
|
||||
- `X-Libredesk-Contact-Email`, ajouté par LibreDesk lui-même, jamais par le LLM ;
|
||||
- e-mail → comptes du dashboard (utilisateurs.json, exporté d'Auth0 par exporter_utilisateurs.py) → leurs UserGroup
|
||||
→ les projets (Device) : {"projects": [{"project": nom, "serial": station, "role": "dev_admin" | "user"}]}.
|
||||
Les deux rôles voient le projet sur le dashboard ; c'est la règle du dashboard
|
||||
(`Device.user_access`, `can_access_system`). La table UserAccess, ancienne, n'est plus lue par le dashboard : ignorée.
|
||||
ponytail: les admins globaux du dashboard (`is_admin()`, un rôle Auth0, absent de la base) voient tout là-bas mais
|
||||
reçoivent ici une liste vide ; laissé de côté (équipe interne, pas des clients) : exporter les rôles si ça change.
|
||||
Contact sans e-mail, inconnu ou sans droit : liste vide. Fichier ou base illisible : 502, jamais une liste vide
|
||||
(« aucun droit » serait faux).
|
||||
|
||||
Variables : ACCES_JETON (32 caractères au moins), ACCES_BASE (database.db du dashboard, ouverte en lecture seule),
|
||||
ACCES_UTILISATEURS (utilisateurs.json, relu à chaque appel : un nouvel export sert sans redémarrer).
|
||||
Écoute toujours sur 8080 dans le conteneur ; le port publié se choisit dans le compose (ACCES_PORT).
|
||||
"""
|
||||
import hmac
|
||||
import json
|
||||
import os
|
||||
import sqlite3
|
||||
import sys
|
||||
import urllib.parse
|
||||
from contextlib import closing
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
from pathlib import Path
|
||||
|
||||
ROUTE = "/customer/access"
|
||||
VARIABLES = ("ACCES_JETON", "ACCES_BASE", "ACCES_UTILISATEURS")
|
||||
|
||||
|
||||
def comptes(utilisateurs: str, email: str) -> list[str]:
|
||||
"""Les comptes du dashboard (auth0|…) de cette adresse."""
|
||||
return json.loads(Path(utilisateurs).read_text(encoding="utf-8")).get(email, [])
|
||||
|
||||
|
||||
def projets(base: str, user_ids: list[str]) -> list[dict]:
|
||||
"""Les projets (Device) dont l'un de ces comptes est membre d'un groupe : nom, station (serial) et rôle (`dev_admin`
|
||||
l'emporte sur `user` si le compte est dans les deux groupes du projet)."""
|
||||
if not user_ids:
|
||||
return []
|
||||
with closing(sqlite3.connect(Path(base).resolve().as_uri() + "?mode=ro", uri=True)) as c:
|
||||
lignes = c.execute(
|
||||
"SELECT d.name, d.serial_number, MIN(CASE g.role WHEN 'dev_admin' THEN 0 ELSE 1 END) "
|
||||
"FROM UserGroupEntry e JOIN UserGroup g ON g.id = e.group_id JOIN Device d ON d.id = g.device_id "
|
||||
f"WHERE d.serial_number IS NOT NULL AND e.user_id IN ({','.join('?' * len(user_ids))}) "
|
||||
"GROUP BY d.id ORDER BY 2, 1", user_ids).fetchall()
|
||||
return [{"project": nom, "serial": serial, "role": "dev_admin" if r == 0 else "user"} for nom, serial, r in lignes]
|
||||
|
||||
|
||||
def creer_serveur(adresse: tuple[str, int], jeton: str, base: str, utilisateurs: str) -> ThreadingHTTPServer:
|
||||
attendu = f"Bearer {jeton}".encode()
|
||||
|
||||
class Gestion(BaseHTTPRequestHandler):
|
||||
def _repondre(self, code: int, corps: dict):
|
||||
texte = json.dumps(corps, ensure_ascii=False).encode()
|
||||
self.send_response(code)
|
||||
self.send_header("Content-Type", "application/json")
|
||||
self.send_header("Content-Length", str(len(texte)))
|
||||
self.end_headers()
|
||||
self.wfile.write(texte)
|
||||
|
||||
def do_GET(self):
|
||||
if urllib.parse.urlsplit(self.path).path != ROUTE:
|
||||
return self._repondre(404, {"error": "not found"})
|
||||
if not hmac.compare_digest(self.headers.get("Authorization", "").encode(), attendu):
|
||||
return self._repondre(401, {"error": "unauthorized"})
|
||||
email = self.headers.get("X-Libredesk-Contact-Email", "").strip().lower()
|
||||
try:
|
||||
liste = projets(base, comptes(utilisateurs, email)) if email else []
|
||||
except Exception as e: # fichier ou base : on refuse plutôt que de répondre « aucun droit »
|
||||
self.log_error("recherche des droits impossible : %r", e)
|
||||
return self._repondre(502, {"error": "access lookup unavailable"})
|
||||
# sans l'adresse : seulement si le contact a un e-mail et combien de projets il voit
|
||||
self.log_message("e-mail %s, %d projet(s)", "présent" if email else "absent", len(liste))
|
||||
self._repondre(200, {"projects": liste})
|
||||
|
||||
return ThreadingHTTPServer(adresse, Gestion)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
manquantes = [n for n in VARIABLES if not os.environ.get(n)]
|
||||
if manquantes:
|
||||
sys.exit("variables manquantes : " + ", ".join(manquantes))
|
||||
if len(os.environ["ACCES_JETON"]) < 32:
|
||||
sys.exit("ACCES_JETON trop court (32 caractères au moins)")
|
||||
base, utilisateurs = os.environ["ACCES_BASE"], os.environ["ACCES_UTILISATEURS"]
|
||||
projets(base, comptes(utilisateurs, "")) # base et fichier lisibles, sinon on s'arrête au démarrage
|
||||
projets(base, ["-"])
|
||||
serveur = creer_serveur(("0.0.0.0", 8080), os.environ["ACCES_JETON"], base,
|
||||
utilisateurs)
|
||||
print(f"service d'accès sur le port {serveur.server_address[1]}", flush=True)
|
||||
serveur.serve_forever()
|
||||
Whitespace-only changes.
@@ -0,0 +1,45 @@
|
||||
"""Ce qu'aimsight-app appelle pour pomper les conversations (son onglet Conversations), le jumeau d'extraction/pumping.py
|
||||
d'aimsight-data : lancer pomper.sh, savoir s'il tourne, lire la fin de son journal. Importé comme module simple (sys.path =
|
||||
conversations/) : aucun import du paquet ici."""
|
||||
import fcntl
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
JOUR = re.compile(r"\d{4}-\d{2}-\d{2}")
|
||||
PLAGE = "a range: From and To, YYYY-MM-DD, From before To" # les mots de pumping.py, montrés tels quels par l'app
|
||||
|
||||
|
||||
def running() -> bool:
|
||||
"""Un pompage en cours : le verrou de pomper.sh est tenu."""
|
||||
try:
|
||||
with open(ROOT / "out" / "conversations.lock") as verrou:
|
||||
fcntl.flock(verrou, fcntl.LOCK_EX | fcntl.LOCK_NB)
|
||||
except FileNotFoundError:
|
||||
return False
|
||||
except BlockingIOError:
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def log(lines: int = 40) -> list[str]:
|
||||
"""Les dernières lignes de out/conversations.log."""
|
||||
try:
|
||||
with open(ROOT / "out" / "conversations.log", "rb") as f:
|
||||
f.seek(max(0, f.seek(0, os.SEEK_END) - 300 * lines))
|
||||
return f.read().decode(errors="replace").splitlines()[-lines:]
|
||||
except FileNotFoundError:
|
||||
return []
|
||||
|
||||
|
||||
def start(depuis: str, jusqu_a: str, sortie: str) -> subprocess.Popen:
|
||||
"""pomper.sh en arrière-plan, dans sortie ; avec une plage (AAAA-MM-JJ, jusqu_a exclu) ou sans (ce qui a changé)."""
|
||||
if bool(depuis) != bool(jusqu_a) or (depuis and not (JOUR.fullmatch(depuis) and JOUR.fullmatch(jusqu_a) and depuis < jusqu_a)):
|
||||
raise ValueError(PLAGE)
|
||||
if running():
|
||||
raise ValueError("a pumping of the conversations is already running")
|
||||
plage = ["--depuis", depuis, "--jusqu-a", jusqu_a] if depuis else []
|
||||
return subprocess.Popen([str(ROOT / "conversations" / "pomper.sh"), "--sortie", str(sortie), *plage], cwd=ROOT,
|
||||
stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
|
||||
@@ -0,0 +1,178 @@
|
||||
"""Pompe les conversations de LibreDesk, en lecture seule, dans un dossier par conversation (labeling/auto/conversations/
|
||||
d'aimsight-labeling, par l'onglet Conversations d'aimsight-app) : conversation.json, messages.json, attachments/, et
|
||||
transcript.md, le fil lisible.
|
||||
|
||||
Que des GET : la liste des conversations, leurs messages, et les URL (signées) des pièces jointes que portent les messages ;
|
||||
jamais une adresse trouvée dans le texte d'un message. La clé ne va qu'à LibreDesk ; une pièce jointe ailleurs (un bucket S3)
|
||||
est téléchargée sans elle. Il faut une clé de lecture (un agent dont le rôle n'a que conversations:read_all et messages:read).
|
||||
|
||||
Sans dates : ce qui a changé depuis le dernier pompage complet (pumped.json, écrit seulement à la fin ; la première fois,
|
||||
tout l'historique). Avec --depuis/--jusqu-a : les conversations mises à jour dans la plage (--jusqu-a exclu), repère inchangé.
|
||||
|
||||
LIBREDESK_URL=… LIBREDESK_API_KEY=… LIBREDESK_API_SECRET=… python3 -m conversations.pomper --sortie <dossier>
|
||||
[--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from pathlib import Path
|
||||
|
||||
from conversations.transcript import transcript
|
||||
|
||||
PAGE = 100
|
||||
MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue
|
||||
REFERENCE = re.compile(r"[A-Za-z0-9_-]+")
|
||||
NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers
|
||||
PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée
|
||||
|
||||
|
||||
class Lecteur:
|
||||
"""Le client de LibreDesk, restreint à la lecture des conversations."""
|
||||
|
||||
def __init__(self, url: str, cle: str, secret: str):
|
||||
self.url = url.rstrip("/")
|
||||
self._auth = f"token {cle}:{secret}"
|
||||
|
||||
def _ouvrir(self, url: str) -> bytes:
|
||||
url = urllib.parse.urljoin(self.url + "/", url)
|
||||
if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité
|
||||
raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})")
|
||||
r = urllib.request.Request(url)
|
||||
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
|
||||
r.add_unredirected_header("Authorization", self._auth)
|
||||
with urllib.request.urlopen(r, timeout=60) as rep:
|
||||
return rep.read()
|
||||
|
||||
def _pages(self, chemin: str, **params):
|
||||
page = 1
|
||||
while True:
|
||||
q = urllib.parse.urlencode({"page": page, "page_size": PAGE, **params})
|
||||
data = json.loads(self._ouvrir(f"{chemin}?{q}"))["data"]
|
||||
yield from data.get("results") or []
|
||||
if page >= (data.get("total_pages") or 1):
|
||||
return
|
||||
page += 1
|
||||
|
||||
def conversations(self):
|
||||
"""Toutes les conversations, la plus récemment mise à jour d'abord."""
|
||||
return self._pages("/api/v1/conversations/all", order_by="conversations.updated_at", order="desc")
|
||||
|
||||
def messages(self, uuid: str) -> list[dict]:
|
||||
"""Les messages d'une conversation (notes privées comprises), le plus ancien d'abord."""
|
||||
uuid = urllib.parse.quote(uuid, safe="")
|
||||
return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"]))
|
||||
|
||||
def telecharger(self, url: str, chemin: Path) -> None:
|
||||
contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée
|
||||
chemin.parent.mkdir(parents=True, exist_ok=True)
|
||||
partiel = chemin.with_name(chemin.name + ".part")
|
||||
partiel.write_bytes(contenu)
|
||||
partiel.replace(chemin)
|
||||
|
||||
|
||||
def _date(t: str) -> datetime:
|
||||
d = datetime.fromisoformat(t)
|
||||
return (d if d.tzinfo else d.replace(tzinfo=timezone.utc)).astimezone(timezone.utc)
|
||||
|
||||
|
||||
def _nom_local(nom: str, uuid: str) -> str:
|
||||
"""Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe."""
|
||||
sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731
|
||||
nom = sur(nom) or sur(uuid) or "piece"
|
||||
racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "")
|
||||
while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension
|
||||
racine = racine[:-1] if racine else ""
|
||||
suffixe = suffixe if racine else suffixe[:NOM_MAX // 4]
|
||||
return racine + suffixe
|
||||
|
||||
|
||||
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]:
|
||||
ref = str(c.get("reference_number") or "")
|
||||
dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation"))
|
||||
messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0
|
||||
for m in messages:
|
||||
for a in m.get("attachments") or []:
|
||||
nom = _nom_local(a.get("name"), a.get("uuid"))
|
||||
if nom in pris:
|
||||
nom = _nom_local(f"{a.get('uuid')}_{nom}", "")
|
||||
pris.add(nom)
|
||||
f, url = dossier / "attachments" / nom, a.get("url") or ""
|
||||
if url and not (f.exists() and f.stat().st_size == a.get("size")):
|
||||
try:
|
||||
lecteur.telecharger(url, f)
|
||||
except (urllib.error.HTTPError, ValueError) as e:
|
||||
if isinstance(e, urllib.error.HTTPError):
|
||||
e.close()
|
||||
if e.code not in PERDUE:
|
||||
raise # une erreur passagère : le pompage s'arrête, le suivant reprendra
|
||||
journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}")
|
||||
a["url"], a["absente"] = "", True
|
||||
continue
|
||||
if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne)
|
||||
m["content"] = (m.get("content") or "").replace(url.replace("&", "&"), url).replace(url, f"attachments/{nom}")
|
||||
a["url"] = f"attachments/{nom}"
|
||||
n_pieces += 1
|
||||
c = {k: v for k, v in c.items() if k != "previous_conversations"}
|
||||
dossier.mkdir(parents=True, exist_ok=True)
|
||||
for nom, contenu in (("conversation.json", c), ("messages.json", messages)):
|
||||
(dossier / nom).write_text(json.dumps(contenu, ensure_ascii=False, indent=1) + "\n", encoding="utf-8")
|
||||
(dossier / "transcript.md").write_text(transcript(c, messages), encoding="utf-8")
|
||||
return dossier.name, sum(m.get("type") != "activity" for m in messages), n_pieces
|
||||
|
||||
|
||||
def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: str | None = None, journal=print) -> int:
|
||||
debut, repere, haut = datetime.now(timezone.utc), sortie / "pumped.json", None
|
||||
if depuis:
|
||||
bas, haut = _date(depuis), _date(jusqu_a)
|
||||
else:
|
||||
bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None
|
||||
n, avant = 0, None
|
||||
for c in lecteur.conversations():
|
||||
t = _date(c["updated_at"])
|
||||
if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues
|
||||
raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé")
|
||||
avant = t
|
||||
if haut and t >= haut:
|
||||
continue
|
||||
if bas and t < bas:
|
||||
break
|
||||
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal)
|
||||
journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes")
|
||||
n += 1
|
||||
if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant
|
||||
sortie.mkdir(parents=True, exist_ok=True)
|
||||
repere.write_text(json.dumps({"until": debut.isoformat()}) + "\n")
|
||||
journal(f"{n} conversation(s) pompée(s) dans {sortie}")
|
||||
return n
|
||||
|
||||
|
||||
def main():
|
||||
p = argparse.ArgumentParser(description=__doc__.split("\n\n")[0])
|
||||
p.add_argument("--sortie", required=True, type=Path)
|
||||
p.add_argument("--depuis")
|
||||
p.add_argument("--jusqu-a")
|
||||
a = p.parse_args()
|
||||
if bool(a.depuis) != bool(a.jusqu_a):
|
||||
sys.exit("--depuis et --jusqu-a vont ensemble")
|
||||
cle, secret = os.environ.get("LIBREDESK_API_KEY"), os.environ.get("LIBREDESK_API_SECRET")
|
||||
if not (cle and secret):
|
||||
sys.exit("Pas de clé de lecture : LIBREDESK_API_KEY et LIBREDESK_API_SECRET dans .env (README)")
|
||||
lecteur = Lecteur(os.environ.get("LIBREDESK_URL", "https://helpdesk.sensima.ch"), cle, secret)
|
||||
try:
|
||||
pomper(lecteur, a.sortie, a.depuis, a.jusqu_a, journal=lambda l: print(l, flush=True))
|
||||
except urllib.error.HTTPError as e:
|
||||
sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}")
|
||||
except ValueError as e:
|
||||
sys.exit(str(e))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Executable
+18
@@ -0,0 +1,18 @@
|
||||
#!/usr/bin/env bash
|
||||
# Pompe les conversations de LibreDesk (conversations/pomper.py), en lecture seule. Lit la clé de lecture dans le .env à la
|
||||
# racine du dépôt (jamais versionné). Un pompage à la fois (verrou out/conversations.lock), sortie ajoutée à
|
||||
# out/conversations.log.
|
||||
# conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations [--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
|
||||
set -u
|
||||
root=$(cd "$(dirname "$0")/.." && pwd)
|
||||
mkdir -p "$root/out"
|
||||
cd "$root"
|
||||
|
||||
exec 9>"$root/out/conversations.lock"
|
||||
flock -n 9 || { echo "Un pompage des conversations tourne déjà." >&2; exit 1; }
|
||||
|
||||
{
|
||||
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) pomper $*"
|
||||
(set -a +u && . "$root/.env" && set +a -u && python3 -m conversations.pomper "$@")
|
||||
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) fin"
|
||||
} 2>&1 | tee -a "$root/out/conversations.log"
|
||||
@@ -0,0 +1,83 @@
|
||||
"""Le transcript lisible d'une conversation pompée (transcript.md) : du texte seul, jamais le HTML d'un mail ; les images
|
||||
en ligne, les autres pièces jointes en lien, vers attachments/. Les messages sont déjà sous leur forme locale (pomper.py)."""
|
||||
import re
|
||||
import urllib.parse
|
||||
from datetime import datetime, timezone
|
||||
from html.parser import HTMLParser
|
||||
|
||||
BLOCS = {"p", "div", "li", "tr", "blockquote", "h1", "h2", "h3", "h4", "h5", "h6"}
|
||||
|
||||
|
||||
class _Texte(HTMLParser):
|
||||
def __init__(self):
|
||||
super().__init__(convert_charrefs=True)
|
||||
self.morceaux, self._cache = [], 0
|
||||
|
||||
def handle_starttag(self, tag, attrs):
|
||||
if tag in ("script", "style"):
|
||||
self._cache += 1
|
||||
elif tag == "br":
|
||||
self.morceaux.append("\n")
|
||||
elif tag in BLOCS:
|
||||
self.morceaux.append("\n\n")
|
||||
|
||||
def handle_endtag(self, tag):
|
||||
if tag in ("script", "style"):
|
||||
self._cache = max(0, self._cache - 1)
|
||||
elif tag in BLOCS:
|
||||
self.morceaux.append("\n\n")
|
||||
|
||||
def handle_data(self, data):
|
||||
if not self._cache:
|
||||
self.morceaux.append(data)
|
||||
|
||||
|
||||
def texte(contenu_html: str) -> str:
|
||||
"""Le HTML d'un message en texte : balises retirées, entités décodées, paragraphes gardés."""
|
||||
p = _Texte()
|
||||
p.feed(contenu_html or "")
|
||||
p.close()
|
||||
t = re.sub(r"[ \t]*\n[ \t]*", "\n", "".join(p.morceaux))
|
||||
return re.sub(r"\n{3,}", "\n\n", t).strip()
|
||||
|
||||
|
||||
def _heure(t: str) -> str:
|
||||
return datetime.fromisoformat(t).astimezone(timezone.utc).strftime("%Y-%m-%d %H:%M") + " UTC"
|
||||
|
||||
|
||||
def _nom(personne: dict | None) -> str:
|
||||
return " ".join(x for x in ((personne or {}).get("first_name"), (personne or {}).get("last_name")) if x)
|
||||
|
||||
|
||||
def _pieces(pieces: list[dict]) -> list[str]:
|
||||
lignes = []
|
||||
for a in pieces:
|
||||
if not a.get("url"): # pas téléchargée : perdue par LibreDesk
|
||||
lignes.append(f"{a.get('name')} (absente)")
|
||||
continue
|
||||
cible = urllib.parse.quote(a.get("url") or "")
|
||||
image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml"
|
||||
lignes.append(f"{'!' * image}[{a.get('name')}]({cible})")
|
||||
return lignes
|
||||
|
||||
|
||||
def transcript(conversation: dict, messages: list[dict]) -> str:
|
||||
c = conversation.get("contact") or {}
|
||||
contact = " ".join(x for x in (_nom(c), c.get("email")) if x)
|
||||
morceaux = [f"# {conversation.get('subject') or '(sans sujet)'} (#{conversation.get('reference_number')})",
|
||||
f"Contact : {contact} · Boîte : {conversation.get('inbox_name')} · Statut : {conversation.get('status')}"
|
||||
f" · Créée : {_heure(conversation['created_at'])}"]
|
||||
for m in messages:
|
||||
corps = (m.get("text_content") or "").strip() or texte(m.get("content"))
|
||||
if m.get("type") == "activity":
|
||||
morceaux.append(f"*{_heure(m['created_at'])} — {corps}*")
|
||||
continue
|
||||
client = m.get("sender_type") == "contact"
|
||||
role = "note privée" if m.get("private") else "client" if client else "agent"
|
||||
auteur = _nom(m.get("author")) or ("Client" if client else "Agent")
|
||||
morceaux.append(f"## {_heure(m['created_at'])} — {auteur} ({role})")
|
||||
if corps:
|
||||
morceaux.append(corps)
|
||||
if lignes := _pieces(m.get("attachments") or []):
|
||||
morceaux.append("\n".join(lignes))
|
||||
return "\n\n".join(morceaux) + "\n"
|
||||
@@ -0,0 +1,2 @@
|
||||
docker run -d --name embeddings-bge-m3 --restart unless-stopped --env-file ollama/.env -p 10.0.2.140:11435:11434 exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-
|
||||
567m
|
||||
@@ -0,0 +1,241 @@
|
||||
<mxfile host="Electron">
|
||||
<diagram name="1. Architecture" id="arch">
|
||||
<mxGraphModel dx="3204" dy="1013" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="900" math="0" shadow="0">
|
||||
<root>
|
||||
<mxCell id="0" />
|
||||
<mxCell id="1" parent="0" />
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-1" edge="1" parent="1" source="arch-2" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;fillColor=#e51400;strokeColor=#B20000;" target="arch-6">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="-10" y="240" />
|
||||
<mxPoint x="-10" y="240" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-5" connectable="0" parent="9YVmYg31Dtc29ZtFE1oE-1" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="e-mail" vertex="1">
|
||||
<mxGeometry relative="1" x="-0.0667" as="geometry">
|
||||
<mxPoint y="-10" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-2" parent="1" style="shape=umlActor;verticalLabelPosition=bottom;verticalAlign=top;html=1;outlineConnect=0;" value="Customer" vertex="1">
|
||||
<mxGeometry height="70" width="40" x="-220" y="205" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-3" edge="1" parent="1" source="arch-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;fillColor=#60a917;strokeColor=#2D7600;" target="arch-2">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="-320" y="470" />
|
||||
<mxPoint x="-320" y="240" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-4" connectable="0" parent="9YVmYg31Dtc29ZtFE1oE-3" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="Send<div>message</div>" vertex="1">
|
||||
<mxGeometry relative="1" x="-0.075" as="geometry">
|
||||
<mxPoint y="-11" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-3" parent="1" style="shape=umlActor;verticalLabelPosition=bottom;verticalAlign=top;html=1;outlineConnect=0;" value="Support agent<div>(human)</div>" vertex="1">
|
||||
<mxGeometry height="70" width="40" x="-220" y="435" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-4" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Anthropic</b><div>https://api.anthropic.com/v1</div>" vertex="1">
|
||||
<mxGeometry height="60" width="180" x="225" y="10" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-5" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Ollama</b> + bge-m3<br>embedding model" vertex="1">
|
||||
<mxGeometry height="60" width="180" x="455" y="10" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-2" edge="1" parent="1" source="arch-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;" target="arch-3">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="-110" y="470" />
|
||||
<mxPoint x="-110" y="470" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-6" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fafafa;strokeColor=#6c8ebf;" value="LibreDesk" vertex="1">
|
||||
<mxGeometry height="465" width="970" x="-30" y="160" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-20" edge="1" parent="1" source="arch-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-4">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Provider</b><br>completion: Claude Sonnet 5.5" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="230" y="180" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-21" edge="1" parent="1" source="arch-8" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-5">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-8" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Embedding</b><br>Ollama, bge-m3" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="460" y="180" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-14" edge="1" parent="1" source="arch-9" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-7">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-15" edge="1" parent="1" source="arch-9" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-11">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="315" y="400" />
|
||||
<mxPoint x="315" y="400" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-9" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;" value="<b>Generate reply</b><br>draft in the editor" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="230" y="290" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-10" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Snippets</b><br>knowledge base,<br>118 extracts + vectors" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="700" y="180" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-11" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fafafa;strokeColor=#6c8ebf;" value="Tools <span style="font-weight:normal">(function calling: name + JSON schema, exposed to the LLM)</span>" vertex="1">
|
||||
<mxGeometry height="210" width="735" x="135" y="390" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-16" edge="1" parent="1" source="arch-12" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-8">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-17" connectable="0" parent="HigBPHvGvvlsroYYhkdi-16" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="fetch query" vertex="1">
|
||||
<mxGeometry relative="1" x="0.0571" y="-1" as="geometry">
|
||||
<mxPoint x="4" y="-13" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-18" edge="1" parent="1" source="arch-12" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-10">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-19" connectable="0" parent="HigBPHvGvvlsroYYhkdi-18" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="vector search" vertex="1">
|
||||
<mxGeometry relative="1" x="-0.0896" as="geometry">
|
||||
<mxPoint x="-60" y="-2" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-12" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="search_articles" vertex="1">
|
||||
<mxGeometry height="55" width="90" x="500" y="435" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-13" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>get_station_diagnostic(serial, from, to)</b><br>new custom tool" vertex="1">
|
||||
<mxGeometry height="75" width="320" x="155" y="510" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-13" edge="1" parent="1" source="HigBPHvGvvlsroYYhkdi-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;" target="arch-9">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="140" y="325" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-3" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;" value="<div><b>Client</b></div><b>Conversation</b>" vertex="1">
|
||||
<mxGeometry height="70" width="120" x="80" y="220" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-5" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fff8ef;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="Detector service (independent container)" vertex="1">
|
||||
<mxGeometry height="330" width="420" x="105" y="740" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>REST API</b><br>GET /stations/{serial}/diagnostic?from=…&amp;to=…<br>→ events: family, start, end, evidence" vertex="1">
|
||||
<mxGeometry height="80" width="360" x="135" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-check" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;dashed=1;strokeWidth=2;" value="<b>Access check</b> (before any data is read)<br>same identity headers → access service:<br>serial among the customer's stations? no → 403" vertex="1">
|
||||
<mxGeometry height="70" width="360" x="135" y="880" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-allowed" edge="1" parent="1" source="acc-check" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="fix-7" value="allowed">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-tool" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>get_customer_access()</b><br>no parameter, on Generate reply<br>secret header Authorization: Bearer …" vertex="1">
|
||||
<mxGeometry height="62" width="320" x="155" y="432" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-conv" edge="1" parent="1" source="HigBPHvGvvlsroYYhkdi-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;" target="acc-tool" value="contact e-mail<br>(X-Libredesk-Contact-Email,<br>added by LibreDesk,<br>not the LLM)">
|
||||
<mxGeometry relative="1" x="-0.1837" as="geometry">
|
||||
<mxPoint as="offset" />
|
||||
<Array as="points">
|
||||
<mxPoint x="60" y="260" />
|
||||
<mxPoint x="60" y="448" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="acc-svc" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fdf3f2;strokeColor=#b85450;strokeWidth=2;" value="Access service (independent container: acces/, Python stdlib) <span style="font-weight:normal">in service, provisional: Maxime's PC</span>" vertex="1">
|
||||
<mxGeometry height="350" width="465" x="-390" y="720" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-api" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>REST API</b><br>GET /customer/access · Bearer token, else 401<br>→ {"projects": [{project, serial, role}]}" vertex="1">
|
||||
<mxGeometry height="80" width="425" x="-370" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-lookup" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>Rights lookup</b><br>contact e-mail → dashboard accounts (auth0|…)<br>→ their UserGroups → Device (project, serial)<br>role: dev_admin wins over user<br>no e-mail, unknown or no rights → empty list<br>file or DB unreadable → 502, never an empty list" vertex="1">
|
||||
<mxGeometry height="150" width="425" x="-370" y="890" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-api" edge="1" parent="1" source="acc-api" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;strokeWidth=2;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-lookup" value="">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-auth0" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>utilisateurs.json</b><br>e-mail → auth0|…<br>Auth0 export (exporter_utilisateurs.py),<br>re-read on every call" vertex="1">
|
||||
<mxGeometry height="80" width="200" x="-390" y="1185" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-db" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#f8cecc;strokeColor=#b85450;" value="<b>Access rights</b> (dashboard database.db, copy)<br><b>UserGroupEntry</b>: user → UserGroup<br><b>UserGroup</b>: device × role (user · dev_admin)<br><b>Device</b>: name, serial_number" vertex="1">
|
||||
<mxGeometry height="120" width="245" x="-170" y="1165" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-auth0" edge="1" parent="1" source="acc-lookup" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;exitX=0.2;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-auth0" value="e-mail → auth0|…">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-db" edge="1" parent="1" source="acc-lookup" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;exitX=0.75;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-db" value="read-only">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-tool" edge="1" parent="1" source="acc-tool" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;strokeWidth=2;exitX=0;exitY=0.75;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-api" value="HTTP GET<br>+ Bearer token<br>+ contact e-mail">
|
||||
<mxGeometry relative="1" x="0.1612" as="geometry">
|
||||
<mxPoint as="offset" />
|
||||
<Array as="points">
|
||||
<mxPoint x="100" y="478" />
|
||||
<mxPoint x="100" y="660" />
|
||||
<mxPoint x="-157" y="660" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-check" edge="1" parent="1" source="acc-check" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;dashed=1;fontColor=#b85450;exitX=0;exitY=0.5;exitDx=0;exitDy=0;entryX=1;entryY=0.5;entryDx=0;entryDy=0;" target="acc-api" value="re-check:<br>the LLM cannot<br>widen access">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>Detectors</b><br>visibility · obstruction · target issue<br>thermal · no data · displacement<br>→ classified events" vertex="1">
|
||||
<mxGeometry height="80" width="360" x="135" y="975" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-8" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#d5e8d4;strokeColor=#82b366;" value="<b>Station data</b> (AIMsight platform)" vertex="1">
|
||||
<mxGeometry height="70" width="360" x="135" y="1190" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-10" edge="1" parent="1" source="arch-13" style="rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;edgeStyle=orthogonalEdgeStyle;" target="fix-6" value="7. HTTP GET (serial, from, to)<br>+ identity headers">
|
||||
<mxGeometry relative="1" x="0.1306" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-11" edge="1" parent="1" source="fix-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.500;exitY=1.000;exitDx=0;exitDy=0;entryX=0.500;entryY=0.000;entryDx=0;entryDy=0;" target="acc-check" value="">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-12" edge="1" parent="1" source="fix-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.500;exitY=1.000;exitDx=0;exitDy=0;entryX=0.500;entryY=0.000;entryDx=0;entryDy=0;" target="fix-8" value="reads the range (read-only)">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-boundary" edge="1" parent="1" style="endArrow=none;html=1;rounded=0;dashed=1;dashPattern=8 4;strokeColor=#999999;strokeWidth=1;" value="">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<mxPoint x="-400" y="680" as="sourcePoint" />
|
||||
<mxPoint x="1380" y="680" as="targetPoint" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="gen-boundary-lbl" parent="1" style="text;html=1;align=right;verticalAlign=bottom;whiteSpace=wrap;fontColor=#666666;fontSize=11;" value="<b>HTTP / JSON boundary</b><br>below: independent containers, deployable and reusable on their own" vertex="1">
|
||||
<mxGeometry height="40" width="380" x="1000" y="638" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-8" edge="1" parent="1" source="9YVmYg31Dtc29ZtFE1oE-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-6" value="HTTP (params)">
|
||||
<mxGeometry relative="1" x="0.1306" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=light-dark(#9673a6, #d2bbdd);dashed=1;strokeWidth=2;" value="<b>other_tool(params)</b><br>any other capability, same mechanism<br><i>e.g. get_contract(customer_id)</i>" vertex="1">
|
||||
<mxGeometry height="75" width="280" x="575" y="510" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-5" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#faf6fc;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="Other service (independent container)" vertex="1">
|
||||
<mxGeometry height="330" width="340" x="545" y="740" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="<b>REST API</b><br>GET /{resource}/{id}?…<br>→ structured JSON" vertex="1">
|
||||
<mxGeometry height="80" width="300" x="565" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="<b>Domain logic</b><br>rules · models · computations<br>owned by the service, not by the LLM<br>→ structured result" vertex="1">
|
||||
<mxGeometry height="150" width="300" x="565" y="890" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-8" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Domain data</b> (DB, CRM, ERP, …)" vertex="1">
|
||||
<mxGeometry height="70" width="300" x="565" y="1190" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-11" edge="1" parent="1" source="gen-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-7" value="">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-12" edge="1" parent="1" source="gen-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-8" value="data access">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-host" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#999999;dashed=1;fontColor=#666666;" value="<b>Other host app</b><br><i>e.g. sales agent</i><br>own LLM + own tools,<br>calls the same services" vertex="1">
|
||||
<mxGeometry height="80" width="200" x="960" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-host-edge" edge="1" parent="1" source="gen-host" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#999999;dashed=1;fontColor=#666666;exitX=0;exitY=0.5;exitDx=0;exitDy=0;entryX=1;entryY=0.5;entryDx=0;entryDy=0;" target="gen-6" value="HTTP">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-legend" parent="1" style="shape=note;whiteSpace=wrap;html=1;size=14;align=left;verticalAlign=top;spacingLeft=10;spacingTop=6;spacingRight=8;fillColor=#fff2cc;strokeColor=#d6b656;" value="<b style="font-size:13px">Reusable mechanism</b><br><br><b>1. Host app</b> (here LibreDesk) triggers an action and sends context + tool list to the LLM.<br><b>2. Tool</b> = name + JSON schema + thin HTTP adapter. No business logic in the host.<br><b>3. Independent service</b> = container exposing a REST API; owns its domain logic and its data access, returns structured JSON.<br><b>4.</b> The LLM turns the tool result into the output (here a draft reviewed by a human).<br><b>5. Access</b>: on Generate reply the LLM first calls get_customer_access; LibreDesk adds the contact identity (headers), the access service (Bearer token) returns the projects the customer may read (Auth0 export + UserGroup, the dashboard's rule). Each data service checks again with the same headers.<br><br>New capability = one service + one tool declaration.<br>Same pattern for another host app (sales agent: CRM, quotes, stock…).<br><br><b>Legend</b><br><span style="color:#6c8ebf">■</span> existing LibreDesk<br><span style="color:#d79b00">■</span> dashed orange: this use case (planned)<br><span style="color:#b85450">■</span> red: access rights (solid: in service; dashed: planned)<br><span style="color:#9673a6">■</span> dashed purple: any other service, plugged the same way<br><span style="color:#999999">■</span> dashed grey: other consumers of the services" vertex="1">
|
||||
<mxGeometry height="450" width="380" x="1000" y="160" as="geometry" />
|
||||
</mxCell>
|
||||
</root>
|
||||
</mxGraphModel>
|
||||
</diagram>
|
||||
</mxfile>
|
||||
+32
-9
@@ -14,6 +14,13 @@ Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon
|
||||
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
|
||||
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
|
||||
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
|
||||
- [x] **1 bis provisoire. L'image Ollama sur le PC de Maxime** (2026-11-12), à la place de LM Studio, pour essayer le paquet comme le fera le serveur : dossier `~/essai-production/ollama` avec seulement les deux fichiers compose et `verifier_ollama.py`, `.env` = `OLLAMA_BIND=10.0.2.140` + `OLLAMA_PORT=11435`, `docker compose up -d --no-build` (image tirée de Gitea **sans login** : le paquet est public). Pare-feu de WSL (Hyper-V, bloque tout en entrée par défaut, sans interface graphique) ouvert par Maxime : règle `Ollama-LibreDesk`, TCP 11435, d'abord depuis `10.0.0.0/8`, puis resserrée au seul serveur LibreDesk `10.0.1.184` ; à retirer après l'essai (`Remove-NetFirewallHyperVRule -Name "Ollama-LibreDesk"`). Embeddings dans LibreDesk : `http://10.0.2.140:11435/v1`, `bge-m3:567m`, clé `ollama`, dimensions vides (0). Test réussi ; 118 appels `/v1/embeddings` depuis LibreDesk (`10.0.1.184`), tous en 200. Mêmes limites que LM Studio : PC allumé, adresse Wi-Fi qui peut changer.
|
||||
- [ ] **1 ter. Le jeton sur le PC de Maxime** (image `embeddings-bge-m3`, branche `embeddings-token`). L'image renommée exige `Authorization: Bearer <EMBEDDINGS_JETON>` ; Ollama n'écoute plus que dans le conteneur, Caddy devant lui. Elle est déjà construite sur le PC : pas besoin de l'avoir poussée sur Gitea pour cet essai. L'ancienne image accepte n'importe quelle clé : on change donc d'abord la clé dans LibreDesk, puis le conteneur, sans coupure.
|
||||
1. Tirer un jeton (Maxime, jamais montré à Claude) : `python3 -c 'import secrets; print(secrets.token_urlsafe(32))'`, et l'ajouter à `~/essai-production/ollama/.env` : `EMBEDDINGS_JETON=<jeton>`.
|
||||
2. LibreDesk, Admin → IA → Providers, Embedding : **API key** = le jeton ; URL, modèle et *dimensions* inchangés (*dimensions* vide ou 0 : bge-m3 rend 1024 nombres, pas 1536). *Test connection*, puis *Save*. La clé n'entre pas dans l'empreinte des extraits : pas de recalcul.
|
||||
3. Copier les nouveaux `compose.yml` et `verifier_ollama.py` dans `~/essai-production/ollama`, puis `cd ~/essai-production/ollama && docker compose up -d --no-build` (remplace `ollama-bge-m3` par `embeddings-bge-m3`, quelques secondes sans base).
|
||||
4. Vérification : `python3 ~/essai-production/ollama/verifier_ollama.py http://10.0.2.140:11435/v1` → `OK bge-m3:567m, 1024 dimensions, jeton exigé` (le jeton est lu dans le `.env` voisin) ; dans LibreDesk, *Test connection* réussit ; un « Generate reply » s'appuie sur la base.
|
||||
Retour en arrière : dans le `compose.yml` de `~/essai-production/ollama`, remettre l'image `ollama-bge-m3:0.40.16-567m` et `container_name: ollama-bge-m3`, `docker compose up -d --no-build` ; la clé de LibreDesk peut rester (l'ancienne image l'ignore).
|
||||
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
|
||||
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `snippets/consignes_redaction.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
|
||||
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Snippets : envoyer en simulation (PRODUCTION) » puis « Snippets : ENVOYER (PRODUCTION) », puis tout révoquer.
|
||||
@@ -26,6 +33,7 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
||||
- [x] **6. L'image.** Sur le poste, tâche « Ollama : construire » (ou `docker compose -f ollama/compose.yml build`), puis vérification hors ligne (`verifications.md`). Puis, avec l'accord de Maxime, la pousser au registre Gitea : jeton Gitea à portée `write:package`, `docker login exchange.sensima.ch`, `docker push exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m`, puis `docker logout exchange.sensima.ch` (le login garde le jeton en clair dans `~/.docker/config.json`).
|
||||
Vérification : l'image apparaît dans Packages du compte. Si le registre la refuse (taille), on la transportera par SSH au point 8.
|
||||
Construite et vérifiée hors ligne le 2026-11-12 (2,43 Go, sans clé privée : chaque conteneur crée la sienne au démarrage). Poussée le 2026-11-12, digest `sha256:332fbdec63583c8b2ac59a168cbd8c3e39624047662b912e58d9f3f7fff99530`. Pour le serveur (point 8) : un autre jeton, `package` en **lecture seule**.
|
||||
- [ ] **6 bis. L'image renommée, avec jeton.** `exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m`, construite et vérifiée hors ligne le 2026-11-18 (2,49 Go ; `verifications.md`). À pousser comme au point 6, avec l'accord de Maxime. Puis, dans Gitea, la rattacher au dépôt (paramètres du paquet → lier au dépôt `aimsight-libredesk`). L'ancien paquet `ollama-bge-m3` ne sera supprimé qu'une fois plus rien ne l'utilise (point 1 ter fait), avec l'accord de Maxime.
|
||||
|
||||
- [ ] **7. État des lieux du serveur, sans rien changer** (Maxime, en SSH).
|
||||
```bash
|
||||
@@ -43,8 +51,8 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
||||
```bash
|
||||
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier_ollama.py <serveur>:ollama/
|
||||
```
|
||||
Récupérer l'image : `docker login exchange.sensima.ch && docker pull exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m && docker logout exchange.sensima.ch` ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/ollama-bge-m3` montre le tag `0.40.16-567m`.
|
||||
Puis écrire `~/ollama/.env` sur le serveur. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
||||
Récupérer l'image : `docker pull exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m` (paquet public : sans login) ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3` montre le tag `0.40.16-567m`.
|
||||
Puis écrire `~/ollama/.env` sur le serveur (`chmod 600`), avec, dans tous les cas, un jeton **propre au serveur** (pas celui du PC) : `EMBEDDINGS_JETON=<jeton>`, tiré par `python3 -c 'import secrets; print(secrets.token_urlsafe(32))'`. Sans lui, le conteneur refuse de démarrer. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
||||
- **LibreDesk dans Docker** (cas attendu) :
|
||||
```
|
||||
COMPOSE_FILE=compose.yml:compose.reseau.yml
|
||||
@@ -60,16 +68,16 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
||||
```bash
|
||||
cd ~/ollama && docker compose up -d --no-build
|
||||
```
|
||||
Vérification : `docker ps --filter name=ollama-bge-m3` montre `Up … (healthy)` ; `docker inspect ollama-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `ollama-bge-m3`.
|
||||
Vérification : `docker ps --filter name=embeddings-bge-m3` montre `Up … (healthy)` ; `docker inspect embeddings-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `embeddings-bge-m3`.
|
||||
|
||||
- [ ] **9. Vérifier Ollama.**
|
||||
- Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions`.
|
||||
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
||||
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« Ollama is running »), arrêter Ollama (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
||||
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit lister `bge-m3:567m`.
|
||||
- Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions, jeton exigé`. Le jeton est lu dans `~/ollama/.env`, à côté du script ; le script vérifie aussi qu'une requête **sans** jeton est refusée.
|
||||
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (le `.env` monté avec `/o` donne le jeton ; il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
||||
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« jeton manquant ou invalide »), le jeton protège encore, mais le port est exposé : arrêter le service (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
||||
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit rendre `jeton manquant ou invalide` ; avec le jeton (`set -a && . ~/ollama/.env && set +a && curl -s -H "Authorization: Bearer $EMBEDDINGS_JETON" http://127.0.0.1:11434/v1/models`), la liste avec `bge-m3:567m`.
|
||||
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
|
||||
|
||||
- [ ] **10. Brancher LibreDesk sur Ollama.** Admin → IA → Providers, Embeddings : fournisseur OpenAI, URL de l'étape 8, modèle `bge-m3:567m`, clé `ollama`, *dimensions* 0, *embedding max tokens* 2048. Bouton de test, puis enregistrer seulement s'il réussit.
|
||||
- [ ] **10. Brancher LibreDesk sur Ollama.** Admin → IA → Providers, Embeddings : fournisseur OpenAI, URL de l'étape 8, modèle `bge-m3:567m`, clé = le jeton du serveur (`EMBEDDINGS_JETON` de `~/ollama/.env`), *dimensions* 0, *embedding max tokens* 2048. Bouton de test, puis enregistrer seulement s'il réussit.
|
||||
Vérification : le test réussit ; la complétion n'a pas changé.
|
||||
|
||||
- [ ] **11. Le recalcul.** LibreDesk recalcule seul les 118 extraits (environ une minute). Dans ses journaux (`docker logs <conteneur LibreDesk> --since 10m 2>&1 | grep -E "embedding provider changed|reconciled embeddings|error generating embeddings"`) :
|
||||
@@ -84,9 +92,24 @@ But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk
|
||||
### Retour en arrière
|
||||
Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `text-embedding-bge-m3`, clé `lm-studio` (LM Studio lancé sur le PC de Maxime), tester, enregistrer : LibreDesk recalcule de nouveau. Puis, sur le serveur si besoin : `cd ~/ollama && docker compose down`.
|
||||
|
||||
## Le service d'accès (les projets du client)
|
||||
|
||||
Au clic sur « Generate reply », le LLM peut appeler l'outil `get_customer_access` : LibreDesk ajoute l'e-mail du contact (`X-Libredesk-Contact-Email`), le service `acces/` renvoie les projets que ce client voit sur le dashboard (`{"projects": [{"project", "serial", "role"}]}`). Code et données : `acces/` (README du dépôt).
|
||||
|
||||
- [x] **14 provisoire. Sur le PC de Maxime** (2026-11-18), comme Ollama au point 1 bis.
|
||||
- Données, hors de git : `acces/database.db` (copie de la base du dashboard du 2026-11-12) et `acces/utilisateurs.json` (export d'Auth0, e-mail → `auth0|…`, `acces/exporter_utilisateurs.py`, lancé par Maxime avec le `.env` du dashboard).
|
||||
- `acces/.env` (jamais lu par Claude) : `ACCES_JETON`, `ACCES_BIND=10.0.2.140`, `ACCES_PORT=18080`. Construction (sur le poste) : `docker compose -f acces/compose.yml build` ; lancement : `docker compose -f acces/compose.yml up -d --no-build`.
|
||||
- Pare-feu de WSL ouvert par Maxime : règle `Acces-LibreDesk`, TCP 18080, depuis le seul serveur LibreDesk `10.0.1.184` (retrait : `Remove-NetFirewallHyperVRule -Name "Acces-LibreDesk"`).
|
||||
- Outil dans Admin → IA → Tools : `get_customer_access`, `GET http://10.0.2.140:18080/customer/access`, en-tête `Authorization: Bearer <ACCES_JETON>`, paramètres `{"type":"object","properties":{}}`, activé pour Generate reply, sans approbation.
|
||||
- Vérifié : un « Generate reply » en production → `docker logs libredesk-acces` montre `10.0.1.184 … e-mail présent, 1 projet(s)` puis `200`. Le journal ne contient jamais l'adresse.
|
||||
- Mêmes limites qu'Ollama : PC allumé, adresse Wi-Fi qui peut changer ; HTTP en clair sur le réseau interne. Données figées : rafraîchir la base et l'export à la main. Les admins globaux du dashboard (rôle Auth0) reçoivent une liste vide.
|
||||
- Si l'outil est en erreur : `docker ps --filter name=libredesk-acces`, puis `docker compose -f acces/compose.yml up -d --no-build` ; en dernier recours, désactiver l'outil (le brouillon se fait alors sans les projets).
|
||||
- [ ] **15. Les consignes** : dire au LLM quoi faire des projets (`snippets/consignes_redaction.md`).
|
||||
- [ ] **16. Sur le serveur**, à côté d'Ollama (après le point 7) : `acces/compose.reseau.yml`, URL `http://acces:8080/customer/access`, et une base du dashboard tenue à jour.
|
||||
|
||||
## Au quotidien
|
||||
|
||||
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=ollama-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
||||
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=embeddings-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
||||
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
|
||||
- **Retoucher la base** : modifier le fichier dans `snippets/textes/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
|
||||
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne (`docker run --network none …`, puis `ollama/verifier_ollama.py`), puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
|
||||
|
||||
@@ -24,6 +24,17 @@ Repris de Support-AI (vérifications des 2026-11-09 et 2026-11-11), limité à c
|
||||
|
||||
**Le réseau du poste** : WSL est en mode `networkingMode=mirrored` ; WSL et Docker ne joignent Windows que par `127.0.0.1`. Pour qu'un conteneur joigne LM Studio sur Windows, il fallait un relais `socat` (voir l'historique de Support-AI) ; avec Ollama dans Docker, le réseau Docker de l'instance suffit.
|
||||
|
||||
## L'image renommée embeddings-bge-m3, avec jeton (2026-11-18) [code, test]
|
||||
|
||||
Image `exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m` (2,49 Go) : la précédente, plus Caddy 2.10.2 devant Ollama. Ollama n'écoute que sur `127.0.0.1:11435` dans le conteneur ; Caddy, sur 11434, ne transmet que les requêtes qui portent `Authorization: Bearer <EMBEDDINGS_JETON>`.
|
||||
- LibreDesk v2.9.0 envoie la clé des embeddings en `Authorization: Bearer <clé>` (`internal/ai/openai.go`, `post`), et lit un 401 comme « clé API invalide » (`ErrInvalidAPIKey`, sans nouvel essai). La clé n'entre pas dans l'empreinte des extraits (`itemFingerprint`) : la changer ne déclenche pas de recalcul.
|
||||
- Sans jeton, ou avec un jeton de moins de 32 caractères : le conteneur s'arrête aussitôt (code 1, message `EMBEDDINGS_JETON manquant ou invalide`).
|
||||
- Hors ligne (réseau Docker `--internal`, alias `ollama` comme sur le réseau de LibreDesk) : `healthy` ; `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions, jeton exigé` ; sans en-tête, mauvais jeton, ancienne clé `ollama` : 401 ; bon jeton : 200 ; Ollama lui-même (11435) injoignable depuis un autre conteneur.
|
||||
- Ollama, lié à 127.0.0.1, refuse (403) un Host non local comme `ollama:11434` : Caddy réécrit `Host` (`header_up Host 127.0.0.1:11435`), et ne transmet pas le jeton à Ollama.
|
||||
- Le jeton n'apparaît pas dans `docker logs` ; il est dans l'environnement de Caddy seulement, pas dans celui d'Ollama. Il reste lisible par `docker inspect` (comme `ACCES_JETON`) : réservé à qui administre Docker.
|
||||
- `docker stop` : arrêt immédiat (les signaux sont transmis). Ollama tué dans le conteneur : le conteneur s'arrête, Docker le relance (`RestartCount` 1), de nouveau `healthy`.
|
||||
- Port publié sur `127.0.0.1:11436`, depuis WSL : même résultat que hors ligne.
|
||||
|
||||
## La simulation du passage à Ollama (2026-11-12) [test]
|
||||
|
||||
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
|
||||
|
||||
@@ -4,6 +4,8 @@ d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée
|
||||
|
||||
ANTHROPIC_API_KEY=… python3 instance-de-test/3_brancher_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
|
||||
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||
Sans [clé] : le jeton d'embeddings-bge-m3 (EMBEDDINGS_JETON, dans l'environnement ou dans ollama/.env), pour ne pas
|
||||
le taper dans la commande.
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
@@ -11,7 +13,10 @@ from pathlib import Path
|
||||
|
||||
from connexion_admin import connexion, req
|
||||
|
||||
CONSIGNES = Path(__file__).resolve().parents[1] / "snippets" / "consignes_redaction.md"
|
||||
DEPOT = Path(__file__).resolve().parents[1]
|
||||
CONSIGNES = DEPOT / "snippets" / "consignes_redaction.md"
|
||||
sys.path.insert(0, str(DEPOT / "ollama"))
|
||||
from verifier_ollama import lire_jeton # noqa: E402
|
||||
|
||||
|
||||
def configurer(type_: str, config: dict) -> None:
|
||||
@@ -20,8 +25,9 @@ def configurer(type_: str, config: dict) -> None:
|
||||
print(f"{type_} : test réussi, configuration enregistrée")
|
||||
|
||||
|
||||
def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str = "ollama") -> None:
|
||||
def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str | None = None) -> None:
|
||||
cle_claude = os.environ.get("ANTHROPIC_API_KEY") or sys.exit("ANTHROPIC_API_KEY manque dans l'environnement")
|
||||
cle = cle or lire_jeton() or sys.exit("pas de clé d'embeddings : EMBEDDINGS_JETON manque (environnement ou ollama/.env)")
|
||||
connexion(mot_de_passe)
|
||||
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
|
||||
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
|
||||
|
||||
@@ -0,0 +1,27 @@
|
||||
# Le portier de l'image embeddings-bge-m3 : seul port publié (11434), il ne laisse passer vers Ollama
|
||||
# (127.0.0.1:11435, joignable seulement dans le conteneur) que les requêtes qui portent
|
||||
# « Authorization: Bearer <EMBEDDINGS_JETON> ». Le jeton est donné au lancement, jamais rangé dans l'image.
|
||||
# demarrer.sh vérifie le jeton avant de lancer Caddy : 32 caractères au moins, lettres, chiffres, « _ » et « - »
|
||||
# seulement (« * » serait un joker pour le filtre header, « } » casserait la substitution).
|
||||
{
|
||||
admin off
|
||||
auto_https off
|
||||
persist_config off
|
||||
}
|
||||
|
||||
:11434 {
|
||||
@autorise header Authorization "Bearer {$EMBEDDINGS_JETON}"
|
||||
|
||||
handle @autorise {
|
||||
reverse_proxy 127.0.0.1:11435 {
|
||||
# Ollama, lié à 127.0.0.1, refuse (403) un Host qui n'est pas local, comme « ollama:11434 ».
|
||||
header_up Host 127.0.0.1:11435
|
||||
header_up -Authorization
|
||||
}
|
||||
}
|
||||
|
||||
handle {
|
||||
header WWW-Authenticate "Bearer"
|
||||
respond "jeton manquant ou invalide" 401
|
||||
}
|
||||
}
|
||||
+20
-6
@@ -1,5 +1,8 @@
|
||||
# embeddings-bge-m3 : un service d'embeddings (bge-m3, 1024 dimensions, format OpenAI) protégé par un jeton.
|
||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||
# Versions figées (2026-11-12) ; les changer = reconstruire et revérifier (ollama/verifier_ollama.py).
|
||||
# Devant Ollama, Caddy exige « Authorization: Bearer <EMBEDDINGS_JETON> » (Caddyfile, demarrer.sh).
|
||||
# Versions figées (Ollama 2026-11-12, Caddy 2026-11-18) ; les changer = reconstruire et revérifier
|
||||
# (ollama/verifier_ollama.py).
|
||||
|
||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||
@@ -11,21 +14,32 @@ RUN ollama serve >/tmp/serve.log 2>&1 & \
|
||||
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
||||
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
||||
|
||||
# 2. L'image livrée : la même Ubuntu 24.04 que l'image officielle, Ollama, ses bibliothèques processeur, le modèle.
|
||||
# 2. Le portier : Caddy, un seul binaire statique, pris dans l'image officielle.
|
||||
FROM caddy:2.10.2-alpine AS portier
|
||||
|
||||
# 3. L'image livrée : la même Ubuntu 24.04 que l'image officielle d'Ollama, Ollama, ses bibliothèques processeur,
|
||||
# le modèle, et Caddy.
|
||||
FROM ubuntu:noble-20261024.1
|
||||
LABEL org.opencontainers.image.title="embeddings-bge-m3" \
|
||||
org.opencontainers.image.description="Service d'embeddings bge-m3:567m (1024 dimensions), API OpenAI /v1/embeddings, sur processeur, hors ligne, protégé par un jeton (EMBEDDINGS_JETON). Pour la recherche dans la base de connaissances de LibreDesk." \
|
||||
org.opencontainers.image.source="https://exchange.sensima.ch/maxime.pasquier/aimsight-libredesk" \
|
||||
org.opencontainers.image.version="0.40.16-567m"
|
||||
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
||||
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
||||
# Seulement les modèles : la clé d'identité (id_ed25519) créée par le serveur du pull reste dans l'étape 1 ;
|
||||
# chaque conteneur génère la sienne au premier démarrage.
|
||||
COPY --from=source /root/.ollama/models /root/.ollama/models
|
||||
COPY --from=portier /usr/bin/caddy /usr/bin/caddy
|
||||
COPY Caddyfile /etc/caddy/Caddyfile
|
||||
COPY demarrer.sh /usr/local/bin/demarrer.sh
|
||||
|
||||
# Écoute sur toutes les interfaces du conteneur ; c'est le compose qui choisit où le port est publié.
|
||||
# Ollama n'écoute que dans le conteneur (127.0.0.1:11435) ; seul Caddy (11434) est joignable de l'extérieur, et
|
||||
# c'est le compose qui choisit où ce port est publié.
|
||||
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
||||
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
||||
ENV OLLAMA_HOST=0.0.0.0:11434 \
|
||||
ENV OLLAMA_HOST=127.0.0.1:11435 \
|
||||
OLLAMA_KEEP_ALIVE=-1 \
|
||||
OLLAMA_NO_CLOUD=1
|
||||
EXPOSE 11434
|
||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
||||
ENTRYPOINT ["/usr/bin/ollama"]
|
||||
CMD ["serve"]
|
||||
ENTRYPOINT ["/bin/bash", "/usr/local/bin/demarrer.sh"]
|
||||
@@ -1,5 +1,5 @@
|
||||
# Surcharge : rattache Ollama au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# Surcharge : rattache embeddings-bge-m3 au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1, avec le jeton comme pour une adresse publiée). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
|
||||
+12
-6
@@ -1,14 +1,20 @@
|
||||
# Ollama + bge-m3, pour LibreDesk. Ollama n'a pas d'authentification : son port n'est publié que sur 127.0.0.1,
|
||||
# sauf si OLLAMA_BIND donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique).
|
||||
# OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# embeddings-bge-m3 (Ollama + bge-m3 derrière Caddy), pour LibreDesk. Chaque requête doit porter
|
||||
# « Authorization: Bearer <EMBEDDINGS_JETON> » (dans LibreDesk : le champ « API key » des embeddings).
|
||||
# - ollama/.env (hors de git, jamais lu par Claude) : EMBEDDINGS_JETON (32 caractères au moins, lettres, chiffres,
|
||||
# « _ » et « - ») ; sans lui, le conteneur refuse de démarrer. Et, s'il le faut, OLLAMA_BIND, OLLAMA_PORT.
|
||||
# - Le jeton ne dispense pas de garder le port à l'intérieur : il n'est publié que sur 127.0.0.1, sauf si OLLAMA_BIND
|
||||
# donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique ; HTTP en clair).
|
||||
# - OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# docker compose -f ollama/compose.yml build
|
||||
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m
|
||||
container_name: ollama-bge-m3
|
||||
image: exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m
|
||||
container_name: embeddings-bge-m3
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
EMBEDDINGS_JETON: ${EMBEDDINGS_JETON:-}
|
||||
ports:
|
||||
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
||||
@@ -0,0 +1,32 @@
|
||||
#!/bin/bash
|
||||
# Démarrage de l'image embeddings-bge-m3 : Ollama sur 127.0.0.1:11435 (seulement dans le conteneur), et devant lui
|
||||
# Caddy sur 11434, qui exige le jeton (Caddyfile). Sans jeton valable, rien ne démarre : on ne peut pas lancer le
|
||||
# service ouvert par oubli. Si l'un des deux s'arrête, le conteneur s'arrête, et Docker le relance (unless-stopped).
|
||||
set -uo pipefail
|
||||
|
||||
jeton="${EMBEDDINGS_JETON:-}"
|
||||
if [[ ! "$jeton" =~ ^[A-Za-z0-9_-]{32,}$ ]]; then
|
||||
echo "EMBEDDINGS_JETON manquant ou invalide : 32 caractères au moins, lettres, chiffres, « _ » et « - » seulement." >&2
|
||||
echo "Par exemple : python3 -c 'import secrets; print(secrets.token_urlsafe(32))'" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# Ollama n'a pas besoin du jeton : il ne le reçoit pas.
|
||||
env -u EMBEDDINGS_JETON /usr/bin/ollama serve &
|
||||
ollama=$!
|
||||
/usr/bin/caddy run --config /etc/caddy/Caddyfile --adapter caddyfile &
|
||||
caddy=$!
|
||||
|
||||
arreter() {
|
||||
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||
wait
|
||||
exit 0
|
||||
}
|
||||
trap arreter TERM INT
|
||||
|
||||
wait -n
|
||||
code=$?
|
||||
echo "Ollama ou Caddy s'est arrêté (code $code) : arrêt du conteneur." >&2
|
||||
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||
wait
|
||||
exit 1
|
||||
+50
-11
@@ -1,49 +1,88 @@
|
||||
"""Vérifie qu'une adresse Ollama (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk l'attend.
|
||||
"""Vérifie qu'une adresse embeddings-bge-m3 (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk
|
||||
l'attend, avec le jeton, et qu'elle refuse une requête sans jeton.
|
||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||
|
||||
python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
|
||||
|
||||
Le jeton vient de la variable EMBEDDINGS_JETON, sinon du fichier .env posé à côté de ce script (ollama/.env, ou
|
||||
~/ollama/.env sur le serveur) : il n'apparaît ni dans la commande ni dans l'historique, et n'est jamais affiché.
|
||||
"""
|
||||
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
||||
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
MODELE = "bge-m3:567m"
|
||||
DIMENSION = 1024
|
||||
VARIABLE = "EMBEDDINGS_JETON"
|
||||
|
||||
|
||||
def _appel(url: str, corps: dict | None = None) -> dict:
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None,
|
||||
headers={"Content-Type": "application/json", "Authorization": "Bearer ollama"})
|
||||
class JetonRefuse(RuntimeError):
|
||||
pass
|
||||
|
||||
|
||||
def lire_jeton(env: dict | None = None, fichier: Path | None = None) -> str | None:
|
||||
"""Le jeton de `env` (os.environ par défaut), sinon celui du .env à côté de ce script ; None s'il n'y en a pas."""
|
||||
env = os.environ if env is None else env
|
||||
fichier = Path(__file__).with_name(".env") if fichier is None else fichier
|
||||
if env.get(VARIABLE):
|
||||
return env[VARIABLE]
|
||||
if not fichier.is_file():
|
||||
return None
|
||||
for ligne in fichier.read_text(encoding="utf-8").splitlines():
|
||||
cle, egal, valeur = ligne.strip().partition("=")
|
||||
if egal and cle.strip() == VARIABLE:
|
||||
return valeur.strip().strip("'\"") or None
|
||||
return None
|
||||
|
||||
|
||||
def _appel(url: str, jeton: str | None, corps: dict | None = None) -> dict:
|
||||
entetes = {"Content-Type": "application/json"}
|
||||
if jeton is not None:
|
||||
entetes["Authorization"] = f"Bearer {jeton}"
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None, headers=entetes)
|
||||
try:
|
||||
with urllib.request.urlopen(r, timeout=120) as rep:
|
||||
return json.loads(rep.read())
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
if e.code == 401:
|
||||
raise JetonRefuse(f"{url} : 401, jeton refusé") from e
|
||||
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
raise RuntimeError(f"Ollama injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
raise RuntimeError(f"service d'embeddings injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
|
||||
|
||||
def verifier(base_url: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions » ; lève RuntimeError avec ce qui manque."""
|
||||
def verifier(base_url: str, jeton: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions, jeton exigé » ; lève RuntimeError avec ce qui manque."""
|
||||
base = base_url.rstrip("/")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models").get("data") or []]
|
||||
try:
|
||||
_appel(f"{base}/models", None)
|
||||
except JetonRefuse:
|
||||
pass
|
||||
else:
|
||||
raise RuntimeError(f"{base} répond sans jeton : la protection n'est pas active (ancienne image, ou Ollama nu ?)")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models", jeton).get("data") or []]
|
||||
if MODELE not in modeles:
|
||||
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
||||
vecteur = _appel(f"{base}/embeddings", {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
vecteur = _appel(f"{base}/embeddings", jeton, {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
)["data"][0]["embedding"]
|
||||
if len(vecteur) != DIMENSION:
|
||||
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions"
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions, jeton exigé"
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 2:
|
||||
sys.exit(__doc__)
|
||||
jeton = lire_jeton()
|
||||
if not jeton:
|
||||
sys.exit(f"ÉCHEC : pas de jeton ({VARIABLE} dans l'environnement ou dans {Path(__file__).with_name('.env')})")
|
||||
try:
|
||||
print(verifier(sys.argv[1]))
|
||||
print(verifier(sys.argv[1], jeton))
|
||||
except RuntimeError as e:
|
||||
sys.exit(f"ÉCHEC : {e}")
|
||||
@@ -0,0 +1,119 @@
|
||||
"""Le service d'accès (acces/service.py) et l'index de l'export Auth0, contre une base SQLite et un utilisateurs.json."""
|
||||
import json
|
||||
import sqlite3
|
||||
import sys
|
||||
import tempfile
|
||||
import threading
|
||||
import unittest
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "acces"))
|
||||
from exporter_utilisateurs import index_par_email # noqa: E402
|
||||
from service import ROUTE, creer_serveur # noqa: E402
|
||||
|
||||
JETON = "j" * 40
|
||||
UTILISATEURS = {"alice@client.ch": ["auth0|a1", "auth0|a2"], "bob@client.ch": ["auth0|b"]}
|
||||
|
||||
|
||||
def creer_base(chemin: Path):
|
||||
with sqlite3.connect(chemin) as c:
|
||||
c.executescript("""
|
||||
CREATE TABLE Device (id INTEGER PRIMARY KEY, serial_number VARCHAR, name VARCHAR UNIQUE);
|
||||
CREATE TABLE UserGroup (id INTEGER PRIMARY KEY, device_id INTEGER, role VARCHAR);
|
||||
CREATE TABLE UserGroupEntry (id INTEGER PRIMARY KEY, group_id INTEGER, user_id VARCHAR);
|
||||
CREATE TABLE UserAccess (id INTEGER PRIMARY KEY, device_id INTEGER, user_id VARCHAR, access_type TEXT);
|
||||
INSERT INTO Device VALUES (1, 'PONT', 'Voie Lac'), (2, 'PONT', 'Voie Jura'), (3, 'NORDEND', 'Nordend'),
|
||||
(4, 'ALASKA', 'Alaska');
|
||||
INSERT INTO UserGroup VALUES (10, 1, 'user'), (11, 2, 'dev_admin'), (12, 4, 'user'), (13, 99, 'user');
|
||||
INSERT INTO UserGroupEntry (group_id, user_id) VALUES
|
||||
(10, 'auth0|a1'), (11, 'auth0|a2'), (10, 'auth0|a2'), (13, 'auth0|a1'), (12, 'auth0|b');
|
||||
-- l'ancienne table, ignorée comme par le dashboard
|
||||
INSERT INTO UserAccess (device_id, user_id, access_type) VALUES (3, 'auth0|a1', 'read');
|
||||
""")
|
||||
c.close() # « with » valide la transaction mais ne ferme pas
|
||||
|
||||
|
||||
class TestServiceAcces(unittest.TestCase):
|
||||
def setUp(self):
|
||||
dossier = tempfile.TemporaryDirectory()
|
||||
self.addCleanup(dossier.cleanup)
|
||||
self.base = Path(dossier.name) / "database.db"
|
||||
self.utilisateurs = Path(dossier.name) / "utilisateurs.json"
|
||||
creer_base(self.base)
|
||||
self.utilisateurs.write_text(json.dumps(UTILISATEURS))
|
||||
self.serveur = creer_serveur(("127.0.0.1", 0), JETON, str(self.base), str(self.utilisateurs))
|
||||
self.serveur.RequestHandlerClass.log_message = lambda *a: None
|
||||
threading.Thread(target=self.serveur.serve_forever, daemon=True).start()
|
||||
self.addCleanup(self.serveur.server_close)
|
||||
self.addCleanup(self.serveur.shutdown)
|
||||
|
||||
def demander(self, entetes: dict, route=ROUTE) -> tuple[int, dict]:
|
||||
url = f"http://127.0.0.1:{self.serveur.server_address[1]}{route}"
|
||||
try:
|
||||
with urllib.request.urlopen(urllib.request.Request(url, headers=entetes), timeout=5) as r:
|
||||
return r.status, json.load(r)
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
return e.code, json.load(e)
|
||||
|
||||
def client(self, email=None) -> tuple[int, dict]:
|
||||
entetes = {"Authorization": f"Bearer {JETON}"}
|
||||
if email is not None:
|
||||
entetes["X-Libredesk-Contact-Email"] = email
|
||||
return self.demander(entetes)
|
||||
|
||||
def test_sans_jeton_ou_mauvais_jeton_401(self):
|
||||
for entetes in ({}, {"Authorization": "Bearer faux"}, {"Authorization": JETON}):
|
||||
self.assertEqual(self.demander({**entetes, "X-Libredesk-Contact-Email": "alice@client.ch"})[0], 401)
|
||||
|
||||
def test_projets_avec_role_sans_useraccess_ni_device_supprime(self):
|
||||
# a1 et a2 sont tous deux dans le groupe « user » de Voie Lac : une seule ligne ; a2 administre Voie Jura
|
||||
self.assertEqual(self.client(" Alice@Client.CH "), (200, {"projects": [
|
||||
{"project": "Voie Jura", "serial": "PONT", "role": "dev_admin"},
|
||||
{"project": "Voie Lac", "serial": "PONT", "role": "user"}]}))
|
||||
|
||||
def test_dev_admin_l_emporte_sur_user_dans_le_meme_projet(self):
|
||||
self.utilisateurs.write_text(json.dumps({"dan@client.ch": ["auth0|a2"]}))
|
||||
with sqlite3.connect(self.base) as c:
|
||||
c.execute("INSERT INTO UserGroup VALUES (14, 1, 'dev_admin')")
|
||||
c.execute("INSERT INTO UserGroupEntry (group_id, user_id) VALUES (14, 'auth0|a2')")
|
||||
c.close()
|
||||
self.assertIn({"project": "Voie Lac", "serial": "PONT", "role": "dev_admin"}, self.client("dan@client.ch")[1]["projects"])
|
||||
|
||||
def test_inconnu_ou_sans_e_mail_liste_vide(self):
|
||||
self.assertEqual(self.client("inconnu@ailleurs.ch"), (200, {"projects": []}))
|
||||
self.assertEqual(self.client(), (200, {"projects": []}))
|
||||
|
||||
def test_nouvel_export_lu_sans_redemarrer(self):
|
||||
self.utilisateurs.write_text(json.dumps({"carol@client.ch": ["auth0|b"]}))
|
||||
self.assertEqual(self.client("carol@client.ch")[1],
|
||||
{"projects": [{"project": "Alaska", "serial": "ALASKA", "role": "user"}]})
|
||||
|
||||
def test_fichier_ou_base_illisible_502_jamais_liste_vide(self):
|
||||
self.utilisateurs.write_text("pas du json")
|
||||
self.assertEqual(self.client("alice@client.ch"), (502, {"error": "access lookup unavailable"}))
|
||||
self.utilisateurs.write_text(json.dumps(UTILISATEURS))
|
||||
self.base.unlink()
|
||||
self.assertEqual(self.client("alice@client.ch")[0], 502)
|
||||
|
||||
def test_autre_route_404(self):
|
||||
self.assertEqual(self.demander({"Authorization": f"Bearer {JETON}"}, "/")[0], 404)
|
||||
|
||||
def test_base_jamais_modifiee(self):
|
||||
avant = self.base.read_bytes()
|
||||
self.client("alice@client.ch")
|
||||
self.assertEqual(self.base.read_bytes(), avant)
|
||||
|
||||
|
||||
class TestIndexParEmail(unittest.TestCase):
|
||||
def test_minuscules_plusieurs_comptes_sans_e_mail_ignore(self):
|
||||
self.assertEqual(index_par_email([
|
||||
{"user_id": "auth0|2", "email": "Alice@Client.ch "}, {"user_id": "auth0|1", "email": "alice@client.ch"},
|
||||
{"user_id": "auth0|3"}, {"user_id": "auth0|4", "email": None}]),
|
||||
{"alice@client.ch": ["auth0|1", "auth0|2"]})
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -0,0 +1,24 @@
|
||||
"""Le paquet conversations ne fait que lire LibreDesk : des GET, sur les deux routes des conversations (design aimsight-app
|
||||
2026-11-18-conversations-tab), plus les URL des pièces jointes que les messages portent."""
|
||||
import re
|
||||
import unittest
|
||||
from pathlib import Path
|
||||
|
||||
PAQUET = Path(__file__).resolve().parents[1] / "conversations"
|
||||
AUTORISEES = {"/api/v1/conversations/all", "/api/v1/conversations/{uuid}/messages"}
|
||||
|
||||
|
||||
class TestGardeFouConversations(unittest.TestCase):
|
||||
def test_seulement_des_lectures(self):
|
||||
for f in PAQUET.glob("*.py"):
|
||||
texte = f.read_text()
|
||||
self.assertEqual(set(re.findall(r"/api/v1/[a-z0-9_/{}-]+", texte)) - AUTORISEES, set(), f.name)
|
||||
for interdit in ('"POST"', '"PUT"', '"DELETE"', '"PATCH"', "method=", "data="):
|
||||
self.assertNotIn(interdit, texte, f"{interdit} dans {f.name}")
|
||||
|
||||
def test_le_paquet_a_bien_un_client(self): # sans pomper.py, le test ci-dessus passerait à vide
|
||||
self.assertTrue((PAQUET / "pomper.py").exists())
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
+127
-17
@@ -1,8 +1,12 @@
|
||||
"""L'image Ollama : le script de vérification (contre un faux serveur) et les garde-fous du lancement (design §2, §5)."""
|
||||
"""L'image embeddings-bge-m3 : le script de vérification (contre un faux serveur) et les garde-fous du lancement
|
||||
(design §2, §5) ; le jeton exigé par Caddy devant Ollama."""
|
||||
import ast
|
||||
import json
|
||||
import os
|
||||
import socket
|
||||
import subprocess
|
||||
import sys
|
||||
import tempfile
|
||||
import threading
|
||||
import unittest
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
@@ -11,34 +15,48 @@ from pathlib import Path
|
||||
OLLAMA = Path(__file__).resolve().parents[1] / "ollama"
|
||||
COMPOSE = OLLAMA / "compose.yml"
|
||||
DOCKERFILE = OLLAMA / "Dockerfile"
|
||||
CADDYFILE = OLLAMA / "Caddyfile"
|
||||
DEMARRER = OLLAMA / "demarrer.sh"
|
||||
IMAGE = "exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m"
|
||||
JETON = "j" * 40
|
||||
sys.path.insert(0, str(OLLAMA))
|
||||
from verifier_ollama import verifier # noqa: E402
|
||||
from verifier_ollama import lire_jeton, verifier # noqa: E402
|
||||
|
||||
|
||||
class FauxOllama:
|
||||
"""Rend `modeles` sur GET /v1/models et un vecteur de `dimension` nombres sur POST /v1/embeddings."""
|
||||
"""Rend `modeles` sur GET /v1/models et un vecteur de `dimension` nombres sur POST /v1/embeddings.
|
||||
Avec `jeton`, comme Caddy : 401 si l'en-tête n'est pas « Authorization: Bearer <jeton> »."""
|
||||
|
||||
def __init__(self, modeles: list[str], dimension: int):
|
||||
def __init__(self, modeles: list[str], dimension: int, jeton: str | None = JETON):
|
||||
faux = self
|
||||
self.corps_recus: list[dict] = []
|
||||
|
||||
class Gestion(BaseHTTPRequestHandler):
|
||||
def _json(self, data: dict):
|
||||
def _json(self, data: dict, code: int = 200):
|
||||
texte = json.dumps(data).encode()
|
||||
self.send_response(200)
|
||||
self.send_response(code)
|
||||
self.send_header("Content-Type", "application/json")
|
||||
self.send_header("Content-Length", str(len(texte)))
|
||||
self.end_headers()
|
||||
self.wfile.write(texte)
|
||||
|
||||
def _autorise(self) -> bool:
|
||||
if jeton is None or self.headers.get("Authorization") == f"Bearer {jeton}":
|
||||
return True
|
||||
self._json({"erreur": "jeton manquant ou invalide"}, 401)
|
||||
return False
|
||||
|
||||
def do_GET(self):
|
||||
self._json({"object": "list", "data": [{"id": m, "object": "model"} for m in modeles]})
|
||||
if self._autorise():
|
||||
self._json({"object": "list", "data": [{"id": m, "object": "model"} for m in modeles]})
|
||||
|
||||
def do_POST(self):
|
||||
n = int(self.headers.get("Content-Length") or 0)
|
||||
faux.corps_recus.append(json.loads(self.rfile.read(n)))
|
||||
self._json({"object": "list", "data": [{"object": "embedding", "index": 0,
|
||||
"embedding": [0.01] * dimension}]})
|
||||
corps = json.loads(self.rfile.read(n))
|
||||
if self._autorise():
|
||||
faux.corps_recus.append(corps)
|
||||
self._json({"object": "list", "data": [{"object": "embedding", "index": 0,
|
||||
"embedding": [0.01] * dimension}]})
|
||||
|
||||
def log_message(self, *_):
|
||||
pass
|
||||
@@ -53,32 +71,64 @@ class FauxOllama:
|
||||
|
||||
|
||||
class TestVerifier(unittest.TestCase):
|
||||
def faux(self, modeles: list[str], dimension: int) -> FauxOllama:
|
||||
f = FauxOllama(modeles, dimension)
|
||||
def faux(self, modeles: list[str], dimension: int, jeton: str | None = JETON) -> FauxOllama:
|
||||
f = FauxOllama(modeles, dimension, jeton)
|
||||
self.addCleanup(f.arreter)
|
||||
return f
|
||||
|
||||
def test_modele_et_dimension_ok(self):
|
||||
f = self.faux(["bge-m3:567m"], 1024)
|
||||
self.assertIn("1024", verifier(f.url))
|
||||
self.assertIn("1024", verifier(f.url, JETON))
|
||||
self.assertEqual(f.corps_recus[0]["model"], "bge-m3:567m")
|
||||
|
||||
def test_modele_absent(self):
|
||||
f = self.faux(["nomic-embed-text:latest"], 1024)
|
||||
with self.assertRaisesRegex(RuntimeError, "bge-m3:567m"):
|
||||
verifier(f.url)
|
||||
verifier(f.url, JETON)
|
||||
|
||||
def test_mauvaise_dimension(self):
|
||||
f = self.faux(["bge-m3:567m"], 768)
|
||||
with self.assertRaisesRegex(RuntimeError, "768"):
|
||||
verifier(f.url)
|
||||
verifier(f.url, JETON)
|
||||
|
||||
def test_adresse_injoignable(self):
|
||||
with socket.socket() as s: # un port libre, que personne n'écoute une fois fermé (refus immédiat)
|
||||
s.bind(("127.0.0.1", 0))
|
||||
port = s.getsockname()[1]
|
||||
with self.assertRaisesRegex(RuntimeError, "injoignable"):
|
||||
verifier(f"http://127.0.0.1:{port}/v1")
|
||||
verifier(f"http://127.0.0.1:{port}/v1", JETON)
|
||||
|
||||
def test_mauvais_jeton(self):
|
||||
f = self.faux(["bge-m3:567m"], 1024)
|
||||
with self.assertRaisesRegex(RuntimeError, "jeton refusé"):
|
||||
verifier(f.url, "x" * 40)
|
||||
self.assertEqual(f.corps_recus, [])
|
||||
|
||||
def test_service_ouvert_sans_jeton_refuse(self): # l'ancienne image, ou un Ollama nu : à ne pas brancher
|
||||
f = self.faux(["bge-m3:567m"], 1024, jeton=None)
|
||||
with self.assertRaisesRegex(RuntimeError, "sans jeton"):
|
||||
verifier(f.url, JETON)
|
||||
|
||||
|
||||
class TestLireJeton(unittest.TestCase):
|
||||
def fichier(self, texte: str) -> Path:
|
||||
d = tempfile.TemporaryDirectory()
|
||||
self.addCleanup(d.cleanup)
|
||||
p = Path(d.name) / ".env"
|
||||
p.write_text(texte, encoding="utf-8")
|
||||
return p
|
||||
|
||||
def test_variable_d_environnement_d_abord(self):
|
||||
p = self.fichier("EMBEDDINGS_JETON=du-fichier\n")
|
||||
self.assertEqual(lire_jeton({"EMBEDDINGS_JETON": "de-l-env"}, p), "de-l-env")
|
||||
|
||||
def test_sinon_le_env_a_cote_du_script(self):
|
||||
p = self.fichier("OLLAMA_BIND=10.0.0.1\n# commentaire\nEMBEDDINGS_JETON='abc_DEF-123'\n")
|
||||
self.assertEqual(lire_jeton({}, p), "abc_DEF-123")
|
||||
|
||||
def test_absent(self):
|
||||
self.assertIsNone(lire_jeton({}, self.fichier("OLLAMA_BIND=10.0.0.1\n")))
|
||||
self.assertIsNone(lire_jeton({}, Path(tempfile.gettempdir()) / "pas-de-fichier-ici" / ".env"))
|
||||
|
||||
|
||||
class TestCompatibilite(unittest.TestCase):
|
||||
@@ -94,19 +144,36 @@ class TestCompatibilite(unittest.TestCase):
|
||||
|
||||
|
||||
class TestLancement(unittest.TestCase):
|
||||
def test_port_lie_a_localhost_par_defaut(self): # Ollama n'a pas d'authentification
|
||||
def test_nom_de_l_image_et_du_conteneur(self):
|
||||
texte = COMPOSE.read_text()
|
||||
self.assertIn(f"image: {IMAGE}", texte)
|
||||
self.assertIn("container_name: embeddings-bge-m3", texte)
|
||||
self.assertNotIn("ollama-bge-m3", texte)
|
||||
|
||||
def test_port_lie_a_localhost_par_defaut(self): # le jeton ne dispense pas de garder le port à l'intérieur
|
||||
self.assertIn('"${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"', COMPOSE.read_text())
|
||||
self.assertNotIn("0.0.0.0:11434:", COMPOSE.read_text())
|
||||
|
||||
def test_jeton_passe_au_lancement(self): # jamais dans l'image : le paquet est public
|
||||
self.assertIn("EMBEDDINGS_JETON: ${EMBEDDINGS_JETON:-}", COMPOSE.read_text())
|
||||
self.assertNotIn("EMBEDDINGS_JETON=", DOCKERFILE.read_text())
|
||||
|
||||
def test_redemarrage_automatique(self):
|
||||
self.assertIn("restart: unless-stopped", COMPOSE.read_text())
|
||||
|
||||
def test_version_figee(self):
|
||||
texte = DOCKERFILE.read_text()
|
||||
self.assertRegex(texte, r"FROM ollama/ollama:\d+\.\d+\.\d+\s")
|
||||
self.assertRegex(texte, r"FROM caddy:\d+\.\d+\.\d+-alpine\s")
|
||||
self.assertNotIn("latest", texte)
|
||||
self.assertIn("bge-m3:567m", texte)
|
||||
|
||||
def test_description_dans_l_image(self): # Gitea l'affiche sur la page du paquet
|
||||
texte = DOCKERFILE.read_text()
|
||||
for label in ("title", "description", "source"):
|
||||
self.assertIn(f"org.opencontainers.image.{label}=", texte)
|
||||
self.assertIn('org.opencontainers.image.title="embeddings-bge-m3"', texte)
|
||||
|
||||
def test_pas_d_appel_au_nuage(self): # sans ce réglage, Ollama interroge ollama.com au démarrage
|
||||
self.assertIn("OLLAMA_NO_CLOUD=1", DOCKERFILE.read_text())
|
||||
|
||||
@@ -122,5 +189,48 @@ class TestLancement(unittest.TestCase):
|
||||
self.assertFalse([c for c in copies if c.rstrip("/") in ("/root", "/root/.ollama")], copies)
|
||||
|
||||
|
||||
class TestPortier(unittest.TestCase):
|
||||
"""Ollama n'écoute que dans le conteneur ; seul Caddy est publié, et il exige le jeton."""
|
||||
|
||||
def test_ollama_n_ecoute_que_dans_le_conteneur(self):
|
||||
texte = DOCKERFILE.read_text()
|
||||
self.assertIn("OLLAMA_HOST=127.0.0.1:11435", texte)
|
||||
self.assertNotIn("OLLAMA_HOST=0.0.0.0", texte)
|
||||
|
||||
def test_caddy_exige_le_jeton(self):
|
||||
texte = CADDYFILE.read_text()
|
||||
self.assertIn('header Authorization "Bearer {$EMBEDDINGS_JETON}"', texte)
|
||||
self.assertIn("reverse_proxy 127.0.0.1:11435", texte)
|
||||
self.assertIn("respond", texte)
|
||||
self.assertIn("401", texte)
|
||||
|
||||
def test_caddy_sans_administration_ni_https_automatique(self):
|
||||
texte = CADDYFILE.read_text()
|
||||
self.assertIn("admin off", texte)
|
||||
self.assertIn("auto_https off", texte)
|
||||
|
||||
def test_hote_reecrit_pour_ollama(self): # Ollama, lié à 127.0.0.1, refuse (403) un Host comme « ollama:11434 »
|
||||
self.assertIn("header_up Host 127.0.0.1:11435", CADDYFILE.read_text())
|
||||
|
||||
def lancer(self, jeton: str | None) -> subprocess.CompletedProcess:
|
||||
env = {k: v for k, v in os.environ.items() if k != "EMBEDDINGS_JETON"}
|
||||
if jeton is not None:
|
||||
env["EMBEDDINGS_JETON"] = jeton
|
||||
# Les jetons refusés arrêtent le script avant tout lancement : rien d'Ollama ni de Caddy n'est appelé ici.
|
||||
return subprocess.run(["bash", str(DEMARRER)], env=env, capture_output=True, text=True, timeout=10)
|
||||
|
||||
def test_refuse_de_demarrer_sans_jeton(self):
|
||||
r = self.lancer(None)
|
||||
self.assertNotEqual(r.returncode, 0)
|
||||
self.assertIn("EMBEDDINGS_JETON", r.stderr)
|
||||
|
||||
def test_refuse_un_jeton_court(self):
|
||||
self.assertNotEqual(self.lancer("a" * 31).returncode, 0)
|
||||
|
||||
def test_refuse_les_caracteres_speciaux(self): # « * » serait un joker pour Caddy, « } » casserait le Caddyfile
|
||||
for jeton in ("a" * 32 + "*", "a" * 32 + "}", "a" * 32 + " b", "a" * 32 + '"'):
|
||||
self.assertNotEqual(self.lancer(jeton).returncode, 0, jeton)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -0,0 +1,41 @@
|
||||
import shutil
|
||||
import tempfile
|
||||
import unittest
|
||||
from pathlib import Path
|
||||
|
||||
from conversations import pompage
|
||||
|
||||
|
||||
class TestPompage(unittest.TestCase):
|
||||
def setUp(self):
|
||||
self.racine, avant = Path(tempfile.mkdtemp()), pompage.ROOT
|
||||
pompage.ROOT = self.racine
|
||||
self.addCleanup(setattr, pompage, "ROOT", avant)
|
||||
self.addCleanup(shutil.rmtree, self.racine)
|
||||
|
||||
def test_plage_refusee(self):
|
||||
for depuis, jusqu_a in (("2026-11-01", ""), ("", "2026-11-01"), ("2026-11-02", "2026-11-01"), ("1.11.2026", "2026-11-02")):
|
||||
with self.assertRaisesRegex(ValueError, "From and To"):
|
||||
pompage.start(depuis, jusqu_a, "/tmp/x")
|
||||
|
||||
def test_pas_de_verrou_pas_de_pompage(self):
|
||||
self.assertFalse(pompage.running())
|
||||
|
||||
def test_verrou_tenu(self):
|
||||
import fcntl
|
||||
(self.racine / "out").mkdir()
|
||||
with open(self.racine / "out" / "conversations.lock", "w") as verrou:
|
||||
fcntl.flock(verrou, fcntl.LOCK_EX)
|
||||
self.assertTrue(pompage.running())
|
||||
with self.assertRaisesRegex(ValueError, "already running"):
|
||||
pompage.start("", "", "/tmp/x")
|
||||
|
||||
def test_journal(self):
|
||||
(self.racine / "out").mkdir()
|
||||
(self.racine / "out" / "conversations.log").write_text("".join(f"ligne {i}\n" for i in range(50)))
|
||||
self.assertEqual(pompage.log(3), ["ligne 47", "ligne 48", "ligne 49"])
|
||||
self.assertEqual(pompage.log(), [f"ligne {i}" for i in range(10, 50)])
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -0,0 +1,199 @@
|
||||
import json
|
||||
import shutil
|
||||
import tempfile
|
||||
import unittest
|
||||
import urllib.parse
|
||||
from pathlib import Path
|
||||
|
||||
from conversations.pomper import Lecteur, pomper
|
||||
from faux_libredesk import FauxLibreDesk
|
||||
|
||||
LISTE = ("GET", "/api/v1/conversations/all")
|
||||
|
||||
|
||||
def conv(ref, uuid, updated_at):
|
||||
return {"uuid": uuid, "reference_number": ref, "subject": f"Sujet {ref}", "status": "Open", "inbox_name": "Support",
|
||||
"created_at": "2026-11-01T08:00:00Z", "updated_at": updated_at, "previous_conversations": [{"uuid": "x"}],
|
||||
"contact": {"first_name": "Jean", "last_name": "Dupont", "email": "j@x.ch"}}
|
||||
|
||||
|
||||
def piece(nom, url, uuid="a1", taille=3, type_="image/png"):
|
||||
return {"name": nom, "url": url, "uuid": uuid, "size": taille, "content_type": type_}
|
||||
|
||||
|
||||
def message(heure, pieces=(), contenu="<p>Bonjour</p>"):
|
||||
return {"uuid": "m" + heure, "created_at": f"2026-11-18T{heure}:00Z", "type": "incoming", "sender_type": "contact",
|
||||
"private": False, "content": contenu, "text_content": "", "attachments": list(pieces), "author": None}
|
||||
|
||||
|
||||
def pages(elements, taille=2):
|
||||
"""Une route paginée comme LibreDesk : ?page=N, data = {results, total, per_page, total_pages, page}."""
|
||||
def reponse(chemin):
|
||||
page = int(urllib.parse.parse_qs(urllib.parse.urlsplit(chemin).query).get("page", ["1"])[0])
|
||||
total_pages = max(1, -(-len(elements) // taille))
|
||||
return {"results": elements[(page - 1) * taille:page * taille], "total": len(elements), "per_page": taille,
|
||||
"total_pages": total_pages, "page": page}
|
||||
return reponse
|
||||
|
||||
|
||||
class TestPomper(unittest.TestCase):
|
||||
def setUp(self):
|
||||
self.faux, self.s3 = FauxLibreDesk(), FauxLibreDesk()
|
||||
self.addCleanup(self.faux.arreter)
|
||||
self.addCleanup(self.s3.arreter)
|
||||
self.sortie = Path(tempfile.mkdtemp())
|
||||
self.addCleanup(shutil.rmtree, self.sortie)
|
||||
self.lignes = []
|
||||
|
||||
def lecteur(self):
|
||||
return Lecteur(self.faux.url, "k", "s")
|
||||
|
||||
def pomper(self, **kw):
|
||||
return pomper(self.lecteur(), self.sortie, journal=self.lignes.append, **kw)
|
||||
|
||||
def servir(self, convs, messages=None):
|
||||
self.faux.reponses[LISTE] = pages(convs)
|
||||
for c in convs:
|
||||
self.faux.reponses[("GET", f"/api/v1/conversations/{c['uuid']}/messages")] = pages(
|
||||
(messages or {}).get(c["uuid"], [message("08:00")]))
|
||||
|
||||
def demandes(self, prefixe):
|
||||
return [c for m, c, _ in self.faux.requetes if urllib.parse.urlsplit(c).path.startswith(prefixe)]
|
||||
|
||||
def repere(self):
|
||||
return json.loads((self.sortie / "pumped.json").read_text())["until"]
|
||||
|
||||
def test_tout_au_premier_pompage(self):
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z"),
|
||||
conv("1", "u1", "2026-11-16T12:00:00Z")])
|
||||
self.assertEqual(self.pomper(), 3)
|
||||
self.assertEqual(sorted(p.name for p in self.sortie.iterdir() if p.is_dir()), ["1", "2", "3"])
|
||||
c = json.loads((self.sortie / "3" / "conversation.json").read_text())
|
||||
self.assertEqual(c["subject"], "Sujet 3")
|
||||
self.assertNotIn("previous_conversations", c)
|
||||
self.assertIn("Bonjour", (self.sortie / "3" / "transcript.md").read_text())
|
||||
self.assertTrue(self.repere())
|
||||
self.assertIn("order_by=conversations.updated_at", self.demandes("/api/v1/conversations/all")[0])
|
||||
|
||||
def test_incremental_s_arrete_sous_le_repere(self):
|
||||
(self.sortie / "pumped.json").write_text(json.dumps({"until": "2026-11-18T10:00:00+00:00"}))
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-18T09:30:00Z"),
|
||||
conv("1", "u1", "2026-11-18T08:00:00Z")])
|
||||
self.assertEqual(self.pomper(), 2)
|
||||
self.assertFalse((self.sortie / "1").exists())
|
||||
self.assertEqual(self.demandes("/api/v1/conversations/u1"), [])
|
||||
self.assertNotEqual(self.repere(), "2026-11-18T10:00:00+00:00")
|
||||
|
||||
def test_interrompu_le_repere_ne_bouge_pas(self):
|
||||
(self.sortie / "pumped.json").write_text(json.dumps({"until": "2026-11-01T00:00:00+00:00"}))
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z")])
|
||||
self.faux.reponses[("GET", "/api/v1/conversations/u2/messages")] = 500
|
||||
with self.assertRaises(Exception) as erreur:
|
||||
self.pomper()
|
||||
erreur.exception.close()
|
||||
self.assertTrue((self.sortie / "3" / "transcript.md").exists())
|
||||
self.assertEqual(self.repere(), "2026-11-01T00:00:00+00:00")
|
||||
|
||||
def test_plage_ne_touche_pas_le_repere(self):
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z"),
|
||||
conv("1", "u1", "2026-11-16T12:00:00Z")])
|
||||
self.assertEqual(self.pomper(depuis="2026-11-17", jusqu_a="2026-11-18"), 1)
|
||||
self.assertTrue((self.sortie / "2").exists())
|
||||
self.assertFalse((self.sortie / "3").exists() or (self.sortie / "1").exists())
|
||||
self.assertFalse((self.sortie / "pumped.json").exists())
|
||||
|
||||
def test_pieces_jointes_locales(self):
|
||||
url = f"{self.faux.url}/uploads/f1?signature=abc&expires=1"
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"PNG"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("photo.png", url)], contenu=f'<img src="{url.replace("&", "&")}">')]})
|
||||
self.pomper()
|
||||
m = json.loads((self.sortie / "3" / "messages.json").read_text())[0]
|
||||
self.assertEqual(m["attachments"][0]["url"], "attachments/photo.png")
|
||||
self.assertEqual(m["content"], '<img src="attachments/photo.png">')
|
||||
self.assertEqual((self.sortie / "3" / "attachments" / "photo.png").read_bytes(), b"PNG")
|
||||
|
||||
def test_url_relative(self):
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"PNG"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], {"u3": [message("08:00", [piece("p.png", "/uploads/f1?s=1")])]})
|
||||
self.pomper()
|
||||
self.assertEqual((self.sortie / "3" / "attachments" / "p.png").read_bytes(), b"PNG")
|
||||
|
||||
def test_nom_de_piece_jointe_assaini(self):
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("../../x.sh", "/uploads/f1"), piece("..", "/uploads/f1", uuid="a2")])]})
|
||||
self.pomper()
|
||||
self.assertEqual(sorted(p.name for p in (self.sortie / "3" / "attachments").iterdir()), ["a2", "x.sh"])
|
||||
|
||||
def test_noms_en_double(self):
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("a.png", "/uploads/f1")]),
|
||||
message("09:00", [piece("a.png", "/uploads/f1", uuid="a2")])]})
|
||||
self.pomper()
|
||||
self.assertEqual(sorted(p.name for p in (self.sortie / "3" / "attachments").iterdir()), ["a.png", "a2_a.png"])
|
||||
|
||||
def test_deja_telechargee_pas_de_requete(self):
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], {"u3": [message("08:00", [piece("a.png", "/uploads/f1")])]})
|
||||
self.pomper(depuis="2026-11-18", jusqu_a="2026-11-19")
|
||||
self.pomper(depuis="2026-11-18", jusqu_a="2026-11-19")
|
||||
self.assertEqual(len(self.demandes("/uploads/")), 1)
|
||||
|
||||
def test_reference_bizarre_dossier_par_uuid(self):
|
||||
self.servir([conv("../42", "u42", "2026-11-18T12:00:00Z")])
|
||||
self.pomper()
|
||||
self.assertTrue((self.sortie / "u42" / "conversation.json").exists())
|
||||
|
||||
def test_cle_seulement_vers_libredesk(self):
|
||||
self.s3.reponses[("GET", "/bucket/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("a.png", f"{self.s3.url}/bucket/f1?X-Amz-Signature=z")])]})
|
||||
self.pomper()
|
||||
self.assertEqual((self.sortie / "3" / "attachments" / "a.png").read_bytes(), b"abc")
|
||||
self.assertEqual(len(self.s3.entetes), 1)
|
||||
self.assertNotIn("Authorization", self.s3.entetes[0])
|
||||
self.assertEqual(self.faux.entetes[0]["Authorization"], "token k:s")
|
||||
|
||||
def test_aucune_ecriture(self):
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")])
|
||||
self.pomper()
|
||||
self.assertEqual(self.faux.ecritures(), [])
|
||||
|
||||
def test_piece_jointe_perdue_sautee(self): # un fichier perdu par LibreDesk ne bloque pas les pompages suivants
|
||||
self.faux.reponses[("GET", "/uploads/perdu")] = 404
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("perdu.png", "/uploads/perdu"), piece("b.png", "/uploads/f1", uuid="a2")])]})
|
||||
self.assertEqual(self.pomper(), 2)
|
||||
self.assertTrue(self.repere())
|
||||
self.assertEqual(sorted(p.name for p in (self.sortie / "3" / "attachments").iterdir()), ["b.png"])
|
||||
m = json.loads((self.sortie / "3" / "messages.json").read_text())[0]
|
||||
self.assertEqual(m["attachments"][0]["url"], "")
|
||||
self.assertTrue(any("perdu.png" in l and "404" in l for l in self.lignes), self.lignes)
|
||||
|
||||
def test_nom_trop_long_tronque(self):
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], {"u3": [message("08:00", [piece("é" * 150 + ".png", "/uploads/f1")])]})
|
||||
self.pomper()
|
||||
(f,) = (self.sortie / "3" / "attachments").iterdir()
|
||||
self.assertLessEqual(len(f.name.encode()), 200)
|
||||
self.assertTrue(f.name.endswith(".png"))
|
||||
|
||||
def test_schema_autre_que_http_refuse(self): # jamais un fichier local recopié dans le dossier commité
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("e.txt", "file:///etc/hostname")])]})
|
||||
self.pomper()
|
||||
self.assertFalse((self.sortie / "3" / "attachments").exists())
|
||||
|
||||
def test_ordre_non_respecte(self): # LibreDesk ne trie pas par updated_at : on s'arrête, le repère ne bouge pas
|
||||
(self.sortie / "pumped.json").write_text(json.dumps({"until": "2026-11-01T00:00:00+00:00"}))
|
||||
self.servir([conv("2", "u2", "2026-11-17T12:00:00Z"), conv("3", "u3", "2026-11-18T12:00:00Z")])
|
||||
with self.assertRaisesRegex(ValueError, "ordre"):
|
||||
self.pomper()
|
||||
self.assertEqual(self.repere(), "2026-11-01T00:00:00+00:00")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -0,0 +1,64 @@
|
||||
import unittest
|
||||
|
||||
from conversations.transcript import texte, transcript
|
||||
|
||||
CONV = {"subject": "Saut", "reference_number": "42", "inbox_name": "Support", "status": "Open",
|
||||
"created_at": "2026-11-18T08:00:00Z", "contact": {"first_name": "Jean", "last_name": "Dupont", "email": "j@x.ch"}}
|
||||
|
||||
|
||||
def piece(nom, type_):
|
||||
return {"name": nom, "content_type": type_, "size": 3, "url": f"attachments/{nom}", "uuid": "u-" + nom}
|
||||
|
||||
|
||||
def msg(heure, type_="incoming", expediteur="contact", prive=False, contenu="<p>Bonjour</p>", pieces=(), auteur=None):
|
||||
return {"created_at": f"2026-11-18T{heure}:00Z", "type": type_, "sender_type": expediteur, "private": prive,
|
||||
"content": contenu, "text_content": "", "attachments": list(pieces), "author": auteur}
|
||||
|
||||
|
||||
MESSAGES = [
|
||||
msg("08:00", pieces=[piece("photo 1.jpg", "image/jpeg"), piece("r.pdf", "application/pdf")],
|
||||
auteur={"first_name": "Jean", "last_name": "Dupont"}),
|
||||
msg("08:05", type_="activity", expediteur="agent", contenu="Assigned to Max"),
|
||||
msg("08:10", type_="outgoing", expediteur="agent", prive=True, contenu="<p>À vérifier</p>",
|
||||
auteur={"first_name": "Max", "last_name": ""}),
|
||||
]
|
||||
|
||||
|
||||
class TestTexte(unittest.TestCase):
|
||||
def test_paragraphes_et_entites(self):
|
||||
self.assertEqual(texte("<p>Bonjour & merci</p><p>L1<br>L2</p>"), "Bonjour\xa0& merci\n\nL1\nL2")
|
||||
|
||||
def test_script_et_style_retires(self):
|
||||
self.assertEqual(texte("<style>p{}</style><script>x()</script><div>ok</div>"), "ok")
|
||||
|
||||
def test_balise_echappee_reste_du_texte(self): # l'app échappe à l'affichage, pas ici
|
||||
self.assertEqual(texte("<script>"), "<script>")
|
||||
|
||||
|
||||
class TestTranscript(unittest.TestCase):
|
||||
def test_entete(self):
|
||||
self.assertTrue(transcript(CONV, MESSAGES).startswith(
|
||||
"# Saut (#42)\n\nContact : Jean Dupont j@x.ch · Boîte : Support · Statut : Open · Créée : 2026-11-18 08:00 UTC\n"))
|
||||
|
||||
def test_messages(self):
|
||||
t = transcript(CONV, MESSAGES)
|
||||
self.assertIn("## 2026-11-18 08:00 UTC — Jean Dupont (client)\n\nBonjour", t)
|
||||
self.assertIn("", t)
|
||||
self.assertIn("[r.pdf](attachments/r.pdf)", t)
|
||||
self.assertIn("*2026-11-18 08:05 UTC — Assigned to Max*", t)
|
||||
self.assertIn("## 2026-11-18 08:10 UTC — Max (note privée)\n\nÀ vérifier", t)
|
||||
|
||||
def test_auteur_absent(self):
|
||||
self.assertIn("— Client (client)", transcript(CONV, [msg("09:00")]))
|
||||
|
||||
def test_svg_en_lien(self): # un svg est un lien, jamais une image en ligne
|
||||
self.assertNotIn("![", transcript(CONV, [msg("09:00", pieces=[piece("a.svg", "image/svg+xml")])]))
|
||||
|
||||
def test_piece_absente(self): # pas téléchargée (perdue par LibreDesk) : nommée, sans lien
|
||||
t = transcript(CONV, [msg("09:00", pieces=[{"name": "p.png", "content_type": "image/png", "url": ""}])])
|
||||
self.assertIn("p.png (absente)", t)
|
||||
self.assertNotIn("](", t)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
Reference in new issue
Block a user