Compare commits
24
Commits
3a6e693d6d
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
a836fb4eac | ||
|
|
8aa61da11a | ||
|
|
01317cb2f8 | ||
|
|
2dc3442cc4 | ||
|
|
e3c4a29e90 | ||
|
|
0fa7c4936b | ||
|
|
2ecf9cedeb | ||
|
|
553562622f | ||
|
|
2a03b57b49 | ||
|
|
116488ddd4 | ||
|
|
369f2e0a44 | ||
|
|
2f7ec25731 | ||
|
|
77fdf998c5 | ||
|
|
0a6307fe2f | ||
|
|
1ba80869bd | ||
|
|
84d162caf3 | ||
|
|
10ed887417 | ||
|
|
3e0b5d03a3 | ||
|
|
f4c493770e | ||
|
|
3dc71e9d31 | ||
|
|
35da804fb3 | ||
|
|
72a10c3c4c | ||
|
|
c07a230ea0 | ||
|
|
cce2e039ed |
No files matched your search
@@ -0,0 +1,14 @@
|
||||
{
|
||||
"$schema": "https://json.schemastore.org/claude-code-settings.json",
|
||||
"permissions": {
|
||||
"allow": [],
|
||||
"deny": [
|
||||
"Read(./.env)",
|
||||
"Read(./.env.*)",
|
||||
"Read(./instance-de-test/.env)",
|
||||
"Read(./acces/.env)",
|
||||
"Read(./ollama/.env)"
|
||||
]
|
||||
},
|
||||
"hooks": {}
|
||||
}
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
.env
|
||||
instance-de-test/.env
|
||||
acces/.env
|
||||
ollama/.env
|
||||
acces/database.db
|
||||
acces/utilisateurs.json
|
||||
instance-de-test/config.toml
|
||||
instance-de-test/uploads/
|
||||
__pycache__/
|
||||
cases/
|
||||
.superpowers/
|
||||
|
||||
# sauvegardes de draw.io
|
||||
.$*.bkp
|
||||
out/
|
||||
Vendored
+137
@@ -0,0 +1,137 @@
|
||||
{
|
||||
"version": "2.0.0",
|
||||
"options": { "cwd": "${workspaceFolder}" },
|
||||
"tasks": [
|
||||
{
|
||||
"label": "Tests",
|
||||
"type": "shell",
|
||||
"command": "python3 -m unittest discover -s tests -v",
|
||||
"group": { "kind": "test", "isDefault": true },
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : démarrer",
|
||||
"type": "shell",
|
||||
"command": "bash instance-de-test/1_demarrer.sh '${input:motDePasse}'",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : préparer",
|
||||
"type": "shell",
|
||||
"command": "python3 instance-de-test/2_creer_boite_et_cle.py '${input:motDePasse}'",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : arrêter",
|
||||
"type": "shell",
|
||||
"command": "docker compose -f instance-de-test/docker-compose.yml -p ldtest stop",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : effacer",
|
||||
"type": "shell",
|
||||
"command": "[ \"${input:confirmation}\" = oui ] || { echo annulé; exit 1; } && docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : brancher sur Ollama",
|
||||
"type": "shell",
|
||||
"command": "eval \"$(grep '^export ANTHROPIC_API_KEY=' .env)\" && python3 instance-de-test/3_brancher_ia.py '${input:motDePasse}' http://ollama:11434/v1 bge-m3:567m",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : essai des brouillons",
|
||||
"type": "shell",
|
||||
"command": "python3 instance-de-test/4_essayer_brouillons.py '${input:motDePasse}'",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Instance de test : voir les empreintes",
|
||||
"type": "shell",
|
||||
"command": "bash instance-de-test/voir_empreintes.sh",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Ollama : construire",
|
||||
"type": "shell",
|
||||
"command": "docker compose -f ollama/compose.yml build",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Ollama : lancer (instance de test)",
|
||||
"type": "shell",
|
||||
"command": "RESEAU_LIBREDESK=ldtest_libredesk OLLAMA_PORT=11435 docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Ollama : arrêter",
|
||||
"type": "shell",
|
||||
"command": "docker compose -f ollama/compose.yml stop",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Ollama : vérifier (poste, port 11435)",
|
||||
"type": "shell",
|
||||
"command": "python3 ollama/verifier_ollama.py http://127.0.0.1:11435/v1",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Snippets : envoyer en simulation (instance de test)",
|
||||
"type": "shell",
|
||||
"command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Snippets : ENVOYER (instance de test)",
|
||||
"type": "shell",
|
||||
"command": "set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Snippets : envoyer en simulation (PRODUCTION)",
|
||||
"type": "shell",
|
||||
"command": "set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Snippets : ENVOYER (PRODUCTION)",
|
||||
"type": "shell",
|
||||
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer --ecrire",
|
||||
"problemMatcher": []
|
||||
},
|
||||
{
|
||||
"label": "Conversations : pomper",
|
||||
"type": "shell",
|
||||
"command": "conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations",
|
||||
"problemMatcher": []
|
||||
}
|
||||
],
|
||||
"inputs": [
|
||||
{
|
||||
"id": "motDePasse",
|
||||
"type": "promptString",
|
||||
"description": "Mot de passe de l'utilisateur System de l'instance de test",
|
||||
"default": "TestAdmin-2026!",
|
||||
"password": true
|
||||
},
|
||||
{
|
||||
"id": "urlProduction",
|
||||
"type": "promptString",
|
||||
"description": "Adresse de LibreDesk en PRODUCTION (les clés admin temporaires viennent de .env)"
|
||||
},
|
||||
{
|
||||
"id": "confirmation",
|
||||
"type": "pickString",
|
||||
"description": "Effacer l'instance de test et toutes ses données ?",
|
||||
"options": ["non", "oui"],
|
||||
"default": "non"
|
||||
},
|
||||
{
|
||||
"id": "confirmationProduction",
|
||||
"type": "pickString",
|
||||
"description": "ÉCRIRE dans la base de connaissances de la PRODUCTION ?",
|
||||
"options": ["non", "oui"],
|
||||
"default": "non"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,96 @@
|
||||
# aimsight-libredesk : le brouillon de réponse dans LibreDesk
|
||||
|
||||
Les demandes des clients AIMsight arrivent par mail dans LibreDesk (`helpdesk.sensima.ch`). Dans une conversation, le bouton **« Generate reply »** rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances (FAQ, manuel de la station, savoir métier : 118 extraits) et sur les échanges précédents du client. **Rien n'est envoyé : un humain relit et clique lui-même sur « Send ».**
|
||||
|
||||
Ce dépôt porte tout ce qu'il faut pour cela :
|
||||
- `snippets/` : les textes des snippets, relus (`textes/`, un fichier par snippet), les consignes de rédaction (`consignes_redaction.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
|
||||
- `ollama/` : l'image `embeddings-bge-m3`, Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué (API OpenAI, 1024 dimensions, hors ligne), qui sert la recherche dans la base depuis le serveur de LibreDesk. Caddy, devant Ollama, exige `Authorization: Bearer <EMBEDDINGS_JETON>` : le jeton est dans `ollama/.env` (hors de git), et c'est la « API key » des embeddings dans LibreDesk ;
|
||||
- `acces/` : le service d'accès, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » : les stations que le client de la conversation peut voir sur le dashboard (export d'Auth0 `acces/utilisateurs.json` + ses UserGroup, en lecture seule) ; lancement dans `acces/compose.yml` ;
|
||||
- `conversations/` : le pompage des conversations, **en lecture seule**, vers `~/aimsight-labeling/auto/conversations/` (le fil, les images, les pièces jointes), pour le support et l'entraînement ; lancé par l'onglet Conversations d'aimsight-app (section ci-dessous) ;
|
||||
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
|
||||
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
|
||||
|
||||
Il remplace `Support-AI`, archivé : le diagnostic par des agents qui y était développé est abandonné.
|
||||
|
||||
Design : `docs/superpowers/specs/2026-11-12-support-libredesk-design.md`. Gestes de production : `docs/production.md`. Constats : `docs/verifications.md`.
|
||||
|
||||
## Aucun message ne part au client
|
||||
|
||||
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_snippets.py`) ; le pompage des conversations ne fait que des GET (`tests/test_garde_fou_conversations.py`).
|
||||
- Seule l'instance de test crée des conversations, et son SMTP est Mailpit.
|
||||
- Les assistants IA de LibreDesk (qui répondraient seuls) restent désactivés ; aucune règle d'automatisation.
|
||||
|
||||
## Sur le poste
|
||||
|
||||
Sous WSL (Ubuntu), depuis `~/aimsight-libredesk` (ex-Support-LibreDesk, renommé le 2026-11-17). Il faut `python3` (bibliothèque standard seulement, aucun paquet à installer) et Docker.
|
||||
|
||||
```bash
|
||||
python3 -m unittest discover -s tests -v
|
||||
```
|
||||
|
||||
Les secrets restent hors de git : `.env` (la clé Anthropic de l'instance de test, `export ANTHROPIC_API_KEY=…`, et les clés admin temporaires d'un import en production) , `instance-de-test/.env` (écrit par `2_creer_boite_et_cle.py`) et `ollama/.env` (`EMBEDDINGS_JETON=…`, le jeton d'embeddings-bge-m3 ; 32 caractères au moins, lettres, chiffres, `_` et `-`) :
|
||||
|
||||
```bash
|
||||
echo "EMBEDDINGS_JETON=$(python3 -c 'import secrets; print(secrets.token_urlsafe(32))')" >> ollama/.env && chmod 600 ollama/.env
|
||||
```
|
||||
|
||||
### L'instance de test
|
||||
|
||||
Tâches « Instance de test : … », ou :
|
||||
|
||||
```bash
|
||||
bash instance-de-test/1_demarrer.sh 'TestAdmin-2026!'
|
||||
```
|
||||
|
||||
```bash
|
||||
python3 instance-de-test/2_creer_boite_et_cle.py 'TestAdmin-2026!'
|
||||
```
|
||||
|
||||
Puis embeddings-bge-m3 sur son réseau (sur ce poste, un Ollama Windows occupe déjà le port 11434 : on publie sur 11435 ; le jeton vient de `ollama/.env`, et `3_brancher_ia.py` le donne à LibreDesk comme clé) :
|
||||
|
||||
```bash
|
||||
docker compose -f ollama/compose.yml build
|
||||
```
|
||||
|
||||
```bash
|
||||
RESEAU_LIBREDESK=ldtest_libredesk OLLAMA_PORT=11435 docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||
```
|
||||
|
||||
```bash
|
||||
eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 instance-de-test/3_brancher_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||
```
|
||||
|
||||
```bash
|
||||
set -a && . instance-de-test/.env && set +a && python3 -m snippets.envoyer --ecrire
|
||||
```
|
||||
|
||||
L'essai des brouillons (5 mails, coûte quelques centimes de crédits Anthropic ; rapport dans `cases/`, hors de git) :
|
||||
|
||||
```bash
|
||||
python3 instance-de-test/4_essayer_brouillons.py 'TestAdmin-2026!'
|
||||
```
|
||||
|
||||
Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://127.0.0.1:9125`. Tout effacer : `docker compose -f instance-de-test/docker-compose.yml -p ldtest down -v`.
|
||||
|
||||
### Retoucher la base de connaissances
|
||||
|
||||
Modifier le fichier dans `snippets/textes/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Snippets : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
|
||||
|
||||
### Pomper les conversations
|
||||
|
||||
`conversations/pomper.py` copie les conversations de LibreDesk, toutes les boîtes et tous les statuts, notes privées comprises, dans un dossier par conversation : `conversation.json`, `messages.json` (les URL des pièces jointes remplacées par leur chemin local), `attachments/` et `transcript.md`, le fil lisible (texte seul, images en ligne). Que des GET ; la clé ne va qu'à LibreDesk. Sans dates, ce qui a changé depuis le dernier pompage complet (`pumped.json` dans le dossier de sortie ; la première fois, tout l'historique, à une heure calme) ; avec `--depuis/--jusqu-a`, une plage de mises à jour.
|
||||
|
||||
La clé : un agent « Lecture conversations » dans LibreDesk, avec un rôle qui n'a que `conversations:read_all` et `messages:read`, et sa clé d'API dans `.env` :
|
||||
|
||||
```bash
|
||||
export LIBREDESK_API_KEY=…
|
||||
export LIBREDESK_API_SECRET=…
|
||||
```
|
||||
|
||||
D'habitude depuis l'onglet **Conversations** d'aimsight-app (qui appelle `conversations/pompage.py`), sinon la tâche « Conversations : pomper », ou :
|
||||
|
||||
```bash
|
||||
conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations
|
||||
```
|
||||
|
||||
Un pompage à la fois (`out/conversations.lock`), journal dans `out/conversations.log`. Les conversations se commitent ensuite dans aimsight-labeling, à la main.
|
||||
@@ -0,0 +1,7 @@
|
||||
# Le service d'accès (acces/service.py) : bibliothèque standard seulement, rien à installer.
|
||||
# Version figée (2026-11-18) ; la changer = reconstruire et relancer tests/test_acces.py.
|
||||
FROM python:3.12.8-slim-bookworm
|
||||
COPY service.py /app/service.py
|
||||
USER nobody
|
||||
EXPOSE 8080
|
||||
CMD ["python", "-u", "/app/service.py"]
|
||||
@@ -0,0 +1,13 @@
|
||||
# Surcharge : rattache le service d'accès au réseau Docker de LibreDesk, où il est joignable sous le nom « acces »
|
||||
# (http://acces:8080/customer/access). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f acces/compose.yml -f acces/compose.reseau.yml up -d
|
||||
services:
|
||||
acces:
|
||||
networks:
|
||||
libredesk:
|
||||
aliases: [acces]
|
||||
|
||||
networks:
|
||||
libredesk:
|
||||
name: ${RESEAU_LIBREDESK:?donner le réseau Docker de LibreDesk dans RESEAU_LIBREDESK}
|
||||
external: true
|
||||
@@ -0,0 +1,23 @@
|
||||
# Le service d'accès. Son port n'est publié que sur 127.0.0.1, sauf si ACCES_BIND donne une autre adresse (une adresse
|
||||
# INTERNE, jamais publique) ; ACCES_PORT change le port publié (8080 par défaut).
|
||||
# - acces/.env (hors de git, jamais lu par Claude) : ACCES_JETON, le même que l'en-tête « Authorization: Bearer … » de
|
||||
# l'outil get_customer_access de LibreDesk ; ACCES_BIND, ACCES_PORT, BASE_DASHBOARD s'il le faut ;
|
||||
# - BASE_DASHBOARD : le chemin, sur l'hôte, du database.db du dashboard (acces/database.db par défaut) ;
|
||||
# acces/utilisateurs.json : l'export d'Auth0 (acces/exporter_utilisateurs.py). Les deux montés en lecture seule.
|
||||
# docker compose -f acces/compose.yml up -d --build
|
||||
# Sur le réseau Docker de LibreDesk (URL de l'outil : http://acces:8080/customer/access) : ajouter compose.reseau.yml.
|
||||
services:
|
||||
acces:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/libredesk-acces:1
|
||||
container_name: libredesk-acces
|
||||
restart: unless-stopped
|
||||
env_file: .env
|
||||
environment:
|
||||
ACCES_BASE: /data/database.db
|
||||
ACCES_UTILISATEURS: /data/utilisateurs.json
|
||||
volumes:
|
||||
- "${BASE_DASHBOARD:-./database.db}:/data/database.db:ro"
|
||||
- "./utilisateurs.json:/data/utilisateurs.json:ro"
|
||||
ports:
|
||||
- "${ACCES_BIND:-127.0.0.1}:${ACCES_PORT:-8080}:8080"
|
||||
@@ -0,0 +1,42 @@
|
||||
"""Les contacts de LibreDesk (lecture seule) : leurs e-mails, pour les comparer aux utilisateurs du dashboard (Auth0).
|
||||
|
||||
Lancé par Maxime (Claude ne lit pas le .env) :
|
||||
set -a && . ./.env && set +a && python3 acces/contacts.py
|
||||
Clé admin (LIBREDESK_ADMIN_KEY / _SECRET) : lister tous les contacts demande `contacts:read_all`, que la clé agent n'a
|
||||
pas. Seulement GET /api/v1/contacts. La liste complète va dans cases/ (hors de git) ; à l'écran, des totaux seulement.
|
||||
"""
|
||||
import collections
|
||||
import json
|
||||
import os
|
||||
import urllib.request
|
||||
from datetime import date
|
||||
from pathlib import Path
|
||||
|
||||
URL = os.environ.get("LIBREDESK_URL", "https://helpdesk.sensima.ch").rstrip("/")
|
||||
SORTIE = Path(__file__).resolve().parents[1] / "cases" / f"contacts-libredesk-{date.today()}.json"
|
||||
|
||||
|
||||
def page(n: int) -> dict:
|
||||
cle = f"token {os.environ['LIBREDESK_ADMIN_KEY']}:{os.environ['LIBREDESK_ADMIN_SECRET']}"
|
||||
requete = urllib.request.Request(f"{URL}/api/v1/contacts?page={n}&page_size=100", headers={"Authorization": cle})
|
||||
with urllib.request.urlopen(requete, timeout=30) as r:
|
||||
return json.load(r)["data"]
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
contacts, n = [], 1
|
||||
while True:
|
||||
d = page(n)
|
||||
contacts += d["results"]
|
||||
if n >= d["total_pages"]:
|
||||
break
|
||||
n += 1
|
||||
SORTIE.parent.mkdir(exist_ok=True)
|
||||
SORTIE.write_text(json.dumps(contacts, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||
emails = [(c.get("email") or "").strip() for c in contacts]
|
||||
domaines = collections.Counter(e.rsplit("@", 1)[-1].lower() for e in emails if "@" in e)
|
||||
print(f"{URL} : {len(contacts)} contacts, {sum(map(bool, emails))} avec e-mail, "
|
||||
f"{sum(e != e.lower() for e in emails)} avec des majuscules, "
|
||||
f"{sum(bool(c.get('external_user_id')) for c in contacts)} avec external_user_id, "
|
||||
f"{len(domaines)} domaines")
|
||||
print(f"liste complète : {SORTIE}")
|
||||
@@ -0,0 +1,64 @@
|
||||
"""Exporte une fois les utilisateurs du dashboard depuis Auth0 (e-mail → auth0|…) dans acces/utilisateurs.json (hors de git).
|
||||
|
||||
Lecture seule (GET /users), avec l'application Auth0 du dashboard, comme sa page Settings (`get_all_users`).
|
||||
Lancé par Maxime avec les variables du dashboard (Claude ne lit pas ce .env) :
|
||||
set -a && . ~/monitoring-dashboard/.env && set +a && python3 acces/exporter_utilisateurs.py
|
||||
Variables : AUTH0_API_AUDIENCE (https://<tenant>/api/v2), AUTH0_API_CLIENTID, AUTH0_API_CLIENT_SECRET.
|
||||
À relancer quand des utilisateurs sont ajoutés au dashboard ; le service relit le fichier à chaque appel.
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
SORTIE = Path(__file__).resolve().parent / "utilisateurs.json"
|
||||
PAR_PAGE = 100
|
||||
|
||||
|
||||
def index_par_email(utilisateurs: list[dict]) -> dict[str, list[str]]:
|
||||
"""{e-mail en minuscules: [user_id…]} ; une adresse peut avoir plusieurs comptes, un compte sans e-mail est ignoré."""
|
||||
index: dict[str, list[str]] = {}
|
||||
for u in utilisateurs:
|
||||
email = (u.get("email") or "").strip().lower()
|
||||
if email:
|
||||
index.setdefault(email, []).append(u["user_id"])
|
||||
return {e: sorted(ids) for e, ids in sorted(index.items())}
|
||||
|
||||
|
||||
def jeton(api: str) -> str:
|
||||
u = urllib.parse.urlsplit(api)
|
||||
corps = json.dumps({"client_id": os.environ["AUTH0_API_CLIENTID"],
|
||||
"client_secret": os.environ["AUTH0_API_CLIENT_SECRET"],
|
||||
"audience": api + "/", "grant_type": "client_credentials"}).encode()
|
||||
requete = urllib.request.Request(f"{u.scheme}://{u.netloc}/oauth/token", corps, {"Content-Type": "application/json"})
|
||||
with urllib.request.urlopen(requete, timeout=30) as r:
|
||||
return json.load(r)["access_token"]
|
||||
|
||||
|
||||
def tous_les_utilisateurs(api: str) -> list[dict]:
|
||||
entete = {"Authorization": f"Bearer {jeton(api)}"}
|
||||
utilisateurs, page = [], 0
|
||||
while True:
|
||||
q = urllib.parse.urlencode({"page": page, "per_page": PAR_PAGE, "include_totals": "true",
|
||||
"fields": "user_id,email", "include_fields": "true"})
|
||||
with urllib.request.urlopen(urllib.request.Request(f"{api}/users?{q}", headers=entete), timeout=30) as r:
|
||||
d = json.load(r)
|
||||
utilisateurs += d["users"]
|
||||
if not d["users"] or len(utilisateurs) >= d["total"]:
|
||||
return utilisateurs
|
||||
page += 1
|
||||
# ponytail: Auth0 ne pagine que les 1000 premiers comptes ; au-delà, passer par un job d'export
|
||||
if page * PAR_PAGE >= 1000:
|
||||
sys.exit(f"plus de 1000 comptes ({d['total']}) : la pagination d'Auth0 ne suffit plus")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
api = os.environ["AUTH0_API_AUDIENCE"].rstrip("/")
|
||||
utilisateurs = tous_les_utilisateurs(api)
|
||||
index = index_par_email(utilisateurs)
|
||||
SORTIE.write_text(json.dumps(index, ensure_ascii=False, indent=1), encoding="utf-8")
|
||||
print(f"{len(utilisateurs)} comptes Auth0, {len(index)} adresses, "
|
||||
f"{sum(len(v) > 1 for v in index.values())} adresses avec plusieurs comptes, "
|
||||
f"{sum(not u.get('email') for u in utilisateurs)} comptes sans e-mail → {SORTIE}")
|
||||
@@ -0,0 +1,94 @@
|
||||
"""Le service d'accès : les stations qu'un contact LibreDesk a le droit de voir (docs/architecture.drawio).
|
||||
|
||||
GET /customer/access, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » :
|
||||
- `Authorization: Bearer <ACCES_JETON>` (l'en-tête secret déclaré dans l'outil), sinon 401 ;
|
||||
- `X-Libredesk-Contact-Email`, ajouté par LibreDesk lui-même, jamais par le LLM ;
|
||||
- e-mail → comptes du dashboard (utilisateurs.json, exporté d'Auth0 par exporter_utilisateurs.py) → leurs UserGroup
|
||||
→ les projets (Device) : {"projects": [{"project": nom, "serial": station, "role": "dev_admin" | "user"}]}.
|
||||
Les deux rôles voient le projet sur le dashboard ; c'est la règle du dashboard
|
||||
(`Device.user_access`, `can_access_system`). La table UserAccess, ancienne, n'est plus lue par le dashboard : ignorée.
|
||||
ponytail: les admins globaux du dashboard (`is_admin()`, un rôle Auth0, absent de la base) voient tout là-bas mais
|
||||
reçoivent ici une liste vide ; laissé de côté (équipe interne, pas des clients) : exporter les rôles si ça change.
|
||||
Contact sans e-mail, inconnu ou sans droit : liste vide. Fichier ou base illisible : 502, jamais une liste vide
|
||||
(« aucun droit » serait faux).
|
||||
|
||||
Variables : ACCES_JETON (32 caractères au moins), ACCES_BASE (database.db du dashboard, ouverte en lecture seule),
|
||||
ACCES_UTILISATEURS (utilisateurs.json, relu à chaque appel : un nouvel export sert sans redémarrer).
|
||||
Écoute toujours sur 8080 dans le conteneur ; le port publié se choisit dans le compose (ACCES_PORT).
|
||||
"""
|
||||
import hmac
|
||||
import json
|
||||
import os
|
||||
import sqlite3
|
||||
import sys
|
||||
import urllib.parse
|
||||
from contextlib import closing
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
from pathlib import Path
|
||||
|
||||
ROUTE = "/customer/access"
|
||||
VARIABLES = ("ACCES_JETON", "ACCES_BASE", "ACCES_UTILISATEURS")
|
||||
|
||||
|
||||
def comptes(utilisateurs: str, email: str) -> list[str]:
|
||||
"""Les comptes du dashboard (auth0|…) de cette adresse."""
|
||||
return json.loads(Path(utilisateurs).read_text(encoding="utf-8")).get(email, [])
|
||||
|
||||
|
||||
def projets(base: str, user_ids: list[str]) -> list[dict]:
|
||||
"""Les projets (Device) dont l'un de ces comptes est membre d'un groupe : nom, station (serial) et rôle (`dev_admin`
|
||||
l'emporte sur `user` si le compte est dans les deux groupes du projet)."""
|
||||
if not user_ids:
|
||||
return []
|
||||
with closing(sqlite3.connect(Path(base).resolve().as_uri() + "?mode=ro", uri=True)) as c:
|
||||
lignes = c.execute(
|
||||
"SELECT d.name, d.serial_number, MIN(CASE g.role WHEN 'dev_admin' THEN 0 ELSE 1 END) "
|
||||
"FROM UserGroupEntry e JOIN UserGroup g ON g.id = e.group_id JOIN Device d ON d.id = g.device_id "
|
||||
f"WHERE d.serial_number IS NOT NULL AND e.user_id IN ({','.join('?' * len(user_ids))}) "
|
||||
"GROUP BY d.id ORDER BY 2, 1", user_ids).fetchall()
|
||||
return [{"project": nom, "serial": serial, "role": "dev_admin" if r == 0 else "user"} for nom, serial, r in lignes]
|
||||
|
||||
|
||||
def creer_serveur(adresse: tuple[str, int], jeton: str, base: str, utilisateurs: str) -> ThreadingHTTPServer:
|
||||
attendu = f"Bearer {jeton}".encode()
|
||||
|
||||
class Gestion(BaseHTTPRequestHandler):
|
||||
def _repondre(self, code: int, corps: dict):
|
||||
texte = json.dumps(corps, ensure_ascii=False).encode()
|
||||
self.send_response(code)
|
||||
self.send_header("Content-Type", "application/json")
|
||||
self.send_header("Content-Length", str(len(texte)))
|
||||
self.end_headers()
|
||||
self.wfile.write(texte)
|
||||
|
||||
def do_GET(self):
|
||||
if urllib.parse.urlsplit(self.path).path != ROUTE:
|
||||
return self._repondre(404, {"error": "not found"})
|
||||
if not hmac.compare_digest(self.headers.get("Authorization", "").encode(), attendu):
|
||||
return self._repondre(401, {"error": "unauthorized"})
|
||||
email = self.headers.get("X-Libredesk-Contact-Email", "").strip().lower()
|
||||
try:
|
||||
liste = projets(base, comptes(utilisateurs, email)) if email else []
|
||||
except Exception as e: # fichier ou base : on refuse plutôt que de répondre « aucun droit »
|
||||
self.log_error("recherche des droits impossible : %r", e)
|
||||
return self._repondre(502, {"error": "access lookup unavailable"})
|
||||
# sans l'adresse : seulement si le contact a un e-mail et combien de projets il voit
|
||||
self.log_message("e-mail %s, %d projet(s)", "présent" if email else "absent", len(liste))
|
||||
self._repondre(200, {"projects": liste})
|
||||
|
||||
return ThreadingHTTPServer(adresse, Gestion)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
manquantes = [n for n in VARIABLES if not os.environ.get(n)]
|
||||
if manquantes:
|
||||
sys.exit("variables manquantes : " + ", ".join(manquantes))
|
||||
if len(os.environ["ACCES_JETON"]) < 32:
|
||||
sys.exit("ACCES_JETON trop court (32 caractères au moins)")
|
||||
base, utilisateurs = os.environ["ACCES_BASE"], os.environ["ACCES_UTILISATEURS"]
|
||||
projets(base, comptes(utilisateurs, "")) # base et fichier lisibles, sinon on s'arrête au démarrage
|
||||
projets(base, ["-"])
|
||||
serveur = creer_serveur(("0.0.0.0", 8080), os.environ["ACCES_JETON"], base,
|
||||
utilisateurs)
|
||||
print(f"service d'accès sur le port {serveur.server_address[1]}", flush=True)
|
||||
serveur.serve_forever()
|
||||
Whitespace-only changes.
@@ -0,0 +1,45 @@
|
||||
"""Ce qu'aimsight-app appelle pour pomper les conversations (son onglet Conversations), le jumeau d'extraction/pumping.py
|
||||
d'aimsight-data : lancer pomper.sh, savoir s'il tourne, lire la fin de son journal. Importé comme module simple (sys.path =
|
||||
conversations/) : aucun import du paquet ici."""
|
||||
import fcntl
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
JOUR = re.compile(r"\d{4}-\d{2}-\d{2}")
|
||||
PLAGE = "a range: From and To, YYYY-MM-DD, From before To" # les mots de pumping.py, montrés tels quels par l'app
|
||||
|
||||
|
||||
def running() -> bool:
|
||||
"""Un pompage en cours : le verrou de pomper.sh est tenu."""
|
||||
try:
|
||||
with open(ROOT / "out" / "conversations.lock") as verrou:
|
||||
fcntl.flock(verrou, fcntl.LOCK_EX | fcntl.LOCK_NB)
|
||||
except FileNotFoundError:
|
||||
return False
|
||||
except BlockingIOError:
|
||||
return True
|
||||
return False
|
||||
|
||||
|
||||
def log(lines: int = 40) -> list[str]:
|
||||
"""Les dernières lignes de out/conversations.log."""
|
||||
try:
|
||||
with open(ROOT / "out" / "conversations.log", "rb") as f:
|
||||
f.seek(max(0, f.seek(0, os.SEEK_END) - 300 * lines))
|
||||
return f.read().decode(errors="replace").splitlines()[-lines:]
|
||||
except FileNotFoundError:
|
||||
return []
|
||||
|
||||
|
||||
def start(depuis: str, jusqu_a: str, sortie: str) -> subprocess.Popen:
|
||||
"""pomper.sh en arrière-plan, dans sortie ; avec une plage (AAAA-MM-JJ, jusqu_a exclu) ou sans (ce qui a changé)."""
|
||||
if bool(depuis) != bool(jusqu_a) or (depuis and not (JOUR.fullmatch(depuis) and JOUR.fullmatch(jusqu_a) and depuis < jusqu_a)):
|
||||
raise ValueError(PLAGE)
|
||||
if running():
|
||||
raise ValueError("a pumping of the conversations is already running")
|
||||
plage = ["--depuis", depuis, "--jusqu-a", jusqu_a] if depuis else []
|
||||
return subprocess.Popen([str(ROOT / "conversations" / "pomper.sh"), "--sortie", str(sortie), *plage], cwd=ROOT,
|
||||
stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
|
||||
@@ -0,0 +1,178 @@
|
||||
"""Pompe les conversations de LibreDesk, en lecture seule, dans un dossier par conversation (labeling/auto/conversations/
|
||||
d'aimsight-labeling, par l'onglet Conversations d'aimsight-app) : conversation.json, messages.json, attachments/, et
|
||||
transcript.md, le fil lisible.
|
||||
|
||||
Que des GET : la liste des conversations, leurs messages, et les URL (signées) des pièces jointes que portent les messages ;
|
||||
jamais une adresse trouvée dans le texte d'un message. La clé ne va qu'à LibreDesk ; une pièce jointe ailleurs (un bucket S3)
|
||||
est téléchargée sans elle. Il faut une clé de lecture (un agent dont le rôle n'a que conversations:read_all et messages:read).
|
||||
|
||||
Sans dates : ce qui a changé depuis le dernier pompage complet (pumped.json, écrit seulement à la fin ; la première fois,
|
||||
tout l'historique). Avec --depuis/--jusqu-a : les conversations mises à jour dans la plage (--jusqu-a exclu), repère inchangé.
|
||||
|
||||
LIBREDESK_URL=… LIBREDESK_API_KEY=… LIBREDESK_API_SECRET=… python3 -m conversations.pomper --sortie <dossier>
|
||||
[--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from pathlib import Path
|
||||
|
||||
from conversations.transcript import transcript
|
||||
|
||||
PAGE = 100
|
||||
MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue
|
||||
REFERENCE = re.compile(r"[A-Za-z0-9_-]+")
|
||||
NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers
|
||||
PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée
|
||||
|
||||
|
||||
class Lecteur:
|
||||
"""Le client de LibreDesk, restreint à la lecture des conversations."""
|
||||
|
||||
def __init__(self, url: str, cle: str, secret: str):
|
||||
self.url = url.rstrip("/")
|
||||
self._auth = f"token {cle}:{secret}"
|
||||
|
||||
def _ouvrir(self, url: str) -> bytes:
|
||||
url = urllib.parse.urljoin(self.url + "/", url)
|
||||
if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité
|
||||
raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})")
|
||||
r = urllib.request.Request(url)
|
||||
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
|
||||
r.add_unredirected_header("Authorization", self._auth)
|
||||
with urllib.request.urlopen(r, timeout=60) as rep:
|
||||
return rep.read()
|
||||
|
||||
def _pages(self, chemin: str, **params):
|
||||
page = 1
|
||||
while True:
|
||||
q = urllib.parse.urlencode({"page": page, "page_size": PAGE, **params})
|
||||
data = json.loads(self._ouvrir(f"{chemin}?{q}"))["data"]
|
||||
yield from data.get("results") or []
|
||||
if page >= (data.get("total_pages") or 1):
|
||||
return
|
||||
page += 1
|
||||
|
||||
def conversations(self):
|
||||
"""Toutes les conversations, la plus récemment mise à jour d'abord."""
|
||||
return self._pages("/api/v1/conversations/all", order_by="conversations.updated_at", order="desc")
|
||||
|
||||
def messages(self, uuid: str) -> list[dict]:
|
||||
"""Les messages d'une conversation (notes privées comprises), le plus ancien d'abord."""
|
||||
uuid = urllib.parse.quote(uuid, safe="")
|
||||
return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"]))
|
||||
|
||||
def telecharger(self, url: str, chemin: Path) -> None:
|
||||
contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée
|
||||
chemin.parent.mkdir(parents=True, exist_ok=True)
|
||||
partiel = chemin.with_name(chemin.name + ".part")
|
||||
partiel.write_bytes(contenu)
|
||||
partiel.replace(chemin)
|
||||
|
||||
|
||||
def _date(t: str) -> datetime:
|
||||
d = datetime.fromisoformat(t)
|
||||
return (d if d.tzinfo else d.replace(tzinfo=timezone.utc)).astimezone(timezone.utc)
|
||||
|
||||
|
||||
def _nom_local(nom: str, uuid: str) -> str:
|
||||
"""Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe."""
|
||||
sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731
|
||||
nom = sur(nom) or sur(uuid) or "piece"
|
||||
racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "")
|
||||
while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension
|
||||
racine = racine[:-1] if racine else ""
|
||||
suffixe = suffixe if racine else suffixe[:NOM_MAX // 4]
|
||||
return racine + suffixe
|
||||
|
||||
|
||||
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]:
|
||||
ref = str(c.get("reference_number") or "")
|
||||
dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation"))
|
||||
messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0
|
||||
for m in messages:
|
||||
for a in m.get("attachments") or []:
|
||||
nom = _nom_local(a.get("name"), a.get("uuid"))
|
||||
if nom in pris:
|
||||
nom = _nom_local(f"{a.get('uuid')}_{nom}", "")
|
||||
pris.add(nom)
|
||||
f, url = dossier / "attachments" / nom, a.get("url") or ""
|
||||
if url and not (f.exists() and f.stat().st_size == a.get("size")):
|
||||
try:
|
||||
lecteur.telecharger(url, f)
|
||||
except (urllib.error.HTTPError, ValueError) as e:
|
||||
if isinstance(e, urllib.error.HTTPError):
|
||||
e.close()
|
||||
if e.code not in PERDUE:
|
||||
raise # une erreur passagère : le pompage s'arrête, le suivant reprendra
|
||||
journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}")
|
||||
a["url"], a["absente"] = "", True
|
||||
continue
|
||||
if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne)
|
||||
m["content"] = (m.get("content") or "").replace(url.replace("&", "&"), url).replace(url, f"attachments/{nom}")
|
||||
a["url"] = f"attachments/{nom}"
|
||||
n_pieces += 1
|
||||
c = {k: v for k, v in c.items() if k != "previous_conversations"}
|
||||
dossier.mkdir(parents=True, exist_ok=True)
|
||||
for nom, contenu in (("conversation.json", c), ("messages.json", messages)):
|
||||
(dossier / nom).write_text(json.dumps(contenu, ensure_ascii=False, indent=1) + "\n", encoding="utf-8")
|
||||
(dossier / "transcript.md").write_text(transcript(c, messages), encoding="utf-8")
|
||||
return dossier.name, sum(m.get("type") != "activity" for m in messages), n_pieces
|
||||
|
||||
|
||||
def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: str | None = None, journal=print) -> int:
|
||||
debut, repere, haut = datetime.now(timezone.utc), sortie / "pumped.json", None
|
||||
if depuis:
|
||||
bas, haut = _date(depuis), _date(jusqu_a)
|
||||
else:
|
||||
bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None
|
||||
n, avant = 0, None
|
||||
for c in lecteur.conversations():
|
||||
t = _date(c["updated_at"])
|
||||
if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues
|
||||
raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé")
|
||||
avant = t
|
||||
if haut and t >= haut:
|
||||
continue
|
||||
if bas and t < bas:
|
||||
break
|
||||
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal)
|
||||
journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes")
|
||||
n += 1
|
||||
if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant
|
||||
sortie.mkdir(parents=True, exist_ok=True)
|
||||
repere.write_text(json.dumps({"until": debut.isoformat()}) + "\n")
|
||||
journal(f"{n} conversation(s) pompée(s) dans {sortie}")
|
||||
return n
|
||||
|
||||
|
||||
def main():
|
||||
p = argparse.ArgumentParser(description=__doc__.split("\n\n")[0])
|
||||
p.add_argument("--sortie", required=True, type=Path)
|
||||
p.add_argument("--depuis")
|
||||
p.add_argument("--jusqu-a")
|
||||
a = p.parse_args()
|
||||
if bool(a.depuis) != bool(a.jusqu_a):
|
||||
sys.exit("--depuis et --jusqu-a vont ensemble")
|
||||
cle, secret = os.environ.get("LIBREDESK_API_KEY"), os.environ.get("LIBREDESK_API_SECRET")
|
||||
if not (cle and secret):
|
||||
sys.exit("Pas de clé de lecture : LIBREDESK_API_KEY et LIBREDESK_API_SECRET dans .env (README)")
|
||||
lecteur = Lecteur(os.environ.get("LIBREDESK_URL", "https://helpdesk.sensima.ch"), cle, secret)
|
||||
try:
|
||||
pomper(lecteur, a.sortie, a.depuis, a.jusqu_a, journal=lambda l: print(l, flush=True))
|
||||
except urllib.error.HTTPError as e:
|
||||
sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}")
|
||||
except ValueError as e:
|
||||
sys.exit(str(e))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Executable
+18
@@ -0,0 +1,18 @@
|
||||
#!/usr/bin/env bash
|
||||
# Pompe les conversations de LibreDesk (conversations/pomper.py), en lecture seule. Lit la clé de lecture dans le .env à la
|
||||
# racine du dépôt (jamais versionné). Un pompage à la fois (verrou out/conversations.lock), sortie ajoutée à
|
||||
# out/conversations.log.
|
||||
# conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations [--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
|
||||
set -u
|
||||
root=$(cd "$(dirname "$0")/.." && pwd)
|
||||
mkdir -p "$root/out"
|
||||
cd "$root"
|
||||
|
||||
exec 9>"$root/out/conversations.lock"
|
||||
flock -n 9 || { echo "Un pompage des conversations tourne déjà." >&2; exit 1; }
|
||||
|
||||
{
|
||||
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) pomper $*"
|
||||
(set -a +u && . "$root/.env" && set +a -u && python3 -m conversations.pomper "$@")
|
||||
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) fin"
|
||||
} 2>&1 | tee -a "$root/out/conversations.log"
|
||||
@@ -0,0 +1,83 @@
|
||||
"""Le transcript lisible d'une conversation pompée (transcript.md) : du texte seul, jamais le HTML d'un mail ; les images
|
||||
en ligne, les autres pièces jointes en lien, vers attachments/. Les messages sont déjà sous leur forme locale (pomper.py)."""
|
||||
import re
|
||||
import urllib.parse
|
||||
from datetime import datetime, timezone
|
||||
from html.parser import HTMLParser
|
||||
|
||||
BLOCS = {"p", "div", "li", "tr", "blockquote", "h1", "h2", "h3", "h4", "h5", "h6"}
|
||||
|
||||
|
||||
class _Texte(HTMLParser):
|
||||
def __init__(self):
|
||||
super().__init__(convert_charrefs=True)
|
||||
self.morceaux, self._cache = [], 0
|
||||
|
||||
def handle_starttag(self, tag, attrs):
|
||||
if tag in ("script", "style"):
|
||||
self._cache += 1
|
||||
elif tag == "br":
|
||||
self.morceaux.append("\n")
|
||||
elif tag in BLOCS:
|
||||
self.morceaux.append("\n\n")
|
||||
|
||||
def handle_endtag(self, tag):
|
||||
if tag in ("script", "style"):
|
||||
self._cache = max(0, self._cache - 1)
|
||||
elif tag in BLOCS:
|
||||
self.morceaux.append("\n\n")
|
||||
|
||||
def handle_data(self, data):
|
||||
if not self._cache:
|
||||
self.morceaux.append(data)
|
||||
|
||||
|
||||
def texte(contenu_html: str) -> str:
|
||||
"""Le HTML d'un message en texte : balises retirées, entités décodées, paragraphes gardés."""
|
||||
p = _Texte()
|
||||
p.feed(contenu_html or "")
|
||||
p.close()
|
||||
t = re.sub(r"[ \t]*\n[ \t]*", "\n", "".join(p.morceaux))
|
||||
return re.sub(r"\n{3,}", "\n\n", t).strip()
|
||||
|
||||
|
||||
def _heure(t: str) -> str:
|
||||
return datetime.fromisoformat(t).astimezone(timezone.utc).strftime("%Y-%m-%d %H:%M") + " UTC"
|
||||
|
||||
|
||||
def _nom(personne: dict | None) -> str:
|
||||
return " ".join(x for x in ((personne or {}).get("first_name"), (personne or {}).get("last_name")) if x)
|
||||
|
||||
|
||||
def _pieces(pieces: list[dict]) -> list[str]:
|
||||
lignes = []
|
||||
for a in pieces:
|
||||
if not a.get("url"): # pas téléchargée : perdue par LibreDesk
|
||||
lignes.append(f"{a.get('name')} (absente)")
|
||||
continue
|
||||
cible = urllib.parse.quote(a.get("url") or "")
|
||||
image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml"
|
||||
lignes.append(f"{'!' * image}[{a.get('name')}]({cible})")
|
||||
return lignes
|
||||
|
||||
|
||||
def transcript(conversation: dict, messages: list[dict]) -> str:
|
||||
c = conversation.get("contact") or {}
|
||||
contact = " ".join(x for x in (_nom(c), c.get("email")) if x)
|
||||
morceaux = [f"# {conversation.get('subject') or '(sans sujet)'} (#{conversation.get('reference_number')})",
|
||||
f"Contact : {contact} · Boîte : {conversation.get('inbox_name')} · Statut : {conversation.get('status')}"
|
||||
f" · Créée : {_heure(conversation['created_at'])}"]
|
||||
for m in messages:
|
||||
corps = (m.get("text_content") or "").strip() or texte(m.get("content"))
|
||||
if m.get("type") == "activity":
|
||||
morceaux.append(f"*{_heure(m['created_at'])} — {corps}*")
|
||||
continue
|
||||
client = m.get("sender_type") == "contact"
|
||||
role = "note privée" if m.get("private") else "client" if client else "agent"
|
||||
auteur = _nom(m.get("author")) or ("Client" if client else "Agent")
|
||||
morceaux.append(f"## {_heure(m['created_at'])} — {auteur} ({role})")
|
||||
if corps:
|
||||
morceaux.append(corps)
|
||||
if lignes := _pieces(m.get("attachments") or []):
|
||||
morceaux.append("\n".join(lignes))
|
||||
return "\n\n".join(morceaux) + "\n"
|
||||
@@ -0,0 +1,2 @@
|
||||
docker run -d --name embeddings-bge-m3 --restart unless-stopped --env-file ollama/.env -p 10.0.2.140:11435:11434 exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-
|
||||
567m
|
||||
@@ -0,0 +1,241 @@
|
||||
<mxfile host="Electron">
|
||||
<diagram name="1. Architecture" id="arch">
|
||||
<mxGraphModel dx="3204" dy="1013" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="900" math="0" shadow="0">
|
||||
<root>
|
||||
<mxCell id="0" />
|
||||
<mxCell id="1" parent="0" />
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-1" edge="1" parent="1" source="arch-2" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;fillColor=#e51400;strokeColor=#B20000;" target="arch-6">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="-10" y="240" />
|
||||
<mxPoint x="-10" y="240" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-5" connectable="0" parent="9YVmYg31Dtc29ZtFE1oE-1" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="e-mail" vertex="1">
|
||||
<mxGeometry relative="1" x="-0.0667" as="geometry">
|
||||
<mxPoint y="-10" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-2" parent="1" style="shape=umlActor;verticalLabelPosition=bottom;verticalAlign=top;html=1;outlineConnect=0;" value="Customer" vertex="1">
|
||||
<mxGeometry height="70" width="40" x="-220" y="205" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-3" edge="1" parent="1" source="arch-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;fillColor=#60a917;strokeColor=#2D7600;" target="arch-2">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="-320" y="470" />
|
||||
<mxPoint x="-320" y="240" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-4" connectable="0" parent="9YVmYg31Dtc29ZtFE1oE-3" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="Send<div>message</div>" vertex="1">
|
||||
<mxGeometry relative="1" x="-0.075" as="geometry">
|
||||
<mxPoint y="-11" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-3" parent="1" style="shape=umlActor;verticalLabelPosition=bottom;verticalAlign=top;html=1;outlineConnect=0;" value="Support agent<div>(human)</div>" vertex="1">
|
||||
<mxGeometry height="70" width="40" x="-220" y="435" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-4" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Anthropic</b><div>https://api.anthropic.com/v1</div>" vertex="1">
|
||||
<mxGeometry height="60" width="180" x="225" y="10" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-5" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Ollama</b> + bge-m3<br>embedding model" vertex="1">
|
||||
<mxGeometry height="60" width="180" x="455" y="10" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-2" edge="1" parent="1" source="arch-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;" target="arch-3">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="-110" y="470" />
|
||||
<mxPoint x="-110" y="470" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-6" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fafafa;strokeColor=#6c8ebf;" value="LibreDesk" vertex="1">
|
||||
<mxGeometry height="465" width="970" x="-30" y="160" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-20" edge="1" parent="1" source="arch-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-4">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Provider</b><br>completion: Claude Sonnet 5.5" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="230" y="180" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-21" edge="1" parent="1" source="arch-8" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-5">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-8" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Embedding</b><br>Ollama, bge-m3" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="460" y="180" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-14" edge="1" parent="1" source="arch-9" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-7">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-15" edge="1" parent="1" source="arch-9" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-11">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="315" y="400" />
|
||||
<mxPoint x="315" y="400" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-9" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;" value="<b>Generate reply</b><br>draft in the editor" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="230" y="290" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-10" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="<b>Snippets</b><br>knowledge base,<br>118 extracts + vectors" vertex="1">
|
||||
<mxGeometry height="70" width="170" x="700" y="180" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-11" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fafafa;strokeColor=#6c8ebf;" value="Tools <span style="font-weight:normal">(function calling: name + JSON schema, exposed to the LLM)</span>" vertex="1">
|
||||
<mxGeometry height="210" width="735" x="135" y="390" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-16" edge="1" parent="1" source="arch-12" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-8">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-17" connectable="0" parent="HigBPHvGvvlsroYYhkdi-16" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="fetch query" vertex="1">
|
||||
<mxGeometry relative="1" x="0.0571" y="-1" as="geometry">
|
||||
<mxPoint x="4" y="-13" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-18" edge="1" parent="1" source="arch-12" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;endArrow=none;endFill=0;" target="arch-10">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-19" connectable="0" parent="HigBPHvGvvlsroYYhkdi-18" style="edgeLabel;html=1;align=center;verticalAlign=middle;resizable=0;points=[];inheritText=1;defaultLabelBackgroundColor=page;" value="vector search" vertex="1">
|
||||
<mxGeometry relative="1" x="-0.0896" as="geometry">
|
||||
<mxPoint x="-60" y="-2" as="offset" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="arch-12" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;" value="search_articles" vertex="1">
|
||||
<mxGeometry height="55" width="90" x="500" y="435" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="arch-13" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>get_station_diagnostic(serial, from, to)</b><br>new custom tool" vertex="1">
|
||||
<mxGeometry height="75" width="320" x="155" y="510" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-13" edge="1" parent="1" source="HigBPHvGvvlsroYYhkdi-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;orthogonalLoop=1;jettySize=auto;html=1;defaultLabelBackgroundColor=page;" target="arch-9">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<Array as="points">
|
||||
<mxPoint x="140" y="325" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="HigBPHvGvvlsroYYhkdi-3" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;" value="<div><b>Client</b></div><b>Conversation</b>" vertex="1">
|
||||
<mxGeometry height="70" width="120" x="80" y="220" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-5" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fff8ef;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="Detector service (independent container)" vertex="1">
|
||||
<mxGeometry height="330" width="420" x="105" y="740" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>REST API</b><br>GET /stations/{serial}/diagnostic?from=…&amp;to=…<br>→ events: family, start, end, evidence" vertex="1">
|
||||
<mxGeometry height="80" width="360" x="135" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-check" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;dashed=1;strokeWidth=2;" value="<b>Access check</b> (before any data is read)<br>same identity headers → access service:<br>serial among the customer's stations? no → 403" vertex="1">
|
||||
<mxGeometry height="70" width="360" x="135" y="880" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-allowed" edge="1" parent="1" source="acc-check" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="fix-7" value="allowed">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-tool" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>get_customer_access()</b><br>no parameter, on Generate reply<br>secret header Authorization: Bearer …" vertex="1">
|
||||
<mxGeometry height="62" width="320" x="155" y="432" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-conv" edge="1" parent="1" source="HigBPHvGvvlsroYYhkdi-3" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;" target="acc-tool" value="contact e-mail<br>(X-Libredesk-Contact-Email,<br>added by LibreDesk,<br>not the LLM)">
|
||||
<mxGeometry relative="1" x="-0.1837" as="geometry">
|
||||
<mxPoint as="offset" />
|
||||
<Array as="points">
|
||||
<mxPoint x="60" y="260" />
|
||||
<mxPoint x="60" y="448" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="acc-svc" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#fdf3f2;strokeColor=#b85450;strokeWidth=2;" value="Access service (independent container: acces/, Python stdlib) <span style="font-weight:normal">in service, provisional: Maxime's PC</span>" vertex="1">
|
||||
<mxGeometry height="350" width="465" x="-390" y="720" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-api" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>REST API</b><br>GET /customer/access · Bearer token, else 401<br>→ {"projects": [{project, serial, role}]}" vertex="1">
|
||||
<mxGeometry height="80" width="425" x="-370" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-lookup" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f8cecc;strokeColor=#b85450;strokeWidth=2;" value="<b>Rights lookup</b><br>contact e-mail → dashboard accounts (auth0|…)<br>→ their UserGroups → Device (project, serial)<br>role: dev_admin wins over user<br>no e-mail, unknown or no rights → empty list<br>file or DB unreadable → 502, never an empty list" vertex="1">
|
||||
<mxGeometry height="150" width="425" x="-370" y="890" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-api" edge="1" parent="1" source="acc-api" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;strokeWidth=2;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-lookup" value="">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-auth0" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>utilisateurs.json</b><br>e-mail → auth0|…<br>Auth0 export (exporter_utilisateurs.py),<br>re-read on every call" vertex="1">
|
||||
<mxGeometry height="80" width="200" x="-390" y="1185" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-db" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#f8cecc;strokeColor=#b85450;" value="<b>Access rights</b> (dashboard database.db, copy)<br><b>UserGroupEntry</b>: user → UserGroup<br><b>UserGroup</b>: device × role (user · dev_admin)<br><b>Device</b>: name, serial_number" vertex="1">
|
||||
<mxGeometry height="120" width="245" x="-170" y="1165" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-auth0" edge="1" parent="1" source="acc-lookup" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;exitX=0.2;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-auth0" value="e-mail → auth0|…">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-db" edge="1" parent="1" source="acc-lookup" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;exitX=0.75;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-db" value="read-only">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-tool" edge="1" parent="1" source="acc-tool" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;fontColor=#b85450;strokeWidth=2;exitX=0;exitY=0.75;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="acc-api" value="HTTP GET<br>+ Bearer token<br>+ contact e-mail">
|
||||
<mxGeometry relative="1" x="0.1612" as="geometry">
|
||||
<mxPoint as="offset" />
|
||||
<Array as="points">
|
||||
<mxPoint x="100" y="478" />
|
||||
<mxPoint x="100" y="660" />
|
||||
<mxPoint x="-157" y="660" />
|
||||
</Array>
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="acc-e-check" edge="1" parent="1" source="acc-check" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#b85450;dashed=1;fontColor=#b85450;exitX=0;exitY=0.5;exitDx=0;exitDy=0;entryX=1;entryY=0.5;entryDx=0;entryDy=0;" target="acc-api" value="re-check:<br>the LLM cannot<br>widen access">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;dashed=1;strokeWidth=2;" value="<b>Detectors</b><br>visibility · obstruction · target issue<br>thermal · no data · displacement<br>→ classified events" vertex="1">
|
||||
<mxGeometry height="80" width="360" x="135" y="975" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-8" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#d5e8d4;strokeColor=#82b366;" value="<b>Station data</b> (AIMsight platform)" vertex="1">
|
||||
<mxGeometry height="70" width="360" x="135" y="1190" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-10" edge="1" parent="1" source="arch-13" style="rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;edgeStyle=orthogonalEdgeStyle;" target="fix-6" value="7. HTTP GET (serial, from, to)<br>+ identity headers">
|
||||
<mxGeometry relative="1" x="0.1306" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-11" edge="1" parent="1" source="fix-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.500;exitY=1.000;exitDx=0;exitDy=0;entryX=0.500;entryY=0.000;entryDx=0;entryDy=0;" target="acc-check" value="">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="fix-12" edge="1" parent="1" source="fix-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#d79b00;strokeWidth=2;dashed=1;fontColor=#b36b00;exitX=0.500;exitY=1.000;exitDx=0;exitDy=0;entryX=0.500;entryY=0.000;entryDx=0;entryDy=0;" target="fix-8" value="reads the range (read-only)">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-boundary" edge="1" parent="1" style="endArrow=none;html=1;rounded=0;dashed=1;dashPattern=8 4;strokeColor=#999999;strokeWidth=1;" value="">
|
||||
<mxGeometry relative="1" as="geometry">
|
||||
<mxPoint x="-400" y="680" as="sourcePoint" />
|
||||
<mxPoint x="1380" y="680" as="targetPoint" />
|
||||
</mxGeometry>
|
||||
</mxCell>
|
||||
<mxCell id="gen-boundary-lbl" parent="1" style="text;html=1;align=right;verticalAlign=bottom;whiteSpace=wrap;fontColor=#666666;fontSize=11;" value="<b>HTTP / JSON boundary</b><br>below: independent containers, deployable and reusable on their own" vertex="1">
|
||||
<mxGeometry height="40" width="380" x="1000" y="638" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-8" edge="1" parent="1" source="9YVmYg31Dtc29ZtFE1oE-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-6" value="HTTP (params)">
|
||||
<mxGeometry relative="1" x="0.1306" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="9YVmYg31Dtc29ZtFE1oE-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=light-dark(#9673a6, #d2bbdd);dashed=1;strokeWidth=2;" value="<b>other_tool(params)</b><br>any other capability, same mechanism<br><i>e.g. get_contract(customer_id)</i>" vertex="1">
|
||||
<mxGeometry height="75" width="280" x="575" y="510" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-5" parent="1" style="rounded=1;arcSize=3;whiteSpace=wrap;html=1;verticalAlign=top;align=left;spacingLeft=8;fontStyle=1;fillColor=#faf6fc;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="Other service (independent container)" vertex="1">
|
||||
<mxGeometry height="330" width="340" x="545" y="740" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-6" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="<b>REST API</b><br>GET /{resource}/{id}?…<br>→ structured JSON" vertex="1">
|
||||
<mxGeometry height="80" width="300" x="565" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-7" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#e1d5e7;strokeColor=#9673a6;dashed=1;strokeWidth=2;" value="<b>Domain logic</b><br>rules · models · computations<br>owned by the service, not by the LLM<br>→ structured result" vertex="1">
|
||||
<mxGeometry height="150" width="300" x="565" y="890" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-8" parent="1" style="shape=cylinder3;whiteSpace=wrap;html=1;boundedLbl=1;backgroundOutline=1;size=10;fillColor=#f5f5f5;strokeColor=#666666;" value="<b>Domain data</b> (DB, CRM, ERP, …)" vertex="1">
|
||||
<mxGeometry height="70" width="300" x="565" y="1190" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-11" edge="1" parent="1" source="gen-6" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-7" value="">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-12" edge="1" parent="1" source="gen-7" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#9673a6;strokeWidth=2;dashed=1;fontColor=#7a4f8f;exitX=0.5;exitY=1;exitDx=0;exitDy=0;entryX=0.5;entryY=0;entryDx=0;entryDy=0;" target="gen-8" value="data access">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-host" parent="1" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#f5f5f5;strokeColor=#999999;dashed=1;fontColor=#666666;" value="<b>Other host app</b><br><i>e.g. sales agent</i><br>own LLM + own tools,<br>calls the same services" vertex="1">
|
||||
<mxGeometry height="80" width="200" x="960" y="780" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-host-edge" edge="1" parent="1" source="gen-host" style="edgeStyle=orthogonalEdgeStyle;rounded=0;html=1;labelBackgroundColor=#ffffff;endArrow=classic;strokeColor=#999999;dashed=1;fontColor=#666666;exitX=0;exitY=0.5;exitDx=0;exitDy=0;entryX=1;entryY=0.5;entryDx=0;entryDy=0;" target="gen-6" value="HTTP">
|
||||
<mxGeometry relative="1" as="geometry" />
|
||||
</mxCell>
|
||||
<mxCell id="gen-legend" parent="1" style="shape=note;whiteSpace=wrap;html=1;size=14;align=left;verticalAlign=top;spacingLeft=10;spacingTop=6;spacingRight=8;fillColor=#fff2cc;strokeColor=#d6b656;" value="<b style="font-size:13px">Reusable mechanism</b><br><br><b>1. Host app</b> (here LibreDesk) triggers an action and sends context + tool list to the LLM.<br><b>2. Tool</b> = name + JSON schema + thin HTTP adapter. No business logic in the host.<br><b>3. Independent service</b> = container exposing a REST API; owns its domain logic and its data access, returns structured JSON.<br><b>4.</b> The LLM turns the tool result into the output (here a draft reviewed by a human).<br><b>5. Access</b>: on Generate reply the LLM first calls get_customer_access; LibreDesk adds the contact identity (headers), the access service (Bearer token) returns the projects the customer may read (Auth0 export + UserGroup, the dashboard's rule). Each data service checks again with the same headers.<br><br>New capability = one service + one tool declaration.<br>Same pattern for another host app (sales agent: CRM, quotes, stock…).<br><br><b>Legend</b><br><span style="color:#6c8ebf">■</span> existing LibreDesk<br><span style="color:#d79b00">■</span> dashed orange: this use case (planned)<br><span style="color:#b85450">■</span> red: access rights (solid: in service; dashed: planned)<br><span style="color:#9673a6">■</span> dashed purple: any other service, plugged the same way<br><span style="color:#999999">■</span> dashed grey: other consumers of the services" vertex="1">
|
||||
<mxGeometry height="450" width="380" x="1000" y="160" as="geometry" />
|
||||
</mxCell>
|
||||
</root>
|
||||
</mxGraphModel>
|
||||
</diagram>
|
||||
</mxfile>
|
||||
@@ -0,0 +1,129 @@
|
||||
# Production : le brouillon dans LibreDesk
|
||||
|
||||
LibreDesk en production : `helpdesk.sensima.ch` (v2.9.0). Design : `superpowers/specs/2026-11-12-support-libredesk-design.md`. Constats et simulation : `verifications.md`.
|
||||
|
||||
**Chaque geste est présenté à Maxime et fait seulement avec son accord explicite, un à la fois.** Après chacun, la vérification indiquée. Cocher ici ce qui est fait.
|
||||
|
||||
Rien de ce qui suit n'envoie de message : « Generate reply » pose un brouillon dans l'éditeur, un humain l'envoie.
|
||||
|
||||
**Décision de Maxime (2026-11-12)** : les brouillons de l'essai local suffisent pour un premier essai ; on n'ajoute plus de simulation locale, on essaie directement sur la production. Le risque est faible : le brouillon ne part qu'au clic d'un agent, et un mauvais brouillon n'a pas de conséquence pour l'instant.
|
||||
|
||||
## Déjà fait (repris de Support-AI)
|
||||
|
||||
- [ ] **0. Relecture du savoir métier par Maxime.** Les 9 extraits de `snippets/textes/` dont la source est « Savoir métier AIMsight » ont été réécrits à la main à partir des notes d'analyse : vérifier qu'ils sont justes et bons à dire à un client.
|
||||
- [x] **0 bis. Assistant** (2026-11-11). Admin → IA → Assistants : `support_assistant` désactivé (il répondrait seul aux clients si une règle lui confiait une conversation). Vérification : statut « Disabled ».
|
||||
- [x] **0 ter. Rien d'automatique** (vérifié le 2026-11-11). Admin → Automations : aucune règle ; Admin → IA → Tools : aucun outil ; aucun webhook ; Admin → IA → Suggestions : « Learn from resolved conversations » désactivé.
|
||||
- [x] **1 provisoire. LM Studio sur le PC de Maxime** (2026-11-11). `text-embedding-bge-m3` (bge-m3 Q8_0) sur `http://10.0.2.140:1234/v1` (adresse Wi-Fi attribuée par DHCP). Le PC doit rester allumé, LM Studio lancé avec son serveur actif. **Remplacé par Ollama ci-dessous.**
|
||||
- [x] **1 bis provisoire. L'image Ollama sur le PC de Maxime** (2026-11-12), à la place de LM Studio, pour essayer le paquet comme le fera le serveur : dossier `~/essai-production/ollama` avec seulement les deux fichiers compose et `verifier_ollama.py`, `.env` = `OLLAMA_BIND=10.0.2.140` + `OLLAMA_PORT=11435`, `docker compose up -d --no-build` (image tirée de Gitea **sans login** : le paquet est public). Pare-feu de WSL (Hyper-V, bloque tout en entrée par défaut, sans interface graphique) ouvert par Maxime : règle `Ollama-LibreDesk`, TCP 11435, d'abord depuis `10.0.0.0/8`, puis resserrée au seul serveur LibreDesk `10.0.1.184` ; à retirer après l'essai (`Remove-NetFirewallHyperVRule -Name "Ollama-LibreDesk"`). Embeddings dans LibreDesk : `http://10.0.2.140:11435/v1`, `bge-m3:567m`, clé `ollama`, dimensions vides (0). Test réussi ; 118 appels `/v1/embeddings` depuis LibreDesk (`10.0.1.184`), tous en 200. Mêmes limites que LM Studio : PC allumé, adresse Wi-Fi qui peut changer.
|
||||
- [ ] **1 ter. Le jeton sur le PC de Maxime** (image `embeddings-bge-m3`, branche `embeddings-token`). L'image renommée exige `Authorization: Bearer <EMBEDDINGS_JETON>` ; Ollama n'écoute plus que dans le conteneur, Caddy devant lui. Elle est déjà construite sur le PC : pas besoin de l'avoir poussée sur Gitea pour cet essai. L'ancienne image accepte n'importe quelle clé : on change donc d'abord la clé dans LibreDesk, puis le conteneur, sans coupure.
|
||||
1. Tirer un jeton (Maxime, jamais montré à Claude) : `python3 -c 'import secrets; print(secrets.token_urlsafe(32))'`, et l'ajouter à `~/essai-production/ollama/.env` : `EMBEDDINGS_JETON=<jeton>`.
|
||||
2. LibreDesk, Admin → IA → Providers, Embedding : **API key** = le jeton ; URL, modèle et *dimensions* inchangés (*dimensions* vide ou 0 : bge-m3 rend 1024 nombres, pas 1536). *Test connection*, puis *Save*. La clé n'entre pas dans l'empreinte des extraits : pas de recalcul.
|
||||
3. Copier les nouveaux `compose.yml` et `verifier_ollama.py` dans `~/essai-production/ollama`, puis `cd ~/essai-production/ollama && docker compose up -d --no-build` (remplace `ollama-bge-m3` par `embeddings-bge-m3`, quelques secondes sans base).
|
||||
4. Vérification : `python3 ~/essai-production/ollama/verifier_ollama.py http://10.0.2.140:11435/v1` → `OK bge-m3:567m, 1024 dimensions, jeton exigé` (le jeton est lu dans le `.env` voisin) ; dans LibreDesk, *Test connection* réussit ; un « Generate reply » s'appuie sur la base.
|
||||
Retour en arrière : dans le `compose.yml` de `~/essai-production/ollama`, remettre l'image `ollama-bge-m3:0.40.16-567m` et `container_name: ollama-bge-m3`, `docker compose up -d --no-build` ; la clé de LibreDesk peut rester (l'ancienne image l'ignore).
|
||||
- [x] **2. Embeddings** (2026-11-11). Fournisseur OpenAI, URL `http://10.0.2.140:1234/v1`, modèle `text-embedding-bge-m3`, clé `lm-studio`, *embedding max tokens* 2048.
|
||||
- [x] **3. Complétion** (2026-11-11). *Max tokens* 4096 ; *Custom instructions* = `snippets/consignes_redaction.md` ; Claude Sonnet 5.5, `https://api.anthropic.com/v1`, effort `medium`.
|
||||
- [x] **4. Import de la base** (2026-11-11). 118 extraits actifs. Agent « Import base » (id 127) : clé révoquée, agent désactivé. Pour un réimport : regénérer une clé, réactiver l'agent, mettre la clé dans `.env` (`export LIBREDESK_ADMIN_KEY=…`, `export LIBREDESK_ADMIN_SECRET=…`), tâche « Snippets : envoyer en simulation (PRODUCTION) » puis « Snippets : ENVOYER (PRODUCTION) », puis tout révoquer.
|
||||
- [x] **5. Premiers brouillons** (2026-11-11, Maxime) : deux brouillons sur de vraies conversations, rien envoyé par l'IA.
|
||||
|
||||
## Ollama sur le serveur
|
||||
|
||||
But : remplacer LM Studio par Ollama (`bge-m3:567m`) sur le serveur de LibreDesk. LibreDesk recalcule seul les vecteurs des 118 extraits quand on enregistre la nouvelle adresse (vérifié sur l'instance de test, `verifications.md`).
|
||||
|
||||
- [x] **6. L'image.** Sur le poste, tâche « Ollama : construire » (ou `docker compose -f ollama/compose.yml build`), puis vérification hors ligne (`verifications.md`). Puis, avec l'accord de Maxime, la pousser au registre Gitea : jeton Gitea à portée `write:package`, `docker login exchange.sensima.ch`, `docker push exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m`, puis `docker logout exchange.sensima.ch` (le login garde le jeton en clair dans `~/.docker/config.json`).
|
||||
Vérification : l'image apparaît dans Packages du compte. Si le registre la refuse (taille), on la transportera par SSH au point 8.
|
||||
Construite et vérifiée hors ligne le 2026-11-12 (2,43 Go, sans clé privée : chaque conteneur crée la sienne au démarrage). Poussée le 2026-11-12, digest `sha256:332fbdec63583c8b2ac59a168cbd8c3e39624047662b912e58d9f3f7fff99530`. Pour le serveur (point 8) : un autre jeton, `package` en **lecture seule**.
|
||||
- [ ] **6 bis. L'image renommée, avec jeton.** `exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m`, construite et vérifiée hors ligne le 2026-11-18 (2,49 Go ; `verifications.md`). À pousser comme au point 6, avec l'accord de Maxime. Puis, dans Gitea, la rattacher au dépôt (paramètres du paquet → lier au dépôt `aimsight-libredesk`). L'ancien paquet `ollama-bge-m3` ne sera supprimé qu'une fois plus rien ne l'utilise (point 1 ter fait), avec l'accord de Maxime.
|
||||
|
||||
- [ ] **7. État des lieux du serveur, sans rien changer** (Maxime, en SSH).
|
||||
```bash
|
||||
docker version && id && uname -m
|
||||
docker ps --format '{{.Names}} {{.Image}} {{.Networks}} {{.Ports}}'
|
||||
ip -brief addr
|
||||
free -h && df -h /var/lib/docker
|
||||
sudo ss -ltnp
|
||||
systemctl is-enabled docker
|
||||
```
|
||||
Et la configuration de Caddy, en lecture (`docker exec <caddy> cat /etc/caddy/Caddyfile`, ou `/etc/caddy/Caddyfile`).
|
||||
**Point d'arrêt** : on s'arrête et Maxime décide si Docker manque, si Maxime n'est pas dans le groupe `docker` (ou sans `sudo`), si `uname -m` n'est pas `x86_64`, si `ip -brief addr` montre l'adresse publique 46.14.212.91 sur une interface du serveur, si la mémoire libre est sous 2 Go, ou si le disque a moins de 5 Go libres. Noter : le nom du conteneur et du réseau de LibreDesk (s'il est dans Docker), l'adresse interne du serveur (`10.…`), et que le port 11434 est libre.
|
||||
|
||||
- [ ] **8. Installer Ollama.** Copier sur le serveur **seulement** les deux fichiers compose et le script de vérification, **jamais le Dockerfile** : sans lui, le serveur ne peut pas construire l'image (une construction tirerait environ 10 Go sur le disque de LibreDesk).
|
||||
```bash
|
||||
ssh <serveur> mkdir -p ollama && scp ollama/compose.yml ollama/compose.reseau.yml ollama/verifier_ollama.py <serveur>:ollama/
|
||||
```
|
||||
Récupérer l'image : `docker pull exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m` (paquet public : sans login) ; ou, si le registre l'a refusée, depuis le poste : `docker save exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m | gzip | ssh <serveur> 'gunzip | docker load'`. Vérifier : `docker image ls exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3` montre le tag `0.40.16-567m`.
|
||||
Puis écrire `~/ollama/.env` sur le serveur (`chmod 600`), avec, dans tous les cas, un jeton **propre au serveur** (pas celui du PC) : `EMBEDDINGS_JETON=<jeton>`, tiré par `python3 -c 'import secrets; print(secrets.token_urlsafe(32))'`. Sans lui, le conteneur refuse de démarrer. Docker Compose le lit à chaque commande lancée depuis `~/ollama` : les réglages ne dépendent d'aucune option à retenir, et un simple `docker compose …` garde toujours Ollama au bon endroit. Selon l'état des lieux :
|
||||
- **LibreDesk dans Docker** (cas attendu) :
|
||||
```
|
||||
COMPOSE_FILE=compose.yml:compose.reseau.yml
|
||||
RESEAU_LIBREDESK=<réseau de LibreDesk>
|
||||
```
|
||||
Adresse pour LibreDesk : `http://ollama:11434/v1`. Le port n'est publié que sur `127.0.0.1` du serveur.
|
||||
- **LibreDesk hors de Docker** :
|
||||
```
|
||||
OLLAMA_BIND=<adresse interne du serveur>
|
||||
```
|
||||
Adresse pour LibreDesk : `http://<adresse interne>:11434/v1`.
|
||||
Lancer, dans les deux cas (`--no-build` : si l'image manque, Compose s'arrête au lieu de la construire) :
|
||||
```bash
|
||||
cd ~/ollama && docker compose up -d --no-build
|
||||
```
|
||||
Vérification : `docker ps --filter name=embeddings-bge-m3` montre `Up … (healthy)` ; `docker inspect embeddings-bge-m3 --format '{{.HostConfig.RestartPolicy.Name}}'` rend `unless-stopped` ; dans le cas Docker, `docker network inspect <réseau de LibreDesk> --format '{{range .Containers}}{{.Name}} {{end}}'` liste `embeddings-bge-m3`.
|
||||
|
||||
- [ ] **9. Vérifier Ollama.**
|
||||
- Depuis le serveur : `python3 ~/ollama/verifier_ollama.py http://127.0.0.1:11434/v1` (ou l'adresse interne) → `OK bge-m3:567m, 1024 dimensions, jeton exigé`. Le jeton est lu dans `~/ollama/.env`, à côté du script ; le script vérifie aussi qu'une requête **sans** jeton est refusée.
|
||||
- Depuis le réseau de LibreDesk (cas Docker) : `docker run --rm --network <réseau> -v ~/ollama:/o:ro python:3.12-alpine python /o/verifier_ollama.py http://ollama:11434/v1` → même résultat (le `.env` monté avec `/o` donne le jeton ; il faut que le serveur puisse tirer `python:3.12-alpine` ; sinon le test du point 10 depuis LibreDesk fait foi).
|
||||
- **De l'extérieur** : depuis un téléphone en 4G (Wi-Fi coupé), ouvrir `http://46.14.212.91:11434` : la page **ne doit pas répondre**. Si elle répond (« jeton manquant ou invalide »), le jeton protège encore, mais le port est exposé : arrêter le service (`cd ~/ollama && docker compose down`) et revoir le point 7 avec la personne qui gère le serveur.
|
||||
- Si `python3` manque ou est trop ancien sur le serveur : `curl -s http://127.0.0.1:11434/v1/models` doit rendre `jeton manquant ou invalide` ; avec le jeton (`set -a && . ~/ollama/.env && set +a && curl -s -H "Authorization: Bearer $EMBEDDINGS_JETON" http://127.0.0.1:11434/v1/models`), la liste avec `bge-m3:567m`.
|
||||
- **Ne pas redémarrer le service Docker pour essayer** : cela redémarrerait aussi LibreDesk. `systemctl is-enabled docker` (point 7) et la politique `unless-stopped` suffisent ; le prochain redémarrage planifié du serveur le confirmera (vérifier alors `docker ps`).
|
||||
|
||||
- [ ] **10. Brancher LibreDesk sur Ollama.** Admin → IA → Providers, Embeddings : fournisseur OpenAI, URL de l'étape 8, modèle `bge-m3:567m`, clé = le jeton du serveur (`EMBEDDINGS_JETON` de `~/ollama/.env`), *dimensions* 0, *embedding max tokens* 2048. Bouton de test, puis enregistrer seulement s'il réussit.
|
||||
Vérification : le test réussit ; la complétion n'a pas changé.
|
||||
|
||||
- [ ] **11. Le recalcul.** LibreDesk recalcule seul les 118 extraits (environ une minute). Dans ses journaux (`docker logs <conteneur LibreDesk> --since 10m 2>&1 | grep -E "embedding provider changed|reconciled embeddings|error generating embeddings"`) :
|
||||
- « embedding provider changed, reindexing knowledge base » avec `new_base_url` = l'adresse d'Ollama ;
|
||||
- puis « reconciled embeddings … reindexed=118 » ;
|
||||
- et **aucune** « error generating embeddings » après. Attention : « reindexed=118 » compte les extraits *tentés* ; s'il y a des erreurs, LibreDesk retente chaque minute (Ollama joignable ?), attendre qu'elles cessent.
|
||||
|
||||
- [ ] **12. Premier brouillon avec Ollama.** Sur une vraie conversation dont la question est dans la base, « Generate reply » : le brouillon arrive et s'appuie sur la base (`docker logs … | grep search_articles` montre des scores autour de 0,5). **Ne rien envoyer** ; effacer le brouillon ou le laisser à l'agent qui suit la conversation.
|
||||
|
||||
- [ ] **13. LM Studio n'est plus nécessaire.** Le PC de Maxime peut être éteint ; garder LM Studio installé quelques jours pour le retour en arrière.
|
||||
|
||||
### Retour en arrière
|
||||
Admin → IA → Providers, Embeddings : remettre `http://10.0.2.140:1234/v1`, `text-embedding-bge-m3`, clé `lm-studio` (LM Studio lancé sur le PC de Maxime), tester, enregistrer : LibreDesk recalcule de nouveau. Puis, sur le serveur si besoin : `cd ~/ollama && docker compose down`.
|
||||
|
||||
## Le service d'accès (les projets du client)
|
||||
|
||||
Au clic sur « Generate reply », le LLM peut appeler l'outil `get_customer_access` : LibreDesk ajoute l'e-mail du contact (`X-Libredesk-Contact-Email`), le service `acces/` renvoie les projets que ce client voit sur le dashboard (`{"projects": [{"project", "serial", "role"}]}`). Code et données : `acces/` (README du dépôt).
|
||||
|
||||
- [x] **14 provisoire. Sur le PC de Maxime** (2026-11-18), comme Ollama au point 1 bis.
|
||||
- Données, hors de git : `acces/database.db` (copie de la base du dashboard du 2026-11-12) et `acces/utilisateurs.json` (export d'Auth0, e-mail → `auth0|…`, `acces/exporter_utilisateurs.py`, lancé par Maxime avec le `.env` du dashboard).
|
||||
- `acces/.env` (jamais lu par Claude) : `ACCES_JETON`, `ACCES_BIND=10.0.2.140`, `ACCES_PORT=18080`. Construction (sur le poste) : `docker compose -f acces/compose.yml build` ; lancement : `docker compose -f acces/compose.yml up -d --no-build`.
|
||||
- Pare-feu de WSL ouvert par Maxime : règle `Acces-LibreDesk`, TCP 18080, depuis le seul serveur LibreDesk `10.0.1.184` (retrait : `Remove-NetFirewallHyperVRule -Name "Acces-LibreDesk"`).
|
||||
- Outil dans Admin → IA → Tools : `get_customer_access`, `GET http://10.0.2.140:18080/customer/access`, en-tête `Authorization: Bearer <ACCES_JETON>`, paramètres `{"type":"object","properties":{}}`, activé pour Generate reply, sans approbation.
|
||||
- Vérifié : un « Generate reply » en production → `docker logs libredesk-acces` montre `10.0.1.184 … e-mail présent, 1 projet(s)` puis `200`. Le journal ne contient jamais l'adresse.
|
||||
- Mêmes limites qu'Ollama : PC allumé, adresse Wi-Fi qui peut changer ; HTTP en clair sur le réseau interne. Données figées : rafraîchir la base et l'export à la main. Les admins globaux du dashboard (rôle Auth0) reçoivent une liste vide.
|
||||
- Si l'outil est en erreur : `docker ps --filter name=libredesk-acces`, puis `docker compose -f acces/compose.yml up -d --no-build` ; en dernier recours, désactiver l'outil (le brouillon se fait alors sans les projets).
|
||||
- [ ] **15. Les consignes** : dire au LLM quoi faire des projets (`snippets/consignes_redaction.md`).
|
||||
- [ ] **16. Sur le serveur**, à côté d'Ollama (après le point 7) : `acces/compose.reseau.yml`, URL `http://acces:8080/customer/access`, et une base du dashboard tenue à jour.
|
||||
|
||||
## Au quotidien
|
||||
|
||||
- **Si Ollama est arrêté**, « Generate reply » rend quand même un brouillon, mais **sans la base de connaissances**, et rien ne le signale à l'agent (journaux de LibreDesk : `AI provider unavailable`, `search_articles` en erreur). Si les brouillons deviennent vagues : `docker ps --filter name=embeddings-bge-m3` et `python3 ~/ollama/verifier_ollama.py …` sur le serveur. Pour le relancer (un arrêt manuel n'est pas relancé seul), toujours `cd ~/ollama && docker compose up -d --no-build` plutôt que `docker start` : si LibreDesk a recréé son réseau entre-temps, seul Compose y rattache Ollama.
|
||||
- **Ollama est rattaché au réseau de LibreDesk** (cas Docker) : tant qu'il y est, un `docker compose down` de LibreDesk ne peut pas supprimer ce réseau (avertissement « Resource is still in use », ou erreur avec l'ancien `docker-compose`). Arrêter Ollama d'abord (`cd ~/ollama && docker compose down`), puis le relancer après LibreDesk.
|
||||
- **Retoucher la base** : modifier le fichier dans `snippets/textes/`, puis réimporter (point 4). Un extrait renommé ou retiré du corpus est signalé (« dans LibreDesk mais pas dans le corpus ») et **n'est pas supprimé** : le désactiver ou le supprimer à la main dans Admin → IA → Snippets.
|
||||
- **Changer de version d'Ollama** : modifier `ollama/Dockerfile`, reconstruire, revérifier hors ligne (`docker run --network none …`, puis `ollama/verifier_ollama.py`), puis refaire les points 6, 8 et 9. Même modèle, même adresse : pas de recalcul.
|
||||
|
||||
## Plus tard
|
||||
|
||||
- Les guides de lecture et les fiches d'incident, une fois réécrits (décision de Maxime : hors de la première version).
|
||||
- Les règles d'automatisation simples (étiquettes, attribution) : à décider.
|
||||
- Une alerte si Ollama ne répond plus (décision de Maxime : le redémarrage automatique suffit pour commencer).
|
||||
|
||||
## Petites faiblesses connues
|
||||
|
||||
- Les puces « • » des PDF ne sont pas converties en listes dans quelques extraits (cosmétique).
|
||||
- L'import réactive un extrait désactivé à la main quand son contenu change, écrase un extrait appris de même titre, et n'affiche que des comptes en écriture. La liste des extraits n'est pas paginée.
|
||||
- Lancer l'import depuis un Python Windows pourrait mal lire les accents : toujours passer par WSL.
|
||||
- `4_essayer_brouillons.py` est fragile si la réponse est vide ou tardive.
|
||||
- La clé d'import a le rôle Admin ; un rôle limité à `ai:manage` suffirait.
|
||||
@@ -0,0 +1,233 @@
|
||||
# Support-LibreDesk : plan de réalisation
|
||||
|
||||
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
|
||||
|
||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||
|
||||
**Goal :** un dépôt autonome qui porte le brouillon de réponse de LibreDesk (base de connaissances, import, instructions communes, instance de test, tâches VS Code) et l'image Ollama + bge-m3 qui remplace LM Studio en production, éprouvée sur le poste de Maxime.
|
||||
|
||||
**Architecture :** on reprend de `~/Support-AI` le paquet `base_connaissances/` et ses tests (Python, bibliothèque standard seulement), on reconstruit une instance de test allégée (LibreDesk v2.9.0 + Mailpit, scripts de préparation partageant une session commune), on ajoute un dossier `ollama/` (Dockerfile qui embarque le modèle, compose, script de vérification) et des tâches VS Code. LibreDesk recalcule lui-même les vecteurs quand la configuration des embeddings change : aucun code de recalcul.
|
||||
|
||||
**Tech Stack :** Python 3.12 (stdlib, `unittest`), Docker / Docker Compose, Ollama, LibreDesk v2.9.0, VS Code (tâches, sous WSL).
|
||||
|
||||
**Spec :** `docs/superpowers/specs/2026-11-12-support-libredesk-design.md`
|
||||
|
||||
## Global Constraints
|
||||
|
||||
- **Rien ne part chez un client.** Aucun code n'écrit dans une conversation de la production. Seule la préparation de l'instance de test crée des conversations ; son SMTP est Mailpit.
|
||||
- **On ne recode pas LibreDesk** : ni son code, ni son conteneur, ni son reverse proxy. Configuration et API seulement. **Jamais d'écriture SQL** dans une base de LibreDesk (lecture SQL autorisée sur l'instance de test seulement).
|
||||
- `base_connaissances/` ne parle à LibreDesk que par `/api/v1/ai/snippets` et `/api/v1/ai/snippets/{id}` ; jamais `/messages`, `/conversations`, `DELETE`, `automations`, `assistants` (test `test_garde_fou_base`).
|
||||
- L'import simule par défaut ; il n'écrit qu'avec `--ecrire`. Il ne supprime jamais un extrait.
|
||||
- Le corpus ne contient ni noms de stations (`BREITHORN, CLARIDEN, FLORIDA, JUNGFRAU, LENZSPITZE, MICHIGAN, NADELHORN, NEBRASKA, NIEDERHORN, NORDEND, SNCF01, SUSTENHORN, WILDSTRUBEL, VERMONT, WEISSHORN, MISSISSIPPI`), ni commandes d'outils, ni seuils provisoires, ni prénom interne (`Marc`).
|
||||
- Modèle d'embeddings : `bge-m3` de la bibliothèque Ollama, étiquette figée **`bge-m3:567m`** (dimension 1024). Configuration LibreDesk : fournisseur `openai`, `base_url` `http://<hôte>:11434/v1`, modèle `bge-m3:567m`, clé `ollama`, `dimensions` 0, `embedding_max_tokens` 2048.
|
||||
- Image de base Ollama à une **version figée** (`ollama/ollama:<x.y.z>`, la dernière stable au moment de la construction, notée dans le Dockerfile), jamais `latest`. Modèle gardé chargé : `OLLAMA_KEEP_ALIVE=-1`.
|
||||
- Port d'Ollama publié sur `127.0.0.1` par défaut ; une autre adresse seulement par la variable `OLLAMA_BIND`. Jamais `0.0.0.0` par défaut.
|
||||
- Complétion de l'instance de test (comme la production) : fournisseur `openai`, `base_url` `https://api.anthropic.com/v1`, modèle `claude-sonnet-5-5`, `max_tokens` 4096, `reasoning_effort` `medium`, instructions = `base_connaissances/instructions.md`.
|
||||
- Secrets dans `.env` (racine) et `instance-de-test/.env`, hors de git. Ne jamais afficher une clé.
|
||||
- Commandes `python3`, `git`, `docker` lancées sous WSL (Ubuntu), depuis `~/Support-LibreDesk`. Tests : `python3 -m unittest discover -s tests -v`.
|
||||
- Code, documents et messages de commit en français. Commits terminés par `Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>`.
|
||||
- Support-AI n'est ni modifié ni supprimé : on y lit seulement.
|
||||
- Toute modification de la production (serveur, LibreDesk) : présentée à Maxime, faite par lui ou avec son accord explicite, un geste à la fois. Aucune tâche de ce plan ne touche la production ; le registre Gitea n'est poussé qu'avec l'accord de Maxime (Task 3, dernière étape).
|
||||
|
||||
## Review Focus
|
||||
|
||||
1. **Ollama arrêté pendant le recalcul** (conteneur tombé juste après le changement de configuration) : LibreDesk doit retenter chaque minute et finir par recalculer les 118 extraits une fois Ollama revenu. → Task 4, étape « panne pendant le recalcul ».
|
||||
2. **Serveur sans accès à Internet** : l'image doit servir bge-m3 sans rien télécharger. → Task 3, `verifier.py` sur un réseau Docker `--internal`.
|
||||
3. **Une tâche VS Code d'import lancée contre la production par erreur** : aucune tâche n'écrit en production sans adresse tapée et confirmation. → Task 5, `test_ecriture_production_demande_confirmation`.
|
||||
4. **Le port d'Ollama ouvert sur toutes les interfaces** par un oubli de variable : le compose publie sur `127.0.0.1` par défaut. → Task 3, `test_port_lie_a_localhost_par_defaut`.
|
||||
5. **`preparer.py` relancé sur une instance déjà préparée** : il doit s'arrêter avec un message clair, sans créer de doublon (boîte, agent). → Task 2, étape de vérification « deuxième passage ».
|
||||
|
||||
---
|
||||
|
||||
## Structure
|
||||
|
||||
| Fichier | Rôle |
|
||||
|---|---|
|
||||
| `.gitignore` | `.env`, `instance-de-test/.env`, `instance-de-test/config.toml`, `instance-de-test/uploads/`, `__pycache__/`, `cases/` |
|
||||
| `base_connaissances/__init__.py`, `decoupage.py`, `importer.py`, `instructions.md`, `corpus/*.md` | repris tels quels de Support-AI (sauf docstrings qui citent Support-AI) |
|
||||
| `tests/faux_libredesk.py`, `test_decoupage.py`, `test_corpus.py`, `test_importer.py`, `test_garde_fou_base.py` | repris ; `test_corpus.py` complété (2 stations) |
|
||||
| `instance-de-test/docker-compose.yml`, `mails/` | repris |
|
||||
| `instance-de-test/session.py` | connexion admin (cookie + CSRF) et `req()`, partagés par les scripts |
|
||||
| `instance-de-test/demarrer.sh` | crée `config.toml` si absent, lance l'instance |
|
||||
| `instance-de-test/preparer.py` | boîte Mailpit + agent « Import base » et sa clé → `instance-de-test/.env` |
|
||||
| `instance-de-test/configurer_ia.py` | complétion + embeddings (test puis enregistrement), rejouable |
|
||||
| `instance-de-test/essayer_brouillons.py` | repris, branché sur `session.py` |
|
||||
| `instance-de-test/empreintes.sh` | lecture SQL des empreintes des extraits (instance de test seulement) |
|
||||
| `ollama/Dockerfile`, `ollama/compose.yml`, `ollama/compose.reseau.yml` | l'image et son lancement |
|
||||
| `ollama/verifier.py` | vérifie qu'une URL sert `bge-m3:567m` en dimension 1024 |
|
||||
| `tests/test_ollama.py` | `verifier.py` contre un faux serveur ; contrôles du compose |
|
||||
| `.vscode/tasks.json`, `tests/test_taches.py` | les tâches et leurs garde-fous |
|
||||
| `README.md`, `docs/production.md`, `docs/verifications.md` | mode d'emploi, gestes de production, constats |
|
||||
|
||||
---
|
||||
|
||||
### Task 1 : la base de connaissances reprise
|
||||
|
||||
**Files:**
|
||||
- Create: `.gitignore`, `base_connaissances/{__init__.py,decoupage.py,importer.py,instructions.md}`, `base_connaissances/corpus/` (118 fichiers), `tests/{faux_libredesk.py,test_decoupage.py,test_corpus.py,test_importer.py,test_garde_fou_base.py}`
|
||||
- Source : `~/Support-AI/` mêmes chemins. **Ne pas** copier `base_connaissances/generer.py`.
|
||||
|
||||
**Interfaces:**
|
||||
- Produces: `python3 -m base_connaissances.importer [--ecrire]` (lit `LIBREDESK_URL`, `LIBREDESK_ADMIN_KEY`, `LIBREDESK_ADMIN_SECRET`) ; `base_connaissances.decoupage.lire_corpus(dossier: Path) -> list[Extrait]`.
|
||||
|
||||
- [ ] **Step 1 : Copier les fichiers** listés ci-dessus et écrire `.gitignore` (contenu de la Structure).
|
||||
- [ ] **Step 2 : Ajouter `"WEISSHORN", "MISSISSIPPI"` à `STATIONS` dans `tests/test_corpus.py`.**
|
||||
- [ ] **Step 3 : Retirer des docstrings et commentaires toute mention de `support_diagnostic`, de « spec §… » de Support-AI ou de `generer.py`** (`grep -rn "support_diagnostic\|generer\|spec §" base_connaissances tests` ne rend rien ; remplacer « spec §x » par une référence au design de ce dépôt ou la supprimer).
|
||||
- [ ] **Step 4 : Lancer les tests.** Run : `python3 -m unittest discover -s tests -v`. Expected : tous OK (les 4 fichiers), 118 extraits lus par `test_corpus_present`.
|
||||
- [ ] **Step 5 : Simulation d'import à vide.** Run : `LIBREDESK_URL=http://127.0.0.1:1 LIBREDESK_ADMIN_KEY=x LIBREDESK_ADMIN_SECRET=x python3 -m base_connaissances.importer`. Expected : échec réseau clair (aucune instance), pas d'écriture.
|
||||
- [ ] **Step 6 : Commit** — `git add .gitignore base_connaissances tests docs/superpowers && git commit -m "Base de connaissances reprise de Support-AI : corpus, import, instructions, tests"` (le design et ce plan entrent dans ce premier commit).
|
||||
|
||||
---
|
||||
|
||||
### Task 2 : l'instance de test allégée
|
||||
|
||||
**Files:**
|
||||
- Create: `instance-de-test/docker-compose.yml` (repris tel quel), `instance-de-test/mails/` (repris), `instance-de-test/session.py`, `instance-de-test/demarrer.sh`, `instance-de-test/preparer.py`, `instance-de-test/configurer_ia.py`, `instance-de-test/essayer_brouillons.py`, `instance-de-test/empreintes.sh`
|
||||
|
||||
**Interfaces:**
|
||||
- Consumes: Task 1 (`base_connaissances/instructions.md`, l'importeur).
|
||||
- Produces:
|
||||
- `session.py` : `B = "http://127.0.0.1:9100"` ; `connexion(mot_de_passe: str) -> None` ; `req(methode: str, chemin: str, corps: dict | None = None, timeout: int = 60) -> object` (rend `data`, `sys.exit` avec code et 300 premiers caractères en cas d'erreur HTTP, **n'affiche jamais le corps envoyé**). Reprend la connexion de `~/Support-AI/instance-de-test/preparer_ia.py` (cookie `Secure` désactivé, `csrf_token` fixé à `t0k3n`, en-tête `X-CSRFTOKEN`).
|
||||
- `demarrer.sh <mot de passe System>` : si `config.toml` manque, le télécharge depuis `https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml` et y met une `encryption_key` aléatoire (commande de `~/Support-AI/docs/verifications.md`, « L'instance de test ») ; puis `LIBREDESK_SYSTEM_USER_PASSWORD=… docker compose -p ldtest up -d` ; attend que `GET /api/v1/settings/general` réponde (60 s max).
|
||||
- `preparer.py <mot de passe System>` : crée la boîte e-mail « Test » (SMTP = Mailpit, configuration de `~/Support-AI/instance-de-test/preparer.py`), l'agent « Import base » (rôle `Admin`, e-mail `import@example.com`) et sa clé ; **écrase** `instance-de-test/.env` avec `LIBREDESK_URL=http://127.0.0.1:9100`, `LIBREDESK_ADMIN_KEY=…`, `LIBREDESK_ADMIN_SECRET=…`. Si une boîte « Test » existe déjà : `sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis demarrer.sh")` avant toute écriture. Ne crée ni étiquette, ni rôle « Agent IA », ni conversation.
|
||||
- `configurer_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]` (clé par défaut `ollama`) : `ANTHROPIC_API_KEY` lu dans l'environnement ; pour `completion` puis `embedding`, `POST /api/v1/ai/config/{type}/test` puis `PUT /api/v1/ai/config/{type}` (valeurs des Global Constraints) ; affiche `"{type} : test réussi, configuration enregistrée"`. Rejouable : c'est lui qui fait passer l'instance de LM Studio à Ollama.
|
||||
- `essayer_brouillons.py [mot de passe System]` : repris de Support-AI, connexion par `session.py`, rapport dans `cases/essai-brouillons-<date>.md`.
|
||||
- `empreintes.sh` : `docker exec ldtest_db psql -U libredesk -d libredesk -At -c "SELECT id, embedded_fingerprint FROM ai_knowledge_base WHERE enabled ORDER BY id"` — lecture seule.
|
||||
|
||||
- [ ] **Step 1 : Écrire `session.py`, `demarrer.sh`, `preparer.py`, `configurer_ia.py`, `empreintes.sh` ; adapter `essayer_brouillons.py`** aux interfaces ci-dessus.
|
||||
- [ ] **Step 2 : Monter une instance neuve.** Run : `docker compose -p ldtest down -v; bash instance-de-test/demarrer.sh 'TestAdmin-2026!'`. Expected : l'interface répond sur `http://127.0.0.1:9100`.
|
||||
- [ ] **Step 3 : Préparer.** Run : `python3 -I instance-de-test/preparer.py 'TestAdmin-2026!'`. Expected : `instance-de-test/.env` contient les trois variables.
|
||||
- [ ] **Step 4 : Deuxième passage (Review Focus 5).** Run : la même commande. Expected : sortie « instance déjà préparée … », code ≠ 0, toujours une seule boîte « Test » (`GET /api/v1/inboxes`).
|
||||
- [ ] **Step 5 : Configurer l'IA sur LM Studio, l'état de la production** (relais `socat` de `~/Support-AI/docs/verifications.md`, LM Studio lancé par Maxime). Run : `eval "$(grep '^export ANTHROPIC_API_KEY=' .env)" && python3 -I instance-de-test/configurer_ia.py 'TestAdmin-2026!' http://$GW:11234/v1 text-embedding-bge-m3 lm-studio`. Expected : deux « test réussi ». Si LM Studio n'est pas disponible : sauter cette étape et le noter ; la Task 4 passe alors d'une première URL d'Ollama à une seconde (l'alias réseau), ce qui prouve le même déclenchement.
|
||||
- [ ] **Step 6 : Importer.** Run : `set -a && . instance-de-test/.env && set +a && python3 -m base_connaissances.importer --ecrire`. Expected : `créés 118`. Rejoué : `inchangés 118`.
|
||||
- [ ] **Step 7 : Commit** — `git add instance-de-test && git commit -m "Instance de test allégée : démarrage, préparation, configuration de l'IA, essai des brouillons"`.
|
||||
|
||||
---
|
||||
|
||||
### Task 3 : l'image Ollama
|
||||
|
||||
**Files:**
|
||||
- Create: `ollama/Dockerfile`, `ollama/compose.yml`, `ollama/compose.reseau.yml`, `ollama/verifier.py`, `tests/test_ollama.py`
|
||||
|
||||
**Interfaces:**
|
||||
- Produces:
|
||||
- Image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:<version d'Ollama>-567m`, construite par `docker compose -f ollama/compose.yml build`. Le Dockerfile télécharge `bge-m3:567m` pendant la construction (serveur lancé en arrière-plan le temps d'un `ollama pull`) ; `ENV OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1` ; `HEALTHCHECK` par `ollama list`.
|
||||
- `compose.yml` : service `ollama`, `container_name: ollama-bge-m3`, `restart: unless-stopped`, port `"${OLLAMA_BIND:-127.0.0.1}:11434:11434"`.
|
||||
- `compose.reseau.yml` (surcharge) : rattache le service au réseau externe `${RESEAU_LIBREDESK}` avec l'alias `ollama`. Localement `RESEAU_LIBREDESK=ldtest_libredesk` ; sur le serveur, le réseau de LibreDesk s'il est dans Docker.
|
||||
- `ollama/verifier.py <base_url>` (stdlib) : `GET <base_url>/models` doit lister `bge-m3:567m` ; `POST <base_url>/embeddings {"model":"bge-m3:567m","input":"Quelle est l'autonomie de la batterie ?"}` doit rendre un vecteur de 1024 nombres. Affiche `OK bge-m3:567m, 1024 dimensions` et sort en 0 ; sinon un message qui dit ce qui manque, sort en 1. Fonction testable : `verifier(base_url: str) -> str` (lève `RuntimeError` avec le message).
|
||||
|
||||
- [ ] **Step 1 : Écrire les tests** dans `tests/test_ollama.py` (faux serveur `http.server` local, comme `faux_libredesk.py`) :
|
||||
|
||||
```python
|
||||
def test_modele_et_dimension_ok(self): # /models liste bge-m3:567m, /embeddings rend 1024 floats
|
||||
self.assertIn("1024", verifier(self.url))
|
||||
def test_modele_absent(self): # /models sans bge-m3:567m
|
||||
with self.assertRaisesRegex(RuntimeError, "bge-m3:567m"): verifier(self.url)
|
||||
def test_mauvaise_dimension(self): # vecteur de 768
|
||||
with self.assertRaisesRegex(RuntimeError, "768"): verifier(self.url)
|
||||
def test_port_lie_a_localhost_par_defaut(self): # Review Focus 4
|
||||
self.assertIn('"${OLLAMA_BIND:-127.0.0.1}:11434:11434"', COMPOSE.read_text())
|
||||
def test_version_figee(self): # FROM ollama/ollama:<x.y.z>, jamais latest
|
||||
self.assertRegex(DOCKERFILE.read_text(), r"FROM ollama/ollama:\d+\.\d+\.\d+")
|
||||
self.assertIn("bge-m3:567m", DOCKERFILE.read_text())
|
||||
```
|
||||
|
||||
- [ ] **Step 2 : Lancer, vérifier l'échec.** Run : `python3 -m unittest tests.test_ollama -v`. Expected : FAIL (module ou fichiers absents).
|
||||
- [ ] **Step 3 : Écrire `verifier.py`, le Dockerfile et les deux compose.**
|
||||
- [ ] **Step 4 : Tests verts.** Run : `python3 -m unittest tests.test_ollama -v`. Expected : PASS.
|
||||
- [ ] **Step 5 : Construire.** Run : `docker compose -f ollama/compose.yml build`. Expected : image construite ; noter sa taille.
|
||||
- [ ] **Step 6 : Sans Internet (Review Focus 2).** Run : `docker network create --internal ollama-hors-ligne && docker run -d --name ollama-test --network ollama-hors-ligne <image> && sleep 10 && docker run --rm --network ollama-hors-ligne -v "$PWD/ollama:/o:ro" python:3.12-alpine python /o/verifier.py http://ollama-test:11434/v1; docker rm -f ollama-test; docker network rm ollama-hors-ligne`. Expected : `OK bge-m3:567m, 1024 dimensions`.
|
||||
- [ ] **Step 7 : Lancement et redémarrage.** Run : `docker compose -f ollama/compose.yml up -d && sleep 10 && python3 ollama/verifier.py http://127.0.0.1:11434/v1`, puis `docker kill ollama-bge-m3 && sleep 15 && docker ps --filter name=ollama-bge-m3`. Expected : `OK …`, puis le conteneur est de nouveau `Up` (après un `docker kill`, `unless-stopped` relance). Puis `sudo service docker restart` (ou redémarrage de Docker Desktop) : conteneur relancé.
|
||||
- [ ] **Step 8 : Commit** — `git add ollama tests/test_ollama.py && git commit -m "Ollama : image avec bge-m3 embarqué, lancement, vérification"`.
|
||||
- [ ] **Step 9 (avec l'accord explicite de Maxime seulement) : pousser l'image au registre Gitea.** Maxime crée un jeton Gitea (portée `write:package`) et fait `docker login exchange.sensima.ch`. Run : `docker push exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:<tag>`. Expected : l'image apparaît dans Packages du compte. En cas de refus (taille, `413`) : noter l'erreur dans `docs/verifications.md` ; le repli `docker save | ssh … docker load` sera décrit dans `docs/production.md` (Task 6).
|
||||
|
||||
---
|
||||
|
||||
### Task 4 : la simulation du passage à Ollama
|
||||
|
||||
**Files:**
|
||||
- Modify: `docs/verifications.md` (créé ici : constats datés)
|
||||
|
||||
**Interfaces:**
|
||||
- Consumes: Task 2 (instance préparée, importée, embeddings sur LM Studio), Task 3 (image, `compose.reseau.yml`, `verifier.py`).
|
||||
|
||||
- [ ] **Step 1 : Relever les empreintes « avant ».** Run : `bash instance-de-test/empreintes.sh > /tmp/avant.txt && wc -l /tmp/avant.txt`. Expected : 118 lignes, aucune empreinte vide.
|
||||
- [ ] **Step 2 : Lancer Ollama sur le réseau de l'instance.** Run : `RESEAU_LIBREDESK=ldtest_libredesk docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d && docker run --rm --network ldtest_libredesk -v "$PWD/ollama:/o:ro" python:3.12-alpine python /o/verifier.py http://ollama:11434/v1`. Expected : `OK bge-m3:567m, 1024 dimensions`.
|
||||
- [ ] **Step 3 : Basculer l'instance sur Ollama.** Run : `python3 -I instance-de-test/configurer_ia.py 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m`. Expected : deux « test réussi ».
|
||||
- [ ] **Step 4 : Le recalcul.** Run : `docker logs ldtest_app 2>&1 | grep -E "embedding provider changed|reconciled embeddings"` puis `bash instance-de-test/empreintes.sh > /tmp/apres.txt`. Expected : « embedding provider changed, reindexing knowledge base » puis « reconciled embeddings … reindexed 118 » ; 118 lignes dans `apres.txt`, aucune empreinte vide, **aucune identique** à `avant.txt` (`comm -12 <(sort /tmp/avant.txt) <(sort /tmp/apres.txt)` vide).
|
||||
- [ ] **Step 5 : Panne pendant le recalcul (Review Focus 1).** Repasser sur LM Studio (ou sur une URL d'Ollama différente, p. ex. `http://ollama-bge-m3:11434/v1`), puis : `docker stop ollama-bge-m3`, rebasculer sur `http://ollama:11434/v1` **sans** test (enregistrement direct : `configurer_ia.py` échouerait au test ; faire l'enregistrement par l'interface Admin → IA → Providers), attendre 2 min, `docker start ollama-bge-m3`, attendre 2 min. Expected : erreurs d'embedding dans les journaux pendant la panne, puis « reconciled embeddings … reindexed 118 » après le redémarrage ; empreintes toutes non vides.
|
||||
- [ ] **Step 6 : L'essai des brouillons.** Run : `python3 -I instance-de-test/essayer_brouillons.py`. Expected : 5 brouillons `completed`, « Mailpit inchangé pendant la génération ». Comparer au rapport LM Studio (`~/Support-AI/cases/essai-brouillons-2026-11-11.md`) : appuyés sur la base de la même façon ; le faire juger par Maxime.
|
||||
- [ ] **Step 7 : Consigner** dans `docs/verifications.md` : date, version d'Ollama, taille de l'image, extraits des journaux, résultat des empreintes, de la panne et de l'essai.
|
||||
- [ ] **Step 8 : Commit** — `git add docs/verifications.md && git commit -m "Simulation : passage de LM Studio à Ollama, recalcul automatique vérifié"`.
|
||||
|
||||
---
|
||||
|
||||
### Task 5 : les tâches VS Code
|
||||
|
||||
**Files:**
|
||||
- Create: `.vscode/tasks.json`, `tests/test_taches.py`
|
||||
|
||||
**Interfaces:**
|
||||
- Consumes: commandes des Tasks 1 à 4.
|
||||
- Produces: tâches (JSON strict, sans commentaire), chacune `"type": "shell"`, lancée depuis la racine du dépôt sous WSL :
|
||||
|
||||
| Libellé | Commande |
|
||||
|---|---|
|
||||
| `Tests` | `python3 -m unittest discover -s tests -v` |
|
||||
| `Instance de test : démarrer` | `bash instance-de-test/demarrer.sh '${input:motDePasse}'` |
|
||||
| `Instance de test : préparer` | `python3 -I instance-de-test/preparer.py '${input:motDePasse}'` |
|
||||
| `Instance de test : effacer` | `docker compose -p ldtest down -v` (avec `${input:confirmation}`) |
|
||||
| `Instance de test : brancher sur Ollama` | `configurer_ia.py … http://ollama:11434/v1 bge-m3:567m` (clé Anthropic lue dans `.env`) |
|
||||
| `Instance de test : essai des brouillons` | `python3 -I instance-de-test/essayer_brouillons.py '${input:motDePasse}'` |
|
||||
| `Ollama : construire` | `docker compose -f ollama/compose.yml build` |
|
||||
| `Ollama : lancer (instance de test)` | `RESEAU_LIBREDESK=ldtest_libredesk docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d` |
|
||||
| `Ollama : vérifier` | `python3 ollama/verifier.py http://127.0.0.1:11434/v1` |
|
||||
| `Import : simulation (instance de test)` | charge `instance-de-test/.env`, `python3 -m base_connaissances.importer` |
|
||||
| `Import : ÉCRIRE (instance de test)` | idem `--ecrire` |
|
||||
| `Import : simulation (PRODUCTION)` | charge `.env` (clés admin), `LIBREDESK_URL='${input:urlProduction}'`, sans `--ecrire` |
|
||||
| `Import : ÉCRIRE (PRODUCTION)` | idem, `--ecrire`, seulement si `${input:confirmationProduction}` vaut `oui` |
|
||||
|
||||
Entrées : `motDePasse` (`promptString`, `password: true`, défaut `TestAdmin-2026!`) ; `urlProduction` (`promptString`, **sans défaut**) ; `confirmation` et `confirmationProduction` (`pickString`, options `non`, `oui`, défaut `non`). La commande teste la confirmation (`[ "${input:…}" = oui ] || { echo "annulé"; exit 1; }`).
|
||||
|
||||
- [ ] **Step 1 : Écrire `tests/test_taches.py`** (lit `.vscode/tasks.json` avec `json`) :
|
||||
|
||||
```python
|
||||
def test_json_valide_et_libelles_uniques(self): ...
|
||||
def test_ecriture_production_demande_confirmation(self): # Review Focus 3
|
||||
# toute tâche dont la commande contient --ecrire ET urlProduction teste ${input:confirmationProduction} = oui
|
||||
def test_url_production_sans_defaut(self):
|
||||
# l'entrée urlProduction n'a pas de clé "default"
|
||||
def test_taches_instance_de_test_ne_visent_pas_la_production(self):
|
||||
# aucune tâche « (instance de test) » ne référence urlProduction
|
||||
def test_scripts_references_existent(self):
|
||||
# chaque chemin instance-de-test/*.py|.sh, ollama/*.py, ollama/*.yml cité existe
|
||||
```
|
||||
|
||||
- [ ] **Step 2 : Lancer, vérifier l'échec.** Run : `python3 -m unittest tests.test_taches -v`. Expected : FAIL (fichier absent).
|
||||
- [ ] **Step 3 : Écrire `.vscode/tasks.json`.**
|
||||
- [ ] **Step 4 : Tests verts.** Run : `python3 -m unittest discover -s tests -v`. Expected : tous PASS.
|
||||
- [ ] **Step 5 : Essai dans VS Code** (WSL) : lancer `Tests`, puis `Import : simulation (instance de test)`. Expected : mêmes sorties qu'en ligne de commande ; `Import : ÉCRIRE (PRODUCTION)` avec `non` → « annulé ».
|
||||
- [ ] **Step 6 : Commit** — `git add .vscode tests/test_taches.py && git commit -m "Tâches VS Code : tests, instance de test, Ollama, import (production avec confirmation)"`.
|
||||
|
||||
---
|
||||
|
||||
### Task 6 : la documentation et les gestes de production
|
||||
|
||||
**Files:**
|
||||
- Create: `README.md` (remplace le fichier vide), `docs/production.md`
|
||||
- Modify: `docs/verifications.md`
|
||||
|
||||
- [ ] **Step 1 : `README.md`** : à quoi sert le dépôt (le brouillon dans LibreDesk, Ollama) ; que Support-AI est archivé et n'est plus suivi ; « rien ne part chez un client » ; installation (`python3`, Docker, aucun paquet Python) ; les tâches VS Code ; les commandes équivalentes ; retoucher la base (corpus → import simulation → `--ecrire`) ; liens vers le design, `docs/production.md`, `docs/verifications.md`.
|
||||
- [ ] **Step 2 : `docs/production.md`**, repris de `~/Support-AI/docs/production-libredesk-natif.md` : les gestes déjà faits restent cochés avec leur date (0 bis, 0 ter, 1 provisoire, 2, 3, 4, 5) ; le point 0 (relecture des 9 extraits « Savoir métier AIMsight ») reste ouvert ; le point « Plus tard : le programme Python sur Gitea » est retiré (abandonné le 2026-11-12). Puis la partie **Ollama**, étapes 3.1 à 3.7 du design (§6), chacune avec sa commande et sa vérification :
|
||||
- 3.1 état des lieux, sans rien changer : `docker version`, `id` (groupe `docker`), `uname -m` (doit être `x86_64`), `docker ps --format '{{.Names}} {{.Image}} {{.Networks}}'`, `ip -brief addr`, `free -h`, `df -h /var/lib/docker`, `ss -ltnp`, la configuration de Caddy en lecture. **Point d'arrêt** et ses cas (design §5).
|
||||
- 3.2 récupérer l'image (`docker pull` depuis le registre, ou repli `docker save … | ssh … docker load`), copier `ollama/compose.yml` (et `compose.reseau.yml` si LibreDesk est dans Docker), lancer avec `OLLAMA_BIND=<adresse interne>` ou `RESEAU_LIBREDESK=<réseau de LibreDesk>`.
|
||||
- 3.3 `verifier.py` depuis l'hôte ou le réseau de LibreDesk ; depuis un téléphone en 4G, `http://46.14.212.91:11434` ne répond pas.
|
||||
- 3.4 Admin → IA → Providers, Embeddings : valeurs des Global Constraints ; bouton de test, puis enregistrement.
|
||||
- 3.5 journaux de LibreDesk : « reconciled embeddings … reindexed 118 ».
|
||||
- 3.6 « Generate reply » sur une vraie conversation, ne rien envoyer.
|
||||
- 3.7 LM Studio n'est plus nécessaire.
|
||||
- Retour en arrière ; « Au quotidien » (Ollama arrêté = brouillons sans base, sans alerte : `docker ps`, `verifier.py`) ; faiblesses connues reprises (sans celles qui concernent `generer.py` ou le programme Python).
|
||||
- [ ] **Step 3 : `docs/verifications.md`** : y ajouter, au-dessus de la simulation (Task 4), les constats LibreDesk encore utiles repris de Support-AI (authentification, routes des extraits et de la configuration IA, `generate-reply` sans notes privées, assistants exclus, recalcul automatique avec les références au code v2.9.0, l'essai LM Studio du 2026-11-11 et le réseau WSL `mirrored`).
|
||||
- [ ] **Step 4 : Relecture croisée.** Run : `grep -rn "support_diagnostic\|Agent IA\|tri:diagnostic\|generer.py" README.md docs/production.md docs/verifications.md`. Expected : aucune occurrence, sauf la mention « abandonné » dans `production.md`.
|
||||
- [ ] **Step 5 : Tests.** Run : `python3 -m unittest discover -s tests -v`. Expected : tous PASS.
|
||||
- [ ] **Step 6 : Commit** — `git add README.md docs && git commit -m "Documentation : README, gestes de production avec Ollama, constats"`.
|
||||
@@ -0,0 +1,135 @@
|
||||
# Design : Support-LibreDesk, le brouillon de réponse dans LibreDesk
|
||||
|
||||
> **Noms renommés le 2026-11-12, après ce document** : `base_connaissances/` → `snippets/` (`corpus/` → `textes/`, `instructions.md` → `consignes_redaction.md`, `decoupage.py` → `fichiers.py`, `importer.py` → `envoyer.py`) ; dans `instance-de-test/` : `demarrer.sh` → `1_demarrer.sh`, `preparer.py` → `2_creer_boite_et_cle.py`, `configurer_ia.py` → `3_brancher_ia.py`, `essayer_brouillons.py` → `4_essayer_brouillons.py`, `empreintes.sh` → `voir_empreintes.sh`, `session.py` → `connexion_admin.py` ; `ollama/verifier.py` → `ollama/verifier_ollama.py`. Ce document garde les noms d origine.
|
||||
|
||||
Date : 2026-11-12. Issu d'un brainstorming entre Maxime et Claude, après lecture complète de `~/Support-AI` (tout ce qui touche à LibreDesk).
|
||||
|
||||
## 1. L'intention
|
||||
|
||||
Le support AIMsight reçoit les demandes des clients par mail dans LibreDesk (`helpdesk.sensima.ch`, v2.9.0, auto-hébergé). Depuis le 2026-11-11, le bouton **« Generate reply »** de LibreDesk rédige un brouillon dans l'éditeur, appuyé sur une base de connaissances de 118 extraits (FAQ, manuel de la station, savoir métier) et sur les échanges précédents du client. Un humain relit et envoie lui-même.
|
||||
|
||||
Tout cela a été construit dans `~/Support-AI`, à côté d'un premier projet abandonné (un programme Python lancé par Gitea Actions, qui faisait travailler des agents et posait une note privée). **Support-LibreDesk remplace complètement Support-AI** (décision de Maxime) : il ne garde que l'intégration avec LibreDesk, et y ajoute ce qui manque pour la production.
|
||||
|
||||
Ce qui manque : la recherche dans la base passe par un modèle d'**embeddings**, qui tourne aujourd'hui **provisoirement sur le PC de Maxime** (LM Studio, `text-embedding-bge-m3`, `http://10.0.2.140:1234/v1`, adresse attribuée par DHCP). Si le PC s'éteint, se met en veille ou change d'adresse, les brouillons continuent d'arriver **sans la base de connaissances, et rien ne le signale**. Ce dépôt installe **Ollama sur le serveur où tourne LibreDesk**, pour que la production ne dépende plus du poste de Maxime. C'était déjà la décision de Maxime dans le design précédent : LM Studio pour l'essai, Ollama pour la production.
|
||||
|
||||
Méthode voulue par Maxime : **tout simuler sur son ordinateur d'abord**, puis reproduire la même chose sur le vrai serveur.
|
||||
|
||||
## 2. Objectifs, non-objectifs, anti-objectifs
|
||||
|
||||
**Objectifs**
|
||||
- Un dépôt autonome qui porte tout ce qu'il faut pour le brouillon dans LibreDesk : la base de connaissances et son import, les instructions communes, l'instance de test, Ollama, et le document de production.
|
||||
- Une seule image Docker qui contient Ollama **et** bge-m3 déjà téléchargé : elle démarre sans rien aller chercher sur Internet, et c'est exactement le même modèle chez Maxime et sur le serveur.
|
||||
- Tout éprouvé de bout en bout sur le poste de Maxime avant de toucher au serveur.
|
||||
- Sur le serveur : une seule commande pour lancer Ollama, avec redémarrage automatique.
|
||||
- Après le passage : LibreDesk en production utilise Ollama, les vecteurs des 118 extraits sont recalculés avec lui, le PC de Maxime et LM Studio ne servent plus.
|
||||
- Les opérations courantes lancées d'un clic, par des **tâches VS Code** (idée de Maxime).
|
||||
|
||||
**Non-objectifs (décidés)**
|
||||
- **Les fonctions initiales de Support-AI sont abandonnées** (décision de Maxime) : le diagnostic par les agents support et analyste, le programme `support_diagnostic`, les notes privées, les étiquettes `tri:*` / `diag:*`, le rôle « Agent IA », les workflows Gitea. Rien de cela n'est repris.
|
||||
- **On ne recode pas LibreDesk** (décision de Maxime) : ni son code, ni son conteneur, ni son reverse proxy. Seulement sa configuration et son API.
|
||||
- Pas d'alerte si Ollama ne répond plus : le redémarrage automatique suffit pour commencer (décision de Maxime).
|
||||
- Pas de changement de la complétion (Claude Sonnet 5.5) ni du texte des instructions communes.
|
||||
- Support-AI n'est ni modifié ni supprimé : il reste sur Gitea comme archive.
|
||||
|
||||
**Anti-objectifs : ce qui serait un échec même si ça marche**
|
||||
- **Un message qui part chez un client sans qu'un humain l'ait relu et envoyé.** Aucun code de ce dépôt n'écrit dans une conversation de la production. Seule la préparation de l'instance de test en crée, et Mailpit y piège tout envoi.
|
||||
- **Ollama joignable depuis Internet.** Ollama n'a aucune authentification. Le serveur a une adresse publique (46.14.212.91, la même que `exchange.sensima.ch`) avec Caddy devant.
|
||||
- **Casser ce qui tourne déjà sur le serveur** (LibreDesk, et peut-être Gitea derrière le même Caddy) : ne toucher ni à leurs conteneurs, ni à leurs réseaux, ni à leurs volumes, ni à Caddy.
|
||||
- **Une base de connaissances muette sans qu'on le sache** après le passage : les vecteurs doivent avoir été réellement recalculés avec Ollama, et vérifiés.
|
||||
- Des connaissances internes (noms de stations ou de clients, commandes d'outils, seuils provisoires) qui entrent dans la base.
|
||||
|
||||
## 3. Ce qu'on sait (faits établis)
|
||||
|
||||
**La production (2026-11-11)**
|
||||
- LibreDesk v2.9.0 tourne sur un serveur de l'entreprise. On ne sait pas comment il y a été installé (Docker ou autre) ni par qui. `helpdesk.sensima.ch` répond `Server: libredesk` derrière `Via: 1.1 Caddy`.
|
||||
- Le serveur est sur le **même réseau interne** que le poste de Maxime : LibreDesk a joint LM Studio à `10.0.2.140:1234` pendant l'essai.
|
||||
- Maxime aura un **accès SSH direct** au serveur et fera lui-même les gestes. Il ne l'a pas encore.
|
||||
- Complétion : Claude Sonnet 5.5 (`https://api.anthropic.com/v1`, fournisseur « openai », effort `medium`, `max_tokens` 4096, instructions communes = `instructions.md`). Embeddings : LM Studio comme ci-dessus, clé `lm-studio`, `embedding_max_tokens` 2048. 118 extraits importés. `support_assistant` désactivé ; aucune règle d'automatisation, aucun outil, aucun webhook ; « Learn from resolved conversations » éteint.
|
||||
- Les étiquettes et le rôle « Agent IA » de l'ancien projet n'ont jamais été créés en production.
|
||||
- Gitea (`exchange.sensima.ch`, 28.2.0) a les **Packages** activés (registre d'images Docker possible).
|
||||
|
||||
**LibreDesk (code v2.9.0 et instance de test)**
|
||||
- Authentification par clé : `Authorization: token <clé>:<secret>`.
|
||||
- Extraits de la base : `GET/POST /api/v1/ai/snippets`, `PUT /api/v1/ai/snippets/{id}`, permission `ai:manage` (une clé admin).
|
||||
- Configuration de l'IA : `PUT /api/v1/ai/config/{completion|embedding}`, et `POST …/test` pour tester sans enregistrer.
|
||||
- `POST /api/v1/ai/generate-reply` : le brouillon, avec les outils `search_articles` (la base) et l'historique du contact. Il ne voit pas les notes privées. Rien n'est envoyé.
|
||||
- Les assistants répondent eux-mêmes au client (par mail aussi) : à ne jamais activer.
|
||||
- LibreDesk appelle `POST <base_url>/embeddings` au format OpenAI ; Ollama expose ce format sous `/v1`.
|
||||
- **Le recalcul des vecteurs est automatique** (vérifié dans le code v2.9.0, 2026-11-12). Enregistrer une configuration d'embeddings dont l'URL, le modèle ou la dimension change lance un recalcul de toute la base (`internal/ai/ai.go` : journal « embedding provider changed, reindexing knowledge base »). L'empreinte de chaque extrait signe son titre, son texte, l'URL, le modèle et la dimension (`internal/ai/embedsource.go`, `itemFingerprint`) ; un extrait dont l'empreinte ne correspond plus est recalculé, et ceux qui échouent sont retentés chaque minute (`internal/ai/embedding.go`, `reconcileInterval`). Le journal « reconciled embeddings … reindexed N » dit combien ont été recalculés. L'import, lui, ne réécrit qu'un extrait dont le texte a changé : il ne sert pas au recalcul.
|
||||
|
||||
## 4. Ce que le dépôt reprend de Support-AI
|
||||
|
||||
**Repris** (fichiers copiés, sans l'historique git ; l'historique reste dans Support-AI) :
|
||||
- `base_connaissances/` : `decoupage.py`, `importer.py`, `instructions.md`, le corpus (`corpus/`, 118 fichiers).
|
||||
- Les tests de la base : `test_decoupage.py`, `test_corpus.py`, `test_importer.py`, `test_garde_fou_base.py` (le paquet ne parle à LibreDesk que par les routes des extraits), et le faux LibreDesk dont ils ont besoin.
|
||||
- `instance-de-test/` : `docker-compose.yml`, `preparer_ia.py`, `essayer_brouillons.py`, `mails/`. La préparation de l'instance (`preparer.py`) est **allégée** : elle garde la connexion, la boîte e-mail branchée sur Mailpit et ce dont l'essai a besoin, et perd les étiquettes `tri:*` / `diag:*`, le rôle et l'agent « Agent IA », et la conversation étiquetée.
|
||||
- La documentation utile, réécrite pour ce dépôt : le document de production (avec ce qui est déjà fait, coché), les constats sur LibreDesk et l'instance de test, les faiblesses connues.
|
||||
|
||||
**Pas repris** : `support_diagnostic/`, `agents/`, `.gitea/workflows/`, `cases/`, `instance-de-test/verifier.py` (vérifications de la phase 0, portées sur les notes privées), `mail-exemple.txt`, `base_connaissances/generer.py` (génération ponctuelle déjà faite ; le corpus relu à la main est désormais la source), la spec et les plans de l'ancien projet.
|
||||
|
||||
## 5. Les décisions
|
||||
|
||||
### Décidées par Maxime
|
||||
1. Support-LibreDesk remplace complètement Support-AI ; seule l'intégration avec LibreDesk est conservée.
|
||||
2. Ollama, sur le serveur de LibreDesk.
|
||||
3. Un conteneur qui contient tout, lancé sur le serveur ; le port ouvert sur le réseau interne, comme LM Studio l'était sur son PC.
|
||||
4. Tout simuler sur son ordinateur avant de toucher au serveur.
|
||||
5. Il fait lui-même les gestes sur le serveur, en SSH.
|
||||
6. Pas d'alerte pour l'instant : le redémarrage automatique suffit.
|
||||
7. On ne recode pas LibreDesk.
|
||||
8. Les opérations courantes en tâches VS Code.
|
||||
|
||||
### Choix de Claude (à relire)
|
||||
- **Modèle : bge-m3**, le même qu'avec LM Studio (multilingue : français, allemand, anglais). La version de la bibliothèque Ollama n'a pas la même quantification que celle de LM Studio : les vecteurs diffèrent, il faut **tout recalculer**.
|
||||
- **Le recalcul des vecteurs** : celui de LibreDesk, déclenché en enregistrant la nouvelle configuration des embeddings (§3). Aucune option d'import, aucune clé admin pour cela. On le prouve par ses journaux (« reconciled embeddings … reindexed 118 ») et, sur l'instance de test seulement, par une lecture des empreintes dans sa base. **Jamais d'écriture SQL** dans une base de LibreDesk. Jamais de suppression d'extrait sans l'accord de Maxime.
|
||||
- **Le modèle reste chargé en mémoire** pour que le premier brouillon de la journée ne paie pas le chargement. Si la mémoire du serveur manque (environ 1,5 à 2 Go à côté de LibreDesk, Postgres, Redis et peut-être Gitea), on laisse Ollama le décharger après inactivité (son comportement par défaut).
|
||||
- **Transport de l'image par le registre de Gitea** : construite et poussée depuis le poste de Maxime, récupérée par le serveur. Si le registre refuse une image de cette taille (plus d'un Go), repli : `docker save` puis `docker load` par SSH. Image construite à la main, pas par Gitea Actions.
|
||||
- **Versions figées** : l'image de base d'Ollama à une version précise, jamais `latest`.
|
||||
- **Pas de workflow Gitea** dans la première version : les tests se lancent sur le poste (tâche VS Code). Le label du runner de l'entreprise est inconnu et `setup-python` y échoue.
|
||||
- **Sur le serveur, le port d'Ollama est lié à l'adresse interne du serveur** seulement ; si LibreDesk tourne dans Docker, on peut aussi le joindre par son réseau Docker sans publier de port. Choix fait le jour J, selon ce que Maxime trouve. **Pas de règle de pare-feu ajoutée.** Vérification de l'extérieur du réseau de l'entreprise, par exemple depuis un téléphone en 4G : `http://46.14.212.91:11434` ne doit pas répondre.
|
||||
- **L'état des lieux du serveur est un point d'arrêt.** S'il manque Docker, si Maxime n'a pas les droits sur Docker, si le serveur n'est pas en x86-64, ou s'il porte lui-même l'adresse publique sur une interface, on s'arrête et Maxime décide (installer Docker, Ollama sans conteneur, autre machine, image multi-architecture). Installer Docker modifie le pare-feu et ajoute un service sur une machine de production. LibreDesk s'installe d'ordinaire avec `docker compose` : c'est le cas attendu.
|
||||
- **Dans la simulation**, le LibreDesk de test joint Ollama par le réseau Docker de l'instance ; le relais `socat` vers LM Studio n'est plus nécessaire. Seule l'adresse diffère de la production, le protocole est le même.
|
||||
- **Retour en arrière** : LM Studio reste disponible sur le PC de Maxime jusqu'à ce qu'Ollama soit validé en production ; revenir en arrière = remettre l'ancienne URL et l'ancien modèle, puis recalculer.
|
||||
- **Les tâches VS Code** (Maxime travaille sous WSL avec VS Code) : au minimum les tests, le démarrage et l'arrêt de l'instance de test, sa préparation, Ollama local, l'essai des brouillons, l'import en simulation, l'import réel. Les tâches qui écrivent dans un LibreDesk le disent dans leur nom et demandent une confirmation ; l'import vise l'instance de test par défaut, la production seulement si l'adresse est donnée explicitement.
|
||||
- **Les secrets** (clé Anthropic pour l'instance de test, clés admin temporaires) restent dans un `.env` hors de git, comme dans Support-AI.
|
||||
- **Chaque modification de la production** (serveur ou LibreDesk) est présentée à Maxime et faite seulement avec son accord explicite, un geste à la fois.
|
||||
- **Documentation et code en français**, comme Support-AI.
|
||||
|
||||
## 6. Les étapes
|
||||
|
||||
### Étape 1 : le dépôt
|
||||
Reprendre de Support-AI ce que liste le §4, alléger la préparation de l'instance, faire passer les tests, écrire le `README.md` et les tâches VS Code.
|
||||
|
||||
### Étape 2 : la simulation, sur le poste de Maxime
|
||||
1. Construire l'image (Ollama + bge-m3) ; la lancer ; vérifier qu'elle démarre **sans accès à Internet** et sert bge-m3 (`/v1/models`, puis un appel `/v1/embeddings`). Vérifier le redémarrage automatique.
|
||||
2. Monter une instance de test neuve, la préparer, brancher ses embeddings d'abord sur LM Studio (l'état de la production), importer la base.
|
||||
3. Passer les embeddings sur Ollama (test, puis enregistrement) ; LibreDesk **recalcule les 118 vecteurs** (§3). Le prouver : journaux, empreintes toutes changées, la recherche ramène les bons extraits.
|
||||
4. Relancer l'essai des brouillons (5 mails) : rendus, appuyés sur la base comme avec LM Studio, Mailpit inchangé.
|
||||
5. Écrire la partie Ollama du document de production à partir de ce qui a marché.
|
||||
|
||||
### Étape 3 : la production (Maxime, en SSH)
|
||||
1. État des lieux, sans rien changer : Docker et les droits de Maxime, architecture, comment tourne LibreDesk (conteneur, réseau), adresse interne, mémoire et disque libres, ports ouverts, ce que relaie Caddy. Point d'arrêt (§5).
|
||||
2. Récupérer l'image et la lancer (redémarrage automatique, port lié à l'adresse interne ou réseau Docker de LibreDesk).
|
||||
3. Vérifier qu'Ollama répond et sert bge-m3 depuis la machine (ou le conteneur) de LibreDesk ; vérifier de l'extérieur que le port n'est **pas** joignable.
|
||||
4. Dans LibreDesk : tester la nouvelle configuration des embeddings, puis l'enregistrer.
|
||||
5. LibreDesk recalcule les vecteurs des 118 extraits ; le vérifier dans ses journaux.
|
||||
6. « Generate reply » sur une vraie conversation : le brouillon s'appuie sur la base ; ne rien envoyer.
|
||||
7. LM Studio n'est plus nécessaire ; le document de production est mis à jour.
|
||||
|
||||
Restent ouverts dans le document de production, repris tels quels de Support-AI : la relecture par Maxime des 9 extraits « Savoir métier AIMsight ».
|
||||
|
||||
## 7. Ce qui compte pour juger le résultat
|
||||
- Le dépôt suffit seul : un nouveau venu monte l'instance de test, lance les tests et l'essai des brouillons sans ouvrir Support-AI.
|
||||
- Ollama tourne sur le serveur, redémarre seul, et n'est joignable que depuis le réseau interne.
|
||||
- Le test des embeddings de LibreDesk réussit avec Ollama ; les 118 extraits ont des vecteurs calculés par Ollama.
|
||||
- Les brouillons sont aussi bons qu'avec LM Studio.
|
||||
- Le PC de Maxime peut être éteint sans effet sur LibreDesk.
|
||||
- Rien d'autre n'a changé sur le serveur.
|
||||
|
||||
## 8. Laissé au constructeur
|
||||
- L'organisation exacte des dossiers et des fichiers du dépôt.
|
||||
- La forme de l'image (Dockerfile, façon d'y intégrer le modèle) et de la commande de lancement (`docker compose` ou `docker run`).
|
||||
- La version exacte d'Ollama et l'étiquette exacte du modèle bge-m3.
|
||||
- La liste finale des tâches VS Code, dans le cadre du §5.
|
||||
- Les commandes de vérification et la structure du document de production.
|
||||
- Le contenu du `README.md`.
|
||||
@@ -0,0 +1,60 @@
|
||||
# Vérifications
|
||||
|
||||
Les constats sur lesquels repose ce dépôt, datés, avec leur source : **[code]** le code de LibreDesk v2.9.0 ; **[test]** l'instance de test (`instance-de-test/`) ; **[prod]** la production.
|
||||
|
||||
## LibreDesk v2.9.0
|
||||
|
||||
Repris de Support-AI (vérifications des 2026-11-09 et 2026-11-11), limité à ce qui sert ici.
|
||||
|
||||
| Point | Constat | Source |
|
||||
|---|---|---|
|
||||
| Version en production | v2.9.0 (`GET /api/v1/settings/general`) ; derrière Caddy (`Via: 1.1 Caddy`), même adresse publique que `exchange.sensima.ch` | [prod] |
|
||||
| Authentification par clé | `Authorization: token <clé>:<secret>`, une clé par agent (Admin → Teammates → Agents) | [code, test] |
|
||||
| Extraits de la base | `GET/POST /api/v1/ai/snippets`, `PUT /api/v1/ai/snippets/{id}` ; permission `ai:manage` (clé admin) ; extraits privés, lus par l'IA seulement | [code, test] |
|
||||
| Configuration de l'IA | `PUT /api/v1/ai/config/{completion,embedding}` ; `POST …/test` fait une vraie requête sans enregistrer | [code, test] |
|
||||
| Embeddings | format OpenAI, `POST <base_url>/embeddings` ; vecteurs de toute dimension (bge-m3 : 1024) ; garde SSRF désactivée par défaut (`[ssrf] enabled = false`) | [code] |
|
||||
| Recalcul des vecteurs | automatique quand l'URL, le modèle ou la dimension change (`internal/ai/ai.go`) ; empreinte = titre, texte, URL, modèle, dimension (`internal/ai/embedsource.go`, `itemFingerprint`) ; échecs retentés chaque minute (`internal/ai/embedding.go`, `reconcileInterval`) | [code, test] |
|
||||
| « Generate reply » | `POST /api/v1/ai/generate-reply` ; outils `search_articles`, `list_contact_conversations`, `fetch_conversation` ; **ne voit pas les notes privées** ; rien n'est envoyé, le texte revient à l'éditeur | [code, test] |
|
||||
| Sans embeddings | le brouillon est rendu quand même, sans la base (« AI provider unavailable », `search_articles` en erreur), rien ne le signale | [test] |
|
||||
| Assistants | répondent eux-mêmes au client, par mail aussi (`internal/aiagent/worker.go`) : **à ne jamais activer** | [code] |
|
||||
| Envoi d'un message | même route pour une note privée et une réponse ; sans `private: true`, le mail part (vérifié avec Mailpit) : aucun code de ce dépôt n'appelle cette route en production | [test] |
|
||||
| Complétion par Claude | fournisseur `openai`, `https://api.anthropic.com/v1`, `claude-sonnet-5-5`, `reasoning_effort` `medium` : les tests de configuration et les appels d'outils fonctionnent | [test, prod] |
|
||||
|
||||
**L'essai avec LM Studio (2026-11-11)** : 118 extraits importés et indexés ; 5 brouillons sur 5 en 4 à 11 s, appuyés sur la FAQ et le manuel, dans la langue du client (allemand compris), sans rien inventer hors base ; Mailpit inchangé. Une seule réserve : un brouillon mélangeait « tu » et « vous » (instructions corrigées depuis).
|
||||
|
||||
**Le réseau du poste** : WSL est en mode `networkingMode=mirrored` ; WSL et Docker ne joignent Windows que par `127.0.0.1`. Pour qu'un conteneur joigne LM Studio sur Windows, il fallait un relais `socat` (voir l'historique de Support-AI) ; avec Ollama dans Docker, le réseau Docker de l'instance suffit.
|
||||
|
||||
## L'image renommée embeddings-bge-m3, avec jeton (2026-11-18) [code, test]
|
||||
|
||||
Image `exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m` (2,49 Go) : la précédente, plus Caddy 2.10.2 devant Ollama. Ollama n'écoute que sur `127.0.0.1:11435` dans le conteneur ; Caddy, sur 11434, ne transmet que les requêtes qui portent `Authorization: Bearer <EMBEDDINGS_JETON>`.
|
||||
- LibreDesk v2.9.0 envoie la clé des embeddings en `Authorization: Bearer <clé>` (`internal/ai/openai.go`, `post`), et lit un 401 comme « clé API invalide » (`ErrInvalidAPIKey`, sans nouvel essai). La clé n'entre pas dans l'empreinte des extraits (`itemFingerprint`) : la changer ne déclenche pas de recalcul.
|
||||
- Sans jeton, ou avec un jeton de moins de 32 caractères : le conteneur s'arrête aussitôt (code 1, message `EMBEDDINGS_JETON manquant ou invalide`).
|
||||
- Hors ligne (réseau Docker `--internal`, alias `ollama` comme sur le réseau de LibreDesk) : `healthy` ; `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions, jeton exigé` ; sans en-tête, mauvais jeton, ancienne clé `ollama` : 401 ; bon jeton : 200 ; Ollama lui-même (11435) injoignable depuis un autre conteneur.
|
||||
- Ollama, lié à 127.0.0.1, refuse (403) un Host non local comme `ollama:11434` : Caddy réécrit `Host` (`header_up Host 127.0.0.1:11435`), et ne transmet pas le jeton à Ollama.
|
||||
- Le jeton n'apparaît pas dans `docker logs` ; il est dans l'environnement de Caddy seulement, pas dans celui d'Ollama. Il reste lisible par `docker inspect` (comme `ACCES_JETON`) : réservé à qui administre Docker.
|
||||
- `docker stop` : arrêt immédiat (les signaux sont transmis). Ollama tué dans le conteneur : le conteneur s'arrête, Docker le relance (`RestartCount` 1), de nouveau `healthy`.
|
||||
- Port publié sur `127.0.0.1:11436`, depuis WSL : même résultat que hors ligne.
|
||||
|
||||
## La simulation du passage à Ollama (2026-11-12) [test]
|
||||
|
||||
Instance de test neuve (LibreDesk v2.9.0, Mailpit), base importée (118 extraits), image `exchange.sensima.ch/maxime.pasquier/ollama-bge-m3:0.40.16-567m` (Ollama 0.40.16, `bge-m3:567m`, **2,43 Go**) sur le réseau Docker de l'instance (`ollama/compose.reseau.yml`).
|
||||
|
||||
**L'image**
|
||||
- Hors ligne (réseau Docker `--internal`, aucun DNS) : `verifier_ollama.py` → `OK bge-m3:567m, 1024 dimensions`. Aucun appel à `ollama.com` grâce à `OLLAMA_NO_CLOUD=1`.
|
||||
- Construite en deux étapes : sans les bibliothèques GPU de l'image officielle (CUDA, ROCm, Vulkan : 4,4 Go), l'image passe de 10,7 Go à 2,43 Go. Calcul sur processeur (`inference compute … library=cpu`).
|
||||
- Redémarrage automatique : après un arrêt du processus dans le conteneur, Docker le relance (`RestartCount` 1) et il sert de nouveau bge-m3. Un `docker kill` ou `docker stop` compte comme un arrêt manuel : `unless-stopped` ne relance pas, c'est voulu. Le redémarrage du service Docker n'a pas été essayé sur le poste (demande `sudo`) : à vérifier sur le serveur.
|
||||
- Sur le poste de Maxime, un Ollama Windows occupe déjà `127.0.0.1:11434` : les essais publient sur 11435 (`OLLAMA_PORT=11435`).
|
||||
|
||||
**Le recalcul des vecteurs, automatique** (LM Studio n'était pas lancé : l'instance est passée d'une adresse d'Ollama, `http://ollama-bge-m3:11434/v1`, à une autre, `http://ollama:11434/v1` ; c'est le même déclenchement que LM Studio → Ollama, un changement d'URL)
|
||||
- Premier branchement : « embedding provider changed, reindexing knowledge base », puis « reconciled embeddings … reindexed=118 », 118 extraits indexés en une minute environ.
|
||||
- Changement d'adresse (`3_brancher_ia.py`, test puis enregistrement) : de nouveau « embedding provider changed » (`old_base_url=http://ollama-bge-m3:11434/v1 new_base_url=http://ollama:11434/v1`), puis « reindexed=118 ». Empreintes (`voir_empreintes.sh`) : 118, aucune vide, **aucune identique** à celles d'avant.
|
||||
- Attention en lisant les journaux : « reconciled embeddings … reindexed=N » compte les extraits **tentés**, pas réussis. La preuve, ce sont les empreintes (instance de test) ou l'absence d'« error generating embeddings » après le message (production).
|
||||
|
||||
**Ollama arrêté pendant le recalcul**
|
||||
- Ollama arrêté, nouvelle adresse enregistrée sans test : 74 « error generating embeddings » ; les empreintes et les vecteurs précédents restent en place (rien n'est effacé, la recherche garde les anciens vecteurs).
|
||||
- Ollama relancé : LibreDesk retente seul (chaque minute) ; les 118 empreintes sont recalculées environ trois minutes après la reprise, sans intervention.
|
||||
|
||||
**L'essai des brouillons** (`4_essayer_brouillons.py`, rapport `cases/essai-brouillons-2026-11-12.md`, hors de git)
|
||||
- 5 brouillons sur 5 `completed`, en 4 à 11 s ; Mailpit inchangé pendant la génération.
|
||||
- `search_articles` appelé pour chaque brouillon (14 appels) ; scores des extraits retenus de 0,49 à 0,59, comme avec LM Studio le 2026-11-11 (0,55 à 0,59).
|
||||
- Le brouillon 4G s'appuie sur le manuel (adresse locale 192.168.1.2, Link status, APN, SIM 3FF, antenne SMA). À faire juger par Maxime, comme l'essai LM Studio.
|
||||
@@ -0,0 +1,26 @@
|
||||
#!/usr/bin/env bash
|
||||
# Lance l'instance de test (LibreDesk v2.9.0, Postgres, Redis, Mailpit). Rien ne sort : le SMTP est Mailpit.
|
||||
# bash instance-de-test/1_demarrer.sh <mot de passe System>
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")"
|
||||
MDP="${1:?usage : 1_demarrer.sh <mot de passe System>}"
|
||||
|
||||
if [ ! -f config.toml ]; then
|
||||
curl -fsS -o config.toml https://raw.githubusercontent.com/abhinavxd/libredesk/v2.9.0/config.sample.toml
|
||||
CLE=$(python3 -c 'import secrets; print(secrets.token_hex(16))')
|
||||
sed -i "s/^encryption_key = .*/encryption_key = \"$CLE\"/" config.toml
|
||||
echo "config.toml créé"
|
||||
fi
|
||||
|
||||
LIBREDESK_SYSTEM_USER_PASSWORD="$MDP" docker compose -p ldtest up -d
|
||||
|
||||
for _ in $(seq 60); do
|
||||
# une réponse HTTP, quelle qu'elle soit (401 sans connexion), suffit : le serveur écoute
|
||||
if [ "$(curl -s -o /dev/null -w '%{http_code}' http://127.0.0.1:9100/api/v1/settings/general)" != "000" ]; then
|
||||
echo "instance prête : http://127.0.0.1:9100 (Mailpit : http://127.0.0.1:9125)"
|
||||
exit 0
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
echo "LibreDesk ne répond pas après 60 s : docker logs ldtest_app" >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,37 @@
|
||||
"""Prépare une instance de test neuve : la boîte e-mail « Test » (SMTP = Mailpit, rien ne sort) et l'agent
|
||||
« Import base » (rôle Admin) avec sa clé. Écrase instance-de-test/.env (LIBREDESK_URL, LIBREDESK_ADMIN_KEY,
|
||||
LIBREDESK_ADMIN_SECRET). S'arrête si l'instance est déjà préparée.
|
||||
|
||||
python3 instance-de-test/2_creer_boite_et_cle.py <mot de passe System>
|
||||
"""
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
from connexion_admin import B, connexion, req
|
||||
|
||||
SMTP = {"enabled": True, "host": "mailpit", "port": 1025, "username": "", "password": "", "auth_protocol": "none",
|
||||
"tls_type": "none", "max_conns": 1, "max_msg_retries": 0, "idle_timeout": "5s", "pool_wait_timeout": "5s",
|
||||
"hello_hostname": ""}
|
||||
IMAP = {"host": "127.0.0.1", "port": 1, "username": "x", "password": "x", "mailbox": "INBOX", "read_interval": "1h",
|
||||
"scan_inbox_since": "1h", "tls_type": "none"}
|
||||
|
||||
|
||||
def main(mot_de_passe: str) -> None:
|
||||
connexion(mot_de_passe)
|
||||
if any(b["name"] == "Test" for b in req("GET", "/api/v1/inboxes") or []):
|
||||
sys.exit("instance déjà préparée : docker compose -p ldtest down -v, puis 1_demarrer.sh")
|
||||
req("POST", "/api/v1/inboxes", {"name": "Test", "channel": "email", "enabled": True, "csat_enabled": False,
|
||||
"from": "Support <support@example.com>",
|
||||
"config": {"auth_type": "password", "from": "Support <support@example.com>",
|
||||
"smtp": [SMTP], "imap": [IMAP]}})
|
||||
agent = req("POST", "/api/v1/agents", {"first_name": "Import", "last_name": "base", "email": "import@example.com",
|
||||
"roles": ["Admin"], "send_welcome_email": False, "enabled": True})
|
||||
cle = req("POST", f"/api/v1/agents/{agent['id']}/api-key")
|
||||
env = Path(__file__).with_name(".env")
|
||||
env.write_text(f"LIBREDESK_URL={B}\nLIBREDESK_ADMIN_KEY={cle['api_key']}\n"
|
||||
f"LIBREDESK_ADMIN_SECRET={cle['api_secret']}\n")
|
||||
print(f"prête : boîte « Test » (SMTP = Mailpit), clé d'import dans {env}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main(*sys.argv[1:2])
|
||||
@@ -0,0 +1,42 @@
|
||||
"""Configure l'IA de l'instance de test : complétion par Claude (comme la production), embeddings à l'adresse donnée.
|
||||
Teste chaque configuration avant de l'enregistrer. Rejouable : c'est lui qui fait passer l'instance d'un fournisseur
|
||||
d'embeddings à un autre (LibreDesk recalcule alors seul les vecteurs). Ne crée ni assistant ni règle.
|
||||
|
||||
ANTHROPIC_API_KEY=… python3 instance-de-test/3_brancher_ia.py <mot de passe System> <url des embeddings> <modèle> [clé]
|
||||
ex. : … 'TestAdmin-2026!' http://ollama:11434/v1 bge-m3:567m
|
||||
Sans [clé] : le jeton d'embeddings-bge-m3 (EMBEDDINGS_JETON, dans l'environnement ou dans ollama/.env), pour ne pas
|
||||
le taper dans la commande.
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
from connexion_admin import connexion, req
|
||||
|
||||
DEPOT = Path(__file__).resolve().parents[1]
|
||||
CONSIGNES = DEPOT / "snippets" / "consignes_redaction.md"
|
||||
sys.path.insert(0, str(DEPOT / "ollama"))
|
||||
from verifier_ollama import lire_jeton # noqa: E402
|
||||
|
||||
|
||||
def configurer(type_: str, config: dict) -> None:
|
||||
req("POST", f"/api/v1/ai/config/{type_}/test", config, timeout=120)
|
||||
req("PUT", f"/api/v1/ai/config/{type_}", config)
|
||||
print(f"{type_} : test réussi, configuration enregistrée")
|
||||
|
||||
|
||||
def main(mot_de_passe: str, url_embeddings: str, modele: str, cle: str | None = None) -> None:
|
||||
cle_claude = os.environ.get("ANTHROPIC_API_KEY") or sys.exit("ANTHROPIC_API_KEY manque dans l'environnement")
|
||||
cle = cle or lire_jeton() or sys.exit("pas de clé d'embeddings : EMBEDDINGS_JETON manque (environnement ou ollama/.env)")
|
||||
connexion(mot_de_passe)
|
||||
configurer("completion", {"provider": "openai", "base_url": "https://api.anthropic.com/v1", "api_key": cle_claude,
|
||||
"model": "claude-sonnet-5-5", "max_tokens": 4096, "reasoning_effort": "medium",
|
||||
"instructions": CONSIGNES.read_text(encoding="utf-8").strip(), "vision": True})
|
||||
configurer("embedding", {"provider": "openai", "base_url": url_embeddings, "api_key": cle, "model": modele,
|
||||
"dimensions": 0, "embedding_max_tokens": 2048})
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) < 4:
|
||||
sys.exit(__doc__)
|
||||
main(*sys.argv[1:5])
|
||||
@@ -0,0 +1,90 @@
|
||||
"""L'essai des brouillons sur l'instance de test (après 2_creer_boite_et_cle.py et 3_brancher_ia.py) : une conversation par mail de
|
||||
instance-de-test/mails/, « Generate reply » sur chacune, un rapport dans cases/ (hors de git) à faire juger.
|
||||
|
||||
Vérifie que Mailpit ne reçoit rien pendant la génération : un brouillon ne doit jamais partir.
|
||||
|
||||
python3 instance-de-test/4_essayer_brouillons.py [mot de passe System]
|
||||
"""
|
||||
import datetime
|
||||
import html
|
||||
import json
|
||||
import re
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
from connexion_admin import connexion, req
|
||||
|
||||
MAILPIT = "http://127.0.0.1:9125/api/v1/messages"
|
||||
ICI = Path(__file__).resolve().parent
|
||||
MAILS = ICI / "mails"
|
||||
ESSAIS = ["4g", "cible-perdue", "fuseau", "hors-base", "suite"] # « suite » : après l'échange « histoire »
|
||||
|
||||
|
||||
def total_mailpit() -> int:
|
||||
with urllib.request.urlopen(MAILPIT, timeout=10) as r:
|
||||
return json.loads(r.read())["total"]
|
||||
|
||||
|
||||
def en_html(texte: str) -> str:
|
||||
return "".join(f"<p>{html.escape(p).replace(chr(10), '<br>')}</p>" for p in texte.strip().split("\n\n"))
|
||||
|
||||
|
||||
def en_texte(contenu: str) -> str:
|
||||
t = re.sub(r"<li>", "- ", re.sub(r"</p>|<br\s*/?>|</li>|</ul>", "\n", contenu))
|
||||
return re.sub(r"\n{3,}", "\n\n", html.unescape(re.sub(r"<[^>]+>", "", t))).strip()
|
||||
|
||||
|
||||
def mail(nom: str) -> tuple[str, str]:
|
||||
objet, corps = (MAILS / f"{nom}.txt").read_text(encoding="utf-8").split("\n", 1)
|
||||
return objet.strip(), corps.strip()
|
||||
|
||||
|
||||
def conversation(boite: int, nom: str, contact: str) -> str:
|
||||
objet, corps = mail(nom)
|
||||
conv = req("POST", "/api/v1/conversations", {"inbox_id": boite, "contact_email": contact, "first_name": "Client",
|
||||
"last_name": nom, "initiator": "contact", "subject": objet,
|
||||
"content": en_html(corps)})
|
||||
return conv["uuid"]
|
||||
|
||||
|
||||
def main(mot_de_passe: str = "TestAdmin-2026!") -> None:
|
||||
connexion(mot_de_passe)
|
||||
boite = next(b["id"] for b in req("GET", "/api/v1/inboxes") if b["name"] == "Test")
|
||||
avant = total_mailpit()
|
||||
# L'échange précédent du contact « suite » : sa question et la réponse de l'agent (elle part dans Mailpit).
|
||||
histoire = conversation(boite, "histoire", "client-suite@example.com")
|
||||
req("POST", f"/api/v1/conversations/{histoire}/messages",
|
||||
{"message": en_html((MAILS / "histoire-reponse.txt").read_text(encoding="utf-8")), "private": False,
|
||||
"sender_type": "agent", "to": ["client-suite@example.com"]})
|
||||
uuids = {n: conversation(boite, n, "client-suite@example.com" if n == "suite" else f"client-{n}@example.com")
|
||||
for n in ESSAIS}
|
||||
for _ in range(30): # attendre que la réponse de l'agent soit arrivée dans Mailpit
|
||||
if total_mailpit() > avant:
|
||||
break
|
||||
time.sleep(1)
|
||||
reference = total_mailpit()
|
||||
|
||||
lignes = [f"# Essai des brouillons, {datetime.date.today()}", ""]
|
||||
for n in ESSAIS:
|
||||
objet, corps = mail(n)
|
||||
debut = time.monotonic()
|
||||
rep = req("POST", "/api/v1/ai/generate-reply", {"conversation_uuid": uuids[n], "instruction": ""}, timeout=300)
|
||||
duree = time.monotonic() - debut
|
||||
brouillon = en_texte(rep.get("content") or "") if rep.get("status") == "completed" else json.dumps(rep)
|
||||
print(f"{n} : {rep.get('status')} en {duree:.0f} s")
|
||||
lignes += [f"## {n} : {objet}", "", f"Durée : {duree:.0f} s ; statut : {rep.get('status')}", "",
|
||||
"**Le mail**", "", corps, "", "**Le brouillon**", "", brouillon, ""]
|
||||
|
||||
time.sleep(5)
|
||||
if total_mailpit() != reference:
|
||||
sys.exit(f"un message est sorti pendant la génération : Mailpit {reference} → {total_mailpit()}")
|
||||
sortie = ICI.parent / "cases" / f"essai-brouillons-{datetime.date.today()}.md"
|
||||
sortie.parent.mkdir(exist_ok=True)
|
||||
sortie.write_text("\n".join(lignes), encoding="utf-8")
|
||||
print(f"Mailpit inchangé pendant la génération ({reference}) ; rapport : {sortie}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main(*sys.argv[1:2])
|
||||
@@ -0,0 +1,33 @@
|
||||
"""La session de l'administrateur `System` sur l'instance de test (127.0.0.1:9100), partagée par les scripts de ce
|
||||
dossier. Instance de test seulement : jamais la production."""
|
||||
import http.cookiejar
|
||||
import json
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
B = "http://127.0.0.1:9100"
|
||||
_jar = http.cookiejar.CookieJar()
|
||||
_op = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(_jar))
|
||||
|
||||
|
||||
def req(methode: str, chemin: str, corps: dict | None = None, timeout: int = 60) -> object:
|
||||
"""Une requête de l'administrateur ; rend `data`. S'arrête sur une erreur HTTP, sans jamais afficher le corps
|
||||
envoyé (il peut porter une clé)."""
|
||||
r = urllib.request.Request(B + chemin, method=methode,
|
||||
data=json.dumps(corps).encode() if corps is not None else None,
|
||||
headers={"Content-Type": "application/json", "X-CSRFTOKEN": "t0k3n"})
|
||||
try:
|
||||
with _op.open(r, timeout=timeout) as x:
|
||||
return json.loads(x.read() or b"{}").get("data")
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
sys.exit(f"{methode} {chemin} : {e.code} {e.read().decode(errors='replace')[:300]}")
|
||||
|
||||
|
||||
def connexion(mot_de_passe: str) -> None:
|
||||
req("POST", "/api/v1/auth/login", {"email": "System", "password": mot_de_passe})
|
||||
for c in _jar:
|
||||
c.secure = False # cookies Secure : http local
|
||||
_jar.set_cookie(http.cookiejar.Cookie(0, "csrf_token", "t0k3n", None, False, "127.0.0.1", False, False, "/", True,
|
||||
False, None, False, None, None, {})) # le serveur compare cookie et en-tête
|
||||
@@ -0,0 +1,66 @@
|
||||
services:
|
||||
# Libredesk app
|
||||
app: # LibreDesk à la version de la production (v2.9.0)
|
||||
image: libredesk/libredesk:v2.9.0
|
||||
container_name: ldtest_app
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "127.0.0.1:9100:9000"
|
||||
environment:
|
||||
# If the password is set during first docker-compose up, the system user password will be set to this value.
|
||||
# You can always set system user password later by running `docker exec -it libredesk_app ./libredesk --set-system-user-password`.
|
||||
LIBREDESK_SYSTEM_USER_PASSWORD: ${LIBREDESK_SYSTEM_USER_PASSWORD:-}
|
||||
networks:
|
||||
- libredesk
|
||||
depends_on:
|
||||
- db
|
||||
- redis
|
||||
volumes:
|
||||
- ./uploads:/libredesk/uploads:rw
|
||||
- ./config.toml:/libredesk/config.toml
|
||||
command: [sh, -c, "./libredesk --install --idempotent-install --yes --config /libredesk/config.toml && ./libredesk --upgrade --yes --config /libredesk/config.toml && ./libredesk --config /libredesk/config.toml"]
|
||||
|
||||
# PostgreSQL database
|
||||
db:
|
||||
image: postgres:17-alpine
|
||||
container_name: ldtest_db
|
||||
restart: unless-stopped
|
||||
networks:
|
||||
- libredesk
|
||||
environment:
|
||||
# Set these environment variables to configure the database, defaults to libredesk.
|
||||
POSTGRES_USER: ${POSTGRES_USER:-libredesk}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-libredesk}
|
||||
POSTGRES_DB: ${POSTGRES_DB:-libredesk}
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U ${POSTGRES_USER:-libredesk} -d ${POSTGRES_DB:-libredesk}"]
|
||||
interval: 10s
|
||||
timeout: 5s
|
||||
retries: 6
|
||||
volumes:
|
||||
- postgres-data:/var/lib/postgresql/data
|
||||
|
||||
# Redis
|
||||
redis:
|
||||
image: redis:7-alpine
|
||||
container_name: ldtest_redis
|
||||
restart: unless-stopped
|
||||
networks:
|
||||
- libredesk
|
||||
volumes:
|
||||
- redis-data:/data
|
||||
|
||||
mailpit: # SMTP piège : tout « envoi » y reste, rien ne sort
|
||||
image: axllent/mailpit:v1.27
|
||||
container_name: ldtest_mailpit
|
||||
ports:
|
||||
- "127.0.0.1:9125:8025"
|
||||
networks:
|
||||
- libredesk
|
||||
|
||||
networks:
|
||||
libredesk:
|
||||
|
||||
volumes:
|
||||
postgres-data:
|
||||
redis-data:
|
||||
@@ -0,0 +1,10 @@
|
||||
Station sans connexion 4G
|
||||
|
||||
Bonjour,
|
||||
|
||||
Nous avons installé la station hier sur le chantier. Elle est allumée (la LED clignote) mais elle n'apparaît pas en ligne sur la plateforme et nous ne recevons aucune donnée. La carte SIM a été insérée par notre technicien.
|
||||
|
||||
Que devons-nous vérifier ?
|
||||
|
||||
Merci d'avance,
|
||||
Julie Exemple
|
||||
@@ -0,0 +1,8 @@
|
||||
Une cible n'est plus mesurée
|
||||
|
||||
Salut,
|
||||
|
||||
Depuis mardi, la cible P4 n'a plus aucune mesure sur la page des déplacements. Les autres cibles sont normales. On n'a rien touché sur place. Tu sais ce qui peut causer ça ?
|
||||
|
||||
Merci,
|
||||
Thomas
|
||||
@@ -0,0 +1,8 @@
|
||||
Zeitzone im CSV-Export
|
||||
|
||||
Guten Tag,
|
||||
|
||||
wir haben die Messdaten als CSV exportiert und wollen sie mit unseren eigenen Messungen vergleichen. In welcher Zeitzone sind die Zeitstempel im Export angegeben? Müssen wir die Sommerzeit berücksichtigen?
|
||||
|
||||
Freundliche Grüsse
|
||||
Anna Beispiel
|
||||
@@ -0,0 +1,5 @@
|
||||
Bonjour,
|
||||
|
||||
Avec la veille activée entre les mesures (une mesure toutes les 15 minutes), la station tient environ 5 jours sur sa batterie. Deux jours sans courant ne posent donc pas de problème, à condition que la batterie soit pleine au départ.
|
||||
|
||||
Salutations,
|
||||
@@ -0,0 +1,8 @@
|
||||
Autonomie de la batterie
|
||||
|
||||
Bonjour,
|
||||
|
||||
Le chantier sera sans courant pendant deux jours la semaine prochaine. Combien de temps la station tient-elle sur sa batterie ?
|
||||
|
||||
Cordialement,
|
||||
Pierre Exemple
|
||||
@@ -0,0 +1,8 @@
|
||||
Facture du deuxième trimestre
|
||||
|
||||
Bonjour,
|
||||
|
||||
Notre service comptable n'a pas reçu la facture du deuxième trimestre pour la location de la station. Pouvez-vous nous la renvoyer, et nous dire si le montant a changé par rapport au premier trimestre ?
|
||||
|
||||
Cordialement,
|
||||
Marie Exemple
|
||||
@@ -0,0 +1,8 @@
|
||||
Coupure de courant terminée
|
||||
|
||||
Bonjour,
|
||||
|
||||
Comme annoncé, le chantier a été sans courant mercredi et jeudi. Le courant est revenu vendredi matin, mais la station n'a plus envoyé de mesures depuis jeudi soir. Est-ce normal ? Faut-il intervenir sur place ?
|
||||
|
||||
Cordialement,
|
||||
Pierre Exemple
|
||||
Executable
+6
@@ -0,0 +1,6 @@
|
||||
#!/usr/bin/env bash
|
||||
# Les empreintes d'indexation des extraits actifs (id|empreinte), lues dans la base de l'instance de TEST.
|
||||
# Lecture seule ; jamais sur la production. Une empreinte vide : extrait pas encore indexé.
|
||||
set -euo pipefail
|
||||
docker exec ldtest_db psql -U libredesk -d libredesk -At \
|
||||
-c "SELECT id, embedded_fingerprint FROM ai_knowledge_base WHERE enabled ORDER BY id"
|
||||
@@ -0,0 +1,27 @@
|
||||
# Le portier de l'image embeddings-bge-m3 : seul port publié (11434), il ne laisse passer vers Ollama
|
||||
# (127.0.0.1:11435, joignable seulement dans le conteneur) que les requêtes qui portent
|
||||
# « Authorization: Bearer <EMBEDDINGS_JETON> ». Le jeton est donné au lancement, jamais rangé dans l'image.
|
||||
# demarrer.sh vérifie le jeton avant de lancer Caddy : 32 caractères au moins, lettres, chiffres, « _ » et « - »
|
||||
# seulement (« * » serait un joker pour le filtre header, « } » casserait la substitution).
|
||||
{
|
||||
admin off
|
||||
auto_https off
|
||||
persist_config off
|
||||
}
|
||||
|
||||
:11434 {
|
||||
@autorise header Authorization "Bearer {$EMBEDDINGS_JETON}"
|
||||
|
||||
handle @autorise {
|
||||
reverse_proxy 127.0.0.1:11435 {
|
||||
# Ollama, lié à 127.0.0.1, refuse (403) un Host qui n'est pas local, comme « ollama:11434 ».
|
||||
header_up Host 127.0.0.1:11435
|
||||
header_up -Authorization
|
||||
}
|
||||
}
|
||||
|
||||
handle {
|
||||
header WWW-Authenticate "Bearer"
|
||||
respond "jeton manquant ou invalide" 401
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,45 @@
|
||||
# embeddings-bge-m3 : un service d'embeddings (bge-m3, 1024 dimensions, format OpenAI) protégé par un jeton.
|
||||
# Ollama avec bge-m3 embarqué : l'image démarre sans rien télécharger, et c'est le même modèle partout.
|
||||
# Devant Ollama, Caddy exige « Authorization: Bearer <EMBEDDINGS_JETON> » (Caddyfile, demarrer.sh).
|
||||
# Versions figées (Ollama 2026-11-12, Caddy 2026-11-18) ; les changer = reconstruire et revérifier
|
||||
# (ollama/verifier_ollama.py).
|
||||
|
||||
# 1. Le modèle, téléchargé à la construction par l'image officielle (un serveur lancé le temps du pull) ;
|
||||
# puis les bibliothèques GPU retirées (4,4 Go de CUDA) : bge-m3 tourne sur processeur.
|
||||
FROM ollama/ollama:0.40.16 AS source
|
||||
RUN ollama serve >/tmp/serve.log 2>&1 & \
|
||||
for i in $(seq 30); do ollama list >/dev/null 2>&1 && break; sleep 1; done && \
|
||||
ollama pull bge-m3:567m && \
|
||||
ollama list | grep -q 'bge-m3:567m' && \
|
||||
rm -rf /usr/lib/ollama/cuda_v12 /usr/lib/ollama/cuda_v13 /usr/lib/ollama/mlx_cuda_v13 \
|
||||
/usr/lib/ollama/vulkan /usr/lib/ollama/include
|
||||
|
||||
# 2. Le portier : Caddy, un seul binaire statique, pris dans l'image officielle.
|
||||
FROM caddy:2.10.2-alpine AS portier
|
||||
|
||||
# 3. L'image livrée : la même Ubuntu 24.04 que l'image officielle d'Ollama, Ollama, ses bibliothèques processeur,
|
||||
# le modèle, et Caddy.
|
||||
FROM ubuntu:noble-20261024.1
|
||||
LABEL org.opencontainers.image.title="embeddings-bge-m3" \
|
||||
org.opencontainers.image.description="Service d'embeddings bge-m3:567m (1024 dimensions), API OpenAI /v1/embeddings, sur processeur, hors ligne, protégé par un jeton (EMBEDDINGS_JETON). Pour la recherche dans la base de connaissances de LibreDesk." \
|
||||
org.opencontainers.image.source="https://exchange.sensima.ch/maxime.pasquier/aimsight-libredesk" \
|
||||
org.opencontainers.image.version="0.40.16-567m"
|
||||
COPY --from=source /usr/bin/ollama /usr/bin/ollama
|
||||
COPY --from=source /usr/lib/ollama /usr/lib/ollama
|
||||
# Seulement les modèles : la clé d'identité (id_ed25519) créée par le serveur du pull reste dans l'étape 1 ;
|
||||
# chaque conteneur génère la sienne au premier démarrage.
|
||||
COPY --from=source /root/.ollama/models /root/.ollama/models
|
||||
COPY --from=portier /usr/bin/caddy /usr/bin/caddy
|
||||
COPY Caddyfile /etc/caddy/Caddyfile
|
||||
COPY demarrer.sh /usr/local/bin/demarrer.sh
|
||||
|
||||
# Ollama n'écoute que dans le conteneur (127.0.0.1:11435) ; seul Caddy (11434) est joignable de l'extérieur, et
|
||||
# c'est le compose qui choisit où ce port est publié.
|
||||
# KEEP_ALIVE=-1 : le modèle reste chargé, le premier brouillon de la journée ne paie pas le chargement.
|
||||
# NO_CLOUD=1 : aucun appel à ollama.com (recommandations, modèles en ligne) ; tout est local.
|
||||
ENV OLLAMA_HOST=127.0.0.1:11435 \
|
||||
OLLAMA_KEEP_ALIVE=-1 \
|
||||
OLLAMA_NO_CLOUD=1
|
||||
EXPOSE 11434
|
||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=20s --retries=3 CMD ["ollama", "list"]
|
||||
ENTRYPOINT ["/bin/bash", "/usr/local/bin/demarrer.sh"]
|
||||
@@ -0,0 +1,13 @@
|
||||
# Surcharge : rattache embeddings-bge-m3 au réseau Docker de LibreDesk, où il est joignable sous le nom « ollama »
|
||||
# (http://ollama:11434/v1, avec le jeton comme pour une adresse publiée). Localement RESEAU_LIBREDESK=ldtest_libredesk ; sur le serveur, le réseau de LibreDesk.
|
||||
# RESEAU_LIBREDESK=<réseau> docker compose -f ollama/compose.yml -f ollama/compose.reseau.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
networks:
|
||||
libredesk:
|
||||
aliases: [ollama]
|
||||
|
||||
networks:
|
||||
libredesk:
|
||||
name: ${RESEAU_LIBREDESK:?donner le réseau Docker de LibreDesk dans RESEAU_LIBREDESK}
|
||||
external: true
|
||||
@@ -0,0 +1,20 @@
|
||||
# embeddings-bge-m3 (Ollama + bge-m3 derrière Caddy), pour LibreDesk. Chaque requête doit porter
|
||||
# « Authorization: Bearer <EMBEDDINGS_JETON> » (dans LibreDesk : le champ « API key » des embeddings).
|
||||
# - ollama/.env (hors de git, jamais lu par Claude) : EMBEDDINGS_JETON (32 caractères au moins, lettres, chiffres,
|
||||
# « _ » et « - ») ; sans lui, le conteneur refuse de démarrer. Et, s'il le faut, OLLAMA_BIND, OLLAMA_PORT.
|
||||
# - Le jeton ne dispense pas de garder le port à l'intérieur : il n'est publié que sur 127.0.0.1, sauf si OLLAMA_BIND
|
||||
# donne une autre adresse (l'adresse INTERNE du serveur, jamais une adresse publique ; HTTP en clair).
|
||||
# - OLLAMA_PORT change seulement le port publié (11434 par défaut, celui du serveur) : utile sur un poste où un autre
|
||||
# Ollama occupe déjà 11434.
|
||||
# docker compose -f ollama/compose.yml build
|
||||
# OLLAMA_BIND=<adresse interne> docker compose -f ollama/compose.yml up -d
|
||||
services:
|
||||
ollama:
|
||||
build: .
|
||||
image: exchange.sensima.ch/maxime.pasquier/embeddings-bge-m3:0.40.16-567m
|
||||
container_name: embeddings-bge-m3
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
EMBEDDINGS_JETON: ${EMBEDDINGS_JETON:-}
|
||||
ports:
|
||||
- "${OLLAMA_BIND:-127.0.0.1}:${OLLAMA_PORT:-11434}:11434"
|
||||
@@ -0,0 +1,32 @@
|
||||
#!/bin/bash
|
||||
# Démarrage de l'image embeddings-bge-m3 : Ollama sur 127.0.0.1:11435 (seulement dans le conteneur), et devant lui
|
||||
# Caddy sur 11434, qui exige le jeton (Caddyfile). Sans jeton valable, rien ne démarre : on ne peut pas lancer le
|
||||
# service ouvert par oubli. Si l'un des deux s'arrête, le conteneur s'arrête, et Docker le relance (unless-stopped).
|
||||
set -uo pipefail
|
||||
|
||||
jeton="${EMBEDDINGS_JETON:-}"
|
||||
if [[ ! "$jeton" =~ ^[A-Za-z0-9_-]{32,}$ ]]; then
|
||||
echo "EMBEDDINGS_JETON manquant ou invalide : 32 caractères au moins, lettres, chiffres, « _ » et « - » seulement." >&2
|
||||
echo "Par exemple : python3 -c 'import secrets; print(secrets.token_urlsafe(32))'" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# Ollama n'a pas besoin du jeton : il ne le reçoit pas.
|
||||
env -u EMBEDDINGS_JETON /usr/bin/ollama serve &
|
||||
ollama=$!
|
||||
/usr/bin/caddy run --config /etc/caddy/Caddyfile --adapter caddyfile &
|
||||
caddy=$!
|
||||
|
||||
arreter() {
|
||||
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||
wait
|
||||
exit 0
|
||||
}
|
||||
trap arreter TERM INT
|
||||
|
||||
wait -n
|
||||
code=$?
|
||||
echo "Ollama ou Caddy s'est arrêté (code $code) : arrêt du conteneur." >&2
|
||||
kill -TERM "$ollama" "$caddy" 2>/dev/null
|
||||
wait
|
||||
exit 1
|
||||
@@ -0,0 +1,88 @@
|
||||
"""Vérifie qu'une adresse embeddings-bge-m3 (format OpenAI) sert bge-m3:567m en dimension 1024, comme LibreDesk
|
||||
l'attend, avec le jeton, et qu'elle refuse une requête sans jeton.
|
||||
Bibliothèque standard seulement : tourne sur le poste, sur le serveur, ou dans un conteneur python.
|
||||
|
||||
python3 ollama/verifier_ollama.py http://127.0.0.1:11434/v1
|
||||
|
||||
Le jeton vient de la variable EMBEDDINGS_JETON, sinon du fichier .env posé à côté de ce script (ollama/.env, ou
|
||||
~/ollama/.env sur le serveur) : il n'apparaît ni dans la commande ni dans l'historique, et n'est jamais affiché.
|
||||
"""
|
||||
from __future__ import annotations # lisible par le Python du serveur, même ancien (3.8, 3.9)
|
||||
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from pathlib import Path
|
||||
|
||||
MODELE = "bge-m3:567m"
|
||||
DIMENSION = 1024
|
||||
VARIABLE = "EMBEDDINGS_JETON"
|
||||
|
||||
|
||||
class JetonRefuse(RuntimeError):
|
||||
pass
|
||||
|
||||
|
||||
def lire_jeton(env: dict | None = None, fichier: Path | None = None) -> str | None:
|
||||
"""Le jeton de `env` (os.environ par défaut), sinon celui du .env à côté de ce script ; None s'il n'y en a pas."""
|
||||
env = os.environ if env is None else env
|
||||
fichier = Path(__file__).with_name(".env") if fichier is None else fichier
|
||||
if env.get(VARIABLE):
|
||||
return env[VARIABLE]
|
||||
if not fichier.is_file():
|
||||
return None
|
||||
for ligne in fichier.read_text(encoding="utf-8").splitlines():
|
||||
cle, egal, valeur = ligne.strip().partition("=")
|
||||
if egal and cle.strip() == VARIABLE:
|
||||
return valeur.strip().strip("'\"") or None
|
||||
return None
|
||||
|
||||
|
||||
def _appel(url: str, jeton: str | None, corps: dict | None = None) -> dict:
|
||||
entetes = {"Content-Type": "application/json"}
|
||||
if jeton is not None:
|
||||
entetes["Authorization"] = f"Bearer {jeton}"
|
||||
r = urllib.request.Request(url, data=json.dumps(corps).encode() if corps is not None else None, headers=entetes)
|
||||
try:
|
||||
with urllib.request.urlopen(r, timeout=120) as rep:
|
||||
return json.loads(rep.read())
|
||||
except urllib.error.HTTPError as e:
|
||||
with e:
|
||||
if e.code == 401:
|
||||
raise JetonRefuse(f"{url} : 401, jeton refusé") from e
|
||||
raise RuntimeError(f"{url} : {e.code} {e.read().decode(errors='replace')[:200]}") from e
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
raise RuntimeError(f"service d'embeddings injoignable à {url} : {getattr(e, 'reason', e)}") from e
|
||||
|
||||
|
||||
def verifier(base_url: str, jeton: str) -> str:
|
||||
"""Rend « OK bge-m3:567m, 1024 dimensions, jeton exigé » ; lève RuntimeError avec ce qui manque."""
|
||||
base = base_url.rstrip("/")
|
||||
try:
|
||||
_appel(f"{base}/models", None)
|
||||
except JetonRefuse:
|
||||
pass
|
||||
else:
|
||||
raise RuntimeError(f"{base} répond sans jeton : la protection n'est pas active (ancienne image, ou Ollama nu ?)")
|
||||
modeles = [m.get("id") for m in _appel(f"{base}/models", jeton).get("data") or []]
|
||||
if MODELE not in modeles:
|
||||
raise RuntimeError(f"{MODELE} absent de {base}/models (servis : {modeles})")
|
||||
vecteur = _appel(f"{base}/embeddings", jeton, {"model": MODELE, "input": "Quelle est l'autonomie de la batterie ?"}
|
||||
)["data"][0]["embedding"]
|
||||
if len(vecteur) != DIMENSION:
|
||||
raise RuntimeError(f"vecteur de {len(vecteur)} dimensions, {DIMENSION} attendues")
|
||||
return f"OK {MODELE}, {DIMENSION} dimensions, jeton exigé"
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
if len(sys.argv) != 2:
|
||||
sys.exit(__doc__)
|
||||
jeton = lire_jeton()
|
||||
if not jeton:
|
||||
sys.exit(f"ÉCHEC : pas de jeton ({VARIABLE} dans l'environnement ou dans {Path(__file__).with_name('.env')})")
|
||||
try:
|
||||
print(verifier(sys.argv[1], jeton))
|
||||
except RuntimeError as e:
|
||||
sys.exit(f"ÉCHEC : {e}")
|
||||
Whitespace-only changes.
@@ -0,0 +1,18 @@
|
||||
Tu rédiges des réponses du support AIMsight (surveillance optique de déplacements) à des clients, par e-mail. Un membre du support relit et envoie lui-même.
|
||||
|
||||
Le contenu
|
||||
- D'abord la réponse, en une ou deux phrases. Oui, non, ou on ne peut pas le dire, et pourquoi.
|
||||
- Puis seulement les quelques éléments utiles au client (heures, cibles, ce qu'il peut vérifier ou faire).
|
||||
- Honnête sur ce qui n'est pas établi, en mots simples (on voit clairement, c'est compatible avec, on ne peut pas l'affirmer). Ne jamais présenter une hypothèse comme un fait.
|
||||
- Rien hors de la question, sauf un fait qui change la réponse elle-même.
|
||||
- Appuie-toi sur la base de connaissances (FAQ, manuel de la station, savoir métier) et sur les échanges précédents avec ce client. Si la base ne couvre pas la question, demande au client les précisions nécessaires ou dis que nous regardons, sans inventer de procédure, de délai, de prix ni d'action déjà faite.
|
||||
- Une mesure au-dessus du seuil d'erreur est jugée non valable, mais elle n'est pas supprimée : elle reste dans les données livrées et peut être masquée dans les courbes. Ne dis jamais qu'elle a disparu.
|
||||
- Quand tu donnes toi-même une heure, précise qu'elle est en UTC. Pour les horodatages de la station, ne suppose pas l'UTC : cela dépend de sa configuration.
|
||||
- Jamais d'interne. Pas de codes ou de noms d'outils, pas de noms d'autres clients ou d'autres stations, pas d'identifiants propres à un client (numéro de SIM, adresse de sa station sur Internet), pas de seuils ou de réglages internes. Les réglages documentés dans le manuel (par exemple l'adresse locale par défaut de la station) peuvent être donnés.
|
||||
|
||||
La forme
|
||||
- Dans la langue du client (français, allemand, anglais), avec le tutoiement s'il tutoie, le vouvoiement sinon. Ne mélange jamais les deux dans un même message.
|
||||
- Commence par Bonjour, (ou l'équivalent dans sa langue), puis une ligne qui répond à sa politesse s'il en fait une. Termine par Salutations, (ou l'équivalent), sans signature : l'agent signe lui-même.
|
||||
- Le mail doit se lire comme écrit par une personne. Des phrases simples et directes, les mots du client pour ses instruments. Pas de formules toutes faites (n'hésitez pas à revenir vers nous, j'espère que ces éléments vous aideront, en résumé).
|
||||
- Pas de deux-points comme ponctuation (les heures mises à part), pas de tiret long, pas de flèche, pas de gras, pas de titre. S'il y a plusieurs faits, une liste à puces simple.
|
||||
- Pas d'objet de mail, pas de pièce jointe annoncée.
|
||||
@@ -0,0 +1,131 @@
|
||||
"""Envoie les textes de snippets/textes/ dans LibreDesk : ce sont ses snippets (les « extraits », privés, lus par l'IA seulement).
|
||||
|
||||
Idempotent : apparie par titre, crée l'absent, met à jour ce qui a changé, ne touche pas le reste. Ne supprime jamais :
|
||||
un extrait de LibreDesk absent de snippets/textes/ est seulement signalé. Ne parle qu'aux routes des extraits. Simulation par
|
||||
défaut : rien n'est écrit sans --ecrire. Il faut une clé d'administrateur (les routes exigent ai:manage).
|
||||
|
||||
LIBREDESK_URL=… LIBREDESK_ADMIN_KEY=… LIBREDESK_ADMIN_SECRET=… python -m snippets.envoyer [--ecrire]
|
||||
"""
|
||||
import html as html_lib
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
from dataclasses import dataclass, field
|
||||
from pathlib import Path
|
||||
|
||||
from snippets.fichiers import Extrait, lire_textes
|
||||
|
||||
TEXTES = Path(__file__).resolve().parent / "textes"
|
||||
PUCE = re.compile(r"^\s*- ")
|
||||
|
||||
|
||||
def html(e: Extrait) -> str:
|
||||
"""Paragraphes séparés par une ligne vide → <p> (lignes jointes par <br>), lignes « - » → <ul><li>, texte échappé,
|
||||
puis la source."""
|
||||
morceaux = []
|
||||
for paragraphe in e.contenu.split("\n\n"):
|
||||
lignes = [ligne for ligne in paragraphe.splitlines() if ligne.strip()]
|
||||
i = 0
|
||||
while i < len(lignes):
|
||||
liste = PUCE.match(lignes[i]) is not None
|
||||
j = i
|
||||
while j < len(lignes) and (PUCE.match(lignes[j]) is not None) == liste:
|
||||
j += 1
|
||||
bloc = [html_lib.escape(PUCE.sub("", ligne).strip() if liste else ligne.strip(), quote=False)
|
||||
for ligne in lignes[i:j]]
|
||||
morceaux.append("<ul>" + "".join(f"<li>{b}</li>" for b in bloc) + "</ul>" if liste
|
||||
else "<p>" + "<br>".join(bloc) + "</p>")
|
||||
i = j
|
||||
morceaux.append(f"<p>Source : {html_lib.escape(e.source, quote=False)}</p>")
|
||||
return "".join(morceaux)
|
||||
|
||||
|
||||
def _texte(contenu_html: str) -> str:
|
||||
"""Le texte sans balises, entités décodées, espaces réduits : LibreDesk peut reformater le HTML qu'il garde."""
|
||||
return " ".join(html_lib.unescape(re.sub(r"<[^>]+>", " ", contenu_html or "")).split())
|
||||
|
||||
|
||||
class Extraits:
|
||||
"""Le client restreint aux extraits de la base de connaissances."""
|
||||
|
||||
def __init__(self, url: str, cle: str, secret: str, ecrire: bool):
|
||||
self.url, self.ecrire = url.rstrip("/"), ecrire
|
||||
self._auth = f"token {cle}:{secret}"
|
||||
|
||||
def _requete(self, methode: str, chemin: str, corps: dict | None = None):
|
||||
url = urllib.parse.urljoin(self.url + "/", chemin.lstrip("/"))
|
||||
r = urllib.request.Request(url, method=methode, data=json.dumps(corps).encode() if corps is not None else None,
|
||||
headers={"Content-Type": "application/json"})
|
||||
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
|
||||
r.add_unredirected_header("Authorization", self._auth)
|
||||
try:
|
||||
with urllib.request.urlopen(r, timeout=30) as rep:
|
||||
return json.loads(rep.read() or b"{}").get("data")
|
||||
except urllib.error.HTTPError as err:
|
||||
with err:
|
||||
sys.exit(f"{methode} {chemin} : {err.code} {err.read().decode(errors='replace')[:300]}")
|
||||
except (urllib.error.URLError, TimeoutError) as err:
|
||||
sys.exit(f"LibreDesk injoignable à {self.url} : {getattr(err, 'reason', err)}")
|
||||
|
||||
def lister(self) -> list[dict]:
|
||||
return self._requete("GET", "/api/v1/ai/snippets") or []
|
||||
|
||||
def _corps(self, e: Extrait) -> dict:
|
||||
return {"title": e.titre, "content": html(e), "enabled": True}
|
||||
|
||||
def creer(self, e: Extrait) -> None:
|
||||
if not self.ecrire:
|
||||
print(f"[simulation] créer : {e.titre}")
|
||||
return
|
||||
self._requete("POST", "/api/v1/ai/snippets", self._corps(e))
|
||||
|
||||
def modifier(self, id: int, e: Extrait) -> None: # noqa: A002 (le nom de l'interface du plan)
|
||||
if not self.ecrire:
|
||||
print(f"[simulation] modifier ({id}) : {e.titre}")
|
||||
return
|
||||
self._requete("PUT", f"/api/v1/ai/snippets/{id}", self._corps(e))
|
||||
|
||||
|
||||
@dataclass
|
||||
class Bilan:
|
||||
crees: list[str] = field(default_factory=list)
|
||||
modifies: list[str] = field(default_factory=list)
|
||||
inchanges: list[str] = field(default_factory=list)
|
||||
inconnus: list[str] = field(default_factory=list)
|
||||
|
||||
|
||||
def synchroniser(api: Extraits, extraits: list[Extrait]) -> Bilan:
|
||||
existants = {s["title"]: s for s in api.lister()}
|
||||
bilan = Bilan()
|
||||
for e in extraits:
|
||||
s = existants.get(e.titre)
|
||||
if s is None:
|
||||
api.creer(e)
|
||||
bilan.crees.append(e.titre)
|
||||
elif _texte(s.get("content")) != _texte(html(e)):
|
||||
api.modifier(s["id"], e)
|
||||
bilan.modifies.append(e.titre)
|
||||
else:
|
||||
bilan.inchanges.append(e.titre)
|
||||
titres = {e.titre for e in extraits}
|
||||
bilan.inconnus = [t for t, s in existants.items() if s.get("source") == "manual" and t not in titres]
|
||||
return bilan
|
||||
|
||||
|
||||
def main(argv: list[str]) -> None:
|
||||
ecrire = "--ecrire" in argv
|
||||
api = Extraits(os.environ["LIBREDESK_URL"], os.environ["LIBREDESK_ADMIN_KEY"], os.environ["LIBREDESK_ADMIN_SECRET"],
|
||||
ecrire=ecrire)
|
||||
b = synchroniser(api, lire_textes(TEXTES))
|
||||
print(f"créés {len(b.crees)}, modifiés {len(b.modifies)}, inchangés {len(b.inchanges)}"
|
||||
+ ("" if ecrire else " (simulation : rien n'a été écrit)"))
|
||||
for t in b.inconnus:
|
||||
print(f"dans LibreDesk mais pas dans snippets/textes/ (non supprimé) : {t}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main(sys.argv[1:])
|
||||
@@ -0,0 +1,110 @@
|
||||
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
|
||||
de LibreDesk ; écriture et lecture de snippets/textes/ (un fichier Markdown par extrait)."""
|
||||
import re
|
||||
import unicodedata
|
||||
from dataclasses import dataclass
|
||||
from pathlib import Path
|
||||
|
||||
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}[\s]*(\d+)") # « titre . . . . page » ; pdftotext met parfois U+2060
|
||||
PUCE = re.compile(r"\s*�\s*")
|
||||
|
||||
|
||||
def slug(titre: str) -> str:
|
||||
sans_accents = unicodedata.normalize("NFKD", titre).encode("ascii", "ignore").decode()
|
||||
return re.sub(r"-+", "-", re.sub(r"[^a-z0-9]", "-", sans_accents.lower())).strip("-")
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class Extrait:
|
||||
titre: str
|
||||
contenu: str
|
||||
source: str
|
||||
|
||||
@property
|
||||
def cle(self) -> str:
|
||||
return slug(self.titre) + ".md"
|
||||
|
||||
|
||||
def _parasite(ligne: str, parasites: list[str]) -> bool:
|
||||
"""En-tête, pied de page ou numéro de page."""
|
||||
nette = ligne.strip()
|
||||
return nette in parasites or bool(re.fullmatch(r"\d+", nette))
|
||||
|
||||
|
||||
def _table_des_matieres(lignes: list[str], parasites: list[str]) -> tuple[list[str], int]:
|
||||
"""Les titres de la table des matières et l'indice de sa dernière ligne. Un titre peut continuer sur la ligne
|
||||
suivante, et plusieurs entrées peuvent être collées sur une ligne."""
|
||||
titres, debut, fin = [], "", -1
|
||||
for i, ligne in enumerate(lignes):
|
||||
entrees = list(ENTREE.finditer(ligne))
|
||||
if not entrees:
|
||||
if (fin >= 0 or titres) and not _parasite(ligne, parasites):
|
||||
debut = f"{debut} {ligne.strip()}".strip()
|
||||
continue
|
||||
for k, m in enumerate(entrees):
|
||||
titre = m.group(1).strip()
|
||||
if k == 0 and debut:
|
||||
titre = f"{debut} {titre}"
|
||||
titres.append(" ".join(titre.split()))
|
||||
debut, fin = ligne[entrees[-1].end():].strip(), i
|
||||
return titres, fin
|
||||
|
||||
|
||||
def decouper_pdf(texte: str, parasites: list[str], source: str = "") -> list[Extrait]:
|
||||
"""Un extrait par entrée de la table des matières qui a un corps ; les titres de chapitre (sans corps) n'en donnent
|
||||
pas."""
|
||||
lignes = texte.splitlines()
|
||||
titres, fin = _table_des_matieres(lignes, parasites)
|
||||
connus = set(titres)
|
||||
corps = [ligne.strip() for ligne in lignes[fin + 1:] if ligne.strip() and not _parasite(ligne, parasites)]
|
||||
sections: list[tuple[str, list[str]]] = []
|
||||
i = 0
|
||||
while i < len(corps):
|
||||
# Un titre long peut être coupé sur deux ou trois lignes dans le corps.
|
||||
n = next((n for n in (1, 2, 3) if " ".join(corps[i:i + n]) in connus), 0)
|
||||
if n:
|
||||
sections.append((" ".join(corps[i:i + n]), []))
|
||||
i += n
|
||||
continue
|
||||
if sections:
|
||||
sections[-1][1].append(corps[i])
|
||||
i += 1
|
||||
extraits = []
|
||||
for titre, corps in sections:
|
||||
contenu = PUCE.sub("\n- ", "\n".join(corps)).strip()
|
||||
if contenu:
|
||||
extraits.append(Extrait(titre, contenu, source))
|
||||
return extraits
|
||||
|
||||
|
||||
def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extrait]:
|
||||
"""Un extrait par fichier ; au-delà de `max_car`, un par section `## `."""
|
||||
lignes = texte.strip().splitlines()
|
||||
if lignes and lignes[0].startswith("# "):
|
||||
titre, corps = lignes[0][2:].strip(), "\n".join(lignes[1:]).strip()
|
||||
else:
|
||||
titre, corps = Path(source).stem, "\n".join(lignes).strip()
|
||||
if len(corps) <= max_car:
|
||||
return [Extrait(titre, corps, source)]
|
||||
sections: list[tuple[str, list[str]]] = [(titre, [])]
|
||||
for ligne in corps.splitlines():
|
||||
if ligne.startswith("## "):
|
||||
sections.append((f"{titre} — {ligne[3:].strip()}", []))
|
||||
else:
|
||||
sections[-1][1].append(ligne)
|
||||
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
|
||||
|
||||
|
||||
def ecrire_textes(extraits: list[Extrait], dossier: Path) -> None:
|
||||
dossier.mkdir(parents=True, exist_ok=True)
|
||||
for e in extraits:
|
||||
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
|
||||
|
||||
|
||||
def lire_textes(dossier: Path) -> list[Extrait]:
|
||||
extraits = []
|
||||
for f in sorted(dossier.glob("*.md")):
|
||||
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
|
||||
contenu, source = reste.rsplit("\n\nSource : ", 1)
|
||||
extraits.append(Extrait(tete.removeprefix("# ").strip(), contenu.strip(), source.strip()))
|
||||
return extraits
|
||||
+21
@@ -0,0 +1,21 @@
|
||||
# (AIMsight Cloud — optional service) How can I apply a target configuration from a historical image?
|
||||
|
||||
The general Pattern Configuration workflow is shared by the local station interface and AIMsight
|
||||
Cloud. The Cloud interface additionally allows patterns to be defined from a stored image and
|
||||
the affected measurements to be reprocessed.
|
||||
After selecting the image at the required date and configuring the targets, the Actions button and
|
||||
Update Strategy dropdown determine how the new reference is applied:
|
||||
• Reinitialize — Uses the selected image and configuration as a new reference and restarts
|
||||
the corresponding displacement values from zero. This is typically used when reconfiguring
|
||||
all targets, for example after a significant movement or repositioning of the camera station.
|
||||
• Reinitialize with motion compensation — Preserves the reference network and cameramotion correction while reinitializing an individual target. A typical case is a prism that was
|
||||
accidentally moved and then placed back at a slightly different position.
|
||||
• Continuous — Applies the updated pattern or reference while preserving continuity of the
|
||||
existing measurement trace. The displacement curve therefore does not return to zero
|
||||
when the new reference is introduced. This is useful when a pattern must be updated or
|
||||
refined without creating a discontinuity in the history.
|
||||
Before applying the action, verify the date of the selected image, the target zones, the reference
|
||||
network, and the intended result. The selected strategy determines both the measurement zero
|
||||
and the continuity of the reprocessed data.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
+29
@@ -0,0 +1,29 @@
|
||||
# (AIMsight Cloud — optional service) Which additional diagnostic and post-processing tools are available?
|
||||
|
||||
Image acquisition and processing are performed on the station. Depending on the selected
|
||||
licensing model, these functions are enabled through either a standalone local software licence
|
||||
or an active AIMsight Cloud subscription. AIMsight Cloud additionally keeps measurements,
|
||||
diagnostic information, and — when image archiving is enabled — the associated images
|
||||
together in one historical view.
|
||||
This is particularly useful when reviewing an unexpected measurement. From the measurement
|
||||
history, the user can open the image corresponding to a selected point or period with a simple
|
||||
click and inspect what the camera actually saw. This can help distinguish structural movement
|
||||
from causes such as an obstruction, vegetation, a vehicle, changed illumination, contamination, a
|
||||
shifted prism, or camera movement.
|
||||
The Cloud interface also exposes recognition-quality information for each target, including Error
|
||||
Value, Sharpness, FWHM, Dominance, Peak Intensity, Flux, and SNR, together with cameramotion and reference-network metrics where available. Measurements, quality indicators, and
|
||||
visual evidence can therefore be reviewed in the same context rather than as separate files.
|
||||
The visualization and post-processing tools support tasks such as:
|
||||
• navigating through the measurement history and opening the corresponding archived
|
||||
image;
|
||||
• comparing target traces and camera-motion information;
|
||||
• highlighting or filtering periods with excessive recognition error;
|
||||
• applying offsets, rolling filters, or other available post-processing options;
|
||||
• reviewing the consistency of the reference network; and
|
||||
• reprocessing measurements when the target configuration or reference system must be
|
||||
changed.
|
||||
These functions improve traceability and make abnormal measurements easier to understand. A
|
||||
station equipped with a local software licence can continue to acquire and process data
|
||||
independently if the Cloud connection is temporarily unavailable.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
# Are white enamel targets with a black border suitable? Other home-made targets?
|
||||
|
||||
They can be used at relatively short distances, but they are less effective than more directional
|
||||
reflective targets such as:
|
||||
• prisms;
|
||||
• retroreflectors;
|
||||
• reflective tape;
|
||||
• AIMsight markers.
|
||||
Measurement availability, particularly at night, may therefore be lower with simple painted or
|
||||
enamel targets.
|
||||
Target selection should be based on the required measurement accuracy, distance, lighting
|
||||
conditions, and expected measurement availability.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# Can AIMsight activate a relay or dry-contact alarm?
|
||||
|
||||
As an option, the camera can be equipped with an output that can be used to control a relay or,
|
||||
depending on the electrical requirements, another local alarm device.
|
||||
This makes it possible to implement local alarm actions that do not depend solely on a remote
|
||||
cloud or cellular connection.
|
||||
The electrical interface and relay configuration should be verified for the specific installation.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,13 @@
|
||||
# Can AIMsight be installed in a marine environment?
|
||||
|
||||
The standard enclosure and camera supports are primarily aluminium and are suitable for
|
||||
temporary monitoring campaigns such as a several-month port installation.
|
||||
For marine installations:
|
||||
• stainless-steel fasteners can be used;
|
||||
• the camera sun/rain shield should be installed;
|
||||
• the front optical surface may require periodic cleaning depending on exposure.
|
||||
For recurrent offshore use or permanent marine installations, a dedicated marinized
|
||||
configuration can be considered, potentially including stainless-steel components and
|
||||
automated window-cleaning solutions.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# Can AIMsight measure without dedicated targets?
|
||||
|
||||
Yes, depending on the application, AIMsight can track suitable natural image features.
|
||||
However, dedicated reflective targets generally provide substantially better robustness and
|
||||
measurement availability, particularly when lighting or weather conditions vary.
|
||||
For safety-critical alarm applications, natural-feature tracking should therefore be evaluated
|
||||
carefully before being relied upon as the sole measurement method.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,11 @@
|
||||
# Can AIMsight perform event-triggered or high-speed measurements?
|
||||
|
||||
Yes.
|
||||
AIMsight can operate using:
|
||||
• scheduled acquisitions;
|
||||
• periodic monitoring;
|
||||
• continuous or dynamic acquisition;
|
||||
• externally triggered or event-based acquisition.
|
||||
The appropriate configuration depends on the required measurement rate and application.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# Can I retrieve measurements acquired before FTP was configured?
|
||||
|
||||
Manually triggered local dynamic acquisitions are stored in the local database and can be
|
||||
retrieved using the Data Exploration tab.
|
||||
Periodic monitoring acquisitions are not intended to provide permanent onboard backup storage.
|
||||
Local storage is managed to avoid filling the station’s internal storage once data have been
|
||||
transferred to the configured remote destination.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,10 @@
|
||||
# Can the camera automatically scan several monitoring areas?
|
||||
|
||||
A motorized scanning concept has been considered, particularly for crack monitoring on large
|
||||
structures where each monitored area has its own reference points.
|
||||
However, AIMsight does not currently aim to provide scanning while simultaneously maintaining
|
||||
total-station-like absolute angular accuracy.
|
||||
For applications requiring continuous high-accuracy angular scanning, a total station remains the
|
||||
more appropriate instrument architecture.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# Can two cameras be combined to obtain X, Y, and Z displacement?
|
||||
|
||||
Yes.
|
||||
Two cameras viewing the monitored structure from sufficiently different directions can be
|
||||
combined to reconstruct three-dimensional displacement.
|
||||
Measurements are currently available independently from the two systems, and their outputs can
|
||||
be combined using relatively simple post-processing.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,10 @@
|
||||
# Ce que le client regarde dans les déplacements
|
||||
|
||||
- Le client regarde les déplacements horizontaux et verticaux, en mm (la page Time Series de la plateforme). Les erreurs de mesure (Error Value) l'intéressent peu.
|
||||
- Les erreurs sont traitées en amont : chaque cible a son seuil d'erreur (Error Threshold). Une mesure au-dessus est jugée non valable : elle n'est pas interprétée comme un déplacement et peut être masquée dans les courbes, mais elle reste dans les données livrées.
|
||||
- Les mouvements normaux reviennent. Une cible bouge avec la météo, la température et le soleil, de façon périodique (jour et nuit) ou saisonnière, puis revient à sa place. La plupart des courbes fluctuent ainsi sans rien révéler.
|
||||
- Deux choses comptent vraiment pour lui :
|
||||
- un saut : un décalage soudain de la courbe, qui dure. Un saut qui revient ensuite à la normale est le plus souvent bénin ; la question est sa cause ;
|
||||
- une tendance : une hausse ou une baisse lente, faite de petits décalages. Elle peut annoncer une dégradation de l'ouvrage ou du chantier (un affaissement, par exemple).
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,14 @@
|
||||
# Does the camera operate without a Cloud connection?
|
||||
|
||||
Yes, provided that the station includes a local software licence enabling standalone operation.
|
||||
With this licence, image acquisition and processing run directly on the station. The local web
|
||||
interface remains accessible over Ethernet, and measurements can be stored locally without a
|
||||
connection to AIMsight Cloud. Functions requiring external communication — such as remote
|
||||
access, data transmission, and Cloud notifications — remain unavailable while the connection is
|
||||
down.
|
||||
The station can also be supplied without a standalone local licence. In this configuration, its
|
||||
operation depends on an active AIMsight Cloud subscription. The applicable licensing model and
|
||||
the functions available without a Cloud connection are specified in the project quotation or
|
||||
agreement.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,10 @@
|
||||
# Does the system detect excessive camera instability?
|
||||
|
||||
Yes.
|
||||
The processed data include an indicator of camera stability based on the history of estimated
|
||||
camera-angle variations.
|
||||
Camera-angle changes and, where appropriate, excessive raw pixel movement toward the edge
|
||||
of a processing region can be used to identify an unstable installation before it affects
|
||||
measurement quality or availability.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
# How are targets with excessive recognition error handled in Data Exploration?
|
||||
|
||||
The Data Exploration tools can use the Error Value to identify and handle measurements affected
|
||||
by poor target recognition.
|
||||
Available processing and visualization options include:
|
||||
• Highlighting periods or areas where the Error Value is too high.
|
||||
• Hiding data points whose Error Value exceeds the selected threshold.
|
||||
• Replacing rejected or hidden data points with interpolated values where appropriate.
|
||||
• Overriding the default Error Threshold with a user-defined value.
|
||||
• Applying additional filtering or smoothing, such as a rolling median, to the resulting data
|
||||
where appropriate.
|
||||
The original Error Value remains useful for distinguishing actual displacement from periods
|
||||
where the target was not reliably visible.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# How can I access the camera locally?
|
||||
|
||||
The station provides its own web interface.
|
||||
A computer connected locally to the station through Ethernet can access the interface using a
|
||||
standard web browser.
|
||||
Remote access can also be provided through AIMsight’s secure VPN infrastructure when an
|
||||
Internet connection is available.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,19 @@
|
||||
# How can I detect deformation of the reference network?
|
||||
|
||||
Camera-motion estimation provides a reprojection error called sigma0, which is available in the
|
||||
system metrics.
|
||||
Sigma0 measures how well the observed displacement of the different reference targets can be
|
||||
explained by the estimated global camera motion.
|
||||
An abnormal increase in sigma0 can therefore indicate that the reference network is deforming in
|
||||
a way that can no longer be explained by simple camera movement. A low value indicates that
|
||||
the observed movements of the reference targets remain consistent with a common camera
|
||||
movement.
|
||||
It is useful for monitoring the consistency and stability of the reference network and can be
|
||||
used to trigger further investigation if necessary.
|
||||
Sigma0 and the per-target Error Value provide complementary information:
|
||||
• Error Value checks whether an individual target is still visible and resembles its reference
|
||||
image;
|
||||
• sigma0 checks whether the reference targets remain geometrically consistent with the
|
||||
estimated camera movement.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,11 @@
|
||||
# How can I export the advanced diagnostic metrics?
|
||||
|
||||
Select the HDF5 (.h5) format in the acquisition schedule. This format can include the complete
|
||||
set of signals computed by the station, including the displacement results and advanced targetquality metrics such as Error Value, Sharpness, FWHM, Dominance, Peak Intensity, Flux, and
|
||||
SNR, together with camera-related information.
|
||||
The other export formats are intentionally simplified. Depending on the selected format and
|
||||
output, they contain either displacement results only or a reduced set of quality metrics.
|
||||
Use HDF5 when complete diagnostic traceability or advanced post-processing is required. Use
|
||||
CSV or Parquet when a smaller and simpler dataset is preferable for routine integration.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# How can I redefine the zero/reference position used for rx and ry?
|
||||
|
||||
The displacement reference can be redefined by redefining the target/reference patterns.
|
||||
This establishes a new measurement reference. In the local interface, saving the configuration
|
||||
again replaces the reference patterns and defines a new zero. When AIMsight Cloud is included,
|
||||
additional update strategies determine whether reprocessed data restart from zero or retain
|
||||
trace continuity; see the Cloud-specific question in the Software and licensing section.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,10 @@
|
||||
# How do atmospheric turbulence and heat shimmer affect measurements?
|
||||
|
||||
Atmospheric turbulence can produce apparent image motion due to variations in temperature
|
||||
and humidity along the optical path. This is commonly visible as heat haze or heat shimmer.
|
||||
AIMsight reduces this effect by combining a series of images, typically approximately 20 to 40
|
||||
images, for each measurement.
|
||||
If this averaging is insufficient, measurements can also be repeated over a longer period and
|
||||
averaged to further reduce atmospheric noise.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# How many points can one AIMsight station monitor?
|
||||
|
||||
AIMsight supports multi-point displacement monitoring.
|
||||
There is no fixed hard limit on the number of tracked points. Existing applications use more than
|
||||
100 simultaneously tracked points on a single station.
|
||||
The practical number depends on acquisition frequency, processing-area size, and the required
|
||||
processing performance.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,18 @@
|
||||
# How should reference targets be selected?
|
||||
|
||||
Where possible, use several reference targets distributed over the image rather than relying on a
|
||||
single target.
|
||||
A distributed reference network makes camera-motion estimation more robust and provides
|
||||
redundancy if an individual target becomes obstructed, damaged, or moves.
|
||||
Reference targets should preferably:
|
||||
• be clearly visible;
|
||||
• provide good image contrast;
|
||||
• remain visible under the expected illumination conditions;
|
||||
• be distributed over the monitored image;
|
||||
• be sufficiently far from the camera where appropriate;
|
||||
• not all belong to a small local area that could deform as a single block.
|
||||
When no completely stable point is available, a larger reference network can still be used
|
||||
because camera-motion estimation is based on a robust fit and its consistency can be monitored
|
||||
using sigma0.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,8 @@
|
||||
# Is a thermal-camera option available?
|
||||
|
||||
A thermal-camera configuration can be considered for applications requiring it.
|
||||
Thermal-camera specifications and cost depend on the required resolution, optics, measurement
|
||||
rate, and application. A project-specific configuration and quotation should therefore be
|
||||
requested.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,14 @@
|
||||
# Is dedicated monitoring software available?
|
||||
|
||||
Yes.
|
||||
AIMsight offers Cloud-based monitoring software. The station can also be supplied with a local
|
||||
software licence enabling standalone measurement operation.
|
||||
The embedded web interface can be accessed:
|
||||
• locally using Ethernet and a web browser;
|
||||
• remotely through the secure AIMsight VPN, when the station has an Internet connection and
|
||||
the remote-access service is enabled.
|
||||
AIMsight Cloud is a subscription service. It is optional for a station equipped with the standalone
|
||||
local software licence. A station supplied without that local licence depends on an active
|
||||
AIMsight Cloud subscription.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,11 @@
|
||||
# Is periodic metrological maintenance required?
|
||||
|
||||
No routine metrological recalibration is currently required as part of normal operation.
|
||||
A verification procedure can be performed when required to confirm measurement-system
|
||||
behavior.
|
||||
AIMsight SA
|
||||
Route de Cité-Ouest 2
|
||||
1196 Gland, Switzerland
|
||||
info@aimsight.ch
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,7 @@
|
||||
# Is the software web-based or desktop-based?
|
||||
|
||||
The normal station interface and cloud monitoring workflows are web-based.
|
||||
Additional local or external processing workflows can also be implemented depending on the
|
||||
project architecture and integration requirements.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,22 @@
|
||||
# La batterie et l'alimentation de la station
|
||||
|
||||
Matériel :
|
||||
- Batterie LiFePO4 de 12,8 V nominal (4 cellules en série), environ 7 ou 21 Ah selon la station.
|
||||
- Panneau solaire 12 V, ~100 W conseillé, ou secteur. Tension d'entrée maximale : 26 V.
|
||||
- Sur secteur, la batterie reste connectée et sert d'onduleur.
|
||||
- Après une décharge profonde (sous 12 V), la station reste éteinte jusqu'à ce que la batterie remonte vers 12,6 V, puis redémarre.
|
||||
- La station consomme environ 5 W en continu (environ 120 Wh par jour). En cas de déficit, le remède attendu est de réactiver la veille profonde (sleep) entre les mesures ; le mode continu (LED allumées) augmente la consommation.
|
||||
|
||||
Tension et état de charge (tension à vide ; repères approximatifs, qui varient selon la batterie et le chargeur) :
|
||||
- ≥ 13,6 V : pleine ; au-dessus, c'est le chargeur qui tient la tension.
|
||||
- 12,9 à 13,4 V : 40 à 90 % ; c'est le plateau, où la tension dit peu de choses sur la charge.
|
||||
- 12,5 à 12,8 V : 20 à 30 % ; c'est le coude.
|
||||
- Sous 12,5 V : moins de 20 %, la tension chute vite ; sous 12 V, décharge profonde.
|
||||
|
||||
Ce qu'il faut en retenir :
|
||||
- La tension instantanée ne dit pas l'état de charge : le jour, le chargeur la tire vers le haut ; sous la consommation, elle est un peu plus basse que la tension à vide. Le meilleur indicateur est le minimum de fin de nuit.
|
||||
- Sur le plateau, la tension de nuit reste plate entre 30 et 90 % de charge ; elle ne chute qu'au coude, donc tard.
|
||||
- Une tension d'environ 14 V ou plus dans la journée indique en général que la batterie a été remplie. Les jours nuageux, elle plafonne vers 13,4 V : la batterie charge sans se remplir.
|
||||
- Une batterie pleine ne garantit rien si l'apport s'arrête : une station débranchée tient environ 15 h (7 Ah) à 46 h (21 Ah) à 5 W en continu.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,25 @@
|
||||
# La chaîne de mesure : d'où vient une anomalie
|
||||
|
||||
Une valeur affichée est le bout d'une chaîne. Pour expliquer une anomalie, on cherche l'étage qui a lâché.
|
||||
|
||||
1. La scène : des cibles sur l'ouvrage, et des références autour, supposées fixes.
|
||||
2. La vue : l'air entre la caméra et les cibles, et ce qui peut passer ou se poser devant.
|
||||
3. L'image : l'objectif, puis la prise (image classique, ou image différentielle qui combine plusieurs prises pour renforcer le contraste des réflecteurs).
|
||||
4. La mesure du motif : chaque cible est retrouvée dans l'image, avec son erreur de reconnaissance (Error Value, qui n'est pas une incertitude). Au-dessus du seuil, la mesure est jugée non valable (elle reste dans les données livrées, mais n'est pas interprétée comme un déplacement).
|
||||
5. La compensation : le mouvement de la caméra (pan, tilt, rotation, échelle) est estimé sur les références, avec son résidu sigma0.
|
||||
6. La courbe corrigée : la position de la cible une fois retiré le mouvement estimé de la caméra.
|
||||
|
||||
Où chaque cause entre :
|
||||
- Visibilité réduite (brouillard, pluie, buée) : le retour lumineux baisse sur toute la scène, l'Error Value monte, des mesures sont rejetées, pendant des heures. Ce n'est pas un mouvement.
|
||||
- Turbulence (air chaud, heat haze) : un bruit rapide sur les courbes, aux heures chaudes.
|
||||
- Occultation : un objet, des feuilles ou de la neige devant une ou quelques cibles, les voisines intactes ; d'une seule mesure (un passage) à des semaines.
|
||||
- Cible à problème (mal orientée, sale, décollée) : une seule cible, durablement.
|
||||
- Dilatation du support ou de l'objectif au soleil, vent, choc : toute l'image bouge ensemble ; la compensation l'absorbe en général.
|
||||
- Référence cachée ou moins bien vue : la compensation est refaite sans elle ; des points sautent d'un coup, souvent groupés dans une partie de l'image, et reviennent quand la référence revient.
|
||||
- Référence qui a bougé : les courbes des cibles sont décalées durablement.
|
||||
- Dilatation thermique de l'ouvrage : des vagues propres à chaque cible, au rythme le plus lent (chauffe lente, refroidissement tardif).
|
||||
- Mouvement réel de l'ouvrage : une ou plusieurs cibles décalées durablement, alors que les références, la pose de la caméra et la qualité d'image restent bonnes.
|
||||
|
||||
Trois effets thermiques de mouvement se distinguent par leur rythme : l'objectif, le support, l'ouvrage (le plus lent). La turbulence est à part : un bruit, pas un mouvement.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,8 @@
|
||||
# Le cycle thermique : les vagues de la journée
|
||||
|
||||
- Des ouvrages bougent dans la journée par dilatation thermique, et redescendent la nuit par contraction. On voit alors des vagues sur les courbes. Ces vagues sont tout à fait normales.
|
||||
- Sur les positions brutes, presque toutes les stations montrent une vague de 24 h, toutes les cibles ensemble : c'est la caméra ou son mât qui se courbe avec la chaleur. La compensation par les références enlève cette vague : elle n'apparaît pas sur les courbes corrigées que regarde le client.
|
||||
- Quand une vague reste sur les courbes corrigées (de l'ordre du millimètre), les cibles bougent vraiment par rapport aux références : dilatation de l'ouvrage, ou compensation incomplète.
|
||||
- Une vague thermique revient chaque jour à la même position à température égale. Une hausse ou une baisse qui ne revient pas n'est pas une vague thermique.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
# Les familles d'anomalies et ce qu'elles veulent dire pour le client
|
||||
|
||||
Une anomalie, c'est ce qui apparaît sur les courbes corrigées : elles bougent (un pic, un saut, une dérive, du bruit) ou elles manquent (un trou). On la range dans une famille selon sa cause.
|
||||
|
||||
- Visibilité (Visibility) : on voit moins bien, une gêne diffuse entre la caméra et la scène. L'image est faible ou floue (pluie, brouillard, buée, lumière, objectif sale), ou elle tremble (turbulence). Pour le client : ne pas croire les courbes sur cette période ; ce n'est pas un mouvement.
|
||||
- Obstruction : un objet cache une ou quelques cibles, un instant ou longtemps (train, véhicule, engin, plante, neige sur la cible, toile d'araignée). Pour le client : ignorer la courbe des cibles cachées sur cette période.
|
||||
- Déplacement thermique (Thermal displacement) : l'ouvrage, ou la caméra et son support, bougent avec la température, et reviennent à la même position à température égale. Pour le client : normal, rien à faire.
|
||||
- Déplacement (Displacement) : un saut qui dure, une dérive lente, ou un changement des courbes sans cause établie. Pour le client : à vérifier (regarder les images, surveiller), sans alarmer ni rien cacher.
|
||||
- Cible à problème (Target issue) : une cible rejetée presque toujours, mal orientée, mal installée, mal configurée ou sale. Pour le client : intervenir sur la cible ; ignorer sa courbe en attendant.
|
||||
- Pas de données (No data) : aucune mesure pour aucune cible (acquisition, alimentation, transmission). Pour le client : les courbes manquent sur la période ; la cause dit s'il faut agir.
|
||||
|
||||
Quelques frontières :
|
||||
- Toute la scène gênée, c'est Visibilité ; quelques cibles cachées par un objet, le reste intact, c'est Obstruction.
|
||||
- Un saut puis un retour prend la famille de sa cause, vue sur les images (un véhicule qui passe : Obstruction ; le reflet du soleil sur la scène : Visibilité). Sans cause établie : Déplacement.
|
||||
- Un trou aux mêmes minutes sur plusieurs stations vient d'une cause commune (transmission ou réception), pas d'une coupure de la station.
|
||||
- Une configuration changée (cibles déplacées, réglage) explique le saut qui en vient : ce n'est pas un mouvement de l'ouvrage.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,17 @@
|
||||
# Les métriques système de la station
|
||||
|
||||
AIMsight suit la santé de chaque station par des métriques système. Elles servent au support pour diagnostiquer l'alimentation ou une coupure ; le client n'y a pas forcément accès, il ne faut donc pas le renvoyer vers elles. Elles donnent, en moyennes horaires (une valeur vide signifie qu'il n'y a pas de mesure) :
|
||||
- BusVoltage (V) : tension du bus, proche de la tension de la batterie.
|
||||
- BusCurrent (mA) : courant consommé par la station.
|
||||
- Power (mW) : puissance consommée.
|
||||
- ShuntVoltage (mV) : tension aux bornes du shunt de mesure (courant × 0,1 Ω).
|
||||
- sensor_*_deg_c (°C) : températures de la carte de calcul (selon la version de la station).
|
||||
|
||||
À savoir :
|
||||
- Power, BusCurrent et ShuntVoltage sont une seule et même mesure : la consommation de la station. Le courant augmente quand la tension baisse, alors que la puissance reste constante ; pour la consommation, raisonner en puissance.
|
||||
- L'apport d'énergie (panneau ou secteur) n'est pas mesuré : on ne le voit qu'à travers la réaction de la batterie.
|
||||
- La température de la carte suit l'ensoleillement (amplitude faible les jours nuageux) et chute quand la station est éteinte, puisque son propre échauffement (~5 W) s'arrête.
|
||||
- Certaines stations donnent aussi une tension corrigée de la résistance interne, la pente de la tension, et un état et un pourcentage de charge estimés.
|
||||
- Les stations n'ont pas toutes la même version du logiciel embarqué : noms et champs peuvent changer d'une station à l'autre.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,12 @@
|
||||
# Les trous : pourquoi des mesures manquent
|
||||
|
||||
- Un trou n'est pas forcément une coupure. Acquisition, transmission, réception et affichage sont des étapes distinctes.
|
||||
- En fin de période, des valeurs vides peuvent n'être qu'un retard de synchronisation.
|
||||
- En début de période, des valeurs vides précèdent simplement la première mesure.
|
||||
- Des trous simultanés sur plusieurs stations pointent vers une cause commune hors de la station (transmission ou réception).
|
||||
- Un trou entouré d'une tension normale n'est pas un problème d'énergie.
|
||||
- Une coupure d'alimentation laisse une signature : la tension de la batterie est basse (sous ~12,8 V) juste avant ou juste après le trou, et la température de la station chute pendant le trou, plus qu'aux mêmes heures les autres nuits.
|
||||
- Des mesures jugées non valables (au-dessus du seuil d'erreur) peuvent aussi laisser des trous dans les courbes, mais seulement sur ces cibles ; elles restent dans les données livrées, et leur cause est celle de l'erreur (visibilité, obstacle, cible à problème).
|
||||
- Une valeur NaN ou inf dans un export compte comme une absence de mesure.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,17 @@
|
||||
# My AIMsight camera does not start. What should I check?
|
||||
|
||||
First check that the internal battery is connected. Depending on transport or storage conditions,
|
||||
the battery may have been disconnected and must be connected before commissioning.
|
||||
Then connect the external power supply and check the charging / power LED.
|
||||
If the LED does not turn on:
|
||||
• check that the external power supply is connected;
|
||||
• check the power connectors and cabling;
|
||||
• for a mains-powered installation, verify that the power supply is energized;
|
||||
• for a solar-powered installation, verify the solar-panel connection and that sufficient
|
||||
charging voltage is available.
|
||||
If the unit appears to be powered but cannot be reached remotely, try connecting to it locally
|
||||
over Ethernet. This helps distinguish a startup or power problem from a 4G or remoteconnectivity problem.
|
||||
If there is no charging indication and the system remains unreachable after checking the power
|
||||
supply and battery connection, contact AIMsight support.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,11 @@
|
||||
# My exported CSV file does not contain a timestamp. What should I do?
|
||||
|
||||
Time information is required for most external data-processing workflows.
|
||||
If the selected CSV export does not contain a timestamp, check the export type and
|
||||
configuration being used.
|
||||
Where required, the export configuration can be adapted so that each measurement contains an
|
||||
explicit timestamp suitable for external processing.
|
||||
For data integration, the timestamp convention should always be defined explicitly rather than
|
||||
inferred from the file creation time.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
+37
@@ -0,0 +1,37 @@
|
||||
# My measurements suddenly become noisy or invalid. What should I check?
|
||||
|
||||
Useful checks include:
|
||||
• whether the target remains visible and inside its processing area;
|
||||
• water, condensation, dirt, or contamination on the target or camera window;
|
||||
• partial or complete target obstruction;
|
||||
• significant changes in illumination;
|
||||
• atmospheric turbulence or heat shimmer;
|
||||
• excessive camera movement; and
|
||||
• sigma0 if reference targets are being used.
|
||||
The diagnostic signals can help narrow down the likely cause:
|
||||
• An increasing Error Value indicates that the target image no longer matches its reference
|
||||
reliably. This can result from obstruction, changed appearance, poor visibility, or incorrect
|
||||
registration.
|
||||
• Decreasing Sharpness together with increasing FWHM suggests that the target image is
|
||||
becoming more diffuse, for example because of defocus, vibration, motion blur, or
|
||||
atmospheric turbulence.
|
||||
• Decreasing Peak Intensity, Flux, and SNR suggests reduced illumination, partial
|
||||
obstruction, contamination, reflector misalignment, or generally poorer target visibility.
|
||||
• Increasing Dominance indicates that another bright feature is competing with the tracked
|
||||
reflector and that the risk of selecting the wrong image feature is increasing.
|
||||
• Similar apparent movement across several targets, accompanied by a change in Camera
|
||||
Movement, points toward movement or instability of the camera support.
|
||||
• An increase in sigma0 indicates that the reference targets are becoming less consistent with
|
||||
a single global camera movement and may indicate deformation of the reference network.
|
||||
The corresponding camera image remains essential for confirming the interpretation. When
|
||||
AIMsight Cloud and image archiving are enabled, the image associated with a selected
|
||||
measurement or period can be opened directly from the history view. The image and the trends
|
||||
in Error Value, Sharpness, FWHM, Dominance, Peak Intensity, Flux, SNR, Camera Movement,
|
||||
and sigma0 together provide the most effective way to distinguish between:
|
||||
• a visibility or target-recognition problem;
|
||||
• optical degradation or atmospheric disturbance;
|
||||
• camera instability;
|
||||
• deformation of the reference network; and
|
||||
• actual structural movement.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,30 @@
|
||||
# One target is no longer being measured. What should I check?
|
||||
|
||||
First inspect the corresponding camera image and the target’s Error Value.
|
||||
Check:
|
||||
• whether the target is still visible;
|
||||
• whether the target is still inside its processing area;
|
||||
• whether the Error Value has increased above the configured Error Threshold;
|
||||
• whether the target is partially or completely obstructed;
|
||||
• whether the target is dirty, damaged, or covered by water, dust, snow, vegetation, or
|
||||
another object;
|
||||
• whether a reflective target or prism has changed orientation;
|
||||
• whether illumination conditions have changed significantly;
|
||||
• image focus and exposure;
|
||||
• whether the camera itself has moved significantly;
|
||||
• whether the physical target has undergone a displacement larger than the configured
|
||||
processing area.
|
||||
If several targets become invalid simultaneously, also check:
|
||||
• camera movement;
|
||||
• focus or contamination of the camera window;
|
||||
• illumination conditions;
|
||||
• communication with the camera;
|
||||
• the reference-network fit and sigma0.
|
||||
If the Error Value exceeds the threshold, the measurement is normally rejected rather than
|
||||
interpreted as a valid displacement.
|
||||
The current image, the target-recognition metrics, Camera Movement, and sigma0 are generally
|
||||
the fastest way to distinguish an optical or visibility problem, camera instability, referencenetwork deformation, and an actual displacement. When AIMsight Cloud is included, a
|
||||
measurement can be opened together with its corresponding archived image, making it easier to
|
||||
identify the cause of an abnormal value without first retrieving image files separately.
|
||||
|
||||
Source : AIMsight FAQ, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# Pièges de lecture des données de la station
|
||||
|
||||
- Les niveaux de tension ne se transposent pas d'une station à l'autre : deux stations en bonne santé peuvent avoir des nuits à 12,9 V et à 13,15 V. Le niveau moyen vaut ~14,25 V sur secteur et ~13,4 V en solaire. Comparer une station à son propre passé.
|
||||
- Le cycle jour/nuit domine : une période d'observation doit couvrir un nombre entier de jours. Sur trois jours, deux jours nuageux font baisser une station saine autant qu'un vrai déficit.
|
||||
- La fin de nuit porte le bilan de la veille : le minimum du matin résulte de la charge du jour précédent et de la nuit. Pour juger la charge d'un jour, lire la fin de nuit du lendemain.
|
||||
- Pendant une coupure, ce sont justement les valeurs les plus basses qui manquent : toute moyenne est alors biaisée vers le haut.
|
||||
- Les exports ne viennent pas tous de la même version du logiciel : vérifier les métriques présentes avant de comparer deux stations.
|
||||
|
||||
Source : Savoir métier AIMsight
|
||||
@@ -0,0 +1,39 @@
|
||||
# Station Guide — Access Modes
|
||||
|
||||
The AIMsight station provides three complementary access modes:
|
||||
• Local access to the station: when the station includes a standalone local software licence,
|
||||
a computer connected directly to the station by Ethernet, or connected to the same local
|
||||
network, can access the web interface hosted on the station. This mode does not require an
|
||||
Internet connection or an AIMsight Cloud subscription. Acquisition, image processing, and
|
||||
local data storage remain fully autonomous.
|
||||
To connect directly, use the supplied Ethernet cable and open the station interface in a web
|
||||
browser. The system has been tested with Mozilla Firefox, Microsoft Edge, and Google
|
||||
Chrome. By default, the station uses the static IP address 192.168.1.2. Enter this address in
|
||||
the browser address bar. If the station cannot be reached, refer to the Network Settings
|
||||
section (see page 21).
|
||||
• Remote access to the station interface: when the station has an Internet connection and
|
||||
the remote-access service is enabled, AIMsight can provide secure remote access to the
|
||||
station’s local web interface. The user sees the same interface and functions as when
|
||||
connected locally and can, for example, check the station status, adjust its configuration, or
|
||||
review data stored on the station.
|
||||
The station establishes an encrypted connection to a secure gateway managed by
|
||||
AIMsight. This normally avoids the need for a public IP address or for incoming ports to be
|
||||
opened on the customer’s network. Because this remains a direct connection to the station,
|
||||
the station must be powered on and connected to the Internet. This service does not by
|
||||
itself create a Cloud archive: the information being viewed remains stored on the station.
|
||||
• AIMsight Cloud: when this optional service is enabled, the station transfers its
|
||||
measurements and, depending on the configuration, associated images and quality metrics
|
||||
to the AIMsight platform. Authorized users can then access the project data through a web
|
||||
browser without connecting directly to the station.
|
||||
AIMsight Cloud can centralize and archive measurements, provide access to their history
|
||||
and associated images, display target-recognition quality metrics, and provide alarm,
|
||||
visualization, and post-processing tools. Data that have already been transferred remain
|
||||
accessible if the station is temporarily offline. AIMsight Cloud is typically provided as a
|
||||
subscription service.
|
||||
NOTE
|
||||
Standalone operation requires a local software licence. The station can also be supplied
|
||||
without this licence; in that configuration, its operation depends on an active AIMsight Cloud
|
||||
subscription. The applicable licensing model and the functions available without a Cloud
|
||||
connection are specified in the project quotation or agreement.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,5 @@
|
||||
# Station Guide — Acquisition Length
|
||||
|
||||
For Time Series acquisitions, Parameter Mode provides two configuration methods.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,10 @@
|
||||
# Station Guide — Acquisition Schedules
|
||||
|
||||
The Schedules page allows acquisitions to be triggered automatically without operator
|
||||
intervention. Each schedule defines when an acquisition starts, which acquisition and camera
|
||||
parameters are used, which target preset is processed, and where the resulting data is stored or
|
||||
transmitted.
|
||||
Saved schedules run automatically while the station is powered and the required resources, such
|
||||
as storage capacity and network connectivity, are available.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,8 @@
|
||||
# Station Guide — Acquisition Type
|
||||
|
||||
• Time Series: records a sequence of measurements for a defined duration or number of
|
||||
samples. Use this mode to track displacement over time.
|
||||
• Single Image: captures one image at each trigger. Use this mode for periodic visual
|
||||
documentation or image-based inspection.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,22 @@
|
||||
# Station Guide — Available Signals and Diagnostic Metrics
|
||||
|
||||
The Data Exploration page provides access to the measured displacements together with the
|
||||
complete set of diagnostic signals that can be computed by the station. These signals describe
|
||||
image quality, target visibility, registration reliability, and estimated camera movement.
|
||||
The information button next to the signal selector provides a short description of each available
|
||||
signal.
|
||||
The advanced metrics can also be exported by scheduled acquisitions when the HDF5 format is
|
||||
selected. Other export formats are intentionally simplified and contain either displacement results
|
||||
only or a reduced set of quality metrics.
|
||||
The following sections provide additional guidance on the practical interpretation of each signal.
|
||||
NOTE
|
||||
The diagnostic metrics are most useful when interpreted as trends and in combination with
|
||||
the corresponding camera images. A change in one metric does not necessarily indicate a
|
||||
measurement failure, but several concurrent changes can help identify the likely cause of an
|
||||
abnormal measurement.
|
||||
When the optional AIMsight Cloud service and image archiving are enabled, the image
|
||||
corresponding to a selected point or period in the measurement history can be opened
|
||||
directly from the visualization interface. This makes it possible to compare displacement
|
||||
signals, quality metrics, and the actual visual conditions at the time of the measurement.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,27 @@
|
||||
# Station Guide — Camera Management Panel
|
||||
|
||||
You can display the “Camera Management” side panel from any page by clicking the camera
|
||||
icon in the top-right corner of the interface.
|
||||
The camera button and the top navigation bar change color to indicate the acquisition status:
|
||||
• grey when idle
|
||||
• green during an acquisition
|
||||
Live View images are not considered an acquisition.
|
||||
1. Live processing toggle: enables image acquisition at the specified frame rate and the
|
||||
processing of the raw images into displacement measurements
|
||||
2. Framerate slider: sets the camera acquisition frame rate
|
||||
3. FPS Production: displays the current image-acquisition rate
|
||||
4. FPS Processing: displays the processing rate in each thread. For continuous monitoring,
|
||||
verify that processing is fast enough to keep up with image capture.
|
||||
5. Processing Queue: displays the number of image blocks waiting to be processed. For
|
||||
continuous monitoring, the frame rate should be kept low enough for the queue to remain
|
||||
close to empty.
|
||||
6. Continuous acquisition mode: can be enabled for maximum frame-rate stability, at the
|
||||
expense of battery life
|
||||
7. RTSP Stream: streams the live video feed on port 8554
|
||||
NOTE
|
||||
For short burst-mode measurements, the system can capture data at a much higher frame
|
||||
rate than the real-time processing rate. In such cases, the maximum measurement duration
|
||||
without data loss is limited by the queue size and is typically on the order of 60 seconds.
|
||||
The actual duration should always be verified with the final settings.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,21 @@
|
||||
# Station Guide — Camera Movement
|
||||
|
||||
“Camera Movement” represents the estimated global movement of the camera obtained from
|
||||
the reference targets.
|
||||
The reference network is used to identify movement common to the observed scene, such as
|
||||
apparent translation, rotation, or scale change caused by movement of the camera or its support.
|
||||
When camera-motion correction is enabled, this common movement is removed from the
|
||||
reported relative target displacements.
|
||||
Practical use: Camera Movement helps distinguish actual structural displacement from apparent
|
||||
displacement caused by movement of the monitoring station itself.
|
||||
It is also useful for identifying:
|
||||
• movement or instability of the camera support;
|
||||
• disturbances affecting the complete field of view;
|
||||
• significant thermal or mechanical changes in the mounting system; and
|
||||
• situations where camera-motion correction contributes substantially to the final
|
||||
displacement result.
|
||||
The reliability of this correction depends on the number, distribution, visibility, and measurement
|
||||
quality of the available reference targets. Camera Movement should therefore be interpreted
|
||||
together with the individual target-quality metrics.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,6 @@
|
||||
# Station Guide — Camera Operation
|
||||
|
||||
Turn the camera on by pressing the power button on the back of the camera. Once the system is
|
||||
running, the power button lights up blue.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,15 @@
|
||||
# Station Guide — Camera Parameters
|
||||
|
||||
• Exposure (us): exposure time in microseconds; for example, 1000 corresponds to 1 ms.
|
||||
• Stacking: number of images combined to produce one result, particularly in Differential
|
||||
mode. Increasing stacking can improve contrast and detection range, but increases the time
|
||||
required for each measurement and reduces the effective measurement rate.
|
||||
• Gain (dB): electronic amplification of the camera signal. Higher gain can brighten low-light
|
||||
images but also increases image noise.
|
||||
• Continuous Mode: activated by switching “keep LEDs on during acquisition” on. Enable this
|
||||
mode for maximum frame-rate and frame-rate stability, at the expense of battery life /
|
||||
increased power consumption. It is not compatible with differential imaging.
|
||||
Scheduled parameters may temporarily override parameters used for manual acquisition or live
|
||||
viewing.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,8 @@
|
||||
# Station Guide — Cellular APN Configuration
|
||||
|
||||
The APN is supplied by the mobile-network operator or SIM-card provider; it is not specific to
|
||||
the AIMsight station. Enter the operator’s APN in the Cellular Network section and click Apply
|
||||
Network Settings. If the APN is unknown, request it directly from the operator. After applying the
|
||||
settings, wait for the Link status to change to Up.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,32 @@
|
||||
# Station Guide — Charging
|
||||
|
||||
CAUTION
|
||||
The system tolerates a maximum input voltage of 26 V on both the power-supply connector
|
||||
and the optional passive PoE input. Never connect a standard IEEE PoE source (802.3af,
|
||||
802.3at or 802.3bt), as the standard PoE voltages of 48 V and above may damage the
|
||||
charge controller.
|
||||
CAUTION
|
||||
The centre pin of the barrel connector is positive. If you are not using an AIMsight-supplied
|
||||
power solution, always verify the connector polarity before connection, especially when
|
||||
using third-party adapters such solar panels with MC4 connectors or adapters.
|
||||
For mains-powered operation, connect the supplied power supply to an electrical outlet, then
|
||||
connect it to the camera. This operating mode is recommended for charging the battery between
|
||||
mobile deployments or when power is available at the monitoring site. In this configuration, the
|
||||
battery remains connected and acts as an internal backup power source (UPS) in case of a
|
||||
temporary power interruption.
|
||||
For autonomous field operation, the camera can be connected to a solar panel. We recommend
|
||||
using a standard 12 V solar panel; in most cases, a generic 100 W panel provides sufficient
|
||||
charging capacity. Install the panel in a location with good sun exposure and orient it
|
||||
appropriately for the site conditions.
|
||||
The battery charges automatically whenever a suitable external power source is connected.
|
||||
Charging performance depends on the available input power, battery state of charge, and
|
||||
ambient conditions. For reliable operation, ensure that the external power source remains within
|
||||
the specified voltage range and is capable of supplying adequate current.
|
||||
NOTE
|
||||
After a deep discharge (battery voltage below 12 V), the camera may not restart immediately.
|
||||
To prevent repeated restart attempts caused by an insufficient charge level, the system
|
||||
remains off until the battery voltage reaches approximately 12.6 V before powering up again.
|
||||
While charging, verify that the charge-status LED is red. Once the battery has recovered to
|
||||
the required voltage, the system will start automatically, provided that it is switched on.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,8 @@
|
||||
# Station Guide — Choosing Between Single and Differential Acquisition
|
||||
|
||||
Use Single with infrared light for dynamic measurements where acquisition speed is important.
|
||||
Use Differential for quasi-static monitoring when increased contrast and robustness are more
|
||||
important than measurement rate. Differential acquisition combines multiple images; increasing
|
||||
Stacking generally improves contrast and range but lowers the effective acquisition frequency.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,13 @@
|
||||
# Station Guide — Contrast-enhanced Overlay Adjustment
|
||||
|
||||
A brightness-range slider below the image controls which pixels of the contrast-enhanced layer
|
||||
remain visible:
|
||||
• moving the slider to the left retains more pixels and can reveal relatively weak reflectors;
|
||||
• moving it to the right progressively retains only the brightest pixels, helping isolate the
|
||||
strongest reflectors. At the extreme setting, only a very small fraction of the brightest pixels
|
||||
may remain visible.
|
||||
Adjustment may be necessary because apparent reflector brightness depends on target type,
|
||||
orientation, distance, and lighting conditions. The setting affects display only and has no effect
|
||||
on target definition or processing.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,14 @@
|
||||
# Station Guide — Creating a Schedule
|
||||
|
||||
Click New Schedule and configure the following fields:
|
||||
• Schedule Name: a descriptive name, for example Hourly Monitoring.
|
||||
• Trigger Type: the rule that determines when the acquisition starts.
|
||||
• Acquisition Type: the type of acquisition to perform.
|
||||
• Parameter Mode: the method used to define acquisition length and sample count.
|
||||
• Image Type: the image-acquisition mode.
|
||||
• Pattern Preset: the target configuration to process.
|
||||
• Camera Parameters: the optical and acquisition parameters applied by the schedule.
|
||||
• Output Options: the storage and transmission destinations.
|
||||
Click Save Schedule after completing the configuration.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,29 @@
|
||||
# Station Guide — Data Exploration Page
|
||||
|
||||
This page is used to display and review stored measurements. The table lists the measurement
|
||||
databases available in the camera’s local storage.
|
||||
In addition to the principal displacement signals, Data Exploration provides access to diagnostic
|
||||
metrics describing target visibility, image quality, registration quality, and camera movement.
|
||||
Together with the corresponding camera images, these signals provide powerful tools for
|
||||
understanding abnormal measurements and assessing measurement reliability.
|
||||
Select Acquisition: choose the acquisition you want to review. Each acquisition is organized
|
||||
chronologically, from oldest to most recent, based on the recording date and time.
|
||||
To retrieve acquisitions from a specific day and around the same period, expand the drop-down
|
||||
menu. The collapsible panel displays all acquisitions performed during that session and provides
|
||||
access to the full list of recordings for more precise selection and review.
|
||||
Example of selecting an acquisition
|
||||
The plot options section has two categories:
|
||||
• Filters: remove camera motion from the measurement, remove the offset from the data
|
||||
points, or apply a rolling median
|
||||
• Obstruction handling: highlight areas where the error value is too high, hide data points
|
||||
whose error value exceeds the threshold, replace hidden data points with interpolated
|
||||
values, and override the error threshold with a user-defined value
|
||||
Selected Plot Options
|
||||
Measurement results for the acquisition dated 12.03.2026
|
||||
The “Update !” button queries the selected database and displays the latest data. This can be
|
||||
automated by enabling the “Auto Update” switch.
|
||||
When “Auto Update” is enabled, the latest measurement data is queried and plotted periodically.
|
||||
The refresh period is defined by the “Interval” setting, in seconds.
|
||||
The “Time Range” setting determines the time window queried and displayed in the chart.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,9 @@
|
||||
# Station Guide — Demo Kit Contents
|
||||
|
||||
1. Monitoring Station
|
||||
2. Monitoring prisms (for long-distance measurements, typically from 20 m to more than 100
|
||||
m)
|
||||
3. Adhesive reflectors (for measurements in the 1 m to 20 m range)
|
||||
4. Power supply
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,6 @@
|
||||
# Station Guide — Disk
|
||||
|
||||
Enable Disk to retain the acquisition in the station’s internal storage. Monitor available capacity,
|
||||
especially for frequent schedules, long time series, or image-heavy acquisitions.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,18 @@
|
||||
# Station Guide — Dominance
|
||||
|
||||
“Dominance” indicates whether the tracked reflector remains clearly brighter than the other
|
||||
bright features present in its processing region.
|
||||
Values close to 0 indicate that the tracked target is clearly dominant. Values approaching 1
|
||||
indicate that another bright feature is becoming comparable with the tracked target.
|
||||
Practical use: A rising Dominance value can indicate:
|
||||
• another reflector entering the tracking region;
|
||||
• a reflection or another bright feature becoming significant;
|
||||
• the tracked target becoming weaker relative to an existing secondary feature; or
|
||||
• an increased risk of the registration algorithm selecting the wrong image feature.
|
||||
Dominance should therefore be interpreted as an indication of potential competition between
|
||||
image features rather than simply as the brightness of a second object.
|
||||
It is particularly useful when interpreted together with the Error Value and SNR. A high
|
||||
Dominance value accompanied by increasing registration error or decreasing SNR indicates
|
||||
increasingly difficult tracking conditions.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
@@ -0,0 +1,20 @@
|
||||
# Station Guide — Error Value
|
||||
|
||||
The “Error Value” measures how well the current image of the tracked target matches its
|
||||
reference image after compensating for the measured displacement.
|
||||
Values close to 0 indicate good agreement with the reference. Increasing values indicate that the
|
||||
current target image differs increasingly from the image used as its reference.
|
||||
Practical use: This is the main general-purpose registration-quality indicator. An increase can be
|
||||
caused by:
|
||||
• partial or complete obstruction of the target;
|
||||
• poor target visibility;
|
||||
• blur or atmospheric disturbance;
|
||||
• changes in illumination or target appearance;
|
||||
• loss of the target; or
|
||||
• incorrect image registration.
|
||||
Because several different phenomena can increase the Error Value, the other image-quality
|
||||
statistics are useful for identifying the likely cause.
|
||||
The obstruction filters use this indicator to reject measurements exceeding the configured “Error
|
||||
Threshold”.
|
||||
|
||||
Source : AIMsight Station Guide, rév. 1.5
|
||||
Loaded 100 of 176 files, more files were not shown because too many files have changed in this diff.
Show more
Reference in new issue
Block a user