Conversations : pomper.sh (.env, verrou, journal) et pompage.py, appelé par aimsight-app

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-18 15:09:34 +01:00
1 parent 2a03b57b49
commit 553562622f
6 files changed
+132 -1

No files matched your search

+1
View File
@@ -11,3 +11,4 @@ cases/
# sauvegardes de draw.io
.$*.bkp
out/
+6
View File
@@ -98,6 +98,12 @@
"type": "shell",
"command": "[ \"${input:confirmationProduction}\" = oui ] || { echo annulé; exit 1; } && set -a && . ./.env && set +a && LIBREDESK_URL='${input:urlProduction}' python3 -m snippets.envoyer --ecrire",
"problemMatcher": []
},
{
"label": "Conversations : pomper",
"type": "shell",
"command": "conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations",
"problemMatcher": []
}
],
"inputs": [
+21 -1
View File
@@ -6,6 +6,7 @@ Ce dépôt porte tout ce qu'il faut pour cela :
- `snippets/` : les textes des snippets, relus (`textes/`, un fichier par snippet), les consignes de rédaction (`consignes_redaction.md`, à coller dans Admin → IA → Providers → Custom instructions) et l'import vers LibreDesk ;
- `ollama/` : l'image Ollama avec le modèle d'embeddings `bge-m3:567m` embarqué, qui sert la recherche dans la base depuis le serveur de LibreDesk ;
- `acces/` : le service d'accès, appelé par l'outil `get_customer_access` de LibreDesk au clic sur « Generate reply » : les stations que le client de la conversation peut voir sur le dashboard (export d'Auth0 `acces/utilisateurs.json` + ses UserGroup, en lecture seule) ; lancement dans `acces/compose.yml` ;
- `conversations/` : le pompage des conversations, **en lecture seule**, vers `~/aimsight-labeling/auto/conversations/` (le fil, les images, les pièces jointes), pour le support et l'entraînement ; lancé par l'onglet Conversations d'aimsight-app (section ci-dessous) ;
- `instance-de-test/` : un LibreDesk v2.9.0 local avec Mailpit (un piège SMTP : rien ne sort), pour tout essayer avant la production ;
- `.vscode/tasks.json` : les opérations courantes en un clic (Terminal → Run Task).
@@ -15,7 +16,7 @@ Design : `docs/superpowers/specs/2026-11-12-support-libredesk-design.md`. Gestes
## Aucun message ne part au client
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_base.py`).
- Aucun code de ce dépôt n'écrit dans une conversation de la production. L'import ne parle à LibreDesk que par les routes des extraits (`tests/test_garde_fou_snippets.py`) ; le pompage des conversations ne fait que des GET (`tests/test_garde_fou_conversations.py`).
- Seule l'instance de test crée des conversations, et son SMTP est Mailpit.
- Les assistants IA de LibreDesk (qui répondraient seuls) restent désactivés ; aucune règle d'automatisation.
@@ -70,3 +71,22 @@ Interface : `http://127.0.0.1:9100` (utilisateur `System`) ; Mailpit : `http://1
### Retoucher la base de connaissances
Modifier le fichier dans `snippets/textes/`, lancer les tests, puis l'import en simulation et en écriture (tâches « Snippets : … »). L'import apparie par titre, met à jour ce qui a changé et **ne supprime jamais** : un extrait retiré du corpus est seulement signalé. En production, il faut une clé admin temporaire (`docs/production.md`, point 4).
### Pomper les conversations
`conversations/pomper.py` copie les conversations de LibreDesk, toutes les boîtes et tous les statuts, notes privées comprises, dans un dossier par conversation : `conversation.json`, `messages.json` (les URL des pièces jointes remplacées par leur chemin local), `attachments/` et `transcript.md`, le fil lisible (texte seul, images en ligne). Que des GET ; la clé ne va qu'à LibreDesk. Sans dates, ce qui a changé depuis le dernier pompage complet (`pumped.json` dans le dossier de sortie ; la première fois, tout l'historique, à une heure calme) ; avec `--depuis/--jusqu-a`, une plage de mises à jour.
La clé : un agent « Lecture conversations » dans LibreDesk, avec un rôle qui n'a que `conversations:read_all` et `messages:read`, et sa clé d'API dans `.env` :
```bash
export LIBREDESK_LECTURE_KEY=…
export LIBREDESK_LECTURE_SECRET=…
```
D'habitude depuis l'onglet **Conversations** d'aimsight-app (qui appelle `conversations/pompage.py`), sinon la tâche « Conversations : pomper », ou :
```bash
conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations
```
Un pompage à la fois (`out/conversations.lock`), journal dans `out/conversations.log`. Les conversations se commitent ensuite dans aimsight-labeling, à la main.
+45
View File
@@ -0,0 +1,45 @@
"""Ce qu'aimsight-app appelle pour pomper les conversations (son onglet Conversations), le jumeau d'extraction/pumping.py
d'aimsight-data : lancer pomper.sh, savoir s'il tourne, lire la fin de son journal. Importé comme module simple (sys.path =
conversations/) : aucun import du paquet ici."""
import fcntl
import os
import re
import subprocess
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
JOUR = re.compile(r"\d{4}-\d{2}-\d{2}")
PLAGE = "a range: From and To, YYYY-MM-DD, From before To" # les mots de pumping.py, montrés tels quels par l'app
def running() -> bool:
"""Un pompage en cours : le verrou de pomper.sh est tenu."""
try:
with open(ROOT / "out" / "conversations.lock") as verrou:
fcntl.flock(verrou, fcntl.LOCK_EX | fcntl.LOCK_NB)
except FileNotFoundError:
return False
except BlockingIOError:
return True
return False
def log(lines: int = 40) -> list[str]:
"""Les dernières lignes de out/conversations.log."""
try:
with open(ROOT / "out" / "conversations.log", "rb") as f:
f.seek(max(0, f.seek(0, os.SEEK_END) - 300 * lines))
return f.read().decode(errors="replace").splitlines()[-lines:]
except FileNotFoundError:
return []
def start(depuis: str, jusqu_a: str, sortie: str) -> subprocess.Popen:
"""pomper.sh en arrière-plan, dans sortie ; avec une plage (AAAA-MM-JJ, jusqu_a exclu) ou sans (ce qui a changé)."""
if bool(depuis) != bool(jusqu_a) or (depuis and not (JOUR.fullmatch(depuis) and JOUR.fullmatch(jusqu_a) and depuis < jusqu_a)):
raise ValueError(PLAGE)
if running():
raise ValueError("a pumping of the conversations is already running")
plage = ["--depuis", depuis, "--jusqu-a", jusqu_a] if depuis else []
return subprocess.Popen([str(ROOT / "conversations" / "pomper.sh"), "--sortie", str(sortie), *plage], cwd=ROOT,
stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
+18
View File
@@ -0,0 +1,18 @@
#!/usr/bin/env bash
# Pompe les conversations de LibreDesk (conversations/pomper.py), en lecture seule. Lit la clé de lecture dans le .env à la
# racine du dépôt (jamais versionné). Un pompage à la fois (verrou out/conversations.lock), sortie ajoutée à
# out/conversations.log.
# conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations [--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
set -u
root=$(cd "$(dirname "$0")/.." && pwd)
mkdir -p "$root/out"
cd "$root"
exec 9>"$root/out/conversations.lock"
flock -n 9 || { echo "Un pompage des conversations tourne déjà." >&2; exit 1; }
{
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) pomper $*"
(set -a +u && . "$root/.env" && set +a -u && python3 -m conversations.pomper "$@")
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) fin"
} 2>&1 | tee -a "$root/out/conversations.log"
+41
View File
@@ -0,0 +1,41 @@
import shutil
import tempfile
import unittest
from pathlib import Path
from conversations import pompage
class TestPompage(unittest.TestCase):
def setUp(self):
self.racine, avant = Path(tempfile.mkdtemp()), pompage.ROOT
pompage.ROOT = self.racine
self.addCleanup(setattr, pompage, "ROOT", avant)
self.addCleanup(shutil.rmtree, self.racine)
def test_plage_refusee(self):
for depuis, jusqu_a in (("2026-11-01", ""), ("", "2026-11-01"), ("2026-11-02", "2026-11-01"), ("1.11.2026", "2026-11-02")):
with self.assertRaisesRegex(ValueError, "From and To"):
pompage.start(depuis, jusqu_a, "/tmp/x")
def test_pas_de_verrou_pas_de_pompage(self):
self.assertFalse(pompage.running())
def test_verrou_tenu(self):
import fcntl
(self.racine / "out").mkdir()
with open(self.racine / "out" / "conversations.lock", "w") as verrou:
fcntl.flock(verrou, fcntl.LOCK_EX)
self.assertTrue(pompage.running())
with self.assertRaisesRegex(ValueError, "already running"):
pompage.start("", "", "/tmp/x")
def test_journal(self):
(self.racine / "out").mkdir()
(self.racine / "out" / "conversations.log").write_text("".join(f"ligne {i}\n" for i in range(50)))
self.assertEqual(pompage.log(3), ["ligne 47", "ligne 48", "ligne 49"])
self.assertEqual(pompage.log(), [f"ligne {i}" for i in range(10, 50)])
if __name__ == "__main__":
unittest.main()