Conversations : pomper.sh (.env, verrou, journal) et pompage.py, appelé par aimsight-app

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-18 15:09:34 +01:00
1 parent 2a03b57b49
commit 553562622f
6 files changed
+132 -1

No files matched your search

+45
View File
@@ -0,0 +1,45 @@
"""Ce qu'aimsight-app appelle pour pomper les conversations (son onglet Conversations), le jumeau d'extraction/pumping.py
d'aimsight-data : lancer pomper.sh, savoir s'il tourne, lire la fin de son journal. Importé comme module simple (sys.path =
conversations/) : aucun import du paquet ici."""
import fcntl
import os
import re
import subprocess
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
JOUR = re.compile(r"\d{4}-\d{2}-\d{2}")
PLAGE = "a range: From and To, YYYY-MM-DD, From before To" # les mots de pumping.py, montrés tels quels par l'app
def running() -> bool:
"""Un pompage en cours : le verrou de pomper.sh est tenu."""
try:
with open(ROOT / "out" / "conversations.lock") as verrou:
fcntl.flock(verrou, fcntl.LOCK_EX | fcntl.LOCK_NB)
except FileNotFoundError:
return False
except BlockingIOError:
return True
return False
def log(lines: int = 40) -> list[str]:
"""Les dernières lignes de out/conversations.log."""
try:
with open(ROOT / "out" / "conversations.log", "rb") as f:
f.seek(max(0, f.seek(0, os.SEEK_END) - 300 * lines))
return f.read().decode(errors="replace").splitlines()[-lines:]
except FileNotFoundError:
return []
def start(depuis: str, jusqu_a: str, sortie: str) -> subprocess.Popen:
"""pomper.sh en arrière-plan, dans sortie ; avec une plage (AAAA-MM-JJ, jusqu_a exclu) ou sans (ce qui a changé)."""
if bool(depuis) != bool(jusqu_a) or (depuis and not (JOUR.fullmatch(depuis) and JOUR.fullmatch(jusqu_a) and depuis < jusqu_a)):
raise ValueError(PLAGE)
if running():
raise ValueError("a pumping of the conversations is already running")
plage = ["--depuis", depuis, "--jusqu-a", jusqu_a] if depuis else []
return subprocess.Popen([str(ROOT / "conversations" / "pomper.sh"), "--sortie", str(sortie), *plage], cwd=ROOT,
stdin=subprocess.DEVNULL, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
+18
View File
@@ -0,0 +1,18 @@
#!/usr/bin/env bash
# Pompe les conversations de LibreDesk (conversations/pomper.py), en lecture seule. Lit la clé de lecture dans le .env à la
# racine du dépôt (jamais versionné). Un pompage à la fois (verrou out/conversations.lock), sortie ajoutée à
# out/conversations.log.
# conversations/pomper.sh --sortie ~/aimsight-labeling/auto/conversations [--depuis AAAA-MM-JJ --jusqu-a AAAA-MM-JJ]
set -u
root=$(cd "$(dirname "$0")/.." && pwd)
mkdir -p "$root/out"
cd "$root"
exec 9>"$root/out/conversations.lock"
flock -n 9 || { echo "Un pompage des conversations tourne déjà." >&2; exit 1; }
{
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) pomper $*"
(set -a +u && . "$root/.env" && set +a -u && python3 -m conversations.pomper "$@")
echo "=== $(date -u +%Y-%m-%dT%H:%MZ) fin"
} 2>&1 | tee -a "$root/out/conversations.log"