Conversations : une pièce jointe perdue sautée et notée, noms longs raccourcis, file: refusé, ordre de LibreDesk vérifié
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
553562622f
commit
2ecf9cedeb
4 files changed
+71
-6
No files matched your search
+30
-6
@@ -28,6 +28,8 @@ from conversations.transcript import transcript
|
||||
PAGE = 100
|
||||
MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue
|
||||
REFERENCE = re.compile(r"[A-Za-z0-9_-]+")
|
||||
NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers
|
||||
PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée
|
||||
|
||||
|
||||
class Lecteur:
|
||||
@@ -39,6 +41,8 @@ class Lecteur:
|
||||
|
||||
def _ouvrir(self, url: str) -> bytes:
|
||||
url = urllib.parse.urljoin(self.url + "/", url)
|
||||
if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité
|
||||
raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})")
|
||||
r = urllib.request.Request(url)
|
||||
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
|
||||
r.add_unredirected_header("Authorization", self._auth)
|
||||
@@ -65,9 +69,10 @@ class Lecteur:
|
||||
return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"]))
|
||||
|
||||
def telecharger(self, url: str, chemin: Path) -> None:
|
||||
contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée
|
||||
chemin.parent.mkdir(parents=True, exist_ok=True)
|
||||
partiel = chemin.with_name(chemin.name + ".part")
|
||||
partiel.write_bytes(self._ouvrir(url))
|
||||
partiel.write_bytes(contenu)
|
||||
partiel.replace(chemin)
|
||||
|
||||
|
||||
@@ -79,10 +84,15 @@ def _date(t: str) -> datetime:
|
||||
def _nom_local(nom: str, uuid: str) -> str:
|
||||
"""Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe."""
|
||||
sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731
|
||||
return sur(nom) or sur(uuid) or "piece"
|
||||
nom = sur(nom) or sur(uuid) or "piece"
|
||||
racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "")
|
||||
while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension
|
||||
racine = racine[:-1] if racine else ""
|
||||
suffixe = suffixe if racine else suffixe[:NOM_MAX // 4]
|
||||
return racine + suffixe
|
||||
|
||||
|
||||
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]:
|
||||
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]:
|
||||
ref = str(c.get("reference_number") or "")
|
||||
dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation"))
|
||||
messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0
|
||||
@@ -94,7 +104,16 @@ def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]:
|
||||
pris.add(nom)
|
||||
f, url = dossier / "attachments" / nom, a.get("url") or ""
|
||||
if url and not (f.exists() and f.stat().st_size == a.get("size")):
|
||||
lecteur.telecharger(url, f)
|
||||
try:
|
||||
lecteur.telecharger(url, f)
|
||||
except (urllib.error.HTTPError, ValueError) as e:
|
||||
if isinstance(e, urllib.error.HTTPError):
|
||||
e.close()
|
||||
if e.code not in PERDUE:
|
||||
raise # une erreur passagère : le pompage s'arrête, le suivant reprendra
|
||||
journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}")
|
||||
a["url"], a["absente"] = "", True
|
||||
continue
|
||||
if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne)
|
||||
m["content"] = (m.get("content") or "").replace(url.replace("&", "&"), url).replace(url, f"attachments/{nom}")
|
||||
a["url"] = f"attachments/{nom}"
|
||||
@@ -113,14 +132,17 @@ def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: s
|
||||
bas, haut = _date(depuis), _date(jusqu_a)
|
||||
else:
|
||||
bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None
|
||||
n = 0
|
||||
n, avant = 0, None
|
||||
for c in lecteur.conversations():
|
||||
t = _date(c["updated_at"])
|
||||
if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues
|
||||
raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé")
|
||||
avant = t
|
||||
if haut and t >= haut:
|
||||
continue
|
||||
if bas and t < bas:
|
||||
break
|
||||
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c)
|
||||
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal)
|
||||
journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes")
|
||||
n += 1
|
||||
if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant
|
||||
@@ -148,6 +170,8 @@ def main():
|
||||
sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}")
|
||||
except ValueError as e:
|
||||
sys.exit(str(e))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -52,6 +52,9 @@ def _nom(personne: dict | None) -> str:
|
||||
def _pieces(pieces: list[dict]) -> list[str]:
|
||||
lignes = []
|
||||
for a in pieces:
|
||||
if not a.get("url"): # pas téléchargée : perdue par LibreDesk
|
||||
lignes.append(f"{a.get('name')} (absente)")
|
||||
continue
|
||||
cible = urllib.parse.quote(a.get("url") or "")
|
||||
image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml"
|
||||
lignes.append(f"{'!' * image}[{a.get('name')}]({cible})")
|
||||
|
||||
Reference in new issue
Block a user