diff --git a/conversations/pomper.py b/conversations/pomper.py index b349d36..7acec42 100644 --- a/conversations/pomper.py +++ b/conversations/pomper.py @@ -28,6 +28,8 @@ from conversations.transcript import transcript PAGE = 100 MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue REFERENCE = re.compile(r"[A-Za-z0-9_-]+") +NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers +PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée class Lecteur: @@ -39,6 +41,8 @@ class Lecteur: def _ouvrir(self, url: str) -> bytes: url = urllib.parse.urljoin(self.url + "/", url) + if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité + raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})") r = urllib.request.Request(url) if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk r.add_unredirected_header("Authorization", self._auth) @@ -65,9 +69,10 @@ class Lecteur: return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"])) def telecharger(self, url: str, chemin: Path) -> None: + contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée chemin.parent.mkdir(parents=True, exist_ok=True) partiel = chemin.with_name(chemin.name + ".part") - partiel.write_bytes(self._ouvrir(url)) + partiel.write_bytes(contenu) partiel.replace(chemin) @@ -79,10 +84,15 @@ def _date(t: str) -> datetime: def _nom_local(nom: str, uuid: str) -> str: """Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe.""" sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731 - return sur(nom) or sur(uuid) or "piece" + nom = sur(nom) or sur(uuid) or "piece" + racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "") + while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension + racine = racine[:-1] if racine else "" + suffixe = suffixe if racine else suffixe[:NOM_MAX // 4] + return racine + suffixe -def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]: +def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]: ref = str(c.get("reference_number") or "") dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation")) messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0 @@ -94,7 +104,16 @@ def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]: pris.add(nom) f, url = dossier / "attachments" / nom, a.get("url") or "" if url and not (f.exists() and f.stat().st_size == a.get("size")): - lecteur.telecharger(url, f) + try: + lecteur.telecharger(url, f) + except (urllib.error.HTTPError, ValueError) as e: + if isinstance(e, urllib.error.HTTPError): + e.close() + if e.code not in PERDUE: + raise # une erreur passagère : le pompage s'arrête, le suivant reprendra + journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}") + a["url"], a["absente"] = "", True + continue if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne) m["content"] = (m.get("content") or "").replace(url.replace("&", "&"), url).replace(url, f"attachments/{nom}") a["url"] = f"attachments/{nom}" @@ -113,14 +132,17 @@ def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: s bas, haut = _date(depuis), _date(jusqu_a) else: bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None - n = 0 + n, avant = 0, None for c in lecteur.conversations(): t = _date(c["updated_at"]) + if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues + raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé") + avant = t if haut and t >= haut: continue if bas and t < bas: break - nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c) + nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal) journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes") n += 1 if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant @@ -148,6 +170,8 @@ def main(): sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe except (urllib.error.URLError, TimeoutError) as e: sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}") + except ValueError as e: + sys.exit(str(e)) if __name__ == "__main__": diff --git a/conversations/transcript.py b/conversations/transcript.py index ffe1057..d1ae6f6 100644 --- a/conversations/transcript.py +++ b/conversations/transcript.py @@ -52,6 +52,9 @@ def _nom(personne: dict | None) -> str: def _pieces(pieces: list[dict]) -> list[str]: lignes = [] for a in pieces: + if not a.get("url"): # pas téléchargée : perdue par LibreDesk + lignes.append(f"{a.get('name')} (absente)") + continue cible = urllib.parse.quote(a.get("url") or "") image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml" lignes.append(f"{'!' * image}[{a.get('name')}]({cible})") diff --git a/tests/test_pomper.py b/tests/test_pomper.py index ab51e0c..1a491f7 100644 --- a/tests/test_pomper.py +++ b/tests/test_pomper.py @@ -161,6 +161,39 @@ class TestPomper(unittest.TestCase): self.pomper() self.assertEqual(self.faux.ecritures(), []) + def test_piece_jointe_perdue_sautee(self): # un fichier perdu par LibreDesk ne bloque pas les pompages suivants + self.faux.reponses[("GET", "/uploads/perdu")] = 404 + self.faux.reponses[("GET", "/uploads/f1")] = b"abc" + self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z")], + {"u3": [message("08:00", [piece("perdu.png", "/uploads/perdu"), piece("b.png", "/uploads/f1", uuid="a2")])]}) + self.assertEqual(self.pomper(), 2) + self.assertTrue(self.repere()) + self.assertEqual(sorted(p.name for p in (self.sortie / "3" / "attachments").iterdir()), ["b.png"]) + m = json.loads((self.sortie / "3" / "messages.json").read_text())[0] + self.assertEqual(m["attachments"][0]["url"], "") + self.assertTrue(any("perdu.png" in l and "404" in l for l in self.lignes), self.lignes) + + def test_nom_trop_long_tronque(self): + self.faux.reponses[("GET", "/uploads/f1")] = b"abc" + self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], {"u3": [message("08:00", [piece("é" * 150 + ".png", "/uploads/f1")])]}) + self.pomper() + (f,) = (self.sortie / "3" / "attachments").iterdir() + self.assertLessEqual(len(f.name.encode()), 200) + self.assertTrue(f.name.endswith(".png")) + + def test_schema_autre_que_http_refuse(self): # jamais un fichier local recopié dans le dossier commité + self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], + {"u3": [message("08:00", [piece("e.txt", "file:///etc/hostname")])]}) + self.pomper() + self.assertFalse((self.sortie / "3" / "attachments").exists()) + + def test_ordre_non_respecte(self): # LibreDesk ne trie pas par updated_at : on s'arrête, le repère ne bouge pas + (self.sortie / "pumped.json").write_text(json.dumps({"until": "2026-11-01T00:00:00+00:00"})) + self.servir([conv("2", "u2", "2026-11-17T12:00:00Z"), conv("3", "u3", "2026-11-18T12:00:00Z")]) + with self.assertRaisesRegex(ValueError, "ordre"): + self.pomper() + self.assertEqual(self.repere(), "2026-11-01T00:00:00+00:00") + if __name__ == "__main__": unittest.main() diff --git a/tests/test_transcript.py b/tests/test_transcript.py index 79eb068..880bcca 100644 --- a/tests/test_transcript.py +++ b/tests/test_transcript.py @@ -54,6 +54,11 @@ class TestTranscript(unittest.TestCase): def test_svg_en_lien(self): # un svg est un lien, jamais une image en ligne self.assertNotIn("![", transcript(CONV, [msg("09:00", pieces=[piece("a.svg", "image/svg+xml")])])) + def test_piece_absente(self): # pas téléchargée (perdue par LibreDesk) : nommée, sans lien + t = transcript(CONV, [msg("09:00", pieces=[{"name": "p.png", "content_type": "image/png", "url": ""}])]) + self.assertIn("p.png (absente)", t) + self.assertNotIn("](", t) + if __name__ == "__main__": unittest.main()