Conversations : une pièce jointe perdue sautée et notée, noms longs raccourcis, file: refusé, ordre de LibreDesk vérifié

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-18 15:23:21 +01:00
1 parent 553562622f
commit 2ecf9cedeb
4 files changed
+71 -6

No files matched your search

+30 -6
View File
@@ -28,6 +28,8 @@ from conversations.transcript import transcript
PAGE = 100
MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue
REFERENCE = re.compile(r"[A-Za-z0-9_-]+")
NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers
PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée
class Lecteur:
@@ -39,6 +41,8 @@ class Lecteur:
def _ouvrir(self, url: str) -> bytes:
url = urllib.parse.urljoin(self.url + "/", url)
if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité
raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})")
r = urllib.request.Request(url)
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
r.add_unredirected_header("Authorization", self._auth)
@@ -65,9 +69,10 @@ class Lecteur:
return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"]))
def telecharger(self, url: str, chemin: Path) -> None:
contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée
chemin.parent.mkdir(parents=True, exist_ok=True)
partiel = chemin.with_name(chemin.name + ".part")
partiel.write_bytes(self._ouvrir(url))
partiel.write_bytes(contenu)
partiel.replace(chemin)
@@ -79,10 +84,15 @@ def _date(t: str) -> datetime:
def _nom_local(nom: str, uuid: str) -> str:
"""Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe."""
sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731
return sur(nom) or sur(uuid) or "piece"
nom = sur(nom) or sur(uuid) or "piece"
racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "")
while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension
racine = racine[:-1] if racine else ""
suffixe = suffixe if racine else suffixe[:NOM_MAX // 4]
return racine + suffixe
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]:
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]:
ref = str(c.get("reference_number") or "")
dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation"))
messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0
@@ -94,7 +104,16 @@ def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]:
pris.add(nom)
f, url = dossier / "attachments" / nom, a.get("url") or ""
if url and not (f.exists() and f.stat().st_size == a.get("size")):
lecteur.telecharger(url, f)
try:
lecteur.telecharger(url, f)
except (urllib.error.HTTPError, ValueError) as e:
if isinstance(e, urllib.error.HTTPError):
e.close()
if e.code not in PERDUE:
raise # une erreur passagère : le pompage s'arrête, le suivant reprendra
journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}")
a["url"], a["absente"] = "", True
continue
if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne)
m["content"] = (m.get("content") or "").replace(url.replace("&", "&amp;"), url).replace(url, f"attachments/{nom}")
a["url"] = f"attachments/{nom}"
@@ -113,14 +132,17 @@ def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: s
bas, haut = _date(depuis), _date(jusqu_a)
else:
bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None
n = 0
n, avant = 0, None
for c in lecteur.conversations():
t = _date(c["updated_at"])
if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues
raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé")
avant = t
if haut and t >= haut:
continue
if bas and t < bas:
break
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c)
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal)
journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes")
n += 1
if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant
@@ -148,6 +170,8 @@ def main():
sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe
except (urllib.error.URLError, TimeoutError) as e:
sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}")
except ValueError as e:
sys.exit(str(e))
if __name__ == "__main__":
+3
View File
@@ -52,6 +52,9 @@ def _nom(personne: dict | None) -> str:
def _pieces(pieces: list[dict]) -> list[str]:
lignes = []
for a in pieces:
if not a.get("url"): # pas téléchargée : perdue par LibreDesk
lignes.append(f"{a.get('name')} (absente)")
continue
cible = urllib.parse.quote(a.get("url") or "")
image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml"
lignes.append(f"{'!' * image}[{a.get('name')}]({cible})")
+33
View File
@@ -161,6 +161,39 @@ class TestPomper(unittest.TestCase):
self.pomper()
self.assertEqual(self.faux.ecritures(), [])
def test_piece_jointe_perdue_sautee(self): # un fichier perdu par LibreDesk ne bloque pas les pompages suivants
self.faux.reponses[("GET", "/uploads/perdu")] = 404
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z")],
{"u3": [message("08:00", [piece("perdu.png", "/uploads/perdu"), piece("b.png", "/uploads/f1", uuid="a2")])]})
self.assertEqual(self.pomper(), 2)
self.assertTrue(self.repere())
self.assertEqual(sorted(p.name for p in (self.sortie / "3" / "attachments").iterdir()), ["b.png"])
m = json.loads((self.sortie / "3" / "messages.json").read_text())[0]
self.assertEqual(m["attachments"][0]["url"], "")
self.assertTrue(any("perdu.png" in l and "404" in l for l in self.lignes), self.lignes)
def test_nom_trop_long_tronque(self):
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], {"u3": [message("08:00", [piece("é" * 150 + ".png", "/uploads/f1")])]})
self.pomper()
(f,) = (self.sortie / "3" / "attachments").iterdir()
self.assertLessEqual(len(f.name.encode()), 200)
self.assertTrue(f.name.endswith(".png"))
def test_schema_autre_que_http_refuse(self): # jamais un fichier local recopié dans le dossier commité
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
{"u3": [message("08:00", [piece("e.txt", "file:///etc/hostname")])]})
self.pomper()
self.assertFalse((self.sortie / "3" / "attachments").exists())
def test_ordre_non_respecte(self): # LibreDesk ne trie pas par updated_at : on s'arrête, le repère ne bouge pas
(self.sortie / "pumped.json").write_text(json.dumps({"until": "2026-11-01T00:00:00+00:00"}))
self.servir([conv("2", "u2", "2026-11-17T12:00:00Z"), conv("3", "u3", "2026-11-18T12:00:00Z")])
with self.assertRaisesRegex(ValueError, "ordre"):
self.pomper()
self.assertEqual(self.repere(), "2026-11-01T00:00:00+00:00")
if __name__ == "__main__":
unittest.main()
+5
View File
@@ -54,6 +54,11 @@ class TestTranscript(unittest.TestCase):
def test_svg_en_lien(self): # un svg est un lien, jamais une image en ligne
self.assertNotIn("![", transcript(CONV, [msg("09:00", pieces=[piece("a.svg", "image/svg+xml")])]))
def test_piece_absente(self): # pas téléchargée (perdue par LibreDesk) : nommée, sans lien
t = transcript(CONV, [msg("09:00", pieces=[{"name": "p.png", "content_type": "image/png", "url": ""}])])
self.assertIn("p.png (absente)", t)
self.assertNotIn("](", t)
if __name__ == "__main__":
unittest.main()