Conversations : une pièce jointe perdue sautée et notée, noms longs raccourcis, file: refusé, ordre de LibreDesk vérifié
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
553562622f
commit
2ecf9cedeb
4 files changed
+71
-6
No files matched your search
+30
-6
@@ -28,6 +28,8 @@ from conversations.transcript import transcript
|
||||
PAGE = 100
|
||||
MARGE = timedelta(hours=1) # le repère moins une heure : une conversation mise à jour pendant le pompage n'est pas perdue
|
||||
REFERENCE = re.compile(r"[A-Za-z0-9_-]+")
|
||||
NOM_MAX = 200 # octets : sous la limite de 255 des systèmes de fichiers
|
||||
PERDUE = {403, 404, 410} # une pièce jointe que LibreDesk n'a plus, ou dont il refuse la signature : sautée, notée
|
||||
|
||||
|
||||
class Lecteur:
|
||||
@@ -39,6 +41,8 @@ class Lecteur:
|
||||
|
||||
def _ouvrir(self, url: str) -> bytes:
|
||||
url = urllib.parse.urljoin(self.url + "/", url)
|
||||
if urllib.parse.urlsplit(url).scheme not in ("http", "https"): # jamais file: : un fichier local recopié et commité
|
||||
raise ValueError(f"adresse refusée (schéma {urllib.parse.urlsplit(url).scheme or 'absent'})")
|
||||
r = urllib.request.Request(url)
|
||||
if urllib.parse.urlsplit(url)[:2] == urllib.parse.urlsplit(self.url)[:2]: # la clé ne va qu'à LibreDesk
|
||||
r.add_unredirected_header("Authorization", self._auth)
|
||||
@@ -65,9 +69,10 @@ class Lecteur:
|
||||
return sorted(self._pages(f"/api/v1/conversations/{uuid}/messages"), key=lambda m: _date(m["created_at"]))
|
||||
|
||||
def telecharger(self, url: str, chemin: Path) -> None:
|
||||
contenu = self._ouvrir(url) # d'abord : pas de dossier vide pour une pièce refusée
|
||||
chemin.parent.mkdir(parents=True, exist_ok=True)
|
||||
partiel = chemin.with_name(chemin.name + ".part")
|
||||
partiel.write_bytes(self._ouvrir(url))
|
||||
partiel.write_bytes(contenu)
|
||||
partiel.replace(chemin)
|
||||
|
||||
|
||||
@@ -79,10 +84,15 @@ def _date(t: str) -> datetime:
|
||||
def _nom_local(nom: str, uuid: str) -> str:
|
||||
"""Un nom de fichier sûr, dans attachments/ seulement ; vide : l'uuid de la pièce jointe."""
|
||||
sur = lambda s: re.sub(r"[^\w.\- ]", "_", Path(s or "").name).strip(" .") # noqa: E731
|
||||
return sur(nom) or sur(uuid) or "piece"
|
||||
nom = sur(nom) or sur(uuid) or "piece"
|
||||
racine, suffixe = (nom.rsplit(".", 1)[0], "." + nom.rsplit(".", 1)[1]) if "." in nom[1:] else (nom, "")
|
||||
while len((racine + suffixe).encode()) > NOM_MAX: # un nom trop long, raccourci en gardant l'extension
|
||||
racine = racine[:-1] if racine else ""
|
||||
suffixe = suffixe if racine else suffixe[:NOM_MAX // 4]
|
||||
return racine + suffixe
|
||||
|
||||
|
||||
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]:
|
||||
def _ecrire(lecteur: Lecteur, sortie: Path, c: dict, journal) -> tuple[str, int, int]:
|
||||
ref = str(c.get("reference_number") or "")
|
||||
dossier = sortie / (ref if REFERENCE.fullmatch(ref) else _nom_local(c["uuid"], "conversation"))
|
||||
messages, pris, n_pieces = lecteur.messages(c["uuid"]), set(), 0
|
||||
@@ -94,7 +104,16 @@ def _ecrire(lecteur: Lecteur, sortie: Path, c: dict) -> tuple[str, int, int]:
|
||||
pris.add(nom)
|
||||
f, url = dossier / "attachments" / nom, a.get("url") or ""
|
||||
if url and not (f.exists() and f.stat().st_size == a.get("size")):
|
||||
lecteur.telecharger(url, f)
|
||||
try:
|
||||
lecteur.telecharger(url, f)
|
||||
except (urllib.error.HTTPError, ValueError) as e:
|
||||
if isinstance(e, urllib.error.HTTPError):
|
||||
e.close()
|
||||
if e.code not in PERDUE:
|
||||
raise # une erreur passagère : le pompage s'arrête, le suivant reprendra
|
||||
journal(f" pièce jointe {nom} sautée : {getattr(e, 'code', e)}")
|
||||
a["url"], a["absente"] = "", True
|
||||
continue
|
||||
if url: # l'URL signée expire : le chemin local, dans la pièce et dans le contenu (images en ligne)
|
||||
m["content"] = (m.get("content") or "").replace(url.replace("&", "&"), url).replace(url, f"attachments/{nom}")
|
||||
a["url"] = f"attachments/{nom}"
|
||||
@@ -113,14 +132,17 @@ def pomper(lecteur: Lecteur, sortie: Path, depuis: str | None = None, jusqu_a: s
|
||||
bas, haut = _date(depuis), _date(jusqu_a)
|
||||
else:
|
||||
bas = _date(json.loads(repere.read_text())["until"]) - MARGE if repere.exists() else None
|
||||
n = 0
|
||||
n, avant = 0, None
|
||||
for c in lecteur.conversations():
|
||||
t = _date(c["updated_at"])
|
||||
if avant and t > avant: # l'arrêt incrémental suppose l'ordre de updated_at : sinon des conversations perdues
|
||||
raise ValueError("LibreDesk ne rend pas les conversations dans l'ordre de updated_at : pompage arrêté, repère inchangé")
|
||||
avant = t
|
||||
if haut and t >= haut:
|
||||
continue
|
||||
if bas and t < bas:
|
||||
break
|
||||
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c)
|
||||
nom, n_messages, n_pieces = _ecrire(lecteur, sortie, c, journal)
|
||||
journal(f"#{nom} {c.get('subject') or ''} : {n_messages} messages, {n_pieces} pièces jointes")
|
||||
n += 1
|
||||
if not depuis: # seulement un pompage complet : un pompage interrompu est repris au suivant
|
||||
@@ -148,6 +170,8 @@ def main():
|
||||
sys.exit(f"LibreDesk : {e.code} sur {e.url}".split("?")[0]) # sans la signature d'une URL de pièce jointe
|
||||
except (urllib.error.URLError, TimeoutError) as e:
|
||||
sys.exit(f"LibreDesk injoignable : {getattr(e, 'reason', e)}")
|
||||
except ValueError as e:
|
||||
sys.exit(str(e))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -52,6 +52,9 @@ def _nom(personne: dict | None) -> str:
|
||||
def _pieces(pieces: list[dict]) -> list[str]:
|
||||
lignes = []
|
||||
for a in pieces:
|
||||
if not a.get("url"): # pas téléchargée : perdue par LibreDesk
|
||||
lignes.append(f"{a.get('name')} (absente)")
|
||||
continue
|
||||
cible = urllib.parse.quote(a.get("url") or "")
|
||||
image = (a.get("content_type") or "").startswith("image/") and a.get("content_type") != "image/svg+xml"
|
||||
lignes.append(f"{'!' * image}[{a.get('name')}]({cible})")
|
||||
|
||||
@@ -161,6 +161,39 @@ class TestPomper(unittest.TestCase):
|
||||
self.pomper()
|
||||
self.assertEqual(self.faux.ecritures(), [])
|
||||
|
||||
def test_piece_jointe_perdue_sautee(self): # un fichier perdu par LibreDesk ne bloque pas les pompages suivants
|
||||
self.faux.reponses[("GET", "/uploads/perdu")] = 404
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z"), conv("2", "u2", "2026-11-17T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("perdu.png", "/uploads/perdu"), piece("b.png", "/uploads/f1", uuid="a2")])]})
|
||||
self.assertEqual(self.pomper(), 2)
|
||||
self.assertTrue(self.repere())
|
||||
self.assertEqual(sorted(p.name for p in (self.sortie / "3" / "attachments").iterdir()), ["b.png"])
|
||||
m = json.loads((self.sortie / "3" / "messages.json").read_text())[0]
|
||||
self.assertEqual(m["attachments"][0]["url"], "")
|
||||
self.assertTrue(any("perdu.png" in l and "404" in l for l in self.lignes), self.lignes)
|
||||
|
||||
def test_nom_trop_long_tronque(self):
|
||||
self.faux.reponses[("GET", "/uploads/f1")] = b"abc"
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")], {"u3": [message("08:00", [piece("é" * 150 + ".png", "/uploads/f1")])]})
|
||||
self.pomper()
|
||||
(f,) = (self.sortie / "3" / "attachments").iterdir()
|
||||
self.assertLessEqual(len(f.name.encode()), 200)
|
||||
self.assertTrue(f.name.endswith(".png"))
|
||||
|
||||
def test_schema_autre_que_http_refuse(self): # jamais un fichier local recopié dans le dossier commité
|
||||
self.servir([conv("3", "u3", "2026-11-18T12:00:00Z")],
|
||||
{"u3": [message("08:00", [piece("e.txt", "file:///etc/hostname")])]})
|
||||
self.pomper()
|
||||
self.assertFalse((self.sortie / "3" / "attachments").exists())
|
||||
|
||||
def test_ordre_non_respecte(self): # LibreDesk ne trie pas par updated_at : on s'arrête, le repère ne bouge pas
|
||||
(self.sortie / "pumped.json").write_text(json.dumps({"until": "2026-11-01T00:00:00+00:00"}))
|
||||
self.servir([conv("2", "u2", "2026-11-17T12:00:00Z"), conv("3", "u3", "2026-11-18T12:00:00Z")])
|
||||
with self.assertRaisesRegex(ValueError, "ordre"):
|
||||
self.pomper()
|
||||
self.assertEqual(self.repere(), "2026-11-01T00:00:00+00:00")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
@@ -54,6 +54,11 @@ class TestTranscript(unittest.TestCase):
|
||||
def test_svg_en_lien(self): # un svg est un lien, jamais une image en ligne
|
||||
self.assertNotIn("![", transcript(CONV, [msg("09:00", pieces=[piece("a.svg", "image/svg+xml")])]))
|
||||
|
||||
def test_piece_absente(self): # pas téléchargée (perdue par LibreDesk) : nommée, sans lien
|
||||
t = transcript(CONV, [msg("09:00", pieces=[{"name": "p.png", "content_type": "image/png", "url": ""}])])
|
||||
self.assertIn("p.png (absente)", t)
|
||||
self.assertNotIn("](", t)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
unittest.main()
|
||||
Reference in new issue
Block a user