"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances de LibreDesk ; écriture et lecture de snippets/textes/ (un fichier Markdown par extrait).""" import re import unicodedata from dataclasses import dataclass from pathlib import Path ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}[\s⁠]*(\d+)") # « titre . . . . page » ; pdftotext met parfois U+2060 PUCE = re.compile(r"\s*�\s*") def slug(titre: str) -> str: sans_accents = unicodedata.normalize("NFKD", titre).encode("ascii", "ignore").decode() return re.sub(r"-+", "-", re.sub(r"[^a-z0-9]", "-", sans_accents.lower())).strip("-") @dataclass(frozen=True) class Extrait: titre: str contenu: str source: str @property def cle(self) -> str: return slug(self.titre) + ".md" def _parasite(ligne: str, parasites: list[str]) -> bool: """En-tête, pied de page ou numéro de page.""" nette = ligne.strip() return nette in parasites or bool(re.fullmatch(r"\d+", nette)) def _table_des_matieres(lignes: list[str], parasites: list[str]) -> tuple[list[str], int]: """Les titres de la table des matières et l'indice de sa dernière ligne. Un titre peut continuer sur la ligne suivante, et plusieurs entrées peuvent être collées sur une ligne.""" titres, debut, fin = [], "", -1 for i, ligne in enumerate(lignes): entrees = list(ENTREE.finditer(ligne)) if not entrees: if (fin >= 0 or titres) and not _parasite(ligne, parasites): debut = f"{debut} {ligne.strip()}".strip() continue for k, m in enumerate(entrees): titre = m.group(1).strip() if k == 0 and debut: titre = f"{debut} {titre}" titres.append(" ".join(titre.split())) debut, fin = ligne[entrees[-1].end():].strip(), i return titres, fin def decouper_pdf(texte: str, parasites: list[str], source: str = "") -> list[Extrait]: """Un extrait par entrée de la table des matières qui a un corps ; les titres de chapitre (sans corps) n'en donnent pas.""" lignes = texte.splitlines() titres, fin = _table_des_matieres(lignes, parasites) connus = set(titres) corps = [ligne.strip() for ligne in lignes[fin + 1:] if ligne.strip() and not _parasite(ligne, parasites)] sections: list[tuple[str, list[str]]] = [] i = 0 while i < len(corps): # Un titre long peut être coupé sur deux ou trois lignes dans le corps. n = next((n for n in (1, 2, 3) if " ".join(corps[i:i + n]) in connus), 0) if n: sections.append((" ".join(corps[i:i + n]), [])) i += n continue if sections: sections[-1][1].append(corps[i]) i += 1 extraits = [] for titre, corps in sections: contenu = PUCE.sub("\n- ", "\n".join(corps)).strip() if contenu: extraits.append(Extrait(titre, contenu, source)) return extraits def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extrait]: """Un extrait par fichier ; au-delà de `max_car`, un par section `## `.""" lignes = texte.strip().splitlines() if lignes and lignes[0].startswith("# "): titre, corps = lignes[0][2:].strip(), "\n".join(lignes[1:]).strip() else: titre, corps = Path(source).stem, "\n".join(lignes).strip() if len(corps) <= max_car: return [Extrait(titre, corps, source)] sections: list[tuple[str, list[str]]] = [(titre, [])] for ligne in corps.splitlines(): if ligne.startswith("## "): sections.append((f"{titre} — {ligne[3:].strip()}", [])) else: sections[-1][1].append(ligne) return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()] def ecrire_textes(extraits: list[Extrait], dossier: Path) -> None: dossier.mkdir(parents=True, exist_ok=True) for e in extraits: (dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n") def lire_textes(dossier: Path) -> list[Extrait]: extraits = [] for f in sorted(dossier.glob("*.md")): tete, reste = f.read_text().rstrip("\n").split("\n\n", 1) contenu, source = reste.rsplit("\n\nSource : ", 1) extraits.append(Extrait(tete.removeprefix("# ").strip(), contenu.strip(), source.strip())) return extraits