Découpage : page précédée de U+2060, titres coupés sur plusieurs lignes, saut de page dans la table des matières (trois tests). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
111 lines
4.3 KiB
Python
111 lines
4.3 KiB
Python
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
|
||
de LibreDesk ; écriture et lecture du corpus (un fichier Markdown par extrait)."""
|
||
import re
|
||
import unicodedata
|
||
from dataclasses import dataclass
|
||
from pathlib import Path
|
||
|
||
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}[\s]*(\d+)") # « titre . . . . page » ; pdftotext met parfois U+2060
|
||
PUCE = re.compile(r"\s*�\s*")
|
||
|
||
|
||
def slug(titre: str) -> str:
|
||
sans_accents = unicodedata.normalize("NFKD", titre).encode("ascii", "ignore").decode()
|
||
return re.sub(r"-+", "-", re.sub(r"[^a-z0-9]", "-", sans_accents.lower())).strip("-")
|
||
|
||
|
||
@dataclass(frozen=True)
|
||
class Extrait:
|
||
titre: str
|
||
contenu: str
|
||
source: str
|
||
|
||
@property
|
||
def cle(self) -> str:
|
||
return slug(self.titre) + ".md"
|
||
|
||
|
||
def _parasite(ligne: str, parasites: list[str]) -> bool:
|
||
"""En-tête, pied de page ou numéro de page."""
|
||
nette = ligne.strip()
|
||
return nette in parasites or bool(re.fullmatch(r"\d+", nette))
|
||
|
||
|
||
def _table_des_matieres(lignes: list[str], parasites: list[str]) -> tuple[list[str], int]:
|
||
"""Les titres de la table des matières et l'indice de sa dernière ligne. Un titre peut continuer sur la ligne
|
||
suivante, et plusieurs entrées peuvent être collées sur une ligne."""
|
||
titres, debut, fin = [], "", -1
|
||
for i, ligne in enumerate(lignes):
|
||
entrees = list(ENTREE.finditer(ligne))
|
||
if not entrees:
|
||
if (fin >= 0 or titres) and not _parasite(ligne, parasites):
|
||
debut = f"{debut} {ligne.strip()}".strip()
|
||
continue
|
||
for k, m in enumerate(entrees):
|
||
titre = m.group(1).strip()
|
||
if k == 0 and debut:
|
||
titre = f"{debut} {titre}"
|
||
titres.append(" ".join(titre.split()))
|
||
debut, fin = ligne[entrees[-1].end():].strip(), i
|
||
return titres, fin
|
||
|
||
|
||
def decouper_pdf(texte: str, parasites: list[str], source: str = "") -> list[Extrait]:
|
||
"""Un extrait par entrée de la table des matières qui a un corps ; les titres de chapitre (sans corps) n'en donnent
|
||
pas."""
|
||
lignes = texte.splitlines()
|
||
titres, fin = _table_des_matieres(lignes, parasites)
|
||
connus = set(titres)
|
||
corps = [ligne.strip() for ligne in lignes[fin + 1:] if ligne.strip() and not _parasite(ligne, parasites)]
|
||
sections: list[tuple[str, list[str]]] = []
|
||
i = 0
|
||
while i < len(corps):
|
||
# Un titre long peut être coupé sur deux ou trois lignes dans le corps.
|
||
n = next((n for n in (1, 2, 3) if " ".join(corps[i:i + n]) in connus), 0)
|
||
if n:
|
||
sections.append((" ".join(corps[i:i + n]), []))
|
||
i += n
|
||
continue
|
||
if sections:
|
||
sections[-1][1].append(corps[i])
|
||
i += 1
|
||
extraits = []
|
||
for titre, corps in sections:
|
||
contenu = PUCE.sub("\n- ", "\n".join(corps)).strip()
|
||
if contenu:
|
||
extraits.append(Extrait(titre, contenu, source))
|
||
return extraits
|
||
|
||
|
||
def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extrait]:
|
||
"""Un extrait par fichier ; au-delà de `max_car`, un par section `## `."""
|
||
lignes = texte.strip().splitlines()
|
||
if lignes and lignes[0].startswith("# "):
|
||
titre, corps = lignes[0][2:].strip(), "\n".join(lignes[1:]).strip()
|
||
else:
|
||
titre, corps = Path(source).stem, "\n".join(lignes).strip()
|
||
if len(corps) <= max_car:
|
||
return [Extrait(titre, corps, source)]
|
||
sections: list[tuple[str, list[str]]] = [(titre, [])]
|
||
for ligne in corps.splitlines():
|
||
if ligne.startswith("## "):
|
||
sections.append((f"{titre} — {ligne[3:].strip()}", []))
|
||
else:
|
||
sections[-1][1].append(ligne)
|
||
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
|
||
|
||
|
||
def ecrire_corpus(extraits: list[Extrait], dossier: Path) -> None:
|
||
dossier.mkdir(parents=True, exist_ok=True)
|
||
for e in extraits:
|
||
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
|
||
|
||
|
||
def lire_corpus(dossier: Path) -> list[Extrait]:
|
||
extraits = []
|
||
for f in sorted(dossier.glob("*.md")):
|
||
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
|
||
contenu, source = reste.rsplit("\n\nSource : ", 1)
|
||
extraits.append(Extrait(tete.removeprefix("# ").strip(), contenu.strip(), source.strip()))
|
||
return extraits
|