Base de connaissances : corpus relu (FAQ, manuel, savoir métier) et instructions communes
Découpage : page précédée de U+2060, titres coupés sur plusieurs lignes, saut de page dans la table des matières (trois tests). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d7c9ceccd1
commit
4d75fb6172
123 files changed
+2016
-11
No files matched your search
@@ -5,7 +5,7 @@ import unicodedata
|
||||
from dataclasses import dataclass
|
||||
from pathlib import Path
|
||||
|
||||
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}\s*(\d+)") # « titre . . . . page » de la table des matières
|
||||
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}[\s]*(\d+)") # « titre . . . . page » ; pdftotext met parfois U+2060
|
||||
PUCE = re.compile(r"\s*�\s*")
|
||||
|
||||
|
||||
@@ -25,14 +25,20 @@ class Extrait:
|
||||
return slug(self.titre) + ".md"
|
||||
|
||||
|
||||
def _table_des_matieres(lignes: list[str]) -> tuple[list[str], int]:
|
||||
def _parasite(ligne: str, parasites: list[str]) -> bool:
|
||||
"""En-tête, pied de page ou numéro de page."""
|
||||
nette = ligne.strip()
|
||||
return nette in parasites or bool(re.fullmatch(r"\d+", nette))
|
||||
|
||||
|
||||
def _table_des_matieres(lignes: list[str], parasites: list[str]) -> tuple[list[str], int]:
|
||||
"""Les titres de la table des matières et l'indice de sa dernière ligne. Un titre peut continuer sur la ligne
|
||||
suivante, et plusieurs entrées peuvent être collées sur une ligne."""
|
||||
titres, debut, fin = [], "", -1
|
||||
for i, ligne in enumerate(lignes):
|
||||
entrees = list(ENTREE.finditer(ligne))
|
||||
if not entrees:
|
||||
if fin >= 0 or titres:
|
||||
if (fin >= 0 or titres) and not _parasite(ligne, parasites):
|
||||
debut = f"{debut} {ligne.strip()}".strip()
|
||||
continue
|
||||
for k, m in enumerate(entrees):
|
||||
@@ -48,17 +54,21 @@ def decouper_pdf(texte: str, parasites: list[str], source: str = "") -> list[Ext
|
||||
"""Un extrait par entrée de la table des matières qui a un corps ; les titres de chapitre (sans corps) n'en donnent
|
||||
pas."""
|
||||
lignes = texte.splitlines()
|
||||
titres, fin = _table_des_matieres(lignes)
|
||||
titres, fin = _table_des_matieres(lignes, parasites)
|
||||
connus = set(titres)
|
||||
corps = [ligne.strip() for ligne in lignes[fin + 1:] if ligne.strip() and not _parasite(ligne, parasites)]
|
||||
sections: list[tuple[str, list[str]]] = []
|
||||
for ligne in lignes[fin + 1:]:
|
||||
nette = ligne.strip()
|
||||
if nette in parasites or re.fullmatch(r"\d+", nette):
|
||||
i = 0
|
||||
while i < len(corps):
|
||||
# Un titre long peut être coupé sur deux ou trois lignes dans le corps.
|
||||
n = next((n for n in (1, 2, 3) if " ".join(corps[i:i + n]) in connus), 0)
|
||||
if n:
|
||||
sections.append((" ".join(corps[i:i + n]), []))
|
||||
i += n
|
||||
continue
|
||||
if nette in connus:
|
||||
sections.append((nette, []))
|
||||
elif sections and nette:
|
||||
sections[-1][1].append(nette)
|
||||
if sections:
|
||||
sections[-1][1].append(corps[i])
|
||||
i += 1
|
||||
extraits = []
|
||||
for titre, corps in sections:
|
||||
contenu = PUCE.sub("\n- ", "\n".join(corps)).strip()
|
||||
|
||||
Reference in new issue
Block a user