Base de connaissances : corpus relu (FAQ, manuel, savoir métier) et instructions communes

Découpage : page précédée de U+2060, titres coupés sur plusieurs lignes,
saut de page dans la table des matières (trois tests).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-11 14:10:35 +01:00
1 parent d7c9ceccd1
commit 4d75fb6172
123 files changed
+2016 -11

No files matched your search

+21 -11
View File
@@ -5,7 +5,7 @@ import unicodedata
from dataclasses import dataclass
from pathlib import Path
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}\s*(\d+)") # « titre . . . . page » de la table des matières
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}[\s⁠]*(\d+)") # « titre . . . . page » ; pdftotext met parfois U+2060
PUCE = re.compile(r"\s*�\s*")
@@ -25,14 +25,20 @@ class Extrait:
return slug(self.titre) + ".md"
def _table_des_matieres(lignes: list[str]) -> tuple[list[str], int]:
def _parasite(ligne: str, parasites: list[str]) -> bool:
"""En-tête, pied de page ou numéro de page."""
nette = ligne.strip()
return nette in parasites or bool(re.fullmatch(r"\d+", nette))
def _table_des_matieres(lignes: list[str], parasites: list[str]) -> tuple[list[str], int]:
"""Les titres de la table des matières et l'indice de sa dernière ligne. Un titre peut continuer sur la ligne
suivante, et plusieurs entrées peuvent être collées sur une ligne."""
titres, debut, fin = [], "", -1
for i, ligne in enumerate(lignes):
entrees = list(ENTREE.finditer(ligne))
if not entrees:
if fin >= 0 or titres:
if (fin >= 0 or titres) and not _parasite(ligne, parasites):
debut = f"{debut} {ligne.strip()}".strip()
continue
for k, m in enumerate(entrees):
@@ -48,17 +54,21 @@ def decouper_pdf(texte: str, parasites: list[str], source: str = "") -> list[Ext
"""Un extrait par entrée de la table des matières qui a un corps ; les titres de chapitre (sans corps) n'en donnent
pas."""
lignes = texte.splitlines()
titres, fin = _table_des_matieres(lignes)
titres, fin = _table_des_matieres(lignes, parasites)
connus = set(titres)
corps = [ligne.strip() for ligne in lignes[fin + 1:] if ligne.strip() and not _parasite(ligne, parasites)]
sections: list[tuple[str, list[str]]] = []
for ligne in lignes[fin + 1:]:
nette = ligne.strip()
if nette in parasites or re.fullmatch(r"\d+", nette):
i = 0
while i < len(corps):
# Un titre long peut être coupé sur deux ou trois lignes dans le corps.
n = next((n for n in (1, 2, 3) if " ".join(corps[i:i + n]) in connus), 0)
if n:
sections.append((" ".join(corps[i:i + n]), []))
i += n
continue
if nette in connus:
sections.append((nette, []))
elif sections and nette:
sections[-1][1].append(nette)
if sections:
sections[-1][1].append(corps[i])
i += 1
extraits = []
for titre, corps in sections:
contenu = PUCE.sub("\n- ", "\n".join(corps)).strip()