Files
aimsight-libredesk/base_connaissances/decoupage.py
T
maximeandClaude Opus 5.5 cce2e039ed Base de connaissances reprise de Support-AI : corpus, import, instructions, tests
Ajoute aussi WEISSHORN et MISSISSIPPI au test du corpus, et un message clair quand LibreDesk est injoignable.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-12 09:19:25 +01:00

111 lines
4.3 KiB
Python
Raw Blame History

This file contains invisible Unicode characters
This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Du texte d'un PDF (sortie de `pdftotext`, sans `-layout`) ou d'un Markdown aux extraits de la base de connaissances
de LibreDesk ; écriture et lecture du corpus (un fichier Markdown par extrait)."""
import re
import unicodedata
from dataclasses import dataclass
from pathlib import Path
ENTREE = re.compile(r"(.+?)\s*(?:\.\s?){3,}[\s⁠]*(\d+)") # « titre . . . . page » ; pdftotext met parfois U+2060
PUCE = re.compile(r"\s*�\s*")
def slug(titre: str) -> str:
sans_accents = unicodedata.normalize("NFKD", titre).encode("ascii", "ignore").decode()
return re.sub(r"-+", "-", re.sub(r"[^a-z0-9]", "-", sans_accents.lower())).strip("-")
@dataclass(frozen=True)
class Extrait:
titre: str
contenu: str
source: str
@property
def cle(self) -> str:
return slug(self.titre) + ".md"
def _parasite(ligne: str, parasites: list[str]) -> bool:
"""En-tête, pied de page ou numéro de page."""
nette = ligne.strip()
return nette in parasites or bool(re.fullmatch(r"\d+", nette))
def _table_des_matieres(lignes: list[str], parasites: list[str]) -> tuple[list[str], int]:
"""Les titres de la table des matières et l'indice de sa dernière ligne. Un titre peut continuer sur la ligne
suivante, et plusieurs entrées peuvent être collées sur une ligne."""
titres, debut, fin = [], "", -1
for i, ligne in enumerate(lignes):
entrees = list(ENTREE.finditer(ligne))
if not entrees:
if (fin >= 0 or titres) and not _parasite(ligne, parasites):
debut = f"{debut} {ligne.strip()}".strip()
continue
for k, m in enumerate(entrees):
titre = m.group(1).strip()
if k == 0 and debut:
titre = f"{debut} {titre}"
titres.append(" ".join(titre.split()))
debut, fin = ligne[entrees[-1].end():].strip(), i
return titres, fin
def decouper_pdf(texte: str, parasites: list[str], source: str = "") -> list[Extrait]:
"""Un extrait par entrée de la table des matières qui a un corps ; les titres de chapitre (sans corps) n'en donnent
pas."""
lignes = texte.splitlines()
titres, fin = _table_des_matieres(lignes, parasites)
connus = set(titres)
corps = [ligne.strip() for ligne in lignes[fin + 1:] if ligne.strip() and not _parasite(ligne, parasites)]
sections: list[tuple[str, list[str]]] = []
i = 0
while i < len(corps):
# Un titre long peut être coupé sur deux ou trois lignes dans le corps.
n = next((n for n in (1, 2, 3) if " ".join(corps[i:i + n]) in connus), 0)
if n:
sections.append((" ".join(corps[i:i + n]), []))
i += n
continue
if sections:
sections[-1][1].append(corps[i])
i += 1
extraits = []
for titre, corps in sections:
contenu = PUCE.sub("\n- ", "\n".join(corps)).strip()
if contenu:
extraits.append(Extrait(titre, contenu, source))
return extraits
def decouper_markdown(texte: str, source: str, max_car: int = 6000) -> list[Extrait]:
"""Un extrait par fichier ; au-delà de `max_car`, un par section `## `."""
lignes = texte.strip().splitlines()
if lignes and lignes[0].startswith("# "):
titre, corps = lignes[0][2:].strip(), "\n".join(lignes[1:]).strip()
else:
titre, corps = Path(source).stem, "\n".join(lignes).strip()
if len(corps) <= max_car:
return [Extrait(titre, corps, source)]
sections: list[tuple[str, list[str]]] = [(titre, [])]
for ligne in corps.splitlines():
if ligne.startswith("## "):
sections.append((f"{titre} — {ligne[3:].strip()}", []))
else:
sections[-1][1].append(ligne)
return [Extrait(t, "\n".join(c).strip(), source) for t, c in sections if "\n".join(c).strip()]
def ecrire_corpus(extraits: list[Extrait], dossier: Path) -> None:
dossier.mkdir(parents=True, exist_ok=True)
for e in extraits:
(dossier / e.cle).write_text(f"# {e.titre}\n\n{e.contenu}\n\nSource : {e.source}\n")
def lire_corpus(dossier: Path) -> list[Extrait]:
extraits = []
for f in sorted(dossier.glob("*.md")):
tete, reste = f.read_text().rstrip("\n").split("\n\n", 1)
contenu, source = reste.rsplit("\n\nSource : ", 1)
extraits.append(Extrait(tete.removeprefix("# ").strip(), contenu.strip(), source.strip()))
return extraits