Découpage : page précédée de U+2060, titres coupés sur plusieurs lignes, saut de page dans la table des matières (trois tests). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
55 lines
3.0 KiB
Python
55 lines
3.0 KiB
Python
"""Génération ponctuelle du corpus (spec §6), lancée à la main, pas en CI : il faut `pdftotext` (poppler) et
|
|
~/Support-Agent. Le corpus est ensuite retouché à la main ; ce script refuse donc d'écraser un corpus existant.
|
|
|
|
python -m base_connaissances.generer ~/Support-Agent base_connaissances/corpus
|
|
"""
|
|
import subprocess
|
|
import sys
|
|
from dataclasses import replace
|
|
from pathlib import Path
|
|
|
|
from base_connaissances.decoupage import Extrait, decouper_markdown, decouper_pdf, ecrire_corpus
|
|
|
|
DEPOT = Path(__file__).resolve().parents[1]
|
|
FAQ = ("docs/aimsight/AIMsight FAQ.pdf", "AIMsight FAQ, rév. 1.5", ["Revision 1.5", "AIMsight FAQ"])
|
|
MANUEL = ("docs/aimsight/AIMsight Test Manual.pdf", "AIMsight Station Guide, rév. 1.5",
|
|
["Revision 1.5", "AIMsight Station Guide"])
|
|
# Safety and Regulatory Information et ses sous-sections : n'aident pas à répondre (spec §6, choix du constructeur).
|
|
HORS_MANUEL = {"General Safety", "Optical and LED Safety", "Cellular and RF Safety", "Approved Radio Module",
|
|
"Antenna and Installation Conditions"}
|
|
MARKDOWN_SA = ["docs/domaine/ce-que-mesure-la-station.md", "docs/domaine/pieges-des-donnees.md",
|
|
"docs/displacement/domaine/ce-que-regarde-le-client.md",
|
|
"docs/energy/domaine/comment-se-comporte-la-batterie.md",
|
|
"docs/energy/domaine/tensions-selon-l-etat-de-la-batterie.md",
|
|
"labeling/connaissances/chaine-de-mesure.md", "labeling/connaissances/colonnes-des-deplacements.md",
|
|
"labeling/connaissances/cycle-thermique.md", "labeling/connaissances/images-de-la-camera.md",
|
|
"labeling/connaissances/les-trous.md", "labeling/connaissances/metriques-de-qualite.md"]
|
|
MARKDOWN_ICI = ["agents/knowledge/analyste/familles.md"]
|
|
|
|
|
|
def _pdf(chemin: Path, source: str, parasites: list[str]) -> list[Extrait]:
|
|
texte = subprocess.run(["pdftotext", str(chemin), "-"], capture_output=True, text=True, check=True).stdout
|
|
return decouper_pdf(texte, parasites, source)
|
|
|
|
|
|
def extraits(support_agent: Path) -> list[Extrait]:
|
|
faq = _pdf(support_agent / FAQ[0], FAQ[1], FAQ[2])
|
|
# Les titres du manuel (« Disk », « Camera ») ne disent rien seuls : on les préfixe.
|
|
manuel = [replace(e, titre=f"Station Guide — {e.titre}") for e in _pdf(support_agent / MANUEL[0], *MANUEL[1:])
|
|
if e.titre not in HORS_MANUEL]
|
|
markdown = [e for rel in MARKDOWN_SA for e in decouper_markdown((support_agent / rel).read_text(), rel)]
|
|
markdown += [e for rel in MARKDOWN_ICI for e in decouper_markdown((DEPOT / rel).read_text(), rel)]
|
|
return faq + manuel + markdown
|
|
|
|
|
|
def main(support_agent: Path, sortie: Path) -> None:
|
|
if sortie.exists() and any(sortie.iterdir()):
|
|
sys.exit(f"{sortie} n'est pas vide : le corpus est retouché à la main, on ne l'écrase pas.")
|
|
x = extraits(support_agent)
|
|
ecrire_corpus(x, sortie)
|
|
print(f"{len(x)} extraits écrits dans {sortie}")
|
|
|
|
|
|
if __name__ == "__main__":
|
|
main(Path(sys.argv[1]).expanduser(), Path(sys.argv[2]))
|