"""Génération ponctuelle du corpus (spec §6), lancée à la main, pas en CI : il faut `pdftotext` (poppler) et ~/Support-Agent. Le corpus est ensuite retouché à la main ; ce script refuse donc d'écraser un corpus existant. python -m base_connaissances.generer ~/Support-Agent base_connaissances/corpus """ import subprocess import sys from dataclasses import replace from pathlib import Path from base_connaissances.decoupage import Extrait, decouper_markdown, decouper_pdf, ecrire_corpus DEPOT = Path(__file__).resolve().parents[1] FAQ = ("docs/aimsight/AIMsight FAQ.pdf", "AIMsight FAQ, rév. 1.5", ["Revision 1.5", "AIMsight FAQ"]) MANUEL = ("docs/aimsight/AIMsight Test Manual.pdf", "AIMsight Station Guide, rév. 1.5", ["Revision 1.5", "AIMsight Station Guide"]) # Safety and Regulatory Information et ses sous-sections : n'aident pas à répondre (spec §6, choix du constructeur). HORS_MANUEL = {"General Safety", "Optical and LED Safety", "Cellular and RF Safety", "Approved Radio Module", "Antenna and Installation Conditions"} MARKDOWN_SA = ["docs/domaine/ce-que-mesure-la-station.md", "docs/domaine/pieges-des-donnees.md", "docs/displacement/domaine/ce-que-regarde-le-client.md", "docs/energy/domaine/comment-se-comporte-la-batterie.md", "docs/energy/domaine/tensions-selon-l-etat-de-la-batterie.md", "labeling/connaissances/chaine-de-mesure.md", "labeling/connaissances/colonnes-des-deplacements.md", "labeling/connaissances/cycle-thermique.md", "labeling/connaissances/images-de-la-camera.md", "labeling/connaissances/les-trous.md", "labeling/connaissances/metriques-de-qualite.md"] MARKDOWN_ICI = ["agents/knowledge/analyste/familles.md"] def _pdf(chemin: Path, source: str, parasites: list[str]) -> list[Extrait]: texte = subprocess.run(["pdftotext", str(chemin), "-"], capture_output=True, text=True, check=True).stdout return decouper_pdf(texte, parasites, source) def extraits(support_agent: Path) -> list[Extrait]: faq = _pdf(support_agent / FAQ[0], FAQ[1], FAQ[2]) # Les titres du manuel (« Disk », « Camera ») ne disent rien seuls : on les préfixe. manuel = [replace(e, titre=f"Station Guide — {e.titre}") for e in _pdf(support_agent / MANUEL[0], *MANUEL[1:]) if e.titre not in HORS_MANUEL] markdown = [e for rel in MARKDOWN_SA for e in decouper_markdown((support_agent / rel).read_text(), rel)] markdown += [e for rel in MARKDOWN_ICI for e in decouper_markdown((DEPOT / rel).read_text(), rel)] return faq + manuel + markdown def main(support_agent: Path, sortie: Path) -> None: if sortie.exists() and any(sortie.iterdir()): sys.exit(f"{sortie} n'est pas vide : le corpus est retouché à la main, on ne l'écrase pas.") x = extraits(support_agent) ecrire_corpus(x, sortie) print(f"{len(x)} extraits écrits dans {sortie}") if __name__ == "__main__": main(Path(sys.argv[1]).expanduser(), Path(sys.argv[2]))