Base de connaissances : corpus relu (FAQ, manuel, savoir métier) et instructions communes
Découpage : page précédée de U+2060, titres coupés sur plusieurs lignes, saut de page dans la table des matières (trois tests). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d7c9ceccd1
commit
4d75fb6172
123 files changed
+2016
-11
No files matched your search
@@ -0,0 +1,54 @@
|
||||
"""Génération ponctuelle du corpus (spec §6), lancée à la main, pas en CI : il faut `pdftotext` (poppler) et
|
||||
~/Support-Agent. Le corpus est ensuite retouché à la main ; ce script refuse donc d'écraser un corpus existant.
|
||||
|
||||
python -m base_connaissances.generer ~/Support-Agent base_connaissances/corpus
|
||||
"""
|
||||
import subprocess
|
||||
import sys
|
||||
from dataclasses import replace
|
||||
from pathlib import Path
|
||||
|
||||
from base_connaissances.decoupage import Extrait, decouper_markdown, decouper_pdf, ecrire_corpus
|
||||
|
||||
DEPOT = Path(__file__).resolve().parents[1]
|
||||
FAQ = ("docs/aimsight/AIMsight FAQ.pdf", "AIMsight FAQ, rév. 1.5", ["Revision 1.5", "AIMsight FAQ"])
|
||||
MANUEL = ("docs/aimsight/AIMsight Test Manual.pdf", "AIMsight Station Guide, rév. 1.5",
|
||||
["Revision 1.5", "AIMsight Station Guide"])
|
||||
# Safety and Regulatory Information et ses sous-sections : n'aident pas à répondre (spec §6, choix du constructeur).
|
||||
HORS_MANUEL = {"General Safety", "Optical and LED Safety", "Cellular and RF Safety", "Approved Radio Module",
|
||||
"Antenna and Installation Conditions"}
|
||||
MARKDOWN_SA = ["docs/domaine/ce-que-mesure-la-station.md", "docs/domaine/pieges-des-donnees.md",
|
||||
"docs/displacement/domaine/ce-que-regarde-le-client.md",
|
||||
"docs/energy/domaine/comment-se-comporte-la-batterie.md",
|
||||
"docs/energy/domaine/tensions-selon-l-etat-de-la-batterie.md",
|
||||
"labeling/connaissances/chaine-de-mesure.md", "labeling/connaissances/colonnes-des-deplacements.md",
|
||||
"labeling/connaissances/cycle-thermique.md", "labeling/connaissances/images-de-la-camera.md",
|
||||
"labeling/connaissances/les-trous.md", "labeling/connaissances/metriques-de-qualite.md"]
|
||||
MARKDOWN_ICI = ["agents/knowledge/analyste/familles.md"]
|
||||
|
||||
|
||||
def _pdf(chemin: Path, source: str, parasites: list[str]) -> list[Extrait]:
|
||||
texte = subprocess.run(["pdftotext", str(chemin), "-"], capture_output=True, text=True, check=True).stdout
|
||||
return decouper_pdf(texte, parasites, source)
|
||||
|
||||
|
||||
def extraits(support_agent: Path) -> list[Extrait]:
|
||||
faq = _pdf(support_agent / FAQ[0], FAQ[1], FAQ[2])
|
||||
# Les titres du manuel (« Disk », « Camera ») ne disent rien seuls : on les préfixe.
|
||||
manuel = [replace(e, titre=f"Station Guide — {e.titre}") for e in _pdf(support_agent / MANUEL[0], *MANUEL[1:])
|
||||
if e.titre not in HORS_MANUEL]
|
||||
markdown = [e for rel in MARKDOWN_SA for e in decouper_markdown((support_agent / rel).read_text(), rel)]
|
||||
markdown += [e for rel in MARKDOWN_ICI for e in decouper_markdown((DEPOT / rel).read_text(), rel)]
|
||||
return faq + manuel + markdown
|
||||
|
||||
|
||||
def main(support_agent: Path, sortie: Path) -> None:
|
||||
if sortie.exists() and any(sortie.iterdir()):
|
||||
sys.exit(f"{sortie} n'est pas vide : le corpus est retouché à la main, on ne l'écrase pas.")
|
||||
x = extraits(support_agent)
|
||||
ecrire_corpus(x, sortie)
|
||||
print(f"{len(x)} extraits écrits dans {sortie}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main(Path(sys.argv[1]).expanduser(), Path(sys.argv[2]))
|
||||
Reference in new issue
Block a user