Base de connaissances : corpus relu (FAQ, manuel, savoir métier) et instructions communes

Découpage : page précédée de U+2060, titres coupés sur plusieurs lignes,
saut de page dans la table des matières (trois tests).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-11 14:10:35 +01:00
1 parent d7c9ceccd1
commit 4d75fb6172
123 files changed
+2016 -11

No files matched your search

+43
View File
@@ -0,0 +1,43 @@
"""Le corpus versionné de la base de connaissances : présent, propre, sans rien d'interne (spec §3, §6)."""
import re
import unittest
from pathlib import Path
from base_connaissances.decoupage import lire_corpus
CORPUS = Path(__file__).resolve().parents[1] / "base_connaissances" / "corpus"
STATIONS = ["BREITHORN", "CLARIDEN", "FLORIDA", "JUNGFRAU", "LENZSPITZE", "MICHIGAN", "NADELHORN", "NEBRASKA",
"NIEDERHORN", "NORDEND", "SNCF01", "SUSTENHORN", "WILDSTRUBEL", "VERMONT"]
INTERDITS = ["python3", "agent-tools", ".py", "Marc", "Barcelone", "Vaud", "GN-1", "GN-5", "seuil provisoire",
"seuils provisoires"]
class TestCorpus(unittest.TestCase):
def test_corpus_present(self):
self.assertGreaterEqual(len(lire_corpus(CORPUS)), 60)
def test_titres_uniques_et_contenus_non_vides(self):
x = lire_corpus(CORPUS)
self.assertEqual(len({e.titre for e in x}), len(x))
self.assertTrue(all(e.contenu.strip() and e.source.strip() for e in x))
def test_taille_raisonnable(self):
trop_longs = [e.cle for e in lire_corpus(CORPUS) if len(e.contenu) > 8000]
self.assertEqual(trop_longs, [])
def test_rien_d_interne(self):
for e in lire_corpus(CORPUS):
texte = e.titre + "\n" + e.contenu
for s in STATIONS:
self.assertIsNone(re.search(rf"\b{s}\b", texte, re.I), f"{s} dans {e.cle}")
for i in INTERDITS:
self.assertNotIn(i.lower(), texte.lower(), f"{i} dans {e.cle}")
def test_instructions_presentes(self):
texte = (CORPUS.parent / "instructions.md").read_text()
self.assertIn("langue du client", texte)
self.assertLessEqual(len(texte), 4000)
if __name__ == "__main__":
unittest.main()
+14
View File
@@ -20,6 +20,20 @@ class TestDecouperPdf(unittest.TestCase):
x = decouper_pdf(TOC + CORPS, PARASITES)
self.assertEqual(x[0].contenu, "Check power.\nCheck fuse.")
def test_page_precedee_d_un_joint_invisible(self): # pdftotext rend « . . . ⁠1 » (U+2060) dans les vrais PDF
x = decouper_pdf(TOC.replace(" 1\n", " ⁠1\n") + CORPS, PARASITES)
self.assertEqual(x[0].titre, "Does it start?")
def test_titre_du_corps_sur_deux_lignes(self): # pdftotext coupe les longues questions dans le corps
corps = CORPS.replace("How long does the battery last?\n", "How long does the battery\nlast?\n")
x = decouper_pdf(TOC + corps, PARASITES)
self.assertEqual([e.titre for e in x], ["Does it start?", "How long does the battery last?", "Which formats?"])
self.assertEqual(x[0].contenu, "Check power.\nCheck fuse.")
def test_saut_de_page_dans_la_table(self): # « Revision 1.5 / 1 / AIMsight FAQ » entre deux entrées de la table
toc = TOC.replace("Data . . . . 3 ", "Data . . . . 3\nRevision 1.5\n1\nAIMsight FAQ\n")
self.assertIn("Which formats?", [e.titre for e in decouper_pdf(toc + CORPS, PARASITES)])
def test_puces(self):
self.assertIn("\n- sun;\n- mains.", decouper_pdf(TOC + CORPS, [])[1].contenu)