Instance de test : essai des brouillons (5 mails, Mailpit surveillé)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
e15563eacb
commit
1643e84517
9 files changed
+174
No files matched your search
@@ -100,6 +100,13 @@ set -a && . instance-de-test/.env && set +a && .venv/bin/python -m base_connaiss
|
||||
- Import : 118 extraits créés ; rejoué, 118 inchangés ; les 118 sont indexés (`embedded_fingerprint` rempli), aucune erreur dans les journaux.
|
||||
- « Générer une réponse » sur la conversation de `mail-exemple.txt` : brouillon en 10 s. Claude a appelé `search_articles` deux fois et `list_contact_conversations` une fois. La recherche française trouve les extraits anglais et français pertinents (scores 0,55 à 0,59) ; une requête sur un nom de station, absent de la base, ne ramène que du bruit (0,33 à 0,34), comme attendu.
|
||||
|
||||
**L'essai des brouillons** (`python3 -I instance-de-test/essayer_brouillons.py`, mails dans `instance-de-test/mails/`, rapport dans `cases/essai-brouillons-<date>.md`, hors de git) :
|
||||
- 5 brouillons sur 5 rendus (`completed`), en 4 à 11 s ; environ 900 jetons de sortie par brouillon : `max_tokens` 4096 suffit. Mailpit inchangé pendant la génération.
|
||||
- 4G : appuyé sur le manuel (APN, carte SIM, antenne) et demande l'état de la liaison. Fuseau, en allemand : répond en allemand, fidèle à la FAQ (qui ne fixe pas de fuseau et recommande l'UTC). Facture (hors base) : n'invente rien, demande les références. Suite d'échange : reprend la réponse précédente (« l'autonomie d'environ 5 jours que je vous avais indiquée »).
|
||||
- À surveiller : un brouillon mélange « vous » et « tu » ; quelques deux-points malgré les instructions.
|
||||
- Sans embeddings (relais arrêté) : le brouillon est rendu quand même, sans la base de connaissances (« AI provider unavailable » dans les journaux, `search_articles` en erreur) ; rien n'est envoyé.
|
||||
- Dans l'interface : « Generate reply » met le brouillon dans l'éditeur, rien ne part ; le copilot (onglet « Juno » de la barre latérale) résume l'échange précédent du client.
|
||||
|
||||
## Reste à faire par Maxime (ou un admin)
|
||||
|
||||
1. Gitea : runner et son label ; le runner joint-il LibreDesk, `api.anthropic.com`, la base et S3 des stations ?
|
||||
|
||||
Reference in new issue
Block a user