Run the diagnostic agent blind with an empty case base and record the results
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
ee61d62d79
commit
d4514008fc
5 files changed
+67
No files matched your search
@@ -333,6 +333,21 @@ Procédure dans `agents/diagnostic/README.md`. Elle ne démarre que sur demande
|
||||
- **Chaque nouveau cas** teste la recherche sans effort de plus : l'agent qui le découvre (étape 2 de §11.6) doit répondre « aucun cas connu » ou citer le bon cas, jamais un faux.
|
||||
- **Rejouer un cas** : retirer sa ligne de `INDEX.md` sans commiter, lancer l'agent sur sa fenêtre, comparer à « Attendu de l'agent », restaurer la ligne.
|
||||
|
||||
**Mise en place, le 2026-10-14 (index vide).** Scan à l'aveugle de `data/PS_DES_COUDRES/` sur un arbre propre (branche `base-de-cas`, après commit). Rapport : `agents/diagnostic/rapports/2026-10-14T1436Z_PS_DES_COUDRES/` ; 44 appels d'outils, 190 s, ~89 k tokens.
|
||||
|
||||
| Attendu | Résultat |
|
||||
|---|---|
|
||||
| 1. Même diagnostic que le deuxième passage | atteint : une seule anomalie, `REF_G` et `REF_D` les deux nuits (13/10 00:45 → 04:15Z ; 13/10 22:45Z → 14/10 05:15Z, bornes un peu plus larges qu'au deuxième passage) ; 3 figures dans le dossier du rapport, vignettes avec témoins |
|
||||
| 2. « Cas connu : aucun cas connu (index vide) » | atteint |
|
||||
| 3. « Non validé (support) », conséquence indéterminée, action | atteint : *camera/reference compensation event*, conséquence « indéterminée », action « à vérifier » |
|
||||
| 4. Sources : `INDEX.md`, ni fiche ni rapport | atteint |
|
||||
| 5. « Devient un cas » dans la validation | atteint, laissé vide |
|
||||
| 6. Corps en ~40 lignes | atteint : 39 lignes |
|
||||
| Ordre de lecture | atteint : `INDEX.md` au 27e appel, après les faits (inventaire, résumés, graphiques, vignettes et images, appels 4 à 26) et avant les familles d'hypothèses (§12, appels 28 à 32) |
|
||||
|
||||
- **Corrections des instructions** : aucune.
|
||||
- **À noter** : le niveau de preuve de la classification passe de `strongly supported` (deuxième passage) à `consistent with`, sur les mêmes faits ; les instructions ne plafonnent pourtant le niveau qu'en correspondance partielle. L'agent devient plus prudent sans cas validé : à juger par l'utilisateur.
|
||||
|
||||
### 11.8 Laissé de côté
|
||||
|
||||
- **Skill `nouveau-cas`** : quand la procédure §11.6 aura servi deux ou trois fois sans changer.
|
||||
|
||||
Reference in new issue
Block a user