Run the diagnostic agent blind with an empty case base and record the results

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-14 16:38:41 +02:00
1 parent ee61d62d79
commit d4514008fc
5 files changed
+67

No files matched your search

+15
View File
@@ -333,6 +333,21 @@ Procédure dans `agents/diagnostic/README.md`. Elle ne démarre que sur demande
- **Chaque nouveau cas** teste la recherche sans effort de plus : l'agent qui le découvre (étape 2 de §11.6) doit répondre « aucun cas connu » ou citer le bon cas, jamais un faux.
- **Rejouer un cas** : retirer sa ligne de `INDEX.md` sans commiter, lancer l'agent sur sa fenêtre, comparer à « Attendu de l'agent », restaurer la ligne.
**Mise en place, le 2026-10-14 (index vide).** Scan à l'aveugle de `data/PS_DES_COUDRES/` sur un arbre propre (branche `base-de-cas`, après commit). Rapport : `agents/diagnostic/rapports/2026-10-14T1436Z_PS_DES_COUDRES/` ; 44 appels d'outils, 190 s, ~89 k tokens.
| Attendu | Résultat |
|---|---|
| 1. Même diagnostic que le deuxième passage | atteint : une seule anomalie, `REF_G` et `REF_D` les deux nuits (13/10 00:45 → 04:15Z ; 13/10 22:45Z → 14/10 05:15Z, bornes un peu plus larges qu'au deuxième passage) ; 3 figures dans le dossier du rapport, vignettes avec témoins |
| 2. « Cas connu : aucun cas connu (index vide) » | atteint |
| 3. « Non validé (support) », conséquence indéterminée, action | atteint : *camera/reference compensation event*, conséquence « indéterminée », action « à vérifier » |
| 4. Sources : `INDEX.md`, ni fiche ni rapport | atteint |
| 5. « Devient un cas » dans la validation | atteint, laissé vide |
| 6. Corps en ~40 lignes | atteint : 39 lignes |
| Ordre de lecture | atteint : `INDEX.md` au 27e appel, après les faits (inventaire, résumés, graphiques, vignettes et images, appels 4 à 26) et avant les familles d'hypothèses (§12, appels 28 à 32) |
- **Corrections des instructions** : aucune.
- **À noter** : le niveau de preuve de la classification passe de `strongly supported` (deuxième passage) à `consistent with`, sur les mêmes faits ; les instructions ne plafonnent pourtant le niveau qu'en correspondance partielle. L'agent devient plus prudent sans cas validé : à juger par l'utilisateur.
### 11.8 Laissé de côté
- **Skill `nouveau-cas`** : quand la procédure §11.6 aura servi deux ou trois fois sans changer.