Run the diagnostic agent blind with an empty case base and record the results

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-14 16:38:41 +02:00
1 parent ee61d62d79
commit d4514008fc
5 files changed
+67

No files matched your search

@@ -0,0 +1,52 @@
# PS_DES_COUDRES : scan
data/PS_DES_COUDRES/ ; mesures du 2026-10-08T22:00Z au 2026-10-14T09:45Z (UTC) · scan · claude-opus-5-5 · diagnostic du 2026-10-14
## Verdict
La station mesure sans interruption (3 instants manquants sur 525). Une anomalie, deux nuits de suite : deux des trois références (REF_G, REF_D) perdent leur éclat et leur `error_value` monte jusqu'à 5 à 8 fois sa médiane. La compensation s'en trouve perturbée, et plusieurs cibles font un saut de `corr_x` au retour de REF_G. Aucun cas connu (index vide).
## A1 : références REF_G et REF_D dégradées la nuit, compensation perturbée (2026-10-13 00:45 → 04:15 ; 2026-10-13 22:45 → 2026-10-14 05:15 UTC)
REF_G passe d'un coup de 0,08 à 0,54-0,67 d'`error_value` (médiane 0,084), REF_D monte progressivement jusqu'à 0,69 (médiane 0,13 ; seuil 0,7, donc jamais rejetée). REF_CT ne bouge pas. Les deux occurrences durent 3,5 h puis 6,5 h, la nuit, et reviennent à la normale avant le jour. Pendant ce temps, la position brute `x` de REF_G se décale de -0,2 px et revient d'un coup avec son `error_value`. `sigma0` atteint son maximum de la période (0,0054, médiane 0,0038), et les résidus `corr_x`/`corr_y` des trois références aussi (jusqu'à 11 MAD). Au retour de REF_G (2026-10-13 02:30, 2026-10-14 03:30-03:45), plusieurs cibles sautent en `corr_x` dans le même sens : BJ_G -0,2 puis -0,35 (4 MAD), PBJ_C -0,25 (3 MAD), BL_C, PM_C, PBL_C entre -0,05 et -0,07.
![error_value des références et corr_x de trois cibles, 12/10 12:00 → fin](PS_DES_COUDRES_error_value-corr_x_REF_CT-REF_D-REF_G-BJ_G-PBJ_C-PBL_C_20261012T1200Z_fin.png)
*En haut, REF_G (vert) et REF_D (orange) montent seules dans les zones grisées, REF_CT est plate. En bas, les sauts de BJ_G (rouge) et PBJ_C (violet) à la fin de la montée de REF_G.*
![error_value, x et y bruts de REF_G](PS_DES_COUDRES_error_value-x-y_REF_G_20261012T1200Z_fin.png)
*Le `x` brut de REF_G baisse quand son `error_value` monte, puis remonte d'un coup avec lui.*
![vignettes REF_G, REF_D, REF_CT, BJ_G avant, pendant et après la nuit du 14/10](PS_DES_COUDRES_vignettes_REF_G-REF_D-REF_CT-BJ_G_132100-140100-140200-140400-140700.png)
*À 01:00 et 02:00, les taches de REF_G et REF_D rapetissent fortement, alors que REF_CT et BJ_G (témoins) restent identiques. À 04:00, REF_G est revenue et REF_D est encore faible. La colonne de 07:00 est de jour et ne se compare pas.* Pas d'image pendant la première occurrence (images à partir du 13/10 12:00).
- **Cas connu** : aucun cas connu (index vide)
- **Non validé (support)** : **Classification** : *camera/reference compensation event* · **Niveau de preuve** : `consistent with` · **Cause probable** : buée ou eau sur REF_G et REF_D (`possible` : perte d'éclat nocturne, réversible, limitée à deux réflecteurs) · **Conséquence pour l'ouvrage** : indéterminée · **Action** : à vérifier
- **Réfutation** : un mouvement de la caméra ferait bouger ensemble les positions brutes des trois références. Or seul le `x` de REF_G se décale (REF_CT et REF_D restent à 0,1 px près), et les sauts des cibles tombent à l'instant où REF_G revient, pas avant. L'hypothèse d'un mouvement réel de l'ouvrage n'explique pas cette synchronisation avec une référence. Elle est `not observed`.
- **Non établi** : la cause de la perte d'éclat (buée sur les réflecteurs, nappe de brouillard sur leur ligne de visée, obstacle). Il reste aussi à savoir quelle part des `corr_x`/`corr_y` des cibles est fausse pendant les fenêtres, et si le phénomène revient d'autres nuits. **À vérifier** : regarder l'état de REF_G et REF_D sur place (condensation, orientation) et lire l'humidité ou la température de la nuit. Il faut aussi un export HDF5 (Flux, Peak Intensity) pour suivre leur éclat. Enfin, tenir les déplacements des cibles pour douteux pendant ces deux fenêtres.
<details><summary>Commandes</summary>
- Niveaux habituels, montée de REF_G/REF_D, REF_CT stable (observé) : `python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ --colonne error_value --pas 6h`
- Bornes des occurrences au pas de 15 min (observé) : `python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ --colonne error_value --pas 15min --capteurs REF_CT,REF_D,REF_G,BJ_G,PBL_D --debut 2026-10-12T22:00Z --fin 2026-10-13T08:00Z` et `... --debut 2026-10-13T20:00Z --fin 2026-10-14T09:45Z`
- Nuits précédentes calmes (observé) : `python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ --colonne error_value --stat max --pas 1h --capteurs REF_CT,REF_D,REF_G --fin 2026-10-12T22:00Z`
- `sigma0` et `reproj_err` au maximum de la période (observé) : `python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ --colonne sigma0 --pas 6h --capteurs REF_CT` ; `... --colonne reproj_err --stat max --pas 6h --capteurs REF_CT,REF_D,REF_G`
- Sauts de `corr_x`/`corr_y`, références et cibles (observé ; écarts en MAD dérivés) : `python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ --colonne corr_x --pas 15min --capteurs REF_CT,REF_D,REF_G,BJ_G,PBJ_C,BL_C,PM_C,PBL_C --debut 2026-10-13T22:30Z --fin 2026-10-14T06:00Z` (même chose pour `corr_y`) ; `... --colonne corr_x --pas 30min --capteurs REF_CT,REF_D,REF_G,BJ_G,PBJ_C,BL_C,PBL_C --debut 2026-10-12T23:00Z --fin 2026-10-13T06:00Z`
- Décalage du `x` brut de REF_G seule (observé) : `python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ --colonne x --pas 30min --capteurs REF_CT,REF_D,REF_G,BJ_G,PBJ_C --debut 2026-10-13T22:00Z --fin 2026-10-14T07:00Z` ; même chose avec `--colonne y`, et avec `--debut 2026-10-12T23:00Z --fin 2026-10-13T05:00Z`
- Figures : `.venv/bin/python agents/diagnostic/outils/graphique.py data/PS_DES_COUDRES/ --capteurs REF_CT,REF_D,REF_G,BJ_G,PBJ_C,PBL_C --colonnes error_value,corr_x --debut 2026-10-12T12:00Z --zone 2026-10-13T00:45Z/2026-10-13T04:15Z --zone 2026-10-13T22:45Z/2026-10-14T05:15Z --sortie <rapport>` ; `... --capteurs REF_G --colonnes error_value,x,y ...` ; `.venv/bin/python agents/diagnostic/outils/vignettes.py data/PS_DES_COUDRES/ --capteurs REF_G,REF_D,REF_CT,BJ_G --heures 2026-10-13T21:00Z,2026-10-14T01:00Z,2026-10-14T02:00Z,2026-10-14T04:00Z,2026-10-14T07:00Z --sortie <rapport>`
- Scène (observé) : Read `images/20261013T2100Z_10169556.jpg` et `images/20261014T0200Z_10170391.jpg`. On ne voit ni brouillard général ni obstacle ; seuls REF_G (à gauche) et REF_D (à droite) sont plus petits.
</details>
## Hors anomalie
- PM_G est rejetée sur les 525 mesures : son seuil est réglé à 0,3, alors que sa médiane d'`error_value` est de 0,41.
- Les `corr_y` de PBJ_C, BJ_D, PM_C et PM_D suivent un cycle journalier régulier (amplitude jusqu'à ~1), le même chaque jour.
- Il y a quelques pics isolés d'`error_value` des références en journée (12/10 12:00-16:00) et 3 instants manquants isolés. Chacun revient au pas suivant.
## Annexe
- **Sources lues** : agents/diagnostic/instructions.md ; docs/domaine/colonnes-des-deplacements.md ; docs/domaine/pieges-des-donnees.md ; AIMsight_agentic_support_project_context.md §4, §12, §13 ; AIMsight_reference_quality_event_explainer_roadmap.md §4.3 ; AIMsight FAQ.pdf (grep 'error value') ; agents/diagnostic/cas/INDEX.md (vide) ; export advanced et 2 images entières de data/PS_DES_COUDRES/, via les outils. L'environnement a fourni un instantané git (branche, commits récents) que je n'ai pas utilisé. CLAUDE.md n'a pas été ouvert.
- **Données** : export advanced 15 min (15 capteurs, 3 références) ; 24 images horaires du 13/10 12:00 au 14/10 11:00. L'export horaire est présent mais n'a pas été lu. **Manquant** : métriques système, export HDF5 (Flux, Peak Intensity, SNR), mouvement caméra (pan/tilt), météo et humidité, images avant le 13/10 12:00. Ce que ça empêche de conclure : confirmer la buée plutôt qu'un brouillard ou un obstacle, et voir la scène de la première occurrence. `corr_x`/`corr_y` ne sont pas en mm, donc les amplitudes restent en unités d'export.
- **Seuil de repérage** : `error_value` au-dessus de la médiane + 6 MAD du capteur, sur les tableaux à 6 h puis 15 min.
## Validation (à remplir par l'utilisateur)
- **Verdict** : accepté tel quel | corrigé
- **Corrections** :
- **Diagnostic final** :
- **Devient un cas** : oui (C-xxx) | non
+15
View File
@@ -333,6 +333,21 @@ Procédure dans `agents/diagnostic/README.md`. Elle ne démarre que sur demande
- **Chaque nouveau cas** teste la recherche sans effort de plus : l'agent qui le découvre (étape 2 de §11.6) doit répondre « aucun cas connu » ou citer le bon cas, jamais un faux.
- **Rejouer un cas** : retirer sa ligne de `INDEX.md` sans commiter, lancer l'agent sur sa fenêtre, comparer à « Attendu de l'agent », restaurer la ligne.
**Mise en place, le 2026-10-14 (index vide).** Scan à l'aveugle de `data/PS_DES_COUDRES/` sur un arbre propre (branche `base-de-cas`, après commit). Rapport : `agents/diagnostic/rapports/2026-10-14T1436Z_PS_DES_COUDRES/` ; 44 appels d'outils, 190 s, ~89 k tokens.
| Attendu | Résultat |
|---|---|
| 1. Même diagnostic que le deuxième passage | atteint : une seule anomalie, `REF_G` et `REF_D` les deux nuits (13/10 00:45 → 04:15Z ; 13/10 22:45Z → 14/10 05:15Z, bornes un peu plus larges qu'au deuxième passage) ; 3 figures dans le dossier du rapport, vignettes avec témoins |
| 2. « Cas connu : aucun cas connu (index vide) » | atteint |
| 3. « Non validé (support) », conséquence indéterminée, action | atteint : *camera/reference compensation event*, conséquence « indéterminée », action « à vérifier » |
| 4. Sources : `INDEX.md`, ni fiche ni rapport | atteint |
| 5. « Devient un cas » dans la validation | atteint, laissé vide |
| 6. Corps en ~40 lignes | atteint : 39 lignes |
| Ordre de lecture | atteint : `INDEX.md` au 27e appel, après les faits (inventaire, résumés, graphiques, vignettes et images, appels 4 à 26) et avant les familles d'hypothèses (§12, appels 28 à 32) |
- **Corrections des instructions** : aucune.
- **À noter** : le niveau de preuve de la classification passe de `strongly supported` (deuxième passage) à `consistent with`, sur les mêmes faits ; les instructions ne plafonnent pourtant le niveau qu'en correspondance partielle. L'agent devient plus prudent sans cas validé : à juger par l'utilisateur.
### 11.8 Laissé de côté
- **Skill `nouveau-cas`** : quand la procédure §11.6 aura servi deux ou trois fois sans changer.