Run the first pump on NORDEND: identical to the received exports (point 27)
Two days (29-30/07) pumped by the user in the app's dev container: system metrics, displacements and camera images match the received exports, and the journal gives the same events. The container mounts ~ on /workspaces, so the script now writes straight into Support-Agent's data/ (no copies). Add --delai for days that exceed the 60 s query timeout, and report the root database error instead of pandas' wrapper. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7714a55cfa
commit
2d2d50a8b3
5 files changed
+50
-35
No files matched your search
@@ -84,14 +84,14 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
||||
| 25 | Option A : la courbe nettoyée par masquage | Coder | 24, 8 | validé le 2026-10-24 |
|
||||
| 26 | Options B à E : en réserve | Comprendre | 25 | validé le 2026-10-24 |
|
||||
| | **VI. Données en masse et boucle Claude** | | | |
|
||||
| 27 | Premier pompage (option A) | Lancer | — | en attente (pas d'accès aux données) |
|
||||
| 28 | Images différentielles | Lancer, Comprendre | 27 | à faire |
|
||||
| 27 | Premier pompage (option A) | Lancer | — | fait le 2026-10-26 : identique aux exports reçus ; à valider par l'utilisateur |
|
||||
| 28 | Images différentielles | Lancer, Comprendre | 27 | en cours : NORDEND en a, à regarder avec l'utilisateur |
|
||||
| 29 | Options B (depuis WSL) et C (route du collègue) | Décider | 27 | en attente |
|
||||
| 30 | L'outil de tri en lot | Coder | 6, 27 | validé le 2026-10-24 |
|
||||
| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard |
|
||||
| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) |
|
||||
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 |
|
||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, lancé le 2026-10-26 avec le point 27 |
|
||||
| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard |
|
||||
| 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance |
|
||||
| | **VII. Idées gardées pour plus tard** | | | |
|
||||
@@ -742,13 +742,12 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
**C'est l'utilisateur qui lance** ; Claude prépare et lit les résultats.
|
||||
|
||||
**Étapes.**
|
||||
- [ ] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System).
|
||||
- [ ] L'utilisateur copie le dossier dans le dépôt de l'application visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/` (fichier non suivi, ne pas le committer, le supprimer après).
|
||||
- [ ] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du AAAA-MM-JJ --au AAAA-MM-JJ --images <SERIE>)` ; noter le temps par jour.
|
||||
- [ ] Copier `extraction/sortie/<SERIE>/` vers `~/Support-Agent/data/<SERIE>/`.
|
||||
- [ ] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier.
|
||||
- [ ] Si l'unité d'acquisition n'est pas unique (règle MER* / ME2S* de `app/base/models.py:268`), le noter.
|
||||
- [ ] Noter le résultat dans `donnees-et-boucle.md`, section « Ce qui reste à vérifier », et dans l'index.
|
||||
- [x] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System). NORDEND, numéro de série `NORDEND` (2026-10-26).
|
||||
- [x] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours, la commande de `extraction/README.md` (le container monte `~` sur `/workspaces` : le script écrit directement dans `data/<SERIE>/`, sans copie) ; noter le temps par jour. Fait le 2026-10-26, 29 et 30/07 : métriques 1-2 s par jour, déplacements 9 s pour le 29/07, images et images différentielles 24 par jour ; déplacements du 30/07 en échec (`DatabaseError`).
|
||||
- [x] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier. Fait pour le 29/07 : 2 112 lignes, colonnes et valeurs identiques à l'export reçu ; métriques identiques heure par heure ; images IRON identiques octet pour octet. `categories.py` attend le 30/07 (3 jours d'historique).
|
||||
- [x] Si l'unité d'acquisition n'est pas unique (règle MER* / ME2S* de `app/base/models.py:268`), le noter. Rien à noter : unité trouvée.
|
||||
- [x] Noter le résultat dans `donnees-et-boucle.md`, section « Ce qui reste à vérifier », et dans l'index.
|
||||
- [x] Relancer la même commande (seuls les déplacements du 30/07 manquent) ; lire la cause de l'échec, que le script affiche maintenant. Cause (2026-10-26) : délai de 60 s dépassé (`QueryCanceled`), alors que le 30/07 a autant de mesures que le 29/07 (2 090 lignes contre 2 112 dans l'export reçu) ; option `--delai` ajoutée, relance du 30/07 seul avec `--delai 300` : 93 s, 2 090 lignes, identiques à l'export reçu. `categories.py` sur le dossier pompé : mêmes événements que sur l'export reçu réduit aux mêmes jours ; avec l'export entier (historique dès le 27/07 22:00), la toile de C-002 devient un seul événement `visibilite_reduite` du 28/07 20:45 au 30/07 23:45, coupé en morceaux sans historique : pomper 3 jours de plus avant la période voulue.
|
||||
|
||||
**Fini quand.** Un dossier pompé donne les mêmes mesures que l'export reçu, et le temps par jour est connu.
|
||||
|
||||
@@ -763,7 +762,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
**Ce qui existe.** Type de mesure `OPTICAL_SHIFT-DIFF`, en PNG, seulement sur les stations réglées en mode « Differential » ; lesquelles et à quelle cadence : inconnu. Le script les prend avec `--diff`, rangées dans `images_diff/`.
|
||||
|
||||
**Étapes.**
|
||||
- [ ] Au premier pompage avec `--diff`, compter les images différentielles par jour ; si une station en a, en regarder quelques-unes avec l'utilisateur : montrent-elles ce qui a changé (toile, eau, neige) mieux que l'image brute ?
|
||||
- [ ] Au premier pompage avec `--diff`, compter les images différentielles par jour ; si une station en a, en regarder quelques-unes avec l'utilisateur ; NORDEND en a (2026-10-26) : 24 par jour à une par heure, PNG 16 bits 3088×2064, ~7 Mo l'une ; le 29/07, pendant C-002 (toile d'araignée selon l'expert), de longues traînées claires sur tout le champ et les cibles en points, là où l'image brute ne montre que de faibles bandes sombres ; à confirmer par l'utilisateur : montrent-elles ce qui a changé (toile, eau, neige) mieux que l'image brute ?
|
||||
- [ ] Si oui : les ajouter au processus « images » (point 7), après l'image brute.
|
||||
|
||||
### Point 29 : Options B (depuis WSL) et C (route du collègue)
|
||||
@@ -885,7 +884,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24).
|
||||
- [x] Métriques système, un fichier par jour, défaut des images corrigé.
|
||||
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
|
||||
- [ ] Premier lancement par l'utilisateur, avec le point 27 ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
||||
- [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
||||
|
||||
**Fini quand.** Une commande donnée par Claude remplit `data/<STATION>/` sur la période choisie, et sa relance ne télécharge que ce qui manque.
|
||||
|
||||
@@ -1108,3 +1107,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels.
|
||||
- 2026-10-25 : point 45 ajouté (précision de l'utilisateur : la boucle sert la détection sur tout le lot, chaque instant valide ou non avec sa catégorie) ; écarts constatés (validité implicite, précision non mesurée, pas de rejeu) ; proposition d'un score, trois questions à l'utilisateur ; rien codé.
|
||||
- 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance.
|
||||
- 2026-10-26 : points 27, 28 et 43 : premier pompage par l'utilisateur (NORDEND, 29 et 30/07) : métriques, déplacements du 29/07 et images identiques aux exports reçus ; déplacements du 30/07 en échec (`DatabaseError`), cause affichée à la relance ; images différentielles : traînées claires pendant C-002, à confirmer ; mode d'emploi simplifié (le container monte `~` : sortie directe dans `data/`, ou `out/pompage/` pour une station déjà reçue).
|
||||
- 2026-10-26 : point 27 fait, à valider : le 30/07, en échec par délai dépassé (60 s) alors qu'il n'est pas plus lourd que le 29/07, relancé avec la nouvelle option `--delai 300` (93 s) : identique à l'export reçu ; `categories.py` donne les mêmes événements sur le dossier pompé que sur l'export reçu aux mêmes jours ; pomper 3 jours d'historique en plus.
|
||||
Reference in new issue
Block a user