diff --git a/CLAUDE.md b/CLAUDE.md index 01a878f..047c859 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -17,7 +17,7 @@ Agent de diagnostic proactif pour **AIMsight**, un système de surveillance opti - **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`. - **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`. - **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST. -- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. +- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, lancé une fois par l'utilisateur le 2026-10-26, NORDEND sur 2 jours, identique aux exports reçus ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. - **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande. ## Analyses (domaine Energy) @@ -145,7 +145,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . - `temperature/` : calcul embarquable `gpu_temperature_limit.py`, `day_color.py` ; plotly : `final.py` (figure du site, D-041), `all_analyses.py` (D-040). - `maquettes/` : maquettes du site en HTML sur données réelles (D-022), Figma seulement sur demande. Un script remplit son gabarit HTML : `user/summary.py` + `summary_template.html` (client, une page par station, un bloc par domaine), `support/home.py` + `home_template.html` (support). Les deux parcourent une liste de domaines (`DOMAINS`, D-039). - `.claude/` : `rules/analyses.md` (se charge seule, voir « Analyses »), `agents/diagnostic.md` (point d'entrée de l'agent de diagnostic, D-046), `skills/nouvelle-analyse/` (procédure et modèle de fiche), `skills/nouveau-domaine/` (procédure pour un nouveau domaine), `skills/nouveau-cas/` (ajouter un cas à la base de l'agent de diagnostic, lancé par l'utilisateur seul), `skills/anonymiser-cas/` (données d'un cas copiées dans son dossier, noms en codes, registre des codes, D-049, D-050), `skills/boucle/` et `skills/critiquer-lot/` avec les agents `analyste`, `upgrader`, `validateur`, `builder` (boucle automatique, D-057), `skills/lire-les-donnees/` (outils de lecture et leur mode d'emploi) et `skills/aiguiser/` avec les agents `lecteur`, `correcteur`, `optimiseur` (D-059), `agents/releveur.md` (difficultés des processus automatiques, D-060), `settings.json` (lecture de `.env` interdite). Schémas de ces processus (agents, flux de données) : `docs/agents/pipelines-ia.drawio`, une page par processus. -- `vues-deplacements/` : chantier à part des vues des déplacements et de l'agent dans une maquette (D-052) : contexte, cas réels (données, pages de la plateforme, parcours de l'utilisateur), puis le code ; sa carte : `vues-deplacements/CLAUDE.md` ; maquette de la page Explore avec les onglets View et Diagnosis dans `vues-deplacements/maquette/` (D-053, D-054) ; détecteurs du journal du matin dans `vues-deplacements/journal/` (D-056) ; `extraction/` : pompage des données de la plateforme (D-056), à lancer par l'utilisateur dans le dev container de l'application ; brouillon jamais lancé, lecture seule ; mode d'emploi dans `extraction/README.md`. +- `vues-deplacements/` : chantier à part des vues des déplacements et de l'agent dans une maquette (D-052) : contexte, cas réels (données, pages de la plateforme, parcours de l'utilisateur), puis le code ; sa carte : `vues-deplacements/CLAUDE.md` ; maquette de la page Explore avec les onglets View et Diagnosis dans `vues-deplacements/maquette/` (D-053, D-054) ; détecteurs du journal du matin dans `vues-deplacements/journal/` (D-056) ; `extraction/` : pompage des données de la plateforme (D-056), à lancer par l'utilisateur dans le dev container de l'application (qui monte `~` : sortie directe dans `data/`) ; lecture seule ; mode d'emploi dans `extraction/README.md`. - `.devcontainer/devcontainer.json` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `architecture.drawio` : schéma d'architecture tenu par l'utilisateur, à ne pas modifier sans demande. - `out/` : pages et JSON générés. Tout le projet est versionné, sauf `out/`, `.venv/` et `__pycache__/` (D-014). diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index 78a481b..f93b60a 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -84,14 +84,14 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 25 | Option A : la courbe nettoyée par masquage | Coder | 24, 8 | validé le 2026-10-24 | | 26 | Options B à E : en réserve | Comprendre | 25 | validé le 2026-10-24 | | | **VI. Données en masse et boucle Claude** | | | | -| 27 | Premier pompage (option A) | Lancer | — | en attente (pas d'accès aux données) | -| 28 | Images différentielles | Lancer, Comprendre | 27 | à faire | +| 27 | Premier pompage (option A) | Lancer | — | fait le 2026-10-26 : identique aux exports reçus ; à valider par l'utilisateur | +| 28 | Images différentielles | Lancer, Comprendre | 27 | en cours : NORDEND en a, à regarder avec l'utilisateur | | 29 | Options B (depuis WSL) et C (route du collègue) | Décider | 27 | en attente | | 30 | L'outil de tri en lot | Coder | 6, 27 | validé le 2026-10-24 | | 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard | | 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) | | 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur | -| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 | +| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, lancé le 2026-10-26 avec le point 27 | | 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard | | 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance | | | **VII. Idées gardées pour plus tard** | | | | @@ -742,13 +742,12 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **C'est l'utilisateur qui lance** ; Claude prépare et lit les résultats. **Étapes.** -- [ ] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System). -- [ ] L'utilisateur copie le dossier dans le dépôt de l'application visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/` (fichier non suivi, ne pas le committer, le supprimer après). -- [ ] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du AAAA-MM-JJ --au AAAA-MM-JJ --images )` ; noter le temps par jour. -- [ ] Copier `extraction/sortie//` vers `~/Support-Agent/data//`. -- [ ] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier. -- [ ] Si l'unité d'acquisition n'est pas unique (règle MER* / ME2S* de `app/base/models.py:268`), le noter. -- [ ] Noter le résultat dans `donnees-et-boucle.md`, section « Ce qui reste à vérifier », et dans l'index. +- [x] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System). NORDEND, numéro de série `NORDEND` (2026-10-26). +- [x] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours, la commande de `extraction/README.md` (le container monte `~` sur `/workspaces` : le script écrit directement dans `data//`, sans copie) ; noter le temps par jour. Fait le 2026-10-26, 29 et 30/07 : métriques 1-2 s par jour, déplacements 9 s pour le 29/07, images et images différentielles 24 par jour ; déplacements du 30/07 en échec (`DatabaseError`). +- [x] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier. Fait pour le 29/07 : 2 112 lignes, colonnes et valeurs identiques à l'export reçu ; métriques identiques heure par heure ; images IRON identiques octet pour octet. `categories.py` attend le 30/07 (3 jours d'historique). +- [x] Si l'unité d'acquisition n'est pas unique (règle MER* / ME2S* de `app/base/models.py:268`), le noter. Rien à noter : unité trouvée. +- [x] Noter le résultat dans `donnees-et-boucle.md`, section « Ce qui reste à vérifier », et dans l'index. +- [x] Relancer la même commande (seuls les déplacements du 30/07 manquent) ; lire la cause de l'échec, que le script affiche maintenant. Cause (2026-10-26) : délai de 60 s dépassé (`QueryCanceled`), alors que le 30/07 a autant de mesures que le 29/07 (2 090 lignes contre 2 112 dans l'export reçu) ; option `--delai` ajoutée, relance du 30/07 seul avec `--delai 300` : 93 s, 2 090 lignes, identiques à l'export reçu. `categories.py` sur le dossier pompé : mêmes événements que sur l'export reçu réduit aux mêmes jours ; avec l'export entier (historique dès le 27/07 22:00), la toile de C-002 devient un seul événement `visibilite_reduite` du 28/07 20:45 au 30/07 23:45, coupé en morceaux sans historique : pomper 3 jours de plus avant la période voulue. **Fini quand.** Un dossier pompé donne les mêmes mesures que l'export reçu, et le temps par jour est connu. @@ -763,7 +762,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **Ce qui existe.** Type de mesure `OPTICAL_SHIFT-DIFF`, en PNG, seulement sur les stations réglées en mode « Differential » ; lesquelles et à quelle cadence : inconnu. Le script les prend avec `--diff`, rangées dans `images_diff/`. **Étapes.** -- [ ] Au premier pompage avec `--diff`, compter les images différentielles par jour ; si une station en a, en regarder quelques-unes avec l'utilisateur : montrent-elles ce qui a changé (toile, eau, neige) mieux que l'image brute ? +- [ ] Au premier pompage avec `--diff`, compter les images différentielles par jour ; si une station en a, en regarder quelques-unes avec l'utilisateur ; NORDEND en a (2026-10-26) : 24 par jour à une par heure, PNG 16 bits 3088×2064, ~7 Mo l'une ; le 29/07, pendant C-002 (toile d'araignée selon l'expert), de longues traînées claires sur tout le champ et les cibles en points, là où l'image brute ne montre que de faibles bandes sombres ; à confirmer par l'utilisateur : montrent-elles ce qui a changé (toile, eau, neige) mieux que l'image brute ? - [ ] Si oui : les ajouter au processus « images » (point 7), après l'image brute. ### Point 29 : Options B (depuis WSL) et C (route du collègue) @@ -885,7 +884,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24). - [x] Métriques système, un fichier par jour, défaut des images corrigé. - [ ] Liste des types de mesure d'une station : non demandée, au point 33. -- [ ] Premier lancement par l'utilisateur, avec le point 27 ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage). +- [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage). **Fini quand.** Une commande donnée par Claude remplit `data//` sur la période choisie, et sa relance ne télécharge que ce qui manque. @@ -1108,3 +1107,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels. - 2026-10-25 : point 45 ajouté (précision de l'utilisateur : la boucle sert la détection sur tout le lot, chaque instant valide ou non avec sa catégorie) ; écarts constatés (validité implicite, précision non mesurée, pas de rejeu) ; proposition d'un score, trois questions à l'utilisateur ; rien codé. - 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance. +- 2026-10-26 : points 27, 28 et 43 : premier pompage par l'utilisateur (NORDEND, 29 et 30/07) : métriques, déplacements du 29/07 et images identiques aux exports reçus ; déplacements du 30/07 en échec (`DatabaseError`), cause affichée à la relance ; images différentielles : traînées claires pendant C-002, à confirmer ; mode d'emploi simplifié (le container monte `~` : sortie directe dans `data/`, ou `out/pompage/` pour une station déjà reçue). +- 2026-10-26 : point 27 fait, à valider : le 30/07, en échec par délai dépassé (60 s) alors qu'il n'est pas plus lourd que le 29/07, relancé avec la nouvelle option `--delai 300` (93 s) : identique à l'export reçu ; `categories.py` donne les mêmes événements sur le dossier pompé que sur l'export reçu aux mêmes jours ; pomper 3 jours d'historique en plus. diff --git a/extraction/README.md b/extraction/README.md index 8233e88..cd591ac 100644 --- a/extraction/README.md +++ b/extraction/README.md @@ -1,20 +1,22 @@ -# extraction/ : pomper les données de la plateforme (brouillon, jamais lancé) +# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26) `pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent : - les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src//` et les maquettes ; - les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ; - les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`. -Reprise : un fichier déjà dans `extraction/sortie/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé. +Reprise : un fichier déjà dans `data//` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé. ## Lancer (l'utilisateur, dans le dev container de l'appli) -1. Copier ce dossier à la racine du dépôt de l'appli visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`. Il n'y est pas suivi : ne pas le committer. **Garder `extraction/sortie/`** entre deux lancements : c'est elle que la relance complète. -2. Depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff )`. Noter le temps par jour. -3. Puis la plage voulue, par exemple les 3 semaines avant le 26/10 : `--du 2026-10-05 --au 2026-10-26` (`--au` exclu). Plusieurs stations : ` `. Aide : `python3 extraction/pomper.py -h`. -4. Depuis WSL, copier dans Support-Agent : `cp -r ~/monitoring-dashboard/extraction/sortie/ ~/Support-Agent/data/`. +Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier. -Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production). +1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`. +2. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data//` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL : + `(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff ); chown -R 1000:1000 /workspaces/Support-Agent/data/`. Noter le temps par jour. +3. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : ` `. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`. + +Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production). ## Avec Claude @@ -22,7 +24,10 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data// ## À savoir +- `` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`). +- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports. +- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume. - Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide. -- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `extraction/sortie/` et relancer. +- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data//` et relancer. - `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer. - Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. diff --git a/extraction/pomper.py b/extraction/pomper.py index dd60905..e241d19 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -1,11 +1,11 @@ """Pompe les métriques système, les déplacements (export « advanced ») et les images de stations de la plateforme -AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé. +AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le 2026-10-26 (NORDEND, 2 jours). À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) : - (set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN) + (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN) -Sortie (défaut `extraction/sortie/`), à copier ensuite dans Support-Agent/data/ : +Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) : /___00_00 to _23_00.csv métriques système, par jour /displacement/_advanced_.csv déplacements, un fichier par jour /images/TZ_. images OPTICAL_SHIFT-IRON (--images) @@ -16,7 +16,7 @@ jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, sup Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System), build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture -seule, délai de 60 s. Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms +seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images AIMSIGHT_S3_URL / _ACCESS_KEY / _SECRET_KEY / _BUCKET. """ @@ -53,6 +53,13 @@ class ReadOnlyDB: self._session, self.s3client, self.aggregates = session, s3, AggregateEngine(engine) +def raison(e): + """L'erreur d'origine (celle de la base) : pandas et SQLAlchemy l'enveloppent, la requête SQL d'abord.""" + while e.__cause__ is not None: + e = e.__cause__ + return f"{type(e).__name__}: {(str(e).splitlines() or [''])[0][:300]}" + + def acquisition_unit(system): """Même choix que Device.get_acquisition_unit (app/base/models.py:268) : l'unique unité, sinon MER* / ME2S*.""" units = list(system.acquisition_units.values()) @@ -90,7 +97,7 @@ def pomper_metriques(session, system, station, debut, fin, out): try: df = pd.read_sql(q.statement, session.bind) except Exception as e: # ponytail : comme les déplacements, un jour en échec est sauté, relancer le reprend - print(f"{station} {a:%Y-%m-%d} métriques : échec ({type(e).__name__}), à relancer") + print(f"{station} {a:%Y-%m-%d} métriques : échec ({raison(e)}), à relancer") continue df["heure"] = pd.to_datetime(df["heure"], utc=True) heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex @@ -105,7 +112,7 @@ def pomper_metriques(session, system, station, debut, fin, out): def pomper_deplacements(unit, db, station, debut, fin, out): - for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai de 60 s + for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai) a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC) path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv" if path.exists(): @@ -114,7 +121,7 @@ def pomper_deplacements(unit, db, station, debut, fin, out): try: df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1)) except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai - print(f"{station} {a:%Y-%m-%d} : échec ({type(e).__name__}), à relancer") + print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer") continue finally: db._session.rollback() # ferme la transaction de lecture @@ -150,7 +157,7 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out): path.write_bytes(data) n, octets = n + 1, octets + len(data) session.rollback() - print(f"{station} {a:%Y-%m-%d} {dossier}: {n} images, {octets / 1e6:.0f} Mo") + print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo") time.sleep(0.5) @@ -162,7 +169,9 @@ def main(): p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON") p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF") p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)") - p.add_argument("--out", type=Path, default=Path("extraction/sortie")) + p.add_argument("--delai", type=int, default=60, help="délai maximal d'une requête, en s (défaut 60 : base partagée " + "avec la production) ; plus long seulement pour un jour en échec par délai dépassé") + p.add_argument("--out", type=Path, default=Path(__file__).resolve().parent.parent / "data") a = p.parse_args() debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au)) aujourdhui = datetime.now(UTC).date() @@ -178,7 +187,7 @@ def main(): port=int(os.environ.get("AIMSIGHT_DATABASE_PORT", "5432")), database=os.environ["AIMSIGHT_DATABASE_NAME"]) engine = create_engine(url, connect_args={ - "options": "-c timezone=utc -c default_transaction_read_only=on -c statement_timeout=60s"}) + "options": f"-c timezone=utc -c default_transaction_read_only=on -c statement_timeout={a.delai}s"}) s3 = S3client(os.environ.get("AIMSIGHT_S3_URL", "http://s3:3900"), os.environ.get("AIMSIGHT_S3_ACCESS_KEY", ""), os.environ.get("AIMSIGHT_S3_SECRET_KEY", ""), os.environ.get("AIMSIGHT_S3_BUCKET", "measurements-assets")) if (a.images or a.diff) else None diff --git a/vues-deplacements/contexte/donnees-et-boucle.md b/vues-deplacements/contexte/donnees-et-boucle.md index e1afa06..cfc4c75 100644 --- a/vues-deplacements/contexte/donnees-et-boucle.md +++ b/vues-deplacements/contexte/donnees-et-boucle.md @@ -4,7 +4,7 @@ ## Recommandation -**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data//__….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. +**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data//__….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. ## Ce que j'ai trouvé @@ -52,7 +52,7 @@ Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaqu ## Ce qui reste à vérifier avant de s'y fier -- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes), et une métrique pompée contre un export de la page System (mêmes heures, mêmes valeurs). +- Premier lancement le 2026-10-26, NORDEND, 29 et 30/07 (numéro de série du système : `NORDEND`, comme en tête des CSV de la page System ; pas le nom de l'appareil de la page Explore) : les 27 métriques de l'export reçu identiques heure par heure (`last_sync` : mêmes valeurs, ordre de la liste de l'heure différent ; `ip_eth0` en plus, vide) ; déplacements du 29/07 identiques à l'export « advanced » reçu (2 112 lignes, mêmes colonnes, mêmes valeurs) ; 48 images IRON identiques octet pour octet. Temps : 1-2 s par jour pour les métriques, 9 s pour les déplacements. Le 30/07 a d'abord dépassé le délai de 60 s, avec autant de mesures que le 29/07 (la lenteur vient de la base) ; relancé avec `--delai 300` : 93 s, identique à l'export reçu. Le journal sur le dossier pompé donne les mêmes événements que sur l'export reçu, aux mêmes jours ; il lui faut ses 3 jours d'historique : les pomper en plus, avant la période voulue. - Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire. -- Combien de stations ont des images `DIFF`, et à quelle cadence. +- Combien de stations ont des images `DIFF`, et à quelle cadence : NORDEND en a (au moins une par heure ; PNG 16 bits, ~7 Mo l'une, ~160 Mo par jour à une par heure). - Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).