Run the first pump on NORDEND: identical to the received exports (point 27)
Two days (29-30/07) pumped by the user in the app's dev container: system metrics, displacements and camera images match the received exports, and the journal gives the same events. The container mounts ~ on /workspaces, so the script now writes straight into Support-Agent's data/ (no copies). Add --delai for days that exceed the 60 s query timeout, and report the root database error instead of pandas' wrapper. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
7714a55cfa
commit
2d2d50a8b3
5 files changed
+50
-35
No files matched your search
@@ -17,7 +17,7 @@ Agent de diagnostic proactif pour **AIMsight**, un système de surveillance opti
|
|||||||
- **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`.
|
- **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`.
|
||||||
- **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`.
|
- **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`.
|
||||||
- **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST.
|
- **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST.
|
||||||
- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle <dossier>` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, lancé une fois par l'utilisateur le 2026-10-26, NORDEND sur 2 jours, identique aux exports reçus ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle <dossier>` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
||||||
- **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande.
|
- **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande.
|
||||||
|
|
||||||
## Analyses (domaine Energy)
|
## Analyses (domaine Energy)
|
||||||
@@ -145,7 +145,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
|
|||||||
- `temperature/` : calcul embarquable `gpu_temperature_limit.py`, `day_color.py` ; plotly : `final.py` (figure du site, D-041), `all_analyses.py` (D-040).
|
- `temperature/` : calcul embarquable `gpu_temperature_limit.py`, `day_color.py` ; plotly : `final.py` (figure du site, D-041), `all_analyses.py` (D-040).
|
||||||
- `maquettes/` : maquettes du site en HTML sur données réelles (D-022), Figma seulement sur demande. Un script remplit son gabarit HTML : `user/summary.py` + `summary_template.html` (client, une page par station, un bloc par domaine), `support/home.py` + `home_template.html` (support). Les deux parcourent une liste de domaines (`DOMAINS`, D-039).
|
- `maquettes/` : maquettes du site en HTML sur données réelles (D-022), Figma seulement sur demande. Un script remplit son gabarit HTML : `user/summary.py` + `summary_template.html` (client, une page par station, un bloc par domaine), `support/home.py` + `home_template.html` (support). Les deux parcourent une liste de domaines (`DOMAINS`, D-039).
|
||||||
- `.claude/` : `rules/analyses.md` (se charge seule, voir « Analyses »), `agents/diagnostic.md` (point d'entrée de l'agent de diagnostic, D-046), `skills/nouvelle-analyse/` (procédure et modèle de fiche), `skills/nouveau-domaine/` (procédure pour un nouveau domaine), `skills/nouveau-cas/` (ajouter un cas à la base de l'agent de diagnostic, lancé par l'utilisateur seul), `skills/anonymiser-cas/` (données d'un cas copiées dans son dossier, noms en codes, registre des codes, D-049, D-050), `skills/boucle/` et `skills/critiquer-lot/` avec les agents `analyste`, `upgrader`, `validateur`, `builder` (boucle automatique, D-057), `skills/lire-les-donnees/` (outils de lecture et leur mode d'emploi) et `skills/aiguiser/` avec les agents `lecteur`, `correcteur`, `optimiseur` (D-059), `agents/releveur.md` (difficultés des processus automatiques, D-060), `settings.json` (lecture de `.env` interdite). Schémas de ces processus (agents, flux de données) : `docs/agents/pipelines-ia.drawio`, une page par processus.
|
- `.claude/` : `rules/analyses.md` (se charge seule, voir « Analyses »), `agents/diagnostic.md` (point d'entrée de l'agent de diagnostic, D-046), `skills/nouvelle-analyse/` (procédure et modèle de fiche), `skills/nouveau-domaine/` (procédure pour un nouveau domaine), `skills/nouveau-cas/` (ajouter un cas à la base de l'agent de diagnostic, lancé par l'utilisateur seul), `skills/anonymiser-cas/` (données d'un cas copiées dans son dossier, noms en codes, registre des codes, D-049, D-050), `skills/boucle/` et `skills/critiquer-lot/` avec les agents `analyste`, `upgrader`, `validateur`, `builder` (boucle automatique, D-057), `skills/lire-les-donnees/` (outils de lecture et leur mode d'emploi) et `skills/aiguiser/` avec les agents `lecteur`, `correcteur`, `optimiseur` (D-059), `agents/releveur.md` (difficultés des processus automatiques, D-060), `settings.json` (lecture de `.env` interdite). Schémas de ces processus (agents, flux de données) : `docs/agents/pipelines-ia.drawio`, une page par processus.
|
||||||
- `vues-deplacements/` : chantier à part des vues des déplacements et de l'agent dans une maquette (D-052) : contexte, cas réels (données, pages de la plateforme, parcours de l'utilisateur), puis le code ; sa carte : `vues-deplacements/CLAUDE.md` ; maquette de la page Explore avec les onglets View et Diagnosis dans `vues-deplacements/maquette/` (D-053, D-054) ; détecteurs du journal du matin dans `vues-deplacements/journal/` (D-056) ; `extraction/` : pompage des données de la plateforme (D-056), à lancer par l'utilisateur dans le dev container de l'application ; brouillon jamais lancé, lecture seule ; mode d'emploi dans `extraction/README.md`.
|
- `vues-deplacements/` : chantier à part des vues des déplacements et de l'agent dans une maquette (D-052) : contexte, cas réels (données, pages de la plateforme, parcours de l'utilisateur), puis le code ; sa carte : `vues-deplacements/CLAUDE.md` ; maquette de la page Explore avec les onglets View et Diagnosis dans `vues-deplacements/maquette/` (D-053, D-054) ; détecteurs du journal du matin dans `vues-deplacements/journal/` (D-056) ; `extraction/` : pompage des données de la plateforme (D-056), à lancer par l'utilisateur dans le dev container de l'application (qui monte `~` : sortie directe dans `data/`) ; lecture seule ; mode d'emploi dans `extraction/README.md`.
|
||||||
- `.devcontainer/devcontainer.json` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `architecture.drawio` : schéma d'architecture tenu par l'utilisateur, à ne pas modifier sans demande.
|
- `.devcontainer/devcontainer.json` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `architecture.drawio` : schéma d'architecture tenu par l'utilisateur, à ne pas modifier sans demande.
|
||||||
- `out/` : pages et JSON générés. Tout le projet est versionné, sauf `out/`, `.venv/` et `__pycache__/` (D-014).
|
- `out/` : pages et JSON générés. Tout le projet est versionné, sauf `out/`, `.venv/` et `__pycache__/` (D-014).
|
||||||
|
|
||||||
|
|||||||
@@ -84,14 +84,14 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
|
|||||||
| 25 | Option A : la courbe nettoyée par masquage | Coder | 24, 8 | validé le 2026-10-24 |
|
| 25 | Option A : la courbe nettoyée par masquage | Coder | 24, 8 | validé le 2026-10-24 |
|
||||||
| 26 | Options B à E : en réserve | Comprendre | 25 | validé le 2026-10-24 |
|
| 26 | Options B à E : en réserve | Comprendre | 25 | validé le 2026-10-24 |
|
||||||
| | **VI. Données en masse et boucle Claude** | | | |
|
| | **VI. Données en masse et boucle Claude** | | | |
|
||||||
| 27 | Premier pompage (option A) | Lancer | — | en attente (pas d'accès aux données) |
|
| 27 | Premier pompage (option A) | Lancer | — | fait le 2026-10-26 : identique aux exports reçus ; à valider par l'utilisateur |
|
||||||
| 28 | Images différentielles | Lancer, Comprendre | 27 | à faire |
|
| 28 | Images différentielles | Lancer, Comprendre | 27 | en cours : NORDEND en a, à regarder avec l'utilisateur |
|
||||||
| 29 | Options B (depuis WSL) et C (route du collègue) | Décider | 27 | en attente |
|
| 29 | Options B (depuis WSL) et C (route du collègue) | Décider | 27 | en attente |
|
||||||
| 30 | L'outil de tri en lot | Coder | 6, 27 | validé le 2026-10-24 |
|
| 30 | L'outil de tri en lot | Coder | 6, 27 | validé le 2026-10-24 |
|
||||||
| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard |
|
| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | construite (D-057), fonctionnement validé le 2026-10-24 ; séance par l'utilisateur, plus tard |
|
||||||
| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) |
|
| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) |
|
||||||
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
|
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
|
||||||
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 |
|
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, lancé le 2026-10-26 avec le point 27 |
|
||||||
| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard |
|
| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard |
|
||||||
| 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance |
|
| 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance |
|
||||||
| | **VII. Idées gardées pour plus tard** | | | |
|
| | **VII. Idées gardées pour plus tard** | | | |
|
||||||
@@ -742,13 +742,12 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
|||||||
**C'est l'utilisateur qui lance** ; Claude prépare et lit les résultats.
|
**C'est l'utilisateur qui lance** ; Claude prépare et lit les résultats.
|
||||||
|
|
||||||
**Étapes.**
|
**Étapes.**
|
||||||
- [ ] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System).
|
- [x] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System). NORDEND, numéro de série `NORDEND` (2026-10-26).
|
||||||
- [ ] L'utilisateur copie le dossier dans le dépôt de l'application visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/` (fichier non suivi, ne pas le committer, le supprimer après).
|
- [x] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours, la commande de `extraction/README.md` (le container monte `~` sur `/workspaces` : le script écrit directement dans `data/<SERIE>/`, sans copie) ; noter le temps par jour. Fait le 2026-10-26, 29 et 30/07 : métriques 1-2 s par jour, déplacements 9 s pour le 29/07, images et images différentielles 24 par jour ; déplacements du 30/07 en échec (`DatabaseError`).
|
||||||
- [ ] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du AAAA-MM-JJ --au AAAA-MM-JJ --images <SERIE>)` ; noter le temps par jour.
|
- [x] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier. Fait pour le 29/07 : 2 112 lignes, colonnes et valeurs identiques à l'export reçu ; métriques identiques heure par heure ; images IRON identiques octet pour octet. `categories.py` attend le 30/07 (3 jours d'historique).
|
||||||
- [ ] Copier `extraction/sortie/<SERIE>/` vers `~/Support-Agent/data/<SERIE>/`.
|
- [x] Si l'unité d'acquisition n'est pas unique (règle MER* / ME2S* de `app/base/models.py:268`), le noter. Rien à noter : unité trouvée.
|
||||||
- [ ] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier.
|
- [x] Noter le résultat dans `donnees-et-boucle.md`, section « Ce qui reste à vérifier », et dans l'index.
|
||||||
- [ ] Si l'unité d'acquisition n'est pas unique (règle MER* / ME2S* de `app/base/models.py:268`), le noter.
|
- [x] Relancer la même commande (seuls les déplacements du 30/07 manquent) ; lire la cause de l'échec, que le script affiche maintenant. Cause (2026-10-26) : délai de 60 s dépassé (`QueryCanceled`), alors que le 30/07 a autant de mesures que le 29/07 (2 090 lignes contre 2 112 dans l'export reçu) ; option `--delai` ajoutée, relance du 30/07 seul avec `--delai 300` : 93 s, 2 090 lignes, identiques à l'export reçu. `categories.py` sur le dossier pompé : mêmes événements que sur l'export reçu réduit aux mêmes jours ; avec l'export entier (historique dès le 27/07 22:00), la toile de C-002 devient un seul événement `visibilite_reduite` du 28/07 20:45 au 30/07 23:45, coupé en morceaux sans historique : pomper 3 jours de plus avant la période voulue.
|
||||||
- [ ] Noter le résultat dans `donnees-et-boucle.md`, section « Ce qui reste à vérifier », et dans l'index.
|
|
||||||
|
|
||||||
**Fini quand.** Un dossier pompé donne les mêmes mesures que l'export reçu, et le temps par jour est connu.
|
**Fini quand.** Un dossier pompé donne les mêmes mesures que l'export reçu, et le temps par jour est connu.
|
||||||
|
|
||||||
@@ -763,7 +762,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
|||||||
**Ce qui existe.** Type de mesure `OPTICAL_SHIFT-DIFF`, en PNG, seulement sur les stations réglées en mode « Differential » ; lesquelles et à quelle cadence : inconnu. Le script les prend avec `--diff`, rangées dans `images_diff/`.
|
**Ce qui existe.** Type de mesure `OPTICAL_SHIFT-DIFF`, en PNG, seulement sur les stations réglées en mode « Differential » ; lesquelles et à quelle cadence : inconnu. Le script les prend avec `--diff`, rangées dans `images_diff/`.
|
||||||
|
|
||||||
**Étapes.**
|
**Étapes.**
|
||||||
- [ ] Au premier pompage avec `--diff`, compter les images différentielles par jour ; si une station en a, en regarder quelques-unes avec l'utilisateur : montrent-elles ce qui a changé (toile, eau, neige) mieux que l'image brute ?
|
- [ ] Au premier pompage avec `--diff`, compter les images différentielles par jour ; si une station en a, en regarder quelques-unes avec l'utilisateur ; NORDEND en a (2026-10-26) : 24 par jour à une par heure, PNG 16 bits 3088×2064, ~7 Mo l'une ; le 29/07, pendant C-002 (toile d'araignée selon l'expert), de longues traînées claires sur tout le champ et les cibles en points, là où l'image brute ne montre que de faibles bandes sombres ; à confirmer par l'utilisateur : montrent-elles ce qui a changé (toile, eau, neige) mieux que l'image brute ?
|
||||||
- [ ] Si oui : les ajouter au processus « images » (point 7), après l'image brute.
|
- [ ] Si oui : les ajouter au processus « images » (point 7), après l'image brute.
|
||||||
|
|
||||||
### Point 29 : Options B (depuis WSL) et C (route du collègue)
|
### Point 29 : Options B (depuis WSL) et C (route du collègue)
|
||||||
@@ -885,7 +884,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
|||||||
- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24).
|
- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24).
|
||||||
- [x] Métriques système, un fichier par jour, défaut des images corrigé.
|
- [x] Métriques système, un fichier par jour, défaut des images corrigé.
|
||||||
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
|
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
|
||||||
- [ ] Premier lancement par l'utilisateur, avec le point 27 ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
- [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
||||||
|
|
||||||
**Fini quand.** Une commande donnée par Claude remplit `data/<STATION>/` sur la période choisie, et sa relance ne télécharge que ce qui manque.
|
**Fini quand.** Une commande donnée par Claude remplit `data/<STATION>/` sur la période choisie, et sa relance ne télécharge que ce qui manque.
|
||||||
|
|
||||||
@@ -1108,3 +1107,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
|||||||
- 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels.
|
- 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels.
|
||||||
- 2026-10-25 : point 45 ajouté (précision de l'utilisateur : la boucle sert la détection sur tout le lot, chaque instant valide ou non avec sa catégorie) ; écarts constatés (validité implicite, précision non mesurée, pas de rejeu) ; proposition d'un score, trois questions à l'utilisateur ; rien codé.
|
- 2026-10-25 : point 45 ajouté (précision de l'utilisateur : la boucle sert la détection sur tout le lot, chaque instant valide ou non avec sa catégorie) ; écarts constatés (validité implicite, précision non mesurée, pas de rejeu) ; proposition d'un score, trois questions à l'utilisateur ; rien codé.
|
||||||
- 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance.
|
- 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance.
|
||||||
|
- 2026-10-26 : points 27, 28 et 43 : premier pompage par l'utilisateur (NORDEND, 29 et 30/07) : métriques, déplacements du 29/07 et images identiques aux exports reçus ; déplacements du 30/07 en échec (`DatabaseError`), cause affichée à la relance ; images différentielles : traînées claires pendant C-002, à confirmer ; mode d'emploi simplifié (le container monte `~` : sortie directe dans `data/`, ou `out/pompage/` pour une station déjà reçue).
|
||||||
|
- 2026-10-26 : point 27 fait, à valider : le 30/07, en échec par délai dépassé (60 s) alors qu'il n'est pas plus lourd que le 29/07, relancé avec la nouvelle option `--delai 300` (93 s) : identique à l'export reçu ; `categories.py` donne les mêmes événements sur le dossier pompé que sur l'export reçu aux mêmes jours ; pomper 3 jours d'historique en plus.
|
||||||
+13
-8
@@ -1,20 +1,22 @@
|
|||||||
# extraction/ : pomper les données de la plateforme (brouillon, jamais lancé)
|
# extraction/ : pomper les données de la plateforme (lecture seule, essayé le 2026-10-26)
|
||||||
|
|
||||||
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
||||||
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
|
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour à la racine du dossier de la station : ce que lisent `src/<domaine>/` et les maquettes ;
|
||||||
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
||||||
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
||||||
|
|
||||||
Reprise : un fichier déjà dans `extraction/sortie/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
||||||
|
|
||||||
## Lancer (l'utilisateur, dans le dev container de l'appli)
|
## Lancer (l'utilisateur, dans le dev container de l'appli)
|
||||||
|
|
||||||
1. Copier ce dossier à la racine du dépôt de l'appli visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`. Il n'y est pas suivi : ne pas le committer. **Garder `extraction/sortie/`** entre deux lancements : c'est elle que la relance complète.
|
Le container monte tout `~` sur `/workspaces` (`.devcontainer/docker-compose.yml` de l'appli) : le script et `data/` de Support-Agent y sont visibles, rien à copier.
|
||||||
2. Depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-10-22 --au 2026-10-24 --images --diff <SERIE>)`. Noter le temps par jour.
|
|
||||||
3. Puis la plage voulue, par exemple les 3 semaines avant le 26/10 : `--du 2026-10-05 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 extraction/pomper.py -h`.
|
|
||||||
4. Depuis WSL, copier dans Support-Agent : `cp -r ~/monitoring-dashboard/extraction/sortie/<SERIE> ~/Support-Agent/data/`.
|
|
||||||
|
|
||||||
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
1. VS Code sur `~/monitoring-dashboard`, « Reopen in Container », puis un terminal : il s'ouvre à la racine de l'appli, `/workspaces/monitoring-dashboard`.
|
||||||
|
2. **Un essai d'abord** (1 station, 2 jours), écrit directement dans `~/Support-Agent/data/<SERIE>/` (défaut de `--out`) ; le container tourne en root, `chown` rend les fichiers à l'utilisateur de WSL :
|
||||||
|
`(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-07-29 --au 2026-07-31 --images --diff <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data/<SERIE>`. Noter le temps par jour.
|
||||||
|
3. Puis la plage voulue, avec 3 jours de plus avant (l'historique du journal), par exemple les 3 semaines avant le 26/10 : `--du 2026-10-02 --au 2026-10-26` (`--au` exclu). Plusieurs stations : `<SERIE1> <SERIE2>`. Aide : `python3 /workspaces/Support-Agent/extraction/pomper.py -h`.
|
||||||
|
|
||||||
|
Lecture seule : moteur dédié, `default_transaction_read_only`, délai de 60 s par requête, une requête par jour ; hors des heures chargées (base partagée avec la production).
|
||||||
|
|
||||||
## Avec Claude
|
## Avec Claude
|
||||||
|
|
||||||
@@ -22,7 +24,10 @@ Claude ne se connecte pas à la base (règle de l'appli) : il lit `data/<SERIE>/
|
|||||||
|
|
||||||
## À savoir
|
## À savoir
|
||||||
|
|
||||||
|
- `<SERIE>` est le numéro de série du **système**, celui de l'URL de la page System (`/explore/system/<SERIE>`) et du début des CSV qu'on y télécharge (`NORDEND_BusVoltage_…` : `NORDEND`) ; pas le nom de l'appareil de la page Explore (`/explore/Carrière TROYDO (B)`).
|
||||||
|
- Station déjà dans `data/` avec des exports reçus (NORDEND, WEISSHORN…) : pomper ailleurs, `--out /workspaces/Support-Agent/out/pompage` (et le même chemin pour `chown`), sinon les fichiers pompés se mêlent aux exports.
|
||||||
|
- Un jour en échec par délai dépassé (`QueryCanceled: … statement timeout`) : le relancer seul avec un délai plus long, `--delai 300`. Le 30/07 de NORDEND l'a été le 2026-10-26, avec autant de mesures que le 29/07 (9 s) : la lenteur vient de la base, pas du volume.
|
||||||
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
|
- Pas d'export horaire en mm (il exige la configuration de l'appareil, côté SQLite et Flask) : le Journal s'ouvre en px, l'onglet Displacements reste vide.
|
||||||
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `extraction/sortie/` et relancer.
|
- Un jour passé, pompé avant que la station ait fini d'envoyer ses données (coupure, synchronisation en retard), reste incomplet : supprimer ses fichiers dans `data/<SERIE>/` et relancer.
|
||||||
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
|
- `data/` est suivi par git : un dossier pompé avec ses images pèse vite plusieurs centaines de Mo ; décider avant de le committer.
|
||||||
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
- Contexte, blocages, options : `vues-deplacements/contexte/donnees-et-boucle.md` ; suivi : points 27, 28 et 43 du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
|
||||||
+19
-10
@@ -1,11 +1,11 @@
|
|||||||
"""Pompe les métriques système, les déplacements (export « advanced ») et les images de stations de la plateforme
|
"""Pompe les métriques système, les déplacements (export « advanced ») et les images de stations de la plateforme
|
||||||
AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé.
|
AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Essayé le 2026-10-26 (NORDEND, 2 jours).
|
||||||
|
|
||||||
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
|
À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) :
|
||||||
|
|
||||||
(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN)
|
||||||
|
|
||||||
Sortie (défaut `extraction/sortie/`), à copier ensuite dans Support-Agent/data/ :
|
Sortie (défaut : le `data/` de Support-Agent, à côté de ce dossier ; le container monte `~` sur `/workspaces`) :
|
||||||
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
<STATION>/<STATION>_<métrique>_<AAAA_MM_JJ>_00_00 to <AAAA_MM_JJ>_23_00.csv métriques système, par jour
|
||||||
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
<STATION>/displacement/<STATION>_advanced_<AAAAMMJJ>.csv déplacements, un fichier par jour
|
||||||
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
<STATION>/images/<AAAAMMJJ>T<HHMM>Z_<id>.<ext> images OPTICAL_SHIFT-IRON (--images)
|
||||||
@@ -16,7 +16,7 @@ jamais le jour en cours (il serait figé incomplet). Pour reprendre un jour, sup
|
|||||||
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
|
Réutilise le code de l'appli : la requête de System.get_metrics (le téléchargement de la page System),
|
||||||
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
|
build_advanced_frame (ce que tracent l'onglet Advanced et l'export parquet), AcquisitionUnit.measurements et
|
||||||
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
|
get_measurement_payload (S3). Connexion : même schéma que scripts/domain_diagnostics.py, un moteur dédié en lecture
|
||||||
seule, délai de 60 s. Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
|
seule, délai de 60 s (`--delai`). Pas DatabaseEngine : son __init__ lance du DDL et un écouteur NOTIFY. Variables lues (noms
|
||||||
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
|
seulement, aucune n'est affichée) : AIMSIGHT_DATABASE_USER / _PSWD / _TURL / _NAME / _PORT, et pour les images
|
||||||
AIMSIGHT_S3_URL / _ACCESS_KEY / _SECRET_KEY / _BUCKET.
|
AIMSIGHT_S3_URL / _ACCESS_KEY / _SECRET_KEY / _BUCKET.
|
||||||
"""
|
"""
|
||||||
@@ -53,6 +53,13 @@ class ReadOnlyDB:
|
|||||||
self._session, self.s3client, self.aggregates = session, s3, AggregateEngine(engine)
|
self._session, self.s3client, self.aggregates = session, s3, AggregateEngine(engine)
|
||||||
|
|
||||||
|
|
||||||
|
def raison(e):
|
||||||
|
"""L'erreur d'origine (celle de la base) : pandas et SQLAlchemy l'enveloppent, la requête SQL d'abord."""
|
||||||
|
while e.__cause__ is not None:
|
||||||
|
e = e.__cause__
|
||||||
|
return f"{type(e).__name__}: {(str(e).splitlines() or [''])[0][:300]}"
|
||||||
|
|
||||||
|
|
||||||
def acquisition_unit(system):
|
def acquisition_unit(system):
|
||||||
"""Même choix que Device.get_acquisition_unit (app/base/models.py:268) : l'unique unité, sinon MER* / ME2S*."""
|
"""Même choix que Device.get_acquisition_unit (app/base/models.py:268) : l'unique unité, sinon MER* / ME2S*."""
|
||||||
units = list(system.acquisition_units.values())
|
units = list(system.acquisition_units.values())
|
||||||
@@ -90,7 +97,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
|||||||
try:
|
try:
|
||||||
df = pd.read_sql(q.statement, session.bind)
|
df = pd.read_sql(q.statement, session.bind)
|
||||||
except Exception as e: # ponytail : comme les déplacements, un jour en échec est sauté, relancer le reprend
|
except Exception as e: # ponytail : comme les déplacements, un jour en échec est sauté, relancer le reprend
|
||||||
print(f"{station} {a:%Y-%m-%d} métriques : échec ({type(e).__name__}), à relancer")
|
print(f"{station} {a:%Y-%m-%d} métriques : échec ({raison(e)}), à relancer")
|
||||||
continue
|
continue
|
||||||
df["heure"] = pd.to_datetime(df["heure"], utc=True)
|
df["heure"] = pd.to_datetime(df["heure"], utc=True)
|
||||||
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
|
heures = pd.to_datetime(pd.date_range(a, periods=24, freq="h"), utc=True) # même fuseau que df, pour reindex
|
||||||
@@ -105,7 +112,7 @@ def pomper_metriques(session, system, station, debut, fin, out):
|
|||||||
|
|
||||||
|
|
||||||
def pomper_deplacements(unit, db, station, debut, fin, out):
|
def pomper_deplacements(unit, db, station, debut, fin, out):
|
||||||
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai de 60 s
|
for k in range((fin - debut).days): # un fichier et une requête par jour : bornée, sous le délai (--delai)
|
||||||
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
a = datetime.combine(debut + timedelta(days=k), datetime.min.time(), UTC)
|
||||||
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
|
path = out / station / "displacement" / f"{station}_advanced_{a:%Y%m%d}.csv"
|
||||||
if path.exists():
|
if path.exists():
|
||||||
@@ -114,7 +121,7 @@ def pomper_deplacements(unit, db, station, debut, fin, out):
|
|||||||
try:
|
try:
|
||||||
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
|
df = build_advanced_frame(unit, db, a, a + timedelta(days=1) - timedelta(microseconds=1))
|
||||||
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
|
except Exception as e: # ponytail : un jour en échec est sauté, relancer le reprend ; pas de nouvel essai
|
||||||
print(f"{station} {a:%Y-%m-%d} : échec ({type(e).__name__}), à relancer")
|
print(f"{station} {a:%Y-%m-%d} : échec ({raison(e)}), à relancer")
|
||||||
continue
|
continue
|
||||||
finally:
|
finally:
|
||||||
db._session.rollback() # ferme la transaction de lecture
|
db._session.rollback() # ferme la transaction de lecture
|
||||||
@@ -150,7 +157,7 @@ def pomper_images(unit, db, session, station, debut, fin, dossier, every, out):
|
|||||||
path.write_bytes(data)
|
path.write_bytes(data)
|
||||||
n, octets = n + 1, octets + len(data)
|
n, octets = n + 1, octets + len(data)
|
||||||
session.rollback()
|
session.rollback()
|
||||||
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} images, {octets / 1e6:.0f} Mo")
|
print(f"{station} {a:%Y-%m-%d} {dossier}: {n} nouvelles images, {octets / 1e6:.0f} Mo")
|
||||||
time.sleep(0.5)
|
time.sleep(0.5)
|
||||||
|
|
||||||
|
|
||||||
@@ -162,7 +169,9 @@ def main():
|
|||||||
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
|
p.add_argument("--images", action="store_true", help="aussi les images OPTICAL_SHIFT-IRON")
|
||||||
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
|
p.add_argument("--diff", action="store_true", help="aussi les images OPTICAL_SHIFT-DIFF")
|
||||||
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
|
p.add_argument("--every", type=int, default=60, help="une image par tranche de N minutes, 0 = toutes (défaut 60)")
|
||||||
p.add_argument("--out", type=Path, default=Path("extraction/sortie"))
|
p.add_argument("--delai", type=int, default=60, help="délai maximal d'une requête, en s (défaut 60 : base partagée "
|
||||||
|
"avec la production) ; plus long seulement pour un jour en échec par délai dépassé")
|
||||||
|
p.add_argument("--out", type=Path, default=Path(__file__).resolve().parent.parent / "data")
|
||||||
a = p.parse_args()
|
a = p.parse_args()
|
||||||
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
|
debut, fin = (datetime.strptime(x, "%Y-%m-%d").date() for x in (a.du, a.au))
|
||||||
aujourdhui = datetime.now(UTC).date()
|
aujourdhui = datetime.now(UTC).date()
|
||||||
@@ -178,7 +187,7 @@ def main():
|
|||||||
port=int(os.environ.get("AIMSIGHT_DATABASE_PORT", "5432")),
|
port=int(os.environ.get("AIMSIGHT_DATABASE_PORT", "5432")),
|
||||||
database=os.environ["AIMSIGHT_DATABASE_NAME"])
|
database=os.environ["AIMSIGHT_DATABASE_NAME"])
|
||||||
engine = create_engine(url, connect_args={
|
engine = create_engine(url, connect_args={
|
||||||
"options": "-c timezone=utc -c default_transaction_read_only=on -c statement_timeout=60s"})
|
"options": f"-c timezone=utc -c default_transaction_read_only=on -c statement_timeout={a.delai}s"})
|
||||||
s3 = S3client(os.environ.get("AIMSIGHT_S3_URL", "http://s3:3900"), os.environ.get("AIMSIGHT_S3_ACCESS_KEY", ""),
|
s3 = S3client(os.environ.get("AIMSIGHT_S3_URL", "http://s3:3900"), os.environ.get("AIMSIGHT_S3_ACCESS_KEY", ""),
|
||||||
os.environ.get("AIMSIGHT_S3_SECRET_KEY", ""),
|
os.environ.get("AIMSIGHT_S3_SECRET_KEY", ""),
|
||||||
os.environ.get("AIMSIGHT_S3_BUCKET", "measurements-assets")) if (a.images or a.diff) else None
|
os.environ.get("AIMSIGHT_S3_BUCKET", "measurements-assets")) if (a.images or a.diff) else None
|
||||||
|
|||||||
@@ -4,7 +4,7 @@
|
|||||||
|
|
||||||
## Recommandation
|
## Recommandation
|
||||||
|
|
||||||
**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
|
**Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data/<STATION>/<STATION>_<métrique>_….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
|
||||||
|
|
||||||
## Ce que j'ai trouvé
|
## Ce que j'ai trouvé
|
||||||
|
|
||||||
@@ -52,7 +52,7 @@ Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaqu
|
|||||||
|
|
||||||
## Ce qui reste à vérifier avant de s'y fier
|
## Ce qui reste à vérifier avant de s'y fier
|
||||||
|
|
||||||
- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes), et une métrique pompée contre un export de la page System (mêmes heures, mêmes valeurs).
|
- Premier lancement le 2026-10-26, NORDEND, 29 et 30/07 (numéro de série du système : `NORDEND`, comme en tête des CSV de la page System ; pas le nom de l'appareil de la page Explore) : les 27 métriques de l'export reçu identiques heure par heure (`last_sync` : mêmes valeurs, ordre de la liste de l'heure différent ; `ip_eth0` en plus, vide) ; déplacements du 29/07 identiques à l'export « advanced » reçu (2 112 lignes, mêmes colonnes, mêmes valeurs) ; 48 images IRON identiques octet pour octet. Temps : 1-2 s par jour pour les métriques, 9 s pour les déplacements. Le 30/07 a d'abord dépassé le délai de 60 s, avec autant de mesures que le 29/07 (la lenteur vient de la base) ; relancé avec `--delai 300` : 93 s, identique à l'export reçu. Le journal sur le dossier pompé donne les mêmes événements que sur l'export reçu, aux mêmes jours ; il lui faut ses 3 jours d'historique : les pomper en plus, avant la période voulue.
|
||||||
- Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire.
|
- Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire.
|
||||||
- Combien de stations ont des images `DIFF`, et à quelle cadence.
|
- Combien de stations ont des images `DIFF`, et à quelle cadence : NORDEND en a (au moins une par heure ; PNG 16 bits, ~7 Mo l'une, ~160 Mo par jour à une par heure).
|
||||||
- Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).
|
- Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).
|
||||||
Reference in new issue
Block a user