diff --git a/CLAUDE.md b/CLAUDE.md index 8d7a72e..3460361 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -6,12 +6,9 @@ Ce fichier est une **carte** du projet, chargée à chaque session : il dit ce q Agent de diagnostic proactif pour **AIMsight**, un système de surveillance optique de déplacements : une caméra suit des cibles (prismes, réflecteurs) sur un ouvrage, et le mouvement de la caméra est compensé grâce à des cibles de référence. L'agent analyse les séries temporelles avec des **méthodes analytiques (pas de LLM)**, complétées à l'étude par une couche d'agents LLM côté serveur (D-027), détecte les anomalies et explique chacune d'elles (preuves calculées + ce qui reste non établi) **avant** que le client ne pose la question. Cible d'exécution idéale : **le système embarqué de la station**. Langage : **Python**. -## État et prochaine étape (au 2026-10-23) +## État et prochaine étape (au 2026-10-24) -L'état courant seulement ; l'historique est dans `git log` et `docs/decisions.md`. - -- **Energy, livré (prototype, D-020, D-043)** : `DAILY_BATTERY_STATE` et `DAILY_BATTERY_TREND`, combinées par la matrice état × tendance en une couleur par jour (vert / orange / rouge, gris si inconnu) ; sur secteur (`DAILY_POWER_SOURCE`), la perte du secteur décide à la place de la matrice (rouge dès une heure < 13,4 V), statut `On mains` / `Not on mains` dans la notification du support et dans l'en-tête du bloc Energy de la vue client. Une figure Plotly pour le site (D-021 ; la matrice est codée mais pas tracée), un focus sur un jour et sa veille (D-024), un manuel en brouillon. -- **Energy, comparaison seulement** : les deux moyennes glissantes sur 7 jours. Point ouvert : l'accoutumance après ~30 jours de déficit (fiche `moving_average_7_days_drop`). +- **Energy, livré (prototype, D-020, D-043)** : `DAILY_BATTERY_STATE` et `DAILY_BATTERY_TREND`, combinées par la matrice état × tendance en une couleur par jour (vert / orange / rouge, gris si inconnu) ; sur secteur (`DAILY_POWER_SOURCE`), la perte du secteur décide à la place de la matrice (rouge dès une heure < 13,4 V), statut `On mains` / `Not on mains` dans la notification du support et dans l'en-tête du bloc Energy de la vue client. Une figure Plotly pour le site (D-021 ; la matrice est codée mais pas tracée), un focus sur un jour et sa veille (D-024), un manuel en brouillon. Comparaison seulement : les deux moyennes glissantes sur 7 jours ; point ouvert : l'accoutumance après ~30 jours de déficit (fiche `moving_average_7_days_drop`). - **Maquettes du site (D-022, D-039)** : client « System Summary », une page par station de `data/`, un bloc par domaine mesuré dans la section Diagnostic (Energy, Storage, Cellular, Temperature) ; support « Home » (section Status, une notification par station et par domaine Orange ou Red, lien vers la vue client de la station, D-025). - **Agents LLM côté serveur (D-027)** : rapport exploratoire seulement, rien n'est construit. - **Séries optiques (D-044)** : détecter les événements externes (occlusion, pluie, turbulence) dans les déplacements et produire une courbe corrigée, la brute gardée ; cadrage (`docs/displacement/cadrage.md`) ; données reçues (D-045) : PS des Coudres, export 15 min en UTC sur 5,5 jours, sans événement annoté (buée probable le matin), et 24 images horaires de la caméra, puis NORDEND, WILDSTRUBEL, CLARIDEN et NIEDERHORN, chacune devenue un cas de la base ; CLARIDEN est l'incident de Barcelone de la doc AIMsight, où l'expert voit un mouvement réel de l'ouvrage, la doc une instabilité des références (`docs/displacement/domaine/incident-de-barcelone.md`) ; deux rapports d'analyse AIMsight (murs GN-1.472 et GN-5.054), causes des déplacements apparents selon l'expert, sans leurs données ; exploration confiée d'abord à l'agent de diagnostic (D-046), chaîne analytique au second plan. @@ -20,8 +17,8 @@ L'état courant seulement ; l'historique est dans `git log` et `docs/decisions.m - **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`. - **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`. - **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST. -- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence, cycle thermique…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes en px (`corr_x`, `corr_y`), zones à ignorer grisées, frise d'épisodes et journal en texte ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en huit catégories par `categories.py` ; prototypé dans Support-Agent, pas dans le dev container ; brainstorming complet et pistes : `vues-deplacements/contexte/journal-du-matin.md` ; carte des événements : `docs/displacement/domaine/carte-des-evenements.md` ; lissage (second volet, à l'étude) : `vues-deplacements/contexte/lissage.md` ; données en masse et boucle Claude : `vues-deplacements/contexte/donnees-et-boucle.md`, script `extraction/pomper.py` (lecture seule, jamais lancé) ; retour de l'utilisateur sur la v0 : un diagnostic catégorique (une catégorie par événement, son processus, les images pour une perte de visibilité), fait le 2026-10-24 (points 1 à 10 du plan validés : carte des événements en six familles, huit catégories classées par `categories.py`, bouton `▶ Images`, frise d'une ligne, phrases sans conditionnel) ; toute la suite est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md` (38 points, non linéaire, un point par conversation). -- **Prochaine étape** : **journal du matin (D-056)** : le point suivant du plan, dans l'ordre, un point validé n'étant plus repris (prochain : point 11, la visibilité simple, puis 38 ; en parallèle : point 27, premier pompage) ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande. +- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (lecture seule, jamais lancé ; application de référence : `~/monitoring-dashboard`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. +- **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, boucle Claude, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande. ## Analyses (domaine Energy) @@ -89,7 +86,7 @@ python3 src/temperature/final.py [données] # livré : out/_temperature.html (même défaut) python3 maquettes/user/summary.py [début] [fin] # maquette client : out/maquette_user_.html, une page par station de data/ python3 maquettes/support/home.py [début] [fin] # maquette support : out/maquette_support_home.html -python3 vues-deplacements/maquette/explore.py [dossier] # maquette Explore, onglets View, Diagnosis (D-054), Displacements (D-055) et Journal (D-056, un détecteur seul : `python3 vues-deplacements/journal/.py `) : out/vues_deplacements_.html (défaut : cas NORDEND) +python3 vues-deplacements/maquette/explore.py [dossier] # maquette Explore, onglets View, Diagnosis (D-054), Displacements (D-055) et Journal (D-056, un détecteur seul : `python3 vues-deplacements/journal/.py `) : out/vues_deplacements_.html (défaut : cas NORDEND, `vues_deplacements_2026-10_NORDEND.html`) pdftotext -layout "docs/aimsight/.pdf" - # lire un PDF AIMsight python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .venv ``` diff --git a/agents/diagnostic/outils/donnees.py b/agents/diagnostic/outils/donnees.py index 161ce46..dd1bd34 100644 --- a/agents/diagnostic/outils/donnees.py +++ b/agents/diagnostic/outils/donnees.py @@ -23,7 +23,7 @@ def trouver(dossier): """Dossier de station -> {'advanced', 'horaire', 'images', 'autres'} : chemins triés, sous-dossiers compris.""" out = {"advanced": [], "horaire": [], "images": [], "autres": []} for p in sorted(glob.glob(os.path.join(dossier, "**", "*"), recursive=True)): - if os.path.isdir(p): + if os.path.isdir(p) or "images_diff" in p.split(os.sep): # images différentielles du pompage (--diff) : pas des vues de la caméra continue entete = _entete(p) if p.endswith(".csv") else [] if p.lower().endswith((".jpg", ".jpeg", ".png")): diff --git a/docs/decisions.md b/docs/decisions.md index e3ec9e3..3e1ed81 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -638,3 +638,5 @@ Règles du journal : - **Statuts de visibilité, validés le 2026-10-24 (point 38 du plan)** : la perte de visibilité a deux niveaux, mesure par mesure dans les épisodes du détecteur `visibilite` : « No visibility » (au moins la moitié des cibles habituellement vues rejetées : on ne voit rien), grisée, et « Reduced visibility » (données moyennes), gardée en léger retrait, barre orange ; toutes deux avec le bouton `Images`. Écartés pour l'instant : une bande de statut continue sous les courbes (la frise suffit, peut venir avec le point 40) et un statut de visibilité du jour dans la vue client et chez le support (plus tard, sur demande). Sur les cas, la toile de C-002 sort en « Reduced » (29 % rejetées en médiane). - **Effet périodique, validé le 2026-10-24 (point 41 du plan)** : la vague quotidienne des courbes corrigées est la dilatation de l'ouvrage le jour et sa contraction le soir, normale (l'utilisateur) ; le détecteur `thermique` ne la retient que si ses deux méthodes la voient, le profil horaire répété **et** une sinusoïde de 24 h qui explique au moins 30 % de la courbe pour la moitié des cibles (choix de l'utilisateur : garder les deux) ; deux événements par jour, « Thermal expansion » puis « Thermal contraction », séparés par l'heure du plus grand écart au niveau de nuit, non grisés ; la catégorie `cycle_thermique` devient `dilatation_thermique` et `contraction_thermique`. Note : `docs/displacement/domaine/cycle-thermique.md`. - **Dérive lente et pistes restantes, le 2026-10-24 (point 16 du plan)** : les tendances de l'onglet `Displacements` (D-055) deviennent des événements « Slow drift » du journal, jamais grisés, en trait rouge fin (« PR06 drifts slowly and steadily: +0.7 mm in 10 days. Keep watching it. ») ; les références masquées sont déjà dites par la phrase de la perte de visibilité (« including the reference targets ») et l'absorption des sauts, sans catégorie à part ; « tout a bougé » contre « références masquées » reste impossible sur les mesures seules (« Shift to check » et images) ; éclairage et neige attendent un cas. +- **Lissage, trois questions tranchées le 2026-10-24 (point 24 du plan)** : le client voit **les deux courbes ensemble** : la nettoyée en couleur, coupée dans les zones à ignorer, la brute en gris fin dans ces zones seulement (comme « Target hidden » aujourd'hui) ; le calcul se fait **au moment où le client regarde les courbes**, sur tout ce qui est disponible jusque-là (chaque instant jugé avec ce qui suit, les dernières heures provisoires), et rien n'est écrit dans la base de la plateforme, qu'on ne peut pas modifier à ce stade ; le **cycle thermique reste tel quel** sur les courbes (le journal le nomme), pas de vue « sans le cycle » : l'option D reste en réserve. Détail : `vues-deplacements/contexte/lissage.md`, section 4. +- **Historique des détecteurs, règle du 2026-10-24 (point 30 du plan)** : les détecteurs reçoivent toujours **3 jours de mesures d'avant** la plage montrée (s'ils existent), et seuls les événements qui touchent la plage sont montrés ; dans l'outil de tri en lot (`categories.py --tranche`, `--historique 3` par défaut), dans la boucle Claude et dans la vraie application. Pourquoi : les détecteurs prennent leurs niveaux habituels sur la fenêtre qu'on leur donne ; à NORDEND, une tranche de 3 jours sans historique, commencée 2 h 30 avant le vrai saut de PR17 (08/10 à 02:30), le prend pour un saut revenu et l'absorbe dans la buée ; avec 3 jours d'avant, il revient. Option écartée : classer chaque tranche seule. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index c318ce3..28a615a 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -38,7 +38,7 @@ 2. **Deux étiquettes contradictoires au même moment.** Aujourd'hui, à NORDEND le 14/10 à 05:15, deux lignes disent « Sudden jump » et « Poor visibility ». Le classement doit n'en sortir qu'**un** événement. Contrôle : point 10, toutes les lignes. 3. **Une seule cible grise toutes les courbes.** « Target obscured » sur 4 cibles grise presque une journée à NORDEND. Contrôle : point 18, NORDEND du 13/10 09:45 au 14/10 07:00. 4. **Pas d'image pour l'événement.** PS des Coudres n'a que 24 images (13/10 12:00 → 14/10 11:00) ; NIEDERHORN est horaire. Le processus « images » doit dire « No camera image for this period. » au lieu de casser ou d'afficher une image hors période. Contrôle : point 7, PS des Coudres le 13/10 à 01:15. -5. **Un export qui commence pendant un artefact.** `sauts` prend la place habituelle sur le premier jour, `visibilite` et `turbulence` le niveau habituel sur tout l'export (médiane, MAD, quartile bas) : un export court ou pris en plein épisode fausse les étiquettes (C-002 : l'épisode couvre la plus grande partie de l'export). Contrôle : point 30 (tranches de 3 à 5 jours) et point 31 (la boucle les compare). +5. **Un export qui commence pendant un artefact.** `sauts` prend la place habituelle sur le premier jour, `visibilite` et `turbulence` le niveau habituel sur tout l'export (médiane, MAD, quartile bas) : un export court ou pris en plein épisode fausse les étiquettes (C-002 : l'épisode couvre la plus grande partie de l'export). Contrôle : point 30 (tranches de 3 à 5 jours) et point 31 (la boucle les compare). **Constaté au point 30 (2026-10-24)** : une tranche de 3 jours sans historique absorbe le vrai saut de PR17 ; 3 jours d'historique le rendent. --- @@ -71,32 +71,32 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 17 | Le registre des seuils provisoires | Comprendre | 11 à 16 | validé le 2026-10-24 | | 41 | L'effet périodique : une sinusoïde de 24 h, dilatation et contraction thermiques | Décider, Coder | 13 | validé le 2026-10-24 | | | **IV. La page : défauts et choix d'affichage** | | | | -| 18 | Zones grisées trop larges | Décider, Coder | 8 | en cours | -| 19 | Échelle écrasée par un pic | Coder | — | à faire | -| 20 | Pixels ou millimètres | Décider, Coder | — | à faire | -| 21 | Plage par défaut, « depuis ta dernière visite » | Décider, Coder | — | à faire | -| 22 | Interactions jamais essayées | Lancer | 1 | à faire | -| 23 | Deux couches : client et support | Décider, Coder | 8 | à faire | -| 39 | Les cibles `target02` à `target05` absentes des courbes | Coder | — | à faire | -| 40 | Déplier la frise au lieu de tout empiler sur une ligne | Décider, Coder | 8 | à faire | +| 18 | Zones grisées trop larges | Décider, Coder | 8 | validé le 2026-10-24 | +| 19 | Échelle écrasée par un pic | Coder | — | validé le 2026-10-24 | +| 20 | Pixels ou millimètres | Décider, Coder | — | validé le 2026-10-24 | +| 21 | Plage par défaut, « depuis ta dernière visite » | Décider, Coder | — | validé le 2026-10-24 | +| 22 | Interactions jamais essayées | Lancer | 1 | validé le 2026-10-24 | +| 23 | Deux couches : client et support | Décider, Coder | 8 | validé le 2026-10-24 | +| 39 | Les cibles `target02` à `target05` absentes des courbes | Coder | — | validé le 2026-10-24 | +| 40 | Déplier la frise au lieu de tout empiler sur une ligne | Décider, Coder | 8 | validé le 2026-10-24 | | | **V. Second volet : la courbe nettoyée** | | | | -| 24 | Trancher les trois questions du lissage | Décider | — | à faire | -| 25 | Option A : la courbe nettoyée par masquage | Coder | 24, 8 | à faire | -| 26 | Options B à E : en réserve | Comprendre | 25 | en attente | +| 24 | Trancher les trois questions du lissage | Décider | — | validé le 2026-10-24 | +| 25 | Option A : la courbe nettoyée par masquage | Coder | 24, 8 | validé le 2026-10-24 | +| 26 | Options B à E : en réserve | Comprendre | 25 | validé le 2026-10-24 | | | **VI. Données en masse et boucle Claude** | | | | -| 27 | Premier pompage (option A) | Lancer | — | à faire | +| 27 | Premier pompage (option A) | Lancer | — | en attente (pas d'accès aux données) | | 28 | Images différentielles | Lancer, Comprendre | 27 | à faire | | 29 | Options B (depuis WSL) et C (route du collègue) | Décider | 27 | en attente | -| 30 | L'outil de tri en lot | Coder | 6, 27 | à faire | -| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | à faire | -| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | à faire | +| 30 | L'outil de tri en lot | Coder | 6, 27 | validé le 2026-10-24 | +| 31 | La boucle Claude, première séance | Lancer, Coder | 30 | en attente (consignes de l'utilisateur, données) | +| 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) | | | **VII. Idées gardées pour plus tard** | | | | | 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente | | 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente | | 35 | Un cas de la base par catégorie | Lancer | 5 | en attente | | 36 | Porter le journal dans la vraie application | Coder | 10 | en attente | | | **VIII. Suivi du chantier** | | | | -| 37 | Ménage : commit, `CLAUDE.md`, Mermaid, sorties | Lancer | — | à faire | +| 37 | Ménage : commit, `CLAUDE.md`, Mermaid, sorties | Lancer | — | en cours | Chemins conseillés : le plus simple et le plus parlant d'abord, **11 (visibilité simple), 38 (ses statuts : bonne, moyenne, nulle) puis 7 (bouton `Images`)**, qui marchent sans le classement ; le cœur du retour, c'est **5 → 6 → 7 → 8 → 9 → 10** ; les points 1 à 4 se lisent avant si l'on veut d'abord tout comprendre ; le point 27 se lance en parallèle (il n'attend rien). @@ -580,11 +580,13 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL **Le défaut.** Un épisode qui ne touche qu'une ou quelques cibles grise toutes les courbes : à NORDEND d'octobre, « Target obscured » sur 4 cibles grise presque tout le 13/10 09:45 → 14/10 07:00. **À décider par l'utilisateur.** -- [ ] (a) Griser seulement les événements qui touchent beaucoup de cibles ou des références ; pour les autres, mettre les seules courbes concernées en pointillés pendant l'épisode. (b) Ne rien griser pour une cible seule, l'entrée du journal suffit. (c) Autre. +- [x] (a) Griser seulement les événements qui touchent beaucoup de cibles ou des références ; pour les autres, mettre les seules courbes concernées en pointillés pendant l'épisode. (b) Ne rien griser pour une cible seule, l'entrée du journal suffit. (c) Autre. **Étapes.** -- [ ] Appliquer le choix dans `drawJournal` (le rectangle gris dépend de `sensors` et du nombre de cibles affichées). -- [ ] Capturer NORDEND d'octobre sur le 13/10 : plus de journée grisée pour 4 cibles. +- [x] Appliquer le choix dans `drawJournal` (le rectangle gris dépend de `sensors` et du nombre de cibles affichées). +- [x] Capturer NORDEND d'octobre sur le 13/10 : plus de journée grisée pour 4 cibles. + +**Décidé et fait le 2026-10-24.** Choix de l'utilisateur : (a). Règle retenue, sans compter les cibles : le rectangle gris reste pour ce qui touche toute la scène (perte de visibilité, passage, saut bref, turbulence) ; pour « Target hidden », seules les courbes des cibles concernées passent en gris (trait gris clair par-dessus) pendant l'événement. NORDEND du 13/10 09:45 au 14/10 07:00 : plus de fond gris, les courbes de CTR01, PR04, PR07 et PR09 en gris ; seule la « No visibility » du 14/10 05:15 → 06:00 reste grisée. CLARIDEN : la zone grise de PR-284 (19/09 18:30) a disparu, le mouvement n'a plus aucun fond gris (point d'attention 1 et contrôle du point 10 tenus à la lettre). ### Point 19 : Échelle écrasée par un pic @@ -593,56 +595,64 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL **Proposition.** L'échelle verticale se calcule sans les points des zones invalidées (ils restent dessinés, hors cadre si besoin) ; un bouton `Fit all` remet l'échelle sur tout. **Étapes.** -- [ ] Dans le recalage de l'ordonnée du volet Journal (`AUTOSCALE`), ignorer les points des événements `ignore`. -- [ ] Capturer WILDSTRUBEL : les courbes ne sont plus plates. +- [x] Dans le recalage de l'ordonnée du volet Journal (`AUTOSCALE`), ignorer les points des événements `ignore`. +- [x] Capturer WILDSTRUBEL : les courbes ne sont plus plates. + +**Fait le 2026-10-24.** `AUTOSCALE_Y_JS` (`src/common/page.py`, commun à tout le projet) accepte `meta.yskip`, un booléen par point à laisser hors du recalage, sans rien changer aux autres pages ; le Journal y met les points des zones grisées (fond gris) et ceux des cibles masquées pendant leur événement ; bouton `Fit all` (tous les points, pics compris). WILDSTRUBEL : courbes lisibles (±0,3 px), le pic de PA3_2 du 04/09 06:45 sort du cadre ; NORDEND presque inchangé. **Reste, d'une autre nature** : à CLARIDEN, PR_BG bascule entre deux positions après le mouvement (209 mesures sur 429 à environ 11 px, les autres près de 0 ; `error_value` médiane 0,67 pour un seuil de 0,7) ; aucun événement ne la couvre, l'échelle reste écrasée ; à voir avec l'utilisateur (une cible qui saute d'une tache à l'autre ?) ; jugé peu important par l'utilisateur (2026-10-24), laissé noté ici. ### Point 20 : Pixels ou millimètres **Ce qui a été dit.** Le supérieur suggère les pixels ; l'utilisateur pense qu'on voit la même chose ; mais lors du cas NORDEND (parcours, étape 9), il jugeait les mm plus parlants pour le client. `corr_x`, `corr_y` sont en px (avis de l'utilisateur, `docs/domaine/colonnes-des-deplacements.md`) ; l'export horaire est en mm, moyenne horaire, avec un facteur propre à chaque cible (55,5 mm/px pour PR17 à NORDEND). **À décider par l'utilisateur.** -- [ ] px à la cadence native (on voit les trains et les pics d'une mesure), mm à l'heure (ce que la plateforme montre au client), ou un sélecteur px / mm ? +- [x] px à la cadence native (on voit les trains et les pics d'une mesure), mm à l'heure (ce que la plateforme montre au client), ou un sélecteur px / mm ? Sélecteur, **mm par défaut** (utilisateur, 2026-10-24). **Étapes.** -- [ ] Si mm : courbes depuis `D.hourly` (déjà dans la page pour l'onglet Displacements), événements inchangés (heures UTC). -- [ ] Capturer et montrer. +- [x] Si mm : courbes depuis `D.hourly` (déjà dans la page pour l'onglet Displacements), événements inchangés (heures UTC). +- [x] Capturer et montrer. + +**Fait le 2026-10-24.** Boutons `mm` / `px` au-dessus des courbes du Journal ; mêmes couleurs par cible, plage de temps gardée, grisés et cibles masquées comme en px ; `#unit=px` pour les captures. En route : les noms des cibles de l'export horaire de NIEDERHORN finissaient par un retour chariot (« …_C09\r ») et ne retrouvaient pas leur cible : `explore.hourly` les nettoie (l'onglet Displacements en profite). Vu en mm à NORDEND : PR17 descend d'environ 3 mm le 12/10 à 23:00, plus net qu'en px ; les détecteurs travaillant en px, le journal n'en dit rien. ### Point 21 : Plage par défaut, « depuis ta dernière visite » **Ce qui a été dit.** « S'il regarde tous les 2-3 jours, il va mettre la plage 2-3 jours. » Aujourd'hui : les 3 derniers jours ; le sélecteur de dates de l'en-tête est inerte. **À décider par l'utilisateur.** -- [ ] 3 jours fixes, ou depuis la dernière visite (mémorisée dans le navigateur, pour la maquette) ? +- [x] 3 jours fixes, ou depuis la dernière visite (mémorisée dans le navigateur, pour la maquette) ? **3 jours fixes** dans la maquette (utilisateur, 2026-10-24) : sur des exports figés, une dernière visite enregistrée aujourd'hui tomberait après la fin des données ; « depuis ta dernière visite » ira dans la vraie application (point 36). **Étapes.** -- [ ] Selon la réponse, `localStorage` (avec `try`/`catch`) pour la dernière visite ; le sélecteur de dates de l'en-tête rendu actif pour l'onglet Journal. +- [x] Selon la réponse, `localStorage` (avec `try`/`catch`) pour la dernière visite ; le sélecteur de dates de l'en-tête rendu actif pour l'onglet Journal. Sans objet (3 jours fixes, rien à coder). ### Point 22 : Interactions jamais essayées **Ce qui n'a pas été vérifié** (spec, section « L'onglet Journal ») : le clic sur une entrée (zoom), le survol des barres, le zoom à la souris ; pour l'onglet Displacements : le clic vers Diagnosis, le zoom des courbes. **Étapes.** -- [ ] L'utilisateur ouvre la page (annexe B, « Ouvrir ») et essaie chaque geste ; noter ce qui ne marche pas. -- [ ] Corriger, recapturer, cocher dans la spec. +- [x] L'utilisateur ouvre la page (annexe B, « Ouvrir ») et essaie chaque geste ; noter ce qui ne marche pas. Fait le 2026-10-24 sur NORDEND d'octobre : clic sur une carte, survol et clic des barres, molette, glisser, double-clic, `▶ Images` (pause, image par image, Échap), `mm` / `px`, `Fit all`, et dans Displacements le clic vers Diagnosis et le zoom : **tout marche**. +- [x] Corriger, recapturer, cocher dans la spec. Rien à corriger. ### Point 23 : Deux couches : client et support **Pourquoi.** Le diagnostic va au client et à l'ingénieur support, en couches (D-020). Le client lit les catégories ; le support veut savoir quel détecteur a vu quoi. **Étapes.** -- [ ] Sous chaque carte du journal, un repli `Details` (fermé par défaut) : les épisodes bruts de l'événement (`D.journal[i].episodes`), avec détecteur, label d'origine, capteurs. -- [ ] Une case à cocher `Support view` qui remet les lignes par détecteur dans la frise. +- [x] Sous chaque carte du journal, un repli `Details` (fermé par défaut) : les épisodes bruts de l'événement (`D.journal[i].episodes`), avec détecteur, label d'origine, capteurs. +- [x] Une case à cocher `Support view` qui remet les lignes par détecteur dans la frise. + +**Fait le 2026-10-24.** Les deux étapes sont réunies derrière la seule case `Support view` : le repli `Details` n'apparaît que cochée, pour que la vue du client reste celle du point 8 (règle d'or : simple). Cochée : lignes par détecteur sous « What happened » (épisodes bruts, label d'origine), `Details` sous chaque carte ; capture NORDEND du 13 au 16/10. Le point 40 (déplier la vue du client) reste à part : la vue support répond au support, pas au recouvrement dans la vue repliée. ### Point 39 : Les cibles `target02` à `target05` absentes des courbes **Pourquoi.** Vu au point 1 (2026-10-24) : à PS des Coudres, les courbes du Journal ne montrent que 3 cibles sur 11 (BJ_G, BJ_C, BJ_D). Les autres ont `pattern_type` = `target02` à `target05`, et le filtre ne garde que `target` et `ref`. Les détecteurs, eux, les voient toutes (`thermique` : 11 cibles sur 11). **Étapes.** -- [ ] `vues-deplacements/maquette/explore_template.html`, `drawJournal()` (l. ~928) : garder tout sauf les `global_ref` (`s.kind !== "global_ref"`) ; chercher le même filtre dans les autres onglets. -- [ ] Reconstruire PS des Coudres, capturer `#tab=journal` : 11 courbes (PM_G n'a pas de `corr_x`). +- [x] `vues-deplacements/maquette/explore_template.html`, `drawJournal()` (l. ~928) : garder tout sauf les `global_ref` (`s.kind !== "global_ref"`) ; chercher le même filtre dans les autres onglets. Fait autrement, à la racine (2026-10-24) : `explore.build` range tout `targetNN` sous `target` ; le Journal (courbes en px) et l'onglet View (couleur des repères par type) en profitent ensemble. +- [x] Reconstruire PS des Coudres, capturer `#tab=journal` : 11 courbes (PM_G n'a pas de `corr_x`). Capturé en px : 10 courbes, PM_G sans position corrigée ; en mm, toutes les cibles y étaient déjà (export horaire). **Fini quand.** Toutes les cibles de PS des Coudres ont leur courbe. +**Validé le 2026-10-24.** + ### Point 40 : Déplier la frise au lieu de tout empiler sur une ligne **Pourquoi.** Idée de l'utilisateur en validant le point 8 (2026-10-24) : il n'est « pas entièrement satisfait » de la ligne unique « What happened » ; on pourrait « développer au lieu de tout mettre sur une même ligne ». Sur une ligne, des événements simultanés se recouvrent : à NORDEND, les deux « Loss of visibility » des 13 et 14/10 disparaissent presque dans la barre « Target hidden » ; à WILDSTRUBEL, la cible masquée est cachée sous la turbulence. @@ -653,11 +663,15 @@ Bilan : la simple est moins bonne sur cinq jeux et grise le vrai mouvement de CL - Voir avec le point 23 : sa case `Support view` remet déjà des lignes par détecteur ; les deux peuvent n'en faire qu'un. **Étapes.** -- [ ] Choisir la piste avec l'utilisateur. -- [ ] Coder dans `drawJournal()` (`explore_template.html`) ; capturer NORDEND (13-14/10) et WILDSTRUBEL, replié et déplié ; mettre la spec à jour. +- [x] Choisir la piste avec l'utilisateur. Choisi le 2026-10-24 : une ligne par catégorie, derrière une case. +- [x] Coder dans `drawJournal()` (`explore_template.html`) ; capturer NORDEND (13-14/10) et WILDSTRUBEL, replié et déplié ; mettre la spec à jour. **Fini quand.** Aucun événement n'est caché par un autre, et la vue repliée reste celle du point 8. +**Fait le 2026-10-24.** Choix de l'utilisateur : une ligne par catégorie. Case `Expand` à côté de `Support view` (`#expand` pour les captures) : dépliée, une ligne par catégorie présente dans les données, dans l'ordre de `J_ORDER` (« Shift to check » en haut, « Slow drift » en bas, en barre pleine) ; repliée, la ligne du point 8, inchangée. Captures : à NORDEND, les « No visibility » et « Reduced visibility » des 13 et 14/10 sortent de la barre « Target hidden » ; à WILDSTRUBEL, la cible masquée PA_9 sort de dessous la turbulence. Limite : les lignes valent pour toute la période, une catégorie absente de la plage visible garde une ligne vide (NORDEND du 13 au 16/10 : « Shift to check », « Passing obstacle »). La bande de statut de visibilité (point 38) n'a pas été ajoutée : la ligne par catégorie la remplace. + +**Validé le 2026-10-24.** + --- ## Partie V — Second volet : la courbe nettoyée @@ -667,23 +681,31 @@ Rapport de l'agent : `vues-deplacements/contexte/lissage.md`. Le cadrage D-044 ( ### Point 24 : Trancher les trois questions du lissage **À décider par l'utilisateur.** -- [ ] La courbe nettoyée par défaut avec la brute en option, ou l'inverse ? (Elle ne remplace jamais la brute à l'écran, cadrage Q4.) -- [ ] Un lissage centré (côté serveur, sans retard, le journal paraît une fois le matin) ou causal comme les analyses (1 à 2 h de retard, cadrage Q5) ? -- [ ] Le cycle thermique reste-t-il tel quel (cadrage Q8), ou faut-il une vue « sans le cycle » ? Seule une réponse « sans le cycle » justifie l'option D. +- [x] La courbe nettoyée par défaut avec la brute en option, ou l'inverse ? (Elle ne remplace jamais la brute à l'écran, cadrage Q4.) Réponse : les deux ensemble, la nettoyée en couleur coupée dans les zones à ignorer, la brute en gris fin dans ces zones seulement. +- [x] Un lissage centré (côté serveur, sans retard, le journal paraît une fois le matin) ou causal comme les analyses (1 à 2 h de retard, cadrage Q5) ? Réponse : calculé au moment où le client regarde les courbes, sur tout ce qui est disponible jusque-là ; rien n'est écrit dans la base (impossible à ce stade). +- [x] Le cycle thermique reste-t-il tel quel (cadrage Q8), ou faut-il une vue « sans le cycle » ? Seule une réponse « sans le cycle » justifie l'option D. Réponse : tel quel ; l'option D reste en réserve. **Étapes.** -- [ ] Noter les réponses sous D-056 et dans `lissage.md`, section 4. +- [x] Noter les réponses sous D-056 et dans `lissage.md`, section 4. + +**Décidé le 2026-10-24.** Les trois réponses sont sous D-056 (« Lissage, trois questions tranchées ») et dans `lissage.md`, section 4. Conséquence pour le point 25 : pas de sélecteur au départ, les deux courbes ensemble ; le calcul reste dans la page, au chargement. + +**Validé le 2026-10-24.** ### Point 25 : Option A : la courbe nettoyée par masquage **Principe.** La courbe nettoyée est la brute sans les points des zones invalidées, laissés en **trou** (pas d'interpolation, sinon on cache une marche). Aucun réglage, aucun seuil nouveau ; sa fiabilité est celle du journal. **Étapes.** -- [ ] Dans le volet Journal : brute en gris fin toujours visible ; nettoyée en couleur par-dessus, interrompue aux trous ; un sélecteur `Raw / Cleaned / Both` (`Both` par défaut, ou selon le point 24) ; une ligne de légende : « Cleaned: periods to ignore removed, nothing else changed. » -- [ ] Capturer NIEDERHORN (trains, pluie) et CLARIDEN (rien ne doit disparaître du mouvement réel). +- [x] Dans le volet Journal : brute en gris fin toujours visible ; nettoyée en couleur par-dessus, interrompue aux trous ; un sélecteur `Raw / Cleaned / Both` (`Both` par défaut, ou selon le point 24) ; une ligne de légende : « Cleaned: periods to ignore removed, nothing else changed. » Fait sans sélecteur (point 24) : la brute en gris fin seulement dans les zones à ignorer. +- [x] Capturer NIEDERHORN (trains, pluie) et CLARIDEN (rien ne doit disparaître du mouvement réel). **Fini quand.** CLARIDEN est identique en brute et en nettoyée autour du 19/09 06:10. +**Fait le 2026-10-24.** Dans `drawJournal()` : chaque courbe est coupée pendant les événements à ignorer (« Target hidden » : seulement sur ses cibles), la brute y reste en gris fin, reliée aux points gardés de part et d'autre (un passage d'une seule mesure se voit). Deux écarts trouvés à la capture et corrigés : la palette avait un gris (`#7f7f7f`), qui faisait passer une cible (PR_BG à CLARIDEN) pour de la brute à ignorer : retiré des couleurs du Journal ; en mm, une moyenne horaire n'était coupée que si l'événement commençait pile à l'heure : elle couvre maintenant toute son heure. Captures : NIEDERHORN, les trains du 30/09 22:00 et du 01/10 12:00 en gris, en mm comme en px ; CLARIDEN, le mouvement du 19/09 06:10 tout en couleur, rien de coupé (aucun événement à ignorer dessus). À savoir : à WILDSTRUBEL, la turbulence est à ignorer, donc les 13 cibles passent en gris de 04:00 à 15:00 chaque jour ; c'est la fiabilité du journal, comme prévu par l'option A. + +**Validé le 2026-10-24.** + ### Point 26 : Options B à E : en réserve **Ce que dit le rapport** (ordres de grandeur sur 3 jours d'exports horaires) : @@ -695,13 +717,17 @@ Rapport de l'agent : `vues-deplacements/contexte/lissage.md`. Le cadrage D-044 ( **Étapes.** - [ ] Rien tant que l'utilisateur ne le demande ; si oui, B d'abord, comme ci-dessus. +**Ce que change le point 24 (2026-10-24).** D tombe : le cycle thermique reste tel quel. B perd son retard : le calcul se fait quand le client regarde, donc une médiane **centrée** de 3 h (l'heure d'avant, l'heure, l'heure d'après) ne décale plus la marche de CLARIDEN ; seule la dernière heure reste sans voisine d'après. Reste son défaut : un vrai choc d'une heure disparaît. C et E inchangés. + +**Validé le 2026-10-24** : B à E restent en réserve (l'utilisateur), la courbe nettoyée du point 25 suffit. + --- ## Partie VI — Données en masse et boucle Claude Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : `extraction/pomper.py` (153 l) et `extraction/README.md`, brouillon jamais lancé. Ce qu'il faut savoir : - les mesures sont dans une base **PostgreSQL / TimescaleDB partagée avec la production** ; les images dans un stockage S3 (Garage), par `measurement_uuid` ; -- l'export « advanced » reçu à la main est la sortie de `build_advanced_frame` (`app/datapoints.py:285` du dépôt `~/monitoring-dashboard-displacement`) : le script le reproduit à l'identique, environ 0,3 Mo par jour et par station ; +- l'export « advanced » reçu à la main est la sortie de `build_advanced_frame` (`app/datapoints.py:285` du dépôt `~/monitoring-dashboard`) : le script le reproduit à l'identique, environ 0,3 Mo par jour et par station ; - le script ouvre un moteur **en lecture seule** (`default_transaction_read_only=on`, délai de 60 s, fuseau UTC), comme `scripts/domain_diagnostics.py` de l'application, déjà lancé avec succès dans le container le 2026-10-21 ; il n'instancie pas `DatabaseEngine` (son `__init__` lance du DDL et un écouteur NOTIFY) ; `AggregateEngine` est sans effet à sa construction (vérifié dans `app/aggregates.py`) ; - il lit un jour par requête, fait une pause, reprend où il s'est arrêté, et lit par **numéro de série du système** (`System.serial_number`) ; - l'authentification de l'application (formulaire ou Auth0) ne garde que les routes HTTP ; la base et S3 sont atteintes par un compte de service (`AIMSIGHT_DATABASE_*`, `AIMSIGHT_S3_*`) ; HTTP est un mauvais chemin aujourd'hui (route parquet par cookie de session, routes d'images `/api/v1` en erreur 500, export CSV par une tâche Celery) ; @@ -713,7 +739,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **Étapes.** - [ ] Choisir avec l'utilisateur une station déjà reçue à la main, pour comparer (NORDEND, PS des Coudres…), et son **numéro de série de système** (celui de l'URL de la page System). -- [ ] L'utilisateur copie le dossier dans le dépôt de l'application visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard-displacement/` (fichier non suivi, ne pas le committer, le supprimer après). +- [ ] L'utilisateur copie le dossier dans le dépôt de l'application visible dans le container : `cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/` (fichier non suivi, ne pas le committer, le supprimer après). - [ ] Dans le container, depuis la racine de l'application, hors des heures chargées, un essai de 2 jours : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du AAAA-MM-JJ --au AAAA-MM-JJ --images )` ; noter le temps par jour. - [ ] Copier `extraction/sortie//` vers `~/Support-Agent/data//`. - [ ] Claude compare le CSV obtenu à l'export reçu pour la même plage : colonnes, UTC, nombre de lignes (script en bibliothèque standard, `donnees.charger` sur les deux dossiers) ; il lance `categories.py` (ou les détecteurs) sur le nouveau dossier. @@ -722,6 +748,12 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **Fini quand.** Un dossier pompé donne les mêmes mesures que l'export reçu, et le temps par jour est connu. +**En attente depuis le 2026-10-24.** L'utilisateur n'a pas accès aux données pour l'instant ; le script sera essayé plus tard, quand le harnais qui exploite les données pompées existera (points 30 et 31). Mis en place sans rien lancer : +- l'application de référence est `~/monitoring-dashboard` (l'utilisateur) ; les dossiers `-displacement` et `-metrics` ne sont que des branches, à ignorer ; README, script, plan et `donnees-et-boucle.md` corrigés ; +- le script relu contre ce code : `build_advanced_frame` y est (`app/datapoints.py:285`) et rend les colonnes de l'export reçu (`time_utc`, `sensor_name` … `pattern_type`, puis les métriques de qualité) ; les trois fonctions reprises de `DatabaseEngine` n'utilisent que `_session`, `aggregates` et `s3client`, que `ReadOnlyDB` fournit ; +- la sortie se branche telle quelle sur le journal : `donnees.charger` lit tous les CSV « advanced » d'un dossier (un par lot de 7 jours, doublons écartés) ; les images pompées portent le nom attendu (`TZ_`, D-045) ; les images différentielles (`images_diff/`) sont maintenant laissées de côté par `donnees.trouver`, pour ne pas passer pour des vues de la caméra ; +- à savoir : un dossier pompé n'a pas d'export horaire, donc le Journal s'ouvre en px, et l'onglet Displacements (et la dérive lente) reste vide. + ### Point 28 : Images différentielles **Ce qui existe.** Type de mesure `OPTICAL_SHIFT-DIFF`, en PNG, seulement sur les stations réglées en mode « Differential » ; lesquelles et à quelle cadence : inconnu. Le script les prend avec `--diff`, rangées dans `images_diff/`. @@ -748,8 +780,25 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - Produit : `python3 vues-deplacements/journal/categories.py [--du AAAA-MM-JJ --au AAAA-MM-JJ] [--tranche 3]` : une table par tranche (début, fin, catégorie, grisé, capteurs, épisodes absorbés), plus une ligne « rien » pour les tranches calmes. **Étapes.** -- [ ] Ajouter `--du`, `--au`, `--tranche` (jours, défaut 3) au `__main__` de `categories.py` ; chaque tranche est classée seule (comme le verrait le client un matin). -- [ ] Lancer sur NORDEND d'octobre en tranches de 3 jours ; comparer à un seul passage sur 11 jours : noter ce qui change (point d'attention 5). +- [x] Ajouter `--du`, `--au`, `--tranche` (jours, défaut 3) au `__main__` de `categories.py` ; chaque tranche est classée seule (comme le verrait le client un matin). Fait avec `--tranche` sans valeur par défaut (sans elle, un seul passage, l'usage documenté ailleurs), plus `--historique` (voir plus bas). +- [x] Lancer sur NORDEND d'octobre en tranches de 3 jours ; comparer à un seul passage sur 11 jours : noter ce qui change (point d'attention 5). + +**Fait le 2026-10-24.** `python3 vues-deplacements/journal/categories.py --tranche 3 [--historique 3] [--du AAAA-MM-JJ --au AAAA-MM-JJ]` : un en-tête par tranche (« == début → fin : n » ou « rien »), puis une ligne par événement comme avant ; sans `--tranche`, la sortie d'avant, inchangée (vérifié). Résultat sur NORDEND d'octobre (11 jours, 4 tranches) : + +| | Passage unique | Tranches seules | Tranches + 3 jours d'historique | +|---|---|---|---| +| « Shift to check » PR17, 08/10 02:30 | oui | **absorbé** : pris pour un saut revenu dans la buée | oui | +| Cycle thermique les 06 et 07/10 (8 cibles) | non (laissé sous `PART`, point 13) | oui | oui (première tranche : pas d'historique possible) | +| « Target hidden » 13/10 09:45 → 14/10 07:00 (4 cibles) | oui | perdu le 13 ; 14/10 00:00 → 07:00, 2 cibles | 13/10 16:15 → 14/10 07:00, 3 cibles | +| Passage et « Target hidden » du 12/10 14:15 | oui | oui | non | +| Buée du 07/10 17:15 au 08/10 12:15 | un événement | coupée à minuit en deux | un événement | +| Nombre de cibles par événement | — | souvent plus bas (15 à 19 au lieu de 20) | proche | + +**Ce que ça dit.** Le point d'attention 5 est réel : les détecteurs prennent leurs niveaux habituels (médiane, MAD, quartile, part des cibles) sur toute la fenêtre qu'on leur donne, donc une tranche courte change les étiquettes. Le plus grave : une tranche qui commence 2 h 30 avant le saut de PR17 le range en saut revenu, absorbé dans la buée (point d'attention 1). Avec 3 jours d'historique (`--historique 3` : les détecteurs voient les 3 jours d'avant, seuls les événements qui touchent la tranche sont montrés), PR17 revient et le reste est proche du passage unique, sans lui être identique. **Recommandation** : toujours donner aux détecteurs plusieurs jours d'avant la plage montrée, dans la boucle (point 31) comme dans la vraie application (point 36), où le calcul se fait quand le client regarde (point 24) ; à faire décider par l'utilisateur. + +**Décidé le 2026-10-24** (l'utilisateur) : 3 jours d'historique par défaut dans l'outil (`--historique 3`), et c'est la règle pour la boucle et la vraie application ; noté sous D-056. + +**Validé le 2026-10-24.** ### Point 31 : La boucle Claude, première séance @@ -770,9 +819,12 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - [ ] Créer `extraction/plan.md` (stations, tranches, état de chacune). - [ ] Créer le dossier des revues `vues-deplacements/revues/` (un fichier `__.md` par tranche : événements du tri, verdict de Claude, proposition). - [ ] Faire une séance au plafond ; résumer à l'utilisateur les propositions ; appliquer seulement celles qu'il accepte (points 11 à 16), puis rejouer. +- Règle (point 30, D-056) : chaque tranche est classée avec 3 jours d'historique, le défaut de l'outil. **Fini quand.** Une séance complète a eu lieu et son bilan est dans `donnees-et-boucle.md`. +**En attente depuis le 2026-10-24.** L'utilisateur a des consignes plus précises sur la boucle, qu'il donnera dans une autre conversation, et il faut les données (point 27). Rien n'a été créé (ni `extraction/plan.md`, ni `vues-deplacements/revues/`). Proposé puis écarté pour l'instant : une séance à blanc sur NORDEND d'octobre et PS des Coudres, les seuls jeux assez longs pour des tranches. + ### Point 32 : Le test « Claude verrait la même chose » **Pourquoi.** L'objectif fixé par l'utilisateur : « si je venais donner à Claude ces données, il puisse voir par lui-même qu'on a bien catégorisé les choses » ; notre solution doit dire ce que Claude dirait. @@ -782,6 +834,8 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : - [ ] Comparer ses catégories à celles du journal, moment par moment ; noter les écarts dans une revue (point 31, étape 5). - [ ] Commencer par une tranche dont la vérité est connue (NORDEND d'octobre, 13/10 → 16/10). +**En attente depuis le 2026-10-24** : l'utilisateur le traitera dans une autre conversation. + --- ## Partie VII — Idées gardées pour plus tard @@ -804,7 +858,10 @@ Neige, dérive lente, cible qui saute seule et voisin brillant n'ont aucun cas v ### Point 36 : Porter le journal dans la vraie application -Comme pour les statuts des métriques système (Energy, Storage, Cellular, Temperature) : quand le journal convainc, on le porte dans `~/monitoring-dashboard-displacement`. Les détecteurs sont en bibliothèque standard ; l'application calcule au chargement de la page : mesurer d'abord le temps de `categories.evenements` sur 11 jours (NORDEND d'octobre). +- Plage par défaut « depuis ta dernière visite » (décidé au point 21, 2026-10-24) : à faire ici, avec les données en direct et le compte du client ; la maquette garde 3 jours fixes. + +Comme pour les statuts des métriques système (Energy, Storage, Cellular, Temperature) : quand le journal convainc, on le porte dans `~/monitoring-dashboard`. Les détecteurs sont en bibliothèque standard ; l'application calcule au chargement de la page : mesurer d'abord le temps de `categories.evenements` sur 11 jours (NORDEND d'octobre). +- Règle (point 30, D-056) : les détecteurs reçoivent 3 jours de mesures d'avant la plage montrée au client. - [ ] Mesurer le temps ; le noter ici. - [ ] Le portage lui-même : sur demande de l'utilisateur, dans une conversation ouverte dans le dépôt de l'application. @@ -814,10 +871,10 @@ Comme pour les statuts des métriques système (Energy, Storage, Cellular, Tempe ### Point 37 : Ménage : commit, `CLAUDE.md`, Mermaid, sorties -- [ ] **Commit** : rien n'est commité depuis le 2026-10-23. Fichiers de cette conversation : `vues-deplacements/journal/` (5 détecteurs), `vues-deplacements/maquette/explore.py`, `explore_template.html`, `spec.md`, `vues-deplacements/contexte/journal-du-matin.md`, `lissage.md`, `donnees-et-boucle.md`, `docs/displacement/domaine/carte-des-evenements.md`, `extraction/`, `docs/decisions.md` (D-056), `CLAUDE.md`, `vues-deplacements/CLAUDE.md`, ce plan. Déjà modifiés avant par l'utilisateur : `CLAUDE.md`, `docs/ameliorations-faq.md` ; `graphify-out/` n'est pas de cette conversation. Commit sur demande seulement, en séparant ce qui est de l'utilisateur. -- [ ] **`CLAUDE.md`** fait 202 lignes (limite 200, D-012) : raccourcir la puce « Prochaine étape » (la plus longue) en renvoyant à ce plan. -- [ ] **Mermaid** de la carte : à rendre une fois (point 3). -- [ ] **Sorties** : `data/NORDEND` et le cas `vues-deplacements/cas/2026-10_NORDEND/NORDEND` écrivent tous deux `out/vues_deplacements_NORDEND.html` ; capturer juste après la construction, ou nommer la sortie par le chemin du dossier. +- [x] **Commit** : rien n'est commité depuis le 2026-10-23. Fichiers de cette conversation : `vues-deplacements/journal/` (5 détecteurs), `vues-deplacements/maquette/explore.py`, `explore_template.html`, `spec.md`, `vues-deplacements/contexte/journal-du-matin.md`, `lissage.md`, `donnees-et-boucle.md`, `docs/displacement/domaine/carte-des-evenements.md`, `extraction/`, `docs/decisions.md` (D-056), `CLAUDE.md`, `vues-deplacements/CLAUDE.md`, ce plan. Déjà modifiés avant par l'utilisateur : `CLAUDE.md`, `docs/ameliorations-faq.md` ; `graphify-out/` n'est pas de cette conversation. Commit sur demande seulement, en séparant ce qui est de l'utilisateur. Fait le 2026-10-24 : commits `4ac95ae` (points 1 à 10), `86547f0` (11 à 17, 38, 41), puis celui des points 18 à 26, 30, 39, 40 et de ce ménage ; aucun fichier de l'utilisateur dans ces changements. +- [x] **`CLAUDE.md`** fait 202 lignes (limite 200, D-012) : raccourcir la puce « Prochaine étape » (la plus longue) en renvoyant à ce plan. Fait le 2026-10-24 : 199 lignes (phrase redite des « Règles de travail » retirée, les deux puces Energy réunies) ; puces du journal du matin et « Prochaine étape » mises à l'état du jour (onze catégories, courbes nettoyées, points en attente) ; `vues-deplacements/CLAUDE.md` aussi (onze catégories). +- [x] **Mermaid** de la carte : à rendre une fois (point 3). Déjà fait au point 3 (arbre rendu sans erreur, journal du plan). +- [x] **Sorties** : `data/NORDEND` et le cas `vues-deplacements/cas/2026-10_NORDEND/NORDEND` écrivent tous deux `out/vues_deplacements_NORDEND.html` ; capturer juste après la construction, ou nommer la sortie par le chemin du dossier. Fait le 2026-10-24 : un dossier de cas écrit la page au nom du cas (`out/vues_deplacements_2026-10_NORDEND.html`), `data/NORDEND` garde `out/vues_deplacements_NORDEND.html` ; `CLAUDE.md`, spec et annexe B à jour. --- @@ -839,12 +896,12 @@ Huit agents, un par piste, lancés par l'orchestrateur ; tous ont rendu leur tra Depuis `/home/maxime/Support-Agent`. - **Un détecteur seul** : `python3 vues-deplacements/journal/.py ` (`` : `visibilite`, `sauts`, `thermique`, `turbulence`, `trous`). -- **Les événements catégorisés** (après le point 6) : `python3 vues-deplacements/journal/categories.py `. +- **Les événements catégorisés** (après le point 6) : `python3 vues-deplacements/journal/categories.py ` ; en tranches (point 30) : `... --tranche 3` (3 jours d'historique par défaut). - **Construire la page sans l'ouvrir** : `.venv/bin/python -c "import sys; sys.path.insert(0,'vues-deplacements/maquette'); import explore; print(explore.page(''))"`. - **Construire et ouvrir** : `python3 vues-deplacements/maquette/explore.py [dossier]` (défaut : le cas NORDEND d'octobre ; s'ouvre sur l'onglet View). - **Ouvrir sur l'onglet Journal** : `"/mnt/c/Program Files/Google/Chrome/Application/chrome.exe" "file://///wsl.localhost/Ubuntu/home/maxime/Support-Agent/out/vues_deplacements_.html#tab=journal"` (en arrière-plan : la commande ne rend la main qu'à la fermeture si Chrome n'était pas ouvert). - **Capturer** : `"/mnt/c/Program Files/Google/Chrome/Application/chrome.exe" --headless=new --disable-gpu --hide-scrollbars --window-size=1600,1300 --virtual-time-budget=10000 --screenshot="$(wslpath -w )" "file:///$(wslpath -w out/vues_deplacements_.html | sed 's#\\#/#g')#tab=journal"` ; PNG dans le dossier temporaire de la session, jamais dans un dossier de station. -- **Jeux** : `vues-deplacements/cas/2026-10_NORDEND/NORDEND` (11 jours, 15 min, 985 images), `data/PS_DES_COUDRES` (C-001), `data/NORDEND` (C-002), `data/WILDSTRUBEL` (C-003), `data/CLARIDEN` (C-004), `data/NIEDERHORN` (C-005). Les deux jeux NORDEND écrivent la même page, `out/vues_deplacements_NORDEND.html` : capturer l'un avant de construire l'autre. +- **Jeux** : `vues-deplacements/cas/2026-10_NORDEND/NORDEND` (11 jours, 15 min, 985 images), `data/PS_DES_COUDRES` (C-001), `data/NORDEND` (C-002), `data/WILDSTRUBEL` (C-003), `data/CLARIDEN` (C-004), `data/NIEDERHORN` (C-005). Le cas NORDEND écrit `out/vues_deplacements_2026-10_NORDEND.html`, `data/NORDEND` écrit `out/vues_deplacements_NORDEND.html` (point 37). - **Pompage** (utilisateur, dans le container) : `extraction/README.md`. ## Journal du plan @@ -892,3 +949,29 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-24 : **point 16 validé** par l'utilisateur. Point 17 commencé. - 2026-10-24 : point 17 fait : registre déplacé dans `vues-deplacements/contexte/seuils-du-journal.md`, vérifié contre le code (valeurs conformes ; `MERGE` et les constantes de tendance ajoutés) ; reste la validation. - 2026-10-24 : **point 17 validé** par l'utilisateur ; la partie III est faite. Travail des points 11 à 17, 38 et 41 commité. Point 18 commencé. +- 2026-10-24 : point 18 fait (option a) : « Target hidden » ne grise plus que les courbes de ses cibles ; NORDEND du 13 au 14/10 et CLARIDEN débarrassés de leurs fonds gris ; reste la validation. +- 2026-10-24 : **point 18 validé** par l'utilisateur. Point 19 commencé. +- 2026-10-24 : point 19 fait : l'échelle du Journal laisse de côté les zones grisées et les cibles masquées, bouton `Fit all` ; WILDSTRUBEL lisible ; PR_BG à CLARIDEN (bascule entre deux positions) signalé à l'utilisateur ; reste la validation. +- 2026-10-24 : **point 19 validé** par l'utilisateur (PR_BG jugé peu important, laissé noté au point 19). Point 20 commencé. +- 2026-10-24 : point 20 fait : sélecteur mm / px, mm par défaut ; noms de l'export horaire nettoyés (NIEDERHORN) ; reste la validation. +- 2026-10-24 : **point 20 validé** par l'utilisateur. Point 21 commencé. +- 2026-10-24 : **point 21 validé** par l'utilisateur (3 jours fixes ; « depuis ta dernière visite » noté au point 36). Point 22 commencé. +- 2026-10-24 : **point 22 validé** par l'utilisateur (tous les gestes marchent). Point 23 commencé. +- 2026-10-24 : point 23 fait : case `Support view` (lignes par détecteur, replis `Details`), vue client inchangée ; reste la validation. +- 2026-10-24 : **point 23 validé** par l'utilisateur. Point 39 commencé. +- 2026-10-24 : point 39 fait : les cibles `target02` à `target05` comptent comme des cibles (`explore.build`) ; PS des Coudres a ses 10 courbes en px ; reste la validation. +- 2026-10-24 : **point 39 validé** par l'utilisateur. Point 40 commencé. +- 2026-10-24 : point 40 fait : case `Expand`, une ligne par catégorie (choix de l'utilisateur) ; NORDEND et WILDSTRUBEL : plus rien de caché ; reste la validation. +- 2026-10-24 : **point 40 validé** par l'utilisateur. Point 24 commencé. +- 2026-10-24 : point 24 : les trois questions du lissage tranchées par l'utilisateur (les deux courbes ensemble ; calcul quand le client regarde, rien dans la base ; cycle thermique tel quel) ; notées sous D-056 et dans `lissage.md` ; reste la validation. +- 2026-10-24 : **point 24 validé** par l'utilisateur. Point 25 commencé. +- 2026-10-24 : point 25 fait : courbes nettoyées par masquage (coupées dans les zones à ignorer, brute en gris fin) ; CLARIDEN intact au 19/09 06:10 ; reste la validation. +- 2026-10-24 : **point 25 validé** par l'utilisateur. Point 26 commencé. +- 2026-10-24 : **point 26 validé** par l'utilisateur (B à E en réserve ; D tombe avec le point 24, B serait centrée). Point 27 commencé. +- 2026-10-24 : point 27 mis en attente : l'utilisateur n'a pas accès aux données pour l'instant ; application de référence `~/monitoring-dashboard` ; script relu contre son code, sortie branchée sur le journal (images différentielles écartées) ; essai plus tard, avec le harnais (points 30 et 31). +- 2026-10-24 : point 30 fait : tri en lot (`--tranche`, `--historique`, `--du`, `--au`) ; sur NORDEND, des tranches seules absorbent le vrai saut de PR17, 3 jours d'historique le rendent ; reste la décision de l'utilisateur sur l'historique et la validation. +- 2026-10-24 : point 30 : règle de l'utilisateur, 3 jours d'historique par défaut dans l'outil, et pour la boucle et la vraie application (D-056) ; reste la validation. +- 2026-10-24 : **point 30 validé** par l'utilisateur. Point 31 commencé. +- 2026-10-24 : point 31 mis en attente : l'utilisateur a des consignes plus précises, pour une autre conversation, et il faut les données ; rien créé. +- 2026-10-24 : point 32 mis en attente : l'utilisateur le traitera dans une autre conversation. Reste à faire dans l'ordre : point 37 (ménage) ; 33 à 36 en attente. +- 2026-10-24 : point 37 fait : `CLAUDE.md` à 199 lignes et à jour, sorties NORDEND séparées, Mermaid déjà rendu au point 3, travail commité ; reste la validation. diff --git a/extraction/README.md b/extraction/README.md index 28517bf..c6a017f 100644 --- a/extraction/README.md +++ b/extraction/README.md @@ -1,6 +1,6 @@ # extraction/ : pomper les données de la plateforme (brouillon, jamais lancé) -1. Copier ce dossier à la racine du dépôt de l'appli visible dans le dev container (`cp -r ~/Support-Agent/extraction ~/monitoring-dashboard-displacement/`) : fichier non suivi, ne pas le committer ; le supprimer après. +1. Copier ce dossier à la racine du dépôt de l'appli visible dans le dev container (`cp -r ~/Support-Agent/extraction ~/monitoring-dashboard/`) : fichier non suivi, ne pas le committer ; le supprimer après. 2. Dans le container, depuis cette racine, **un essai d'abord** (1 station, 2 jours) : `(set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-03 --images WEISSHORN)`. 3. Lecture seule (moteur dédié, `default_transaction_read_only`, délai de 60 s), un jour par requête ; noter le temps par jour avant d'élargir. Plus de détails : `python3 extraction/pomper.py -h`. 4. Copier `extraction/sortie//` vers `~/Support-Agent/data//` ; relancer la même commande reprend là où elle s'est arrêtée. diff --git a/extraction/pomper.py b/extraction/pomper.py index 37416b0..d9657b6 100644 --- a/extraction/pomper.py +++ b/extraction/pomper.py @@ -1,7 +1,7 @@ """Pompe les déplacements (export « advanced ») et les images de stations de la plateforme AIMsight, dans le format que Support-Agent lit déjà. LECTURE SEULE. Brouillon, jamais lancé. -À lancer dans le dev container, depuis la racine de monitoring-dashboard-displacement (voir README.md) : +À lancer dans le dev container, depuis la racine de monitoring-dashboard (voir README.md) : (set -a && . ./.env && set +a && python3 extraction/pomper.py --du 2026-08-01 --au 2026-08-08 --images WEISSHORN) diff --git a/src/common/page.py b/src/common/page.py index 2d24839..14e9562 100644 --- a/src/common/page.py +++ b/src/common/page.py @@ -17,7 +17,8 @@ if importlib.util.find_spec("plotly") is None and VENV.exists(): # Plotly ne recale pas l'ordonnée sur la plage visible : après chaque zoom ou déplacement horizontal, # ce script recalcule l'axe vertical de chaque graphique sur les points visibles (5 % de marge), -# seuil compris (c'est une courbe). Double-clic : retour à la vue complète. +# seuil compris (c'est une courbe). Double-clic : retour à la vue complète. Une trace peut écarter des points du +# recalage (ils restent dessinés) : meta.yskip, un booléen par point (onglet Journal d'Explore : zones grisées). AUTOSCALE_Y_JS = """ const gd = document.getElementById('{plot_id}'); const name = (t, a) => a + 'axis' + (t[a + 'axis'] || a).slice(1); @@ -37,7 +38,7 @@ gd.on('plotly_relayout', ev => { const [a, b] = xa.range.map(r => xa.r2l(r)); const r = box[name(t, 'y')] || (box[name(t, 'y')] = [Infinity, -Infinity]); t.y.forEach((y, j) => { - if (y === null || !isFinite(y) || xs[i][j] < a || xs[i][j] > b) return; + if (y === null || !isFinite(y) || xs[i][j] < a || xs[i][j] > b || (t.meta && t.meta.yskip && t.meta.yskip[j])) return; r[0] = Math.min(r[0], y); r[1] = Math.max(r[1], y); }); diff --git a/vues-deplacements/CLAUDE.md b/vues-deplacements/CLAUDE.md index 8a2ea59..c466d3f 100644 --- a/vues-deplacements/CLAUDE.md +++ b/vues-deplacements/CLAUDE.md @@ -18,7 +18,7 @@ Le code et les maquettes du chantier vivent dans `maquette/` (D-053, D-054) : `e Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui comptent, sans toucher aux données : les sauts (décalage soudain qui dure) et les tendances (hausse ou baisse lente), ce que regarde le client ; onglet `Displacements` de la maquette ; idée, méthode, résultats et pistes dans `contexte/detection-d-anomalies.md`, savoir métier dans `docs/displacement/domaine/ce-que-regarde-le-client.md`. -Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `journal/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des huit catégories du journal par `journal/categories.py` (`python3 vues-deplacements/journal/categories.py ` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`. +Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `journal/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des onze catégories du journal par `journal/categories.py` (`python3 vues-deplacements/journal/categories.py ` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`. ## Règles diff --git a/vues-deplacements/contexte/donnees-et-boucle.md b/vues-deplacements/contexte/donnees-et-boucle.md index 5615716..66f9d0f 100644 --- a/vues-deplacements/contexte/donnees-et-boucle.md +++ b/vues-deplacements/contexte/donnees-et-boucle.md @@ -1,6 +1,6 @@ # Données en masse et boucle Claude : ce qui existe et ce qu'on recommande -Étude du 2026-10-23, en lecture seule dans `~/monitoring-dashboard-displacement` (branche `displacement`, doc dans `CLAUDE.md` et `docs/diagnostics/`). Rien lancé, aucun secret lu ; les variables d'environnement ne sont citées que par leur nom. +Étude du 2026-10-23, en lecture seule dans `~/monitoring-dashboard-displacement` (branche `displacement` ; depuis le 2026-10-24, l'application de référence est `~/monitoring-dashboard`, les autres dossiers ne sont que des branches, à ignorer ; doc dans `CLAUDE.md` et `docs/diagnostics/`). Rien lancé, aucun secret lu ; les variables d'environnement ne sont citées que par leur nom. ## Recommandation diff --git a/vues-deplacements/contexte/lissage.md b/vues-deplacements/contexte/lissage.md index f93b33b..d3aabc9 100644 --- a/vues-deplacements/contexte/lissage.md +++ b/vues-deplacements/contexte/lissage.md @@ -59,3 +59,9 @@ 1. Le client voit-il la nettoyée par défaut avec la brute en option, ou l'inverse ? Elle ne remplace jamais la brute à l'écran (cadrage Q4). 2. Le journal paraît une fois le matin : un lissage **centré** (côté serveur, sans retard) vous convient-il, ou garde-t-on le calcul **causal** des analyses, avec 1 à 2 h de retard (cadrage Q5) ? 3. Le cycle thermique du jour reste-t-il tel quel (choix par défaut, cadrage Q8), ou faut-il une vue « sans le cycle » ? Seule cette réponse justifie l'option D. + +**Réponses de l'utilisateur (2026-10-24, point 24 du plan, D-056).** + +1. **Les deux ensemble** : la nettoyée en couleur, coupée dans les zones à ignorer ; la brute en gris fin, visible dans ces zones seulement. Pas de sélecteur « Brute / Nettoyée / Les deux » pour commencer. +2. **Calcul au moment où le client regarde les courbes**, sur tout ce qui est disponible jusque-là : chaque instant est jugé avec ce qui le suit (comme les détecteurs, `sauts` regarde 24 h après), les dernières heures restent provisoires. Rien n'est écrit dans la base de la plateforme : on ne le peut pas à ce stade. Le temps de calcul au chargement est à mesurer (point 36 du plan). +3. **Le cycle thermique reste tel quel** : le journal le nomme (« Thermal expansion », « Thermal contraction », point 41) ; pas de vue « sans le cycle », l'option D reste en réserve. diff --git a/vues-deplacements/journal/categories.py b/vues-deplacements/journal/categories.py index a04a8f9..ab28fb5 100644 --- a/vues-deplacements/journal/categories.py +++ b/vues-deplacements/journal/categories.py @@ -10,15 +10,18 @@ qu'un. Chaque événement reçoit sa phrase catégorie l'établit, sinon les images la montrent. Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur. Usage : python3 vues-deplacements/journal/categories.py (une ligne par événement) + ... [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot, point 30 : + chaque tranche de 3 jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements + qui touchent la tranche sont montrés ; « rien » pour une tranche calme) """ import importlib.util import os import sys -from datetime import datetime, timedelta +from datetime import datetime, timedelta, timezone from pathlib import Path sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils")) -from donnees import charger # noqa: E402 +from donnees import charger, iso # noqa: E402 # ignore : zone grisée (None : comme le dit le détecteur, la turbulence n'est grisée que forte) ; process : bouton # Images, rien, ou Images et lien vers Diagnosis. L'ordre est celui des lignes de la frise. @@ -156,7 +159,32 @@ def evenements(mesures): if __name__ == "__main__": - for v in evenements(charger(sys.argv[1])): - print(v["start"], "→", v["end"], f"{v['category']:<17}", "grisé" if v["ignore"] else "gardé", - f"| {len(v['sensors']) or 'tous les'} capteurs", "| absorbés :", ", ".join( - f"{e['kind']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—") + import argparse + p = argparse.ArgumentParser(description="Une ligne par événement ; --tranche : chaque tranche classée seule.") + p.add_argument("dossier") + p.add_argument("--du", help="premier jour UTC, AAAA-MM-JJ (défaut : début des données)") + p.add_argument("--au", help="dernier jour UTC exclu, AAAA-MM-JJ (défaut : fin des données)") + p.add_argument("--tranche", type=int, default=0, help="jours par tranche (défaut : un seul passage)") + # sans historique, une tranche qui commence juste avant un vrai saut le prend pour un saut revenu (PR17 à NORDEND, + # le 08/10 à 02:30 : absorbé dans la buée) ; 3 jours le rendent ; règle de l'utilisateur (2026-10-24) : 3 jours + # d'historique par défaut, dans la boucle comme dans la vraie application + p.add_argument("--historique", type=int, default=3, help="jours de mesures d'avant donnés aux détecteurs (défaut 3)") + a = p.parse_args() + mesures = charger(a.dossier) + ts = [m["t"] for ms in mesures.values() for m in ms] + jour = lambda d: datetime.strptime(d, "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731 + debut = jour(a.du) if a.du else min(ts).replace(hour=0, minute=0, second=0, microsecond=0) + fin = jour(a.au) if a.au else max(ts) + timedelta(seconds=1) + t = debut + while t < fin: + b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin + h = t - timedelta(days=a.historique) + tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])} + evs = [v for v in evenements(tranche) if v["end"] >= iso(t)] if tranche else [] + if a.tranche: + print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}") + for v in evs: + print(v["start"], "→", v["end"], f"{v['category']:<17}", "grisé" if v["ignore"] else "gardé", + f"| {len(v['sensors']) or 'tous les'} capteurs", "| absorbés :", ", ".join( + f"{e['kind']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—") + t = b diff --git a/vues-deplacements/maquette/explore.py b/vues-deplacements/maquette/explore.py index 134b633..3d0cdb2 100644 --- a/vues-deplacements/maquette/explore.py +++ b/vues-deplacements/maquette/explore.py @@ -3,7 +3,7 @@ spec : vues-deplacements/maquette/spec.md. Lit l'export « advanced » d'un dossier de station avec l'outil donnees.py de l'agent (positions, error_value) et son export horaire (déplacements en mm), liste les images et les captures de la plateforme, puis remplit -explore_template.html. Écrit out/vues_deplacements_.html et l'ouvre dans le navigateur. +explore_template.html. Écrit out/vues_deplacements_.html ( pour un dossier de cas) et l'ouvre dans le navigateur. Usage : python3 vues-deplacements/maquette/explore.py [dossier de station] (défaut : le cas NORDEND d'octobre 2026) """ import csv @@ -57,7 +57,7 @@ def hourly(path): names = sorted(c[:-len("_vertical_displacement")] for c in rows[0] if c.endswith("_vertical_displacement")) times = [datetime.fromisoformat(r["timestamp"]).replace(tzinfo=HOURLY_TZ) for r in rows] return {"times": [donnees.iso(t) for t in times], - "sensors": {n: {"h": [num(r[f"{n}_horizontal_displacement"]) for r in rows], + "sensors": {n.strip(): {"h": [num(r[f"{n}_horizontal_displacement"]) for r in rows], # NIEDERHORN : « …_C09\r » "v": [num(r[f"{n}_vertical_displacement"]) for r in rows]} for n in names}} @@ -184,8 +184,9 @@ def build(folder): minute = lambda t: t.replace(second=0, microsecond=0) # noqa: E731 (instants à la minute, comme donnees.iso) instants = sorted({minute(m["t"]) for ms in mesures.values() for m in ms}) col = {t: j for j, t in enumerate(instants)} - order = lambda s: (KINDS.index(mesures[s][0]["pattern_type"]) if mesures[s][0]["pattern_type"] in KINDS # noqa: E731 - else len(KINDS), s) + # les cibles d'un autre motif (target02 à target05 à PS des Coudres) sont des cibles comme les autres (point 39) + kind = lambda s: "target" if mesures[s][0]["pattern_type"].startswith("target") else mesures[s][0]["pattern_type"] # noqa: E731 + order = lambda s: (KINDS.index(kind(s)) if kind(s) in KINDS else len(KINDS), s) # noqa: E731 sensors = [] for name in sorted(mesures, key=order): ms = mesures[name] @@ -194,7 +195,7 @@ def build(folder): for c in row: row[c][col[minute(m["t"])]] = m[c] xs, ys = [v for v in row["x"] if v is not None], [v for v in row["y"] if v is not None] - sensors.append({"name": name, "kind": ms[0]["pattern_type"], "threshold": ms[0]["error_threshold"], + sensors.append({"name": name, "kind": kind(name), "threshold": ms[0]["error_threshold"], "x": row["x"], "y": row["y"], "home": [statistics.median(xs), statistics.median(ys)] if xs and ys else None, "values": {c: row[c] for c in COLUMNS}}) @@ -235,7 +236,10 @@ def page(folder): text = text.replace("/*DATA*/null", json.dumps(data).replace("/ : data/NORDEND et le cas + # 2026-10_NORDEND n'écrivent plus la même page (point 37 du plan) + d = Path(folder).resolve() + out = OUT / f"vues_deplacements_{d.parent.name if d.parent.parent.name == 'cas' else d.name}.html" out.write_text(text) return out diff --git a/vues-deplacements/maquette/explore_template.html b/vues-deplacements/maquette/explore_template.html index c88452d..fc799f4 100644 --- a/vues-deplacements/maquette/explore_template.html +++ b/vues-deplacements/maquette/explore_template.html @@ -129,6 +129,8 @@ .jentry:hover { background: #e8f0fb; } .jentry .when { color: var(--muted); font-size: 12px; } .jentry b { font-size: 14px; } + .jentry details { margin-top: 4px; } + .jentry summary { cursor: pointer; color: var(--muted); font-size: 12px; } .jentry button { margin-left: 6px; font-size: 12px; cursor: pointer; } /* Timelapse d'un événement (bouton ▶ Images) : fenêtre par-dessus la page, bord rouge pendant l'événement. */ #j-video { position: fixed; inset: 0; z-index: 10; display: grid; place-items: center; background: rgba(0, 0, 0, .6); } @@ -263,8 +265,15 @@
+
Unit +   +   +   + mm: hourly averages, what the platform shows · px: every measurement, short peaks included · + the vertical scale leaves out the greyed zones and the hidden targets
-

Grey zones: do not trust the data there (they are kept, not removed). Hover a bar for details, ▶ Images to see the camera; zoom the curves +

Cleaned curves: the periods to ignore are removed, nothing else changed; the raw data stays there in thin grey, + on a grey zone. Hover a bar for details, ▶ Images to see the camera; zoom the curves with the wheel or by dragging, double-click for the whole period.