# Données en masse et boucle Claude : ce qui existe et ce qu'on recommande Étude du 2026-10-23, en lecture seule dans `~/monitoring-dashboard-displacement` (branche `displacement` ; depuis le 2026-10-24, l'application de référence est `~/monitoring-dashboard`, les autres dossiers ne sont que des branches, à ignorer ; doc dans `CLAUDE.md` et `docs/diagnostics/`). Rien lancé, aucun secret lu ; les variables d'environnement ne sont citées que par leur nom. ## Recommandation **Option A, avec un seul script** (`extraction/pomper.py`, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (`data//metrics/__….csv`, le format du téléchargement de la page System, que lit `common.stations`), `data//displacement/…_advanced_….csv` et `data//images/…jpg`, les formats que `agent-tools/donnees.py` (`trouver`, `heure_image`) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur. ## Ce que j'ai trouvé **D'où viennent les données** - Une base PostgreSQL/TimescaleDB, partagée avec la production, pour les mesures ; les images sont dans un stockage S3 (Garage), rangées par `measurement_uuid` (`docs/architecture.md:14,25`, `docs/database/read_paths.md:17`). SQLite (`configs/database.db`) ne porte que l'appli : appareils, sorties, utilisateurs. - Déplacements natifs : `AcquisitionUnit.get_datapoints` (`app/aimsight_database.py:1096`) fusionné aux états à 1 min par `build_advanced_frame` (`app/datapoints.py:285`). Ses colonnes (`app/datapoints.py:35`) sont celles de l'export « advanced » reçu à la main : c'est la même fonction (endpoint parquet, `app/api/v1/datapoints.py:47`). Volume : ~0,3 Mo par jour et par station (NORDEND : 8 339 lignes pour 5 jours). - Horaire (« 1hour ») : `fetch_and_process_shifts` (`Dashboard/Dash_fun.py:1069`), qui exige les sorties configurées de l'appareil, donc SQLite et le contexte Flask. Le script ne le fait pas : l'horaire se recalcule depuis l'advanced. - Images : `Measurement` de type `OPTICAL_SHIFT-IRON` (JPEG), via `acq_unit.measurements` (`app/aimsight_database.py:901`) puis `get_measurement_payload(uuid)` (`:2346`, S3). L'id de mesure est celui que contiennent déjà nos noms `20261013T1200Z_.jpg`. Poids vus dans `data/` : 0,1 à 1,2 Mo l'image selon la station. - **Images différentielles : elles existent**, type `OPTICAL_SHIFT-DIFF` (`app/mqtt/receiver.py:916`, `app/api/v1/images.py:307`, `Dashboard/PatternCreation.py:46`), en PNG (`app/base/routes.py:465`). Mais seules les stations réglées en mode « Differential » en ont ; je n'ai pas pu vérifier lesquelles, ni leur cadence. Le script les prend avec `--diff`, rangées à part dans `images_diff/`. **Lectures déjà prêtes à réutiliser, et leur piège** - `Dashboard/displacement_data.py` (`hourly`, `advanced`, `images`, lignes 22 à 64) fait exactement notre besoin, mais passe par `Device.query` (SQLite, Flask-SQLAlchemy) et `AIMsightDB_get_session()`. - `AIMsightDB_get_session()` (`app/extensions.py:94`) construit `DatabaseEngine`, dont l'`__init__` lance `create_all_tables` (DDL) et un écouteur NOTIFY, sur une connexion **en écriture** sans délai (`app/aimsight_database.py:1636,1644`). Le `CLAUDE.md` de l'appli l'interdit pour lire. Le script contourne : un petit `ReadOnlyDB` emprunte à `DatabaseEngine` ses trois méthodes de lecture (`get_sensor_state_aggregate`, `get_common_state_aggregate`, `get_measurement_payload`) sans l'instancier. - Il lit par numéro de série du **système** (`System.serial_number`, comme `domain_diagnostics.py`), pas par nom d'appareil (les noms de fichiers reçus portent le nom d'appareil, ex. « Carrière TROYDO (B) »). Les dossiers de `data/` suivent déjà le numéro de série. **Authentification** - L'appli a deux modes selon `AUTH_MODE` (`app/base/auth/__init__.py:10-16`) : formulaire login/mot de passe (Flask, session) ou Auth0. Elle ne protège que les **routes HTTP**. La base et S3 sont atteintes avec un compte de service lu dans les variables `AIMSIGHT_DATABASE_*` et `AIMSIGHT_S3_*` : pas d'authentification par utilisateur côté base. « La même authentification que l'appli » veut donc dire soit ce compte de service (le script), soit passer par HTTP. - HTTP : `requires_auth` (`app/base/auth/common.py:32`) n'accepte qu'un cookie de session, ce que demande aussi la route parquet. Seul `can_explore_device` passe par `is_authenticated()`, qui en mode Auth0 accepte un jeton Bearer (`auth_auth0.py:47-51,309`) ; une portée `reads:explore` y donne les droits de lecture admin (`:54-62`). Qui délivre un tel jeton, je ne le sais pas : question au collègue. - Les routes d'images de l'API `/api/v1` répondent 500 aujourd'hui (note dans `Dashboard/displacement_data.py:76-79`, décorateur de `common.py:53`) ; l'export CSV (`app/api/v1/measurements.py:273`) lance une tâche Celery, donc exige un worker local. ## Options | | Effort | Blocage | Verdict | |---|---|---|---| | **A** script dans le container | brouillon écrit, ~1 h d'essai | le container ne monte sans doute que le dépôt de l'appli (compose non lisible, non vérifié) : copier le dossier dedans, puis les fichiers dehors (2 `cp`) ; charge sur la base de production | à faire | | **B** depuis WSL | A + `pip install` (sqlalchemy, psycopg2, boto3, pandas) + les identifiants de l'appli copiés sur WSL | la base est-elle joignable hors container ? Les docs disent que tout passe par le container (`docs/diagnostics/index.md:102`) ; en HTTP, il faudrait un cookie de session ou un jeton, à fournir ; secrets sur une seconde machine | seulement si le test réseau passe | | **C** route d'export | quelques jours de l'autre côté : auth par jeton sur `requires_auth`, correctif du décorateur, route d'images par plage (le zip en masse, `measurements.py:162`, n'existe que par jeton Redis posé par le Dash) | dépend d'un tiers et de la règle « ajouter, ne pas modifier » de la branche | après A, si la boucle sert | Taille : l'advanced se compte en Mo. Les images dominent : à l'heure, ~1 Go pour 40 jours d'une station à 1 Mo l'image, six fois plus à 10 min. Quelques centaines de Go suffisent donc largement ; la limite sera le temps de lecture de la base, pas le disque. **Précautions de l'appli à respecter** (`CLAUDE.md` de l'appli) : requêtes bornées en temps (le script lit un jour à la fois, 60 s de délai, pause entre les jours), lecture seule, rien qui écrive ; l'utilisateur lance, Claude ne se connecte jamais. Premier essai : une station, 2 jours, on note le temps par jour ; les vieux chunks compressés de `datapoint` coûtent plus cher à lire, et la base est partagée avec l'ingestion : lancer hors des heures chargées. ## La boucle, étape par étape Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaque chargement de page, `journal-du-matin.md`). 1. **Liste** : l'utilisateur donne les stations et la plage totale (par exemple 3 stations, 60 jours) ; un fichier `extraction/plan.md` les range en tranches de 3 à 5 jours. Coût : zéro. 2. **Pompe** (utilisateur, dans le container) : `pomper.py` par lots ; copie dans `data//`. Pas de coût Claude ; reprenable. 3. **Tri sans image** : les détecteurs de `vues-deplacements/detectors/` tournent sur la tranche et sortent une table d'épisodes (début, fin, étiquette, capteurs). Coût : ordinateur seul, et c'est ce qui décide la suite. 4. **Regard de Claude, choisi** : Claude ne regarde que les tranches où les détecteurs voient quelque chose ou **ne voient rien malgré un signal fort** (saut ou tendance de `detection-d-anomalies.md`), et seulement les courbes et 4 à 8 vignettes par épisode, pas toutes les images. C'est l'étape chère : un plafond de tranches regardées par séance, fixé à l'avance. 5. **Critique** : par épisode, Claude dit s'il est d'accord (étiquette juste), en retard ou en trop (faux positif), ou s'il manque un épisode ; il écrit son verdict dans un fichier de revue de la tranche, hors de la vue de l'agent (règle de `vues-deplacements/CLAUDE.md`). 6. **Proposition** : au plus deux sorties, soit un réglage chiffré d'un détecteur (seuil, durée) avec les épisodes qui changent, soit un cas candidat. Les cas n'entrent dans la base que sur demande de l'utilisateur (`/nouveau-cas`) ; Claude propose, ne crée pas. 7. **Rejeu** : le détecteur modifié est relancé sur **toutes** les tranches déjà vues (gratuit, étape 3) pour vérifier qu'il ne casse rien ; seulement alors on passe à la tranche suivante. 8. **Arrêt** : à la fin du plafond de la séance, ou quand deux tranches de suite ne donnent plus rien à corriger. Les données déjà regardées ne sont pas relues ; le fichier de revue sert de mémoire. ## Ce qui reste à vérifier avant de s'y fier - Premier lancement le 2026-10-26, NORDEND, 29 et 30/07 (numéro de série du système : `NORDEND`, comme en tête des CSV de la page System ; pas le nom de l'appareil de la page Explore) : les 27 métriques de l'export reçu identiques heure par heure (`last_sync` : mêmes valeurs, ordre de la liste de l'heure différent ; `ip_eth0` en plus, vide) ; déplacements du 29/07 identiques à l'export « advanced » reçu (2 112 lignes, mêmes colonnes, mêmes valeurs) ; 48 images IRON identiques octet pour octet. Temps : 1-2 s par jour pour les métriques, 9 s pour les déplacements. Le 30/07 a d'abord dépassé le délai de 60 s, avec autant de mesures que le 29/07 (la lenteur vient de la base) ; relancé avec `--delai 300` : 93 s, identique à l'export reçu. Le journal sur le dossier pompé donne les mêmes événements que sur l'export reçu, aux mêmes jours ; il lui faut ses 3 jours d'historique : les pomper en plus, avant la période voulue. - Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire. - Combien de stations ont des images `DIFF`, et à quelle cadence : NORDEND en a (au moins une par heure ; PNG 16 bits, ~7 Mo l'une, ~160 Mo par jour à une par heure). - Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).