Files
Support-Agent/vues-deplacements/contexte/donnees-et-boucle.md
T
maximeandClaude Opus 5.5 955566d86f Clean the journal curves, unfold its timeline and sort it in batches (D-056)
Plan points 18 to 26, 30, 39, 40 and the point 37 housekeeping:
- greyed zones per target, vertical scale without the zones to ignore, Fit all,
  mm by default with a px switch, Support view, Expand (one row per category);
- cleaned curves: cut in the zones to ignore, raw data kept there in thin grey;
- target02 to target05 count as targets; smoothing questions answered;
- categories.py sorts in slices with 3 days of history by default;
- the pumping script points to ~/monitoring-dashboard and skips diff images;
- CLAUDE.md back under 200 lines; a case page is named after its case.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-24 14:31:42 +02:00

59 lines
9.4 KiB
Markdown

# Données en masse et boucle Claude : ce qui existe et ce qu'on recommande
Étude du 2026-10-23, en lecture seule dans `~/monitoring-dashboard-displacement` (branche `displacement` ; depuis le 2026-10-24, l'application de référence est `~/monitoring-dashboard`, les autres dossiers ne sont que des branches, à ignorer ; doc dans `CLAUDE.md` et `docs/diagnostics/`). Rien lancé, aucun secret lu ; les variables d'environnement ne sont citées que par leur nom.
## Recommandation
**Option A, avec un seul script** (`extraction/pomper.py`, brouillon, jamais lancé) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL **en lecture seule** (comme `scripts/domain_diagnostics.py`, déjà lancé avec succès dans le container le 2026-10-21) et écrit `data/<STATION>/displacement/…_advanced_….csv` et `data/<STATION>/images/…jpg`, les formats que `agents/diagnostic/outils/donnees.py` (`trouver`, `heure_image`) lit déjà. B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
## Ce que j'ai trouvé
**D'où viennent les données**
- Une base PostgreSQL/TimescaleDB, partagée avec la production, pour les mesures ; les images sont dans un stockage S3 (Garage), rangées par `measurement_uuid` (`docs/architecture.md:14,25`, `docs/database/read_paths.md:17`). SQLite (`configs/database.db`) ne porte que l'appli : appareils, sorties, utilisateurs.
- Déplacements natifs : `AcquisitionUnit.get_datapoints` (`app/aimsight_database.py:1096`) fusionné aux états à 1 min par `build_advanced_frame` (`app/datapoints.py:285`). Ses colonnes (`app/datapoints.py:35`) sont celles de l'export « advanced » reçu à la main : c'est la même fonction (endpoint parquet, `app/api/v1/datapoints.py:47`). Volume : ~0,3 Mo par jour et par station (NORDEND : 8 339 lignes pour 5 jours).
- Horaire (« 1hour ») : `fetch_and_process_shifts` (`Dashboard/Dash_fun.py:1069`), qui exige les sorties configurées de l'appareil, donc SQLite et le contexte Flask. Le script ne le fait pas : l'horaire se recalcule depuis l'advanced.
- Images : `Measurement` de type `OPTICAL_SHIFT-IRON` (JPEG), via `acq_unit.measurements` (`app/aimsight_database.py:901`) puis `get_measurement_payload(uuid)` (`:2346`, S3). L'id de mesure est celui que contiennent déjà nos noms `20261013T1200Z_<id>.jpg`. Poids vus dans `data/` : 0,1 à 1,2 Mo l'image selon la station.
- **Images différentielles : elles existent**, type `OPTICAL_SHIFT-DIFF` (`app/mqtt/receiver.py:916`, `app/api/v1/images.py:307`, `Dashboard/PatternCreation.py:46`), en PNG (`app/base/routes.py:465`). Mais seules les stations réglées en mode « Differential » en ont ; je n'ai pas pu vérifier lesquelles, ni leur cadence. Le script les prend avec `--diff`, rangées à part dans `images_diff/`.
**Lectures déjà prêtes à réutiliser, et leur piège**
- `Dashboard/displacement_data.py` (`hourly`, `advanced`, `images`, lignes 22 à 64) fait exactement notre besoin, mais passe par `Device.query` (SQLite, Flask-SQLAlchemy) et `AIMsightDB_get_session()`.
- `AIMsightDB_get_session()` (`app/extensions.py:94`) construit `DatabaseEngine`, dont l'`__init__` lance `create_all_tables` (DDL) et un écouteur NOTIFY, sur une connexion **en écriture** sans délai (`app/aimsight_database.py:1636,1644`). Le `CLAUDE.md` de l'appli l'interdit pour lire. Le script contourne : un petit `ReadOnlyDB` emprunte à `DatabaseEngine` ses trois méthodes de lecture (`get_sensor_state_aggregate`, `get_common_state_aggregate`, `get_measurement_payload`) sans l'instancier.
- Il lit par numéro de série du **système** (`System.serial_number`, comme `domain_diagnostics.py`), pas par nom d'appareil (les noms de fichiers reçus portent le nom d'appareil, ex. « Carrière TROYDO (B) »). Les dossiers de `data/` suivent déjà le numéro de série.
**Authentification**
- L'appli a deux modes selon `AUTH_MODE` (`app/base/auth/__init__.py:10-16`) : formulaire login/mot de passe (Flask, session) ou Auth0. Elle ne protège que les **routes HTTP**. La base et S3 sont atteintes avec un compte de service lu dans les variables `AIMSIGHT_DATABASE_*` et `AIMSIGHT_S3_*` : pas d'authentification par utilisateur côté base. « La même authentification que l'appli » veut donc dire soit ce compte de service (le script), soit passer par HTTP.
- HTTP : `requires_auth` (`app/base/auth/common.py:32`) n'accepte qu'un cookie de session, ce que demande aussi la route parquet. Seul `can_explore_device` passe par `is_authenticated()`, qui en mode Auth0 accepte un jeton Bearer (`auth_auth0.py:47-51,309`) ; une portée `reads:explore` y donne les droits de lecture admin (`:54-62`). Qui délivre un tel jeton, je ne le sais pas : question au collègue.
- Les routes d'images de l'API `/api/v1` répondent 500 aujourd'hui (note dans `Dashboard/displacement_data.py:76-79`, décorateur de `common.py:53`) ; l'export CSV (`app/api/v1/measurements.py:273`) lance une tâche Celery, donc exige un worker local.
## Options
| | Effort | Blocage | Verdict |
|---|---|---|---|
| **A** script dans le container | brouillon écrit, ~1 h d'essai | le container ne monte sans doute que le dépôt de l'appli (compose non lisible, non vérifié) : copier le dossier dedans, puis les fichiers dehors (2 `cp`) ; charge sur la base de production | à faire |
| **B** depuis WSL | A + `pip install` (sqlalchemy, psycopg2, boto3, pandas) + les identifiants de l'appli copiés sur WSL | la base est-elle joignable hors container ? Les docs disent que tout passe par le container (`docs/diagnostics/index.md:102`) ; en HTTP, il faudrait un cookie de session ou un jeton, à fournir ; secrets sur une seconde machine | seulement si le test réseau passe |
| **C** route d'export | quelques jours de l'autre côté : auth par jeton sur `requires_auth`, correctif du décorateur, route d'images par plage (le zip en masse, `measurements.py:162`, n'existe que par jeton Redis posé par le Dash) | dépend d'un tiers et de la règle « ajouter, ne pas modifier » de la branche | après A, si la boucle sert |
Taille : l'advanced se compte en Mo. Les images dominent : à l'heure, ~1 Go pour 40 jours d'une station à 1 Mo l'image, six fois plus à 10 min. Quelques centaines de Go suffisent donc largement ; la limite sera le temps de lecture de la base, pas le disque.
**Précautions de l'appli à respecter** (`CLAUDE.md` de l'appli) : requêtes bornées en temps (le script lit un jour à la fois, 60 s de délai, pause entre les jours), lecture seule, rien qui écrive ; l'utilisateur lance, Claude ne se connecte jamais. Premier essai : une station, 2 jours, on note le temps par jour ; les vieux chunks compressés de `datapoint` coûtent plus cher à lire, et la base est partagée avec l'ingestion : lancer hors des heures chargées.
## La boucle, étape par étape
Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaque chargement de page, `journal-du-matin.md`).
1. **Liste** : l'utilisateur donne les stations et la plage totale (par exemple 3 stations, 60 jours) ; un fichier `extraction/plan.md` les range en tranches de 3 à 5 jours. Coût : zéro.
2. **Pompe** (utilisateur, dans le container) : `pomper.py` par lots ; copie dans `data/<STATION>/`. Pas de coût Claude ; reprenable.
3. **Tri sans image** : les détecteurs de `vues-deplacements/journal/` tournent sur la tranche et sortent une table d'épisodes (début, fin, étiquette, capteurs). Coût : ordinateur seul, et c'est ce qui décide la suite.
4. **Regard de Claude, choisi** : Claude ne regarde que les tranches où les détecteurs voient quelque chose ou **ne voient rien malgré un signal fort** (saut ou tendance de `detection-d-anomalies.md`), et seulement les courbes et 4 à 8 vignettes par épisode, pas toutes les images. C'est l'étape chère : un plafond de tranches regardées par séance, fixé à l'avance.
5. **Critique** : par épisode, Claude dit s'il est d'accord (étiquette juste), en retard ou en trop (faux positif), ou s'il manque un épisode ; il écrit son verdict dans un fichier de revue de la tranche, hors de la vue de l'agent (règle de `vues-deplacements/CLAUDE.md`).
6. **Proposition** : au plus deux sorties, soit un réglage chiffré d'un détecteur (seuil, durée) avec les épisodes qui changent, soit un cas candidat. Les cas n'entrent dans la base que sur demande de l'utilisateur (`/nouveau-cas`) ; Claude propose, ne crée pas.
7. **Rejeu** : le détecteur modifié est relancé sur **toutes** les tranches déjà vues (gratuit, étape 3) pour vérifier qu'il ne casse rien ; seulement alors on passe à la tranche suivante.
8. **Arrêt** : à la fin du plafond de la séance, ou quand deux tranches de suite ne donnent plus rien à corriger. Les données déjà regardées ne sont pas relues ; le fichier de revue sert de mémoire.
## Ce qui reste à vérifier avant de s'y fier
- Le script n'a jamais tourné : écrit d'après le code, relu, syntaxe vérifiée. Premier lancement par l'utilisateur, une station, 2 jours ; ce qu'il faut comparer : le CSV obtenu contre un export « advanced » déjà reçu pour la même plage (colonnes, fuseau UTC, nombre de lignes).
- Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (`acquisition_unit()` du script reprend la règle MER* / ME2S* de `app/base/models.py:268`), le dire.
- Combien de stations ont des images `DIFF`, et à quelle cadence.
- Joignabilité de la base depuis WSL (un test `nc -z` fait par l'utilisateur, hôte lu dans `.env` sans l'afficher).