- read-event: map and index first, then the card of close events only, then their data with the reading tools; never all cards at once. Diagnostic agent, critiquer-lot and builder point to it; the index header too. Signature length: about 250 characters, a guideline. - "Cas" becomes "event": events/E-xxx/event.md, skills new-event, review-event, anonymize-event. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
10 KiB
Données en masse et boucle Claude : ce qui existe et ce qu'on recommande
Étude du 2026-10-23, en lecture seule dans ~/monitoring-dashboard-displacement (branche displacement ; depuis le 2026-10-24, l'application de référence est ~/monitoring-dashboard, les autres dossiers ne sont que des branches, à ignorer ; doc dans CLAUDE.md et docs/diagnostics/). Rien lancé, aucun secret lu ; les variables d'environnement ne sont citées que par leur nom.
Recommandation
Option A, avec un seul script (extraction/pomper.py, essayé le 2026-10-26) : il réutilise les lectures de l'appli, ouvre un moteur PostgreSQL en lecture seule (comme scripts/domain_diagnostics.py, déjà lancé avec succès dans le container le 2026-10-21) et écrit, un fichier par jour, les métriques système (data/<STATION>/metrics/<STATION>_<métrique>_….csv, le format du téléchargement de la page System, que lit common.stations), data/<STATION>/displacement/…_advanced_….csv et data/<STATION>/images/…jpg, les formats que agent-tools/donnees.py (trouver, heure_image) lit déjà (point 43 du plan). B n'est pas une autre solution : c'est ce même script lancé depuis WSL, si la base y est joignable (non vérifié). C (une route d'export) vient seulement si la boucle prouve sa valeur.
Ce que j'ai trouvé
D'où viennent les données
- Une base PostgreSQL/TimescaleDB, partagée avec la production, pour les mesures ; les images sont dans un stockage S3 (Garage), rangées par
measurement_uuid(docs/architecture.md:14,25,docs/database/read_paths.md:17). SQLite (configs/database.db) ne porte que l'appli : appareils, sorties, utilisateurs. - Déplacements natifs :
AcquisitionUnit.get_datapoints(app/aimsight_database.py:1096) fusionné aux états à 1 min parbuild_advanced_frame(app/datapoints.py:285). Ses colonnes (app/datapoints.py:35) sont celles de l'export « advanced » reçu à la main : c'est la même fonction (endpoint parquet,app/api/v1/datapoints.py:47). Volume : ~0,3 Mo par jour et par station (NORDEND : 8 339 lignes pour 5 jours). - Horaire (« 1hour ») :
fetch_and_process_shifts(Dashboard/Dash_fun.py:1069), qui exige les sorties configurées de l'appareil, donc SQLite et le contexte Flask. Le script ne le fait pas : l'horaire se recalcule depuis l'advanced. - Images :
Measurementde typeOPTICAL_SHIFT-IRON(JPEG), viaacq_unit.measurements(app/aimsight_database.py:901) puisget_measurement_payload(uuid)(:2346, S3). L'id de mesure est celui que contiennent déjà nos noms20261013T1200Z_<id>.jpg. Poids vus dansdata/: 0,1 à 1,2 Mo l'image selon la station. - Images différentielles : elles existent, type
OPTICAL_SHIFT-DIFF(app/mqtt/receiver.py:916,app/api/v1/images.py:307,Dashboard/PatternCreation.py:46), en PNG (app/base/routes.py:465). Mais seules les stations réglées en mode « Differential » en ont ; je n'ai pas pu vérifier lesquelles, ni leur cadence. Le script les prend avec--diff, rangées à part dansimages_diff/.
Lectures déjà prêtes à réutiliser, et leur piège
Dashboard/displacement_data.py(hourly,advanced,images, lignes 22 à 64) fait exactement notre besoin, mais passe parDevice.query(SQLite, Flask-SQLAlchemy) etAIMsightDB_get_session().AIMsightDB_get_session()(app/extensions.py:94) construitDatabaseEngine, dont l'__init__lancecreate_all_tables(DDL) et un écouteur NOTIFY, sur une connexion en écriture sans délai (app/aimsight_database.py:1636,1644). LeCLAUDE.mdde l'appli l'interdit pour lire. Le script contourne : un petitReadOnlyDBemprunte àDatabaseEngineses trois méthodes de lecture (get_sensor_state_aggregate,get_common_state_aggregate,get_measurement_payload) sans l'instancier.- Il lit par numéro de série du système (
System.serial_number, commedomain_diagnostics.py), pas par nom d'appareil (les noms de fichiers reçus portent le nom d'appareil, ex. « Carrière TROYDO (B) »). Les dossiers dedata/suivent déjà le numéro de série.
Authentification
- L'appli a deux modes selon
AUTH_MODE(app/base/auth/__init__.py:10-16) : formulaire login/mot de passe (Flask, session) ou Auth0. Elle ne protège que les routes HTTP. La base et S3 sont atteintes avec un compte de service lu dans les variablesAIMSIGHT_DATABASE_*etAIMSIGHT_S3_*: pas d'authentification par utilisateur côté base. « La même authentification que l'appli » veut donc dire soit ce compte de service (le script), soit passer par HTTP. - HTTP :
requires_auth(app/base/auth/common.py:32) n'accepte qu'un cookie de session, ce que demande aussi la route parquet. Seulcan_explore_devicepasse paris_authenticated(), qui en mode Auth0 accepte un jeton Bearer (auth_auth0.py:47-51,309) ; une portéereads:explorey donne les droits de lecture admin (:54-62). Qui délivre un tel jeton, je ne le sais pas : question au collègue. - Les routes d'images de l'API
/api/v1répondent 500 aujourd'hui (note dansDashboard/displacement_data.py:76-79, décorateur decommon.py:53) ; l'export CSV (app/api/v1/measurements.py:273) lance une tâche Celery, donc exige un worker local.
Options
| Effort | Blocage | Verdict | |
|---|---|---|---|
| A script dans le container | brouillon écrit, ~1 h d'essai | le container ne monte sans doute que le dépôt de l'appli (compose non lisible, non vérifié) : copier le dossier dedans, puis les fichiers dehors (2 cp) ; charge sur la base de production |
à faire |
| B depuis WSL | A + pip install (sqlalchemy, psycopg2, boto3, pandas) + les identifiants de l'appli copiés sur WSL |
la base est-elle joignable hors container ? Les docs disent que tout passe par le container (docs/diagnostics/index.md:102) ; en HTTP, il faudrait un cookie de session ou un jeton, à fournir ; secrets sur une seconde machine |
seulement si le test réseau passe |
| C route d'export | quelques jours de l'autre côté : auth par jeton sur requires_auth, correctif du décorateur, route d'images par plage (le zip en masse, measurements.py:162, n'existe que par jeton Redis posé par le Dash) |
dépend d'un tiers et de la règle « ajouter, ne pas modifier » de la branche | après A, si la boucle sert |
Taille : l'advanced se compte en Mo. Les images dominent : à l'heure, ~1 Go pour 40 jours d'une station à 1 Mo l'image, six fois plus à 10 min. Quelques centaines de Go suffisent donc largement ; la limite sera le temps de lecture de la base, pas le disque.
Précautions de l'appli à respecter (CLAUDE.md de l'appli) : requêtes bornées en temps (le script lit un jour à la fois, 60 s de délai, pause entre les jours), lecture seule, rien qui écrive ; l'utilisateur lance, Claude ne se connecte jamais. Premier essai : une station, 2 jours, on note le temps par jour ; les vieux chunks compressés de datapoint coûtent plus cher à lire, et la base est partagée avec l'ingestion : lancer hors des heures chargées.
La boucle, étape par étape
Hors ligne, dans Support-Agent, à la main de l'utilisateur (pas de LLM à chaque chargement de page, journal-du-matin.md).
- Liste : l'utilisateur donne les stations et la plage totale (par exemple 3 stations, 60 jours) ; un fichier
extraction/plan.mdles range en tranches de 3 à 5 jours. Coût : zéro. - Pompe (utilisateur, dans le container) :
pomper.pypar lots ; copie dansdata/<STATION>/. Pas de coût Claude ; reprenable. - Tri sans image : les détecteurs de
detectors/tournent sur la tranche et sortent une table d'épisodes (début, fin, étiquette, capteurs). Coût : ordinateur seul, et c'est ce qui décide la suite. - Regard de Claude, choisi : Claude ne regarde que les tranches où les détecteurs voient quelque chose ou ne voient rien malgré un signal fort (saut ou tendance de
detection-d-anomalies.md), et seulement les courbes et 4 à 8 vignettes par épisode, pas toutes les images. C'est l'étape chère : un plafond de tranches regardées par séance, fixé à l'avance. - Critique : par épisode, Claude dit s'il est d'accord (étiquette juste), en retard ou en trop (faux positif), ou s'il manque un épisode ; il écrit son verdict dans un fichier de revue de la tranche, hors de la vue de l'agent (règle de
vues-deplacements/CLAUDE.md). - Proposition : au plus deux sorties, soit un réglage chiffré d'un détecteur (seuil, durée) avec les épisodes qui changent, soit un event candidat. Les events n'entrent dans la base que sur demande de l'utilisateur (
/new-event) ; Claude propose, ne crée pas. - Rejeu : le détecteur modifié est relancé sur toutes les tranches déjà vues (gratuit, étape 3) pour vérifier qu'il ne casse rien ; seulement alors on passe à la tranche suivante.
- Arrêt : à la fin du plafond de la séance, ou quand deux tranches de suite ne donnent plus rien à corriger. Les données déjà regardées ne sont pas relues ; le fichier de revue sert de mémoire.
Ce qui reste à vérifier avant de s'y fier
- Premier lancement le 2026-10-26, NORDEND, 29 et 30/07 (numéro de série du système :
NORDEND, comme en tête des CSV de la page System ; pas le nom de l'appareil de la page Explore) : les 27 métriques de l'export reçu identiques heure par heure (last_sync: mêmes valeurs, ordre de la liste de l'heure différent ;ip_eth0en plus, vide) ; déplacements du 29/07 identiques à l'export « advanced » reçu (2 112 lignes, mêmes colonnes, mêmes valeurs) ; 48 images IRON identiques octet pour octet. Temps : 1-2 s par jour pour les métriques, 9 s pour les déplacements. Le 30/07 a d'abord dépassé le délai de 60 s, avec autant de mesures que le 29/07 (la lenteur vient de la base) ; relancé avec--delai 300: 93 s, identique à l'export reçu. Le journal sur le dossier pompé donne les mêmes événements que sur l'export reçu, aux mêmes jours ; il lui faut ses 3 jours d'historique : les pomper en plus, avant la période voulue. - Le numéro de série du système sert d'entrée ; si l'unité d'acquisition n'est pas unique (
acquisition_unit()du script reprend la règle MER* / ME2S* deapp/base/models.py:268), le dire. - Combien de stations ont des images
DIFF, et à quelle cadence : NORDEND en a (au moins une par heure ; PNG 16 bits, ~7 Mo l'une, ~160 Mo par jour à une par heure). - Joignabilité de la base depuis WSL (un test
nc -zfait par l'utilisateur, hôte lu dans.envsans l'afficher).