# Pomper les données des stations Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container »), mettre à jour les stations suivies (`extraction/stations.txt`) jusqu'à maintenant : ```bash (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images --delai 300); chown -R 1000:1000 /workspaces/Support-Agent/data ``` - Chaque station repart de son dernier jour pompé (repompé, il était peut-être incomplet) ; une station absente de `data/` reçoit les 30 derniers jours. Ajouter une station : une ligne dans `extraction/stations.txt`. Une plage choisie (historique, jour en échec) : ```bash (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du --au --images --delai 300 ); chown -R 1000:1000 /workspaces/Support-Agent/data ``` - `` : numéro de série du système, celui de l'URL de la page System (`/explore/system/`), par exemple `NORDEND` ; plusieurs stations : ` `. - ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours est pompé tel qu'il est ; la commande sans dates le remplace ensuite. - Sortie : `data//` (`metrics/`, `displacement/`, `camera/`, `images/`), hors de git (D-065) ; tous les outils et `/events-learner` y lisent. - Options : `--diff` ajoute les images différentielles dans `images_diff/` (PNG 16 bits, ~7 Mo l'une contre ~1 Mo en JPG, ~160 Mo par jour ; ignorées par les outils de lecture) ; `--every 10` une image toutes les 10 min (`0` : toutes) ; sans `--images`, pas d'images. - Relancer la même commande ne récupère que ce qui manque (jour en échec, plage élargie, option ajoutée). Détails : `extraction/README.md`. # Étiqueter des données (labeling) ```bash python3 labeling/labeling.py ``` Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, puis Add, qui écrit aussitôt une ligne dans `labeling/manual/.jsonl`. Le menu Labels montre, au choix, ces étiquettes (`manual`) ou celles de l'analyste (`auto`, `labeling/auto/.jsonl`) ; Add, Save et Delete agissent sur celles qu'il montre. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte ou les bornes (UTC), puis Save, ou la retirer par Delete. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`. Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100). Dans le texte, dire la cause et comment on l'a sue (quel plot, quel signe). Étiqueter aussi les cas trompeurs, qui ressemblent à un problème sans en être un : ils donnent les faux amis (point 69 du plan). Le fichier se commite comme le reste (`push.sh`). # Revoir ses étiquettes (/review-labels) Dans une conversation Claude Code : `/review-labels `. Claude prend les étiquettes sans `revue` dans l'ordre chronologique, une à la fois : il la confronte aux données, aux autres étiquettes et à la documentation, la présente avec un texte proposé, et attend la réponse avant la suivante. Une étiquette validée ou corrigée reçoit `revue` ; modifier son texte dans l'outil le retire (D-101, D-103). # Apprendre des étiquettes (labels-learner) Dans Claude Code, à la racine du dépôt : ``` /labels-learner perte de référence ``` Claude propose les étiquettes de `labeling/` qui parlent de ce phénomène (au plus 5) ; confirmer ou corriger la liste. L'analyste les mesure dans les données et écrit `labeling/lecons/_/lecon.md` ; Claude pose ses questions, répondre dans la conversation (« je ne sais pas » compte) ; il y a au plus trois tours. Quand l'analyste a compris, le documentaliste fait entrer ses conclusions dans la chaîne de mesure, la carte des événements ou `lire-les-donnees` ; relire le diff, puis Commiter, Corriger ou Plus tard (D-099). # Compléter les métriques de qualité d'une caméra (optical_emulator) Les anciennes caméras n'ont pas les six métriques de qualité (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) dans leurs déplacements. `~/optical_emulator` les recalcule à partir des images DIFF, en rejouant sur CPU le calcul du GPU des caméras récentes. 1. Dans le terminal du dev container de l'appli, pomper les images DIFF (une par mesure de 15 min), puis extraire les fenêtres des capteurs et les propriétés des images DIFF (lecture seule) : ```bash (set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du --au --diff --every 15 ); chown -R 1000:1000 /workspaces/Support-Agent/data (set -a && . ./.env && set +a && python3 /workspaces/optical_emulator/extraction/capteurs.py --du --au ); chown -R 1000:1000 /workspaces/Support-Agent/data ``` 2. Dans WSL (pas dans le container), à la racine de `~/optical_emulator`, calculer : ```bash .venv/bin/python -m emulateur.calculer --du --au ``` - Sortie : `data//quality/_quality_.csv`, une ligne par image DIFF et par capteur actif, avec : - les six métriques, en unités de l'image DIFF ; - `stacking`, `exposition`, `gain` de l'image ; - `rotation`, la rotation appliquée à l'image ; - `flag` : `vide` (pas de cible nette) ou `bord` (cible décentrée). Jointure avec `displacement/` sur `time_utc` et `sensor_name`. - La rotation de l'image est détectée (NADELHORN : 180°) ; si elle est ambiguë, la commande s'arrête : `--rotation 0|90|180|270`. - Les capteurs archivés sont ignorés, sauf avec `--archives`. Un jour déjà écrit est sauté, sauf avec `--force`. - Vérifier l'émulateur sur une caméra récente (métriques déjà dans `displacement/`, NADELHORN par défaut) : `.venv/bin/python -m emulateur.valider []`, qui écrit `out/validation_.md`. - Dans Claude Code, à la racine de `~/optical_emulator` : `/calculer [] []` et `/valider []`. Détails : `~/optical_emulator/CLAUDE.md` et `~/optical_emulator/emulateur/README.md`. # Voir les détecteurs du journal (page des détecteurs) Les détecteurs seuls sur une station et une plage, sans boucle ni analyste (rien n'est modifié ni commité). Le développement de la page est dans `detectors-view/` ; `/events-learner` (page de fin de séance) et `/review-event` la reprennent. ```bash python3 detectors-view/detecteurs.py data/ --du --au ``` - `` exclu ; sans dates, toute la période du dossier. La plage est classée avec ses 3 jours d'avant, comme un lot. - Page `out/detecteurs___.html`, ouverte seule : `corr_x` et `corr_y` de tous les capteurs, une ligne par catégorie (survol : capteurs et phrase), puis la liste des événements. - `--sans-ouvrir` : écrit la page sans l'ouvrir. Toutes les stations de `data/` d'un coup, chacune sur sa plage (une page ouverte par station ; `--sans-ouvrir` passe aux commandes) : ```bash ./detectors-view/run-detectors.sh ``` # Améliorer les détecteurs, la base d'events et les outils de lecture (events-learner) Dans une session Claude Code neuve, **en mode auto**, à la racine de Support-Agent (pas dans le dev container), une fois les déplacements **et les images** pompés : ``` /events-learner data/ --du --au --ameliorer ``` - `--ameliorer` (facultatif) : en fin de séance, l'améliorateur corrige le processus d'après les difficultés relevées ; l'enlever pour une séance sans correction. - ``, `` : jours UTC, `AAAA-MM-JJ`, `` exclu (la plage s'arrête à `` 00:00). La plage est le lot, sans découpe : sa longueur se choisit par les dates (4 jours : `--du 2026-09-01 --au 2026-09-05`), D-072. - Sans `--du` ni `--au` : toute la période du dossier, en un lot. Le lot est classé avec ses 3 jours d'avant : les pomper aussi. - Le modèle et l'effort choisis pour la session valent pour tous ses agents (D-063). - La séance tourne seule, sans question, à lancer sur `master`, où elle commite directement (D-070), un commit par étape : analyste, tool-builder (les outils de lecture dont l'analyste s'est servi, optimisés ou ajoutés, D-097), detectors-critic, puis detectors-upgrader et detectors-control si la critique a des suggestions, event-builder à chaque lot, puis le releveur, qui note les difficultés dans `docs/ameliorations-processus.md` (rien à demander). Avec `--ameliorer`, l'améliorateur corrige ensuite le skill `/events-learner` et ses agents d'après ces relevés et marque les entrées **traité** ; ce qui sort de son périmètre (outils de lecture, détecteurs) ou change ce que fait la boucle reste à traiter à la main (D-071). Les fichiers modifiés et non commités restent sans être commités. - Bilan dans `events-learner/_/bilan.md` ; les étiquettes de l'analyste (`lot-*/etiquettes.json`) sont à garder même si on annule une modification. Ensuite : `git revert` des commits de la séance qu'on ne garde pas (la base de la séance est dans le bilan). - À la fin, la page `out/events-learner__.html` s'ouvre (D-066) : la page des détecteurs (`detectors-view/detecteurs.py`, ci-dessus) sur la plage, images et timelapse compris ; dessous les courbes, catégorie par catégorie, l'analyste (bleu) face aux détecteurs (orange) ; le score de la séance et le benchmark. - Le benchmark (D-069) : les détecteurs face au diagnostic gardé dans chaque event de la base (`events/E-*/etiquettes.json`), lancé au début de chaque lot, après chaque modification et en fin de séance ; chaque passage s'ajoute à `vues-deplacements/benchmark/historique.csv`, avec la version des détecteurs. Refaire la page d'une séance : ```bash python3 .claude/skills/events-learner/comparaison.py data/ events-learner/_ ``` Lancer le benchmark à la main (sans rien écrire dans l'historique) : ```bash python3 .claude/skills/events-learner/benchmark.py ``` Détails : `.claude/skills/events-learner/SKILL.md`. # Revoir les events appris par la boucle Dans une conversation Claude Code, sur `master` : ``` /review-event [E-xxx ...] ``` - Sans argument, tous les events dont la fiche dit `non revalidé par l'expert`. L'agent `revue` présente chacun (station et capteurs sous leurs vrais noms, séance d'origine, diagnostic proposé, figures, points à trancher) dans une page web, `out/review-event/E-xxx.html`, ouverte seule : sa présentation, la page des détecteurs sur la plage, la fiche, la critique du lot d'origine et toutes les figures ; on répond dans la conversation : valider, corriger (en clair), rejeter ou passer. Chaque event validé ou rejeté est commité à part (D-075). Détails : `.claude/skills/review-event/SKILL.md`.