149 lines
11 KiB
Markdown
149 lines
11 KiB
Markdown
# Pomper les données des stations
|
|
|
|
Dans le terminal du dev container de l'appli (VS Code sur `~/monitoring-dashboard`, « Reopen in Container »), mettre à jour les stations suivies (`extraction/stations.txt`) jusqu'à maintenant :
|
|
|
|
```bash
|
|
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --images --delai 300); chown -R 1000:1000 /workspaces/Support-Agent/data
|
|
```
|
|
|
|
- Chaque station repart de son dernier jour pompé (repompé, il était peut-être incomplet) ; une station absente de `data/` reçoit les 30 derniers jours. Ajouter une station : une ligne dans `extraction/stations.txt`.
|
|
|
|
Une plage choisie (historique, jour en échec) :
|
|
|
|
```bash
|
|
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du <DEBUT> --au <FIN> --images --delai 300 <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data
|
|
```
|
|
|
|
- `<SERIE>` : numéro de série du système, celui de l'URL de la page System (`/explore/system/<SERIE>`), par exemple `NORDEND` ; plusieurs stations : `<SERIE1> <SERIE2>`.
|
|
- `<DEBUT>`, `<FIN>` : jours UTC, `AAAA-MM-JJ`, `<FIN>` exclu ; commencer 3 jours avant la période voulue (historique du journal). Le jour en cours est pompé tel qu'il est ; la commande sans dates le remplace ensuite.
|
|
- Sortie : `data/<SERIE>/` (`metrics/`, `displacement/`, `camera/`, `images/`), hors de git (D-065) ; tous les outils et `/events-learner` y lisent.
|
|
- Options : `--diff` ajoute les images différentielles dans `images_diff/` (PNG 16 bits, ~7 Mo l'une contre ~1 Mo en JPG, ~160 Mo par jour ; ignorées par les outils de lecture) ; `--every 10` une image toutes les 10 min (`0` : toutes) ; sans `--images`, pas d'images.
|
|
- Relancer la même commande ne récupère que ce qui manque (jour en échec, plage élargie, option ajoutée).
|
|
|
|
Détails : `extraction/README.md`.
|
|
|
|
# Étiqueter des données (labeling)
|
|
|
|
```bash
|
|
python3 labeling/labeling.py
|
|
```
|
|
|
|
Choisir la station et les dates, puis Analyse. Glisser sur le plot zoome (double clic : tout revoir) ; glisser sur la barre dessous sélectionne une plage ; écrire ce qu'on voit, au besoin choisir une famille (menu Category, `labeling/familles.md`, D-109), puis Add, qui écrit aussitôt une ligne dans `labeling/manual/<STATION>.jsonl`. Le menu Labels montre, au choix, ces étiquettes (`manual`) ou celles de l'étiqueteur (`auto`, `labeling/auto/<STATION>.jsonl`) ; Add, Save et Delete agissent sur celles qu'il montre. Un clic sur la barre d'une étiquette l'affiche dessous : modifier le texte, la famille ou les bornes (UTC), puis Save, ou la retirer par Delete. Au survol d'une courbe : le capteur, sa valeur et l'heure. Si le code de l'outil change alors que son serveur tourne (port 8767) : `pkill -f labeling/labeling.py`.
|
|
|
|
Étiquettes automatiques (D-106) : dans une conversation, `@etiqueteur data/<STATION> du <début> au <fin>` (UTC) ; ses étiquettes dans `labeling/auto/<STATION>.jsonl`, seules gardées ; son analyse, ses figures et ses scripts dans `out/etiqueteur/<STATION>_<début du lot>/`, hors de git.
|
|
|
|
Les events validés ont aussi leurs étiquettes, dans le fichier de leur station, au même format que les autres (D-100).
|
|
|
|
Dans le texte, dire la cause et comment on l'a sue (quel plot, quel signe). Étiqueter aussi les cas trompeurs, qui ressemblent à un problème sans en être un : ils donnent les faux amis (point 69 du plan). Le fichier se commite comme le reste (`push.sh`).
|
|
|
|
# Revoir ses étiquettes (/review-labels)
|
|
|
|
Dans une conversation Claude Code : `/review-labels <STATION>`. Claude prend les étiquettes sans `revue` dans l'ordre chronologique, une à la fois : il la confronte aux données, aux autres étiquettes et à la documentation, la présente avec un texte proposé, et attend la réponse avant la suivante. Une étiquette validée ou corrigée reçoit `revue` ; modifier son texte dans l'outil le retire (D-101, D-103).
|
|
|
|
# Apprendre des étiquettes (labels-learner)
|
|
|
|
Dans Claude Code, à la racine du dépôt :
|
|
|
|
```
|
|
/labels-learner perte de référence
|
|
```
|
|
|
|
Claude propose les étiquettes de `labeling/` qui parlent de ce phénomène (au plus 5) ; confirmer ou corriger la liste. L'analyste les mesure dans les données et écrit `labeling/lecons/<date>_<phénomène>/lecon.md` ; Claude pose ses questions, répondre dans la conversation (« je ne sais pas » compte) ; il y a au plus trois tours. Quand l'analyste a compris, le documentaliste fait entrer ses conclusions dans la chaîne de mesure, la carte des événements ou `lire-les-donnees` ; relire le diff, puis Commiter, Corriger ou Plus tard (D-099).
|
|
|
|
# Compléter les métriques de qualité d'une caméra (optical_emulator)
|
|
|
|
Les anciennes caméras n'ont pas les six métriques de qualité (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`) dans leurs déplacements. `~/optical_emulator` les recalcule à partir des images DIFF, en rejouant sur CPU le calcul du GPU des caméras récentes.
|
|
|
|
1. Dans le terminal du dev container de l'appli, pomper les images DIFF (une par mesure de 15 min), puis extraire les fenêtres des capteurs et les propriétés des images DIFF (lecture seule) :
|
|
|
|
```bash
|
|
(set -a && . ./.env && set +a && python3 /workspaces/Support-Agent/extraction/pomper.py --du <DEBUT> --au <FIN> --diff --every 15 <SERIE>); chown -R 1000:1000 /workspaces/Support-Agent/data
|
|
(set -a && . ./.env && set +a && python3 /workspaces/optical_emulator/extraction/capteurs.py <SERIE> --du <DEBUT> --au <FIN>); chown -R 1000:1000 /workspaces/Support-Agent/data
|
|
```
|
|
|
|
2. Dans WSL (pas dans le container), à la racine de `~/optical_emulator`, calculer :
|
|
|
|
```bash
|
|
.venv/bin/python -m emulateur.calculer <SERIE> --du <DEBUT> --au <FIN>
|
|
```
|
|
|
|
- Sortie : `data/<SERIE>/quality/<SERIE>_quality_<AAAAMMJJ>.csv`, une ligne par image DIFF et par capteur actif, avec :
|
|
- les six métriques, en unités de l'image DIFF ;
|
|
- `stacking`, `exposition`, `gain` de l'image ;
|
|
- `rotation`, la rotation appliquée à l'image ;
|
|
- `flag` : `vide` (pas de cible nette) ou `bord` (cible décentrée).
|
|
|
|
Jointure avec `displacement/` sur `time_utc` et `sensor_name`.
|
|
- La rotation de l'image est détectée (NADELHORN : 180°) ; si elle est ambiguë, la commande s'arrête : `--rotation 0|90|180|270`.
|
|
- Les capteurs archivés sont ignorés, sauf avec `--archives`. Un jour déjà écrit est sauté, sauf avec `--force`.
|
|
- Vérifier l'émulateur sur une caméra récente (métriques déjà dans `displacement/`, NADELHORN par défaut) : `.venv/bin/python -m emulateur.valider [<SERIE>]`, qui écrit `out/validation_<SERIE>.md`.
|
|
- Dans Claude Code, à la racine de `~/optical_emulator` : `/calculer <SERIE> [<DEBUT>] [<FIN>]` et `/valider [<SERIE>]`.
|
|
|
|
Détails : `~/optical_emulator/CLAUDE.md` et `~/optical_emulator/emulateur/README.md`.
|
|
|
|
# Voir les détecteurs du journal (page des détecteurs)
|
|
|
|
Les détecteurs seuls sur une station et une plage, sans boucle ni analyste (rien n'est modifié ni commité). Le développement de la page est dans `detectors-view/` ; `/events-learner` (page de fin de séance) et `/review-event` la reprennent.
|
|
|
|
```bash
|
|
python3 detectors-view/detecteurs.py data/<SERIE> --du <DEBUT> --au <FIN>
|
|
```
|
|
|
|
- `<FIN>` exclu ; sans dates, toute la période du dossier. La plage est classée avec ses 3 jours d'avant, comme un lot.
|
|
- Page `out/detecteurs_<SERIE>_<DEBUT>_<FIN>.html`, ouverte seule : `corr_x` et `corr_y` de tous les capteurs, une ligne par catégorie (survol : capteurs et phrase), puis la liste des événements.
|
|
- `--sans-ouvrir` : écrit la page sans l'ouvrir.
|
|
|
|
Toutes les stations de `data/` d'un coup, chacune sur sa plage (une page ouverte par station ; `--sans-ouvrir` passe aux commandes) :
|
|
|
|
```bash
|
|
./detectors-view/run-detectors.sh
|
|
```
|
|
|
|
# Améliorer les détecteurs (events-learner)
|
|
|
|
D'abord, étiqueter le lot (D-112) : `@etiqueteur data/<SERIE> du <DEBUT> au <FIN>`, puis relire ses étiquettes (`labeling/auto/<SERIE>.jsonl`, menu Labels de l'outil d'étiquetage). Puis, dans une session Claude Code neuve, **en mode auto**, à la racine de Support-Agent (pas dans le dev container), une fois les déplacements **et les images** pompés :
|
|
|
|
```
|
|
/events-learner data/<SERIE> --du <DEBUT> --au <FIN> --ameliorer
|
|
```
|
|
|
|
- `--ameliorer` (facultatif) : en fin de séance, l'améliorateur corrige le processus d'après les difficultés relevées ; l'enlever pour une séance sans correction.
|
|
- `<DEBUT>`, `<FIN>` : jours UTC, `AAAA-MM-JJ`, `<FIN>` exclu (la plage s'arrête à `<FIN>` 00:00). La plage est le lot, sans découpe : sa longueur se choisit par les dates (4 jours : `--du 2026-09-01 --au 2026-09-05`), D-072.
|
|
- Sans `--du` ni `--au` : toute la période du dossier, en un lot. Le lot est classé avec ses 3 jours d'avant : les pomper aussi.
|
|
- Le modèle et l'effort choisis pour la session valent pour tous ses agents (D-063).
|
|
- La séance s'arrête d'emblée si le lot n'a aucune étiquette dans `labeling/auto/<SERIE>.jsonl` ; les étiquettes sont la vérité de la séance, elle ne les modifie pas.
|
|
- La séance tourne seule, sans question, à lancer sur `master`, où elle commite directement (D-070), un commit par étape : score et benchmark, detectors-critic (les détecteurs face aux étiquettes), puis detectors-upgrader et detectors-control si la critique a des suggestions, puis le releveur, qui note les difficultés dans `docs/ameliorations-processus.md` (rien à demander). Avec `--ameliorer`, l'améliorateur corrige ensuite le skill `/events-learner` et ses agents d'après ces relevés et marque les entrées **traité** ; ce qui sort de son périmètre (outils de lecture, détecteurs) ou change ce que fait la boucle reste à traiter à la main (D-071). Les fichiers modifiés et non commités restent sans être commités.
|
|
- Bilan dans `events-learner/<séance>_<SERIE>/bilan.md`. Ensuite : `git revert` des commits de la séance qu'on ne garde pas (la base de la séance est dans le bilan).
|
|
- À la fin, la page `out/events-learner_<séance>_<SERIE>.html` s'ouvre (D-066) : la page des détecteurs (`detectors-view/detecteurs.py`, ci-dessus) sur la plage, images et timelapse compris ; dessous les courbes, famille par famille, les étiquettes (bleu) face aux détecteurs (orange) ; le score de la séance (par famille et par instant) et le benchmark.
|
|
- Le benchmark (D-069) : les détecteurs face au diagnostic gardé dans chaque event de la base (`events/E-*/etiquettes.json`), lancé au début du lot et après chaque modification ; chaque passage s'ajoute à `vues-deplacements/benchmark/historique.csv`, avec la version des détecteurs.
|
|
|
|
Le score d'un lot, et la page d'une séance :
|
|
|
|
```bash
|
|
python3 .claude/skills/events-learner/score.py data/<SERIE> --du <DEBUT> --au <FIN>
|
|
```
|
|
|
|
```bash
|
|
python3 .claude/skills/events-learner/comparaison.py data/<SERIE> events-learner/<séance>_<SERIE> --du <DEBUT> --au <FIN>
|
|
```
|
|
|
|
Lancer le benchmark à la main (sans rien écrire dans l'historique) :
|
|
|
|
```bash
|
|
python3 .claude/skills/events-learner/benchmark.py
|
|
```
|
|
|
|
Détails : `.claude/skills/events-learner/SKILL.md`.
|
|
|
|
# Revoir les events appris par la boucle
|
|
|
|
Dans une conversation Claude Code, sur `master` :
|
|
|
|
```
|
|
/review-event [E-xxx ...]
|
|
```
|
|
|
|
- Sans argument, tous les events dont la fiche dit `non revalidé par l'expert`. L'agent `revue` présente chacun (station et capteurs sous leurs vrais noms, séance d'origine, diagnostic proposé, figures, points à trancher) dans une page web, `out/review-event/E-xxx.html`, ouverte seule : sa présentation, la page des détecteurs sur la plage, la fiche, la critique du lot d'origine et toutes les figures ; on répond dans la conversation : valider, corriger (en clair), rejeter ou passer. Chaque event validé ou rejeté est commité à part (D-075).
|
|
|
|
Détails : `.claude/skills/review-event/SKILL.md`.
|