Copie des agents de Support-Agent/API (sortie mail)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-09 08:35:00 +01:00
1 parent cbaab49d3f
commit 5e3faa47b4
49 files changed
+6662

No files matched your search

+7
View File
@@ -1 +1,8 @@
.superpowers/
.venv/
__pycache__/
.env
cases/
instance-de-test/config.toml
instance-de-test/uploads/
instance-de-test/.env
+5
View File
@@ -0,0 +1,5 @@
.venv/
.env
__pycache__/
tools/typst/documents/
tools/typst/build/
+22
View File
@@ -0,0 +1,22 @@
# Provenance des copies
`API/` est autonome : ce qu'il prend au projet Support-Agent y est **copié**, pas lié. Chaque copie vieillit (les détecteurs évoluent par `/detector-learner`, le savoir par les revues d'étiquettes).
**Rafraîchir une copie** : la recopier depuis sa source, refaire l'adaptation notée, mettre à jour sa ligne (commit, date). À faire à la main, quand Marc le décide.
| Source (projet Support-Agent) | Copie | Commit | Date | Adaptation |
|---|---|---|---|---|
| `agent-tools/*.py` | `tools/agent-tools/` | eb61d12 | 2026-11-05 | aucune |
| `detectors/*.py` (sans `archive/`) | `tools/detectors/` | eb61d12 | 2026-11-05 | aucune (frère de `agent-tools/`, chemins relatifs inchangés) ; `tools/journal.py` appelle `evenements(mesures, fin, dossier)` (contrat de D-134) |
| `.claude/skills/presentation/figure-y.py` | `tools/figures/figure-y.py` | fbb84bf | 2026-11-05 | chemin vers `agent-tools` : `../agent-tools` |
| `.claude/skills/presentation/image-de-la-cause.py` | `tools/figures/image-de-la-cause.py` | fbb84bf | 2026-11-05 | aucune |
| `~/docfactory-presentation/brand/` | `tools/typst/brand/` | VERSION 1.1.0 | 2026-11-05 | fichiers `:Zone.Identifier` retirés |
| `labeling/familles.md`, `labeling/carte-des-etiquettes.md` | `knowledge/analyste/` | fbb84bf | 2026-11-05 | aucune |
| `labeling/connaissances/{chaine-de-mesure,colonnes-des-deplacements,cycle-thermique,images-de-la-camera,les-trous,metriques-de-qualite}.md` | `knowledge/analyste/` | fbb84bf | 2026-11-05 | aucune |
| `.claude/skills/lire-les-donnees/SKILL.md` | `knowledge/analyste/lire-les-donnees.md` | fbb84bf | 2026-11-05 | sans en-tête ; une note : commandes → outil `outil_de_lecture` |
| `agent-diagnostic/instructions.md` §5 | `knowledge/analyste/regles-de-preuve.md` | fbb84bf | 2026-11-05 | §5 seul |
| `.claude/skills/presentation/SKILL.md` | `knowledge/support/presentation.md` | fbb84bf | 2026-11-05 | sans en-tête ; commandes → outils ; « par mois » → la plage de la question ; §3 réécrit pour `compiler` et `voir_page`, §4 retiré |
| `.claude/skills/presentation/modele.typ` | `knowledge/support/modele.typ` | fbb84bf | 2026-11-05 | aucune |
| `.claude/skills/support/SKILL.md` §5 | `knowledge/support/redaction.md` | fbb84bf | 2026-11-05 | §5 seul ; une note : sortie mail, le corps et les pièces passent par `ecrire_mail` ; sortie PDF, vaut pour les textes de la présentation |
- `.claude/skills/presentation/image-de-la-cause.py` → `tools/figures/` : le nom des cibles en jaune sur fond sombre, seulement celles de `--cibles` (x, y de l'export), titre sans nom de station (2026-11-05).
- `Support-Agent/API/` → `agents/` de `Support-AI`, commit 94e0f0b, 2026-11-09 : sans `tools/typst/` (sortie PDF inutilisée), `cases/`, `docs/`. Les lignes ci-dessus restent vraies, chemins relatifs à `agents/`.
+39
View File
@@ -0,0 +1,39 @@
# API : le support par l'API Claude
Sous-projet autonome (design : `docs/2026-11-05-support-api-design.md`, plan : `docs/2026-11-05-support-api-plan.md`). Une page locale `support` : Marc colle le mail d'un client ; deux clients de l'API Claude, le **support** et l'**analyste**, produisent, au choix de Marc, un PDF de diapositives ou un mail de réponse avec ses pièces jointes (D-141), qui répond à sa question, et Marc les fait corriger jusqu'à une version qu'il peut envoyer.
Rien ici ne dépend du reste du dépôt, sauf les données (`AIMSIGHT_DATA`, défaut `../data`). Les copies et leur origine : `PROVENANCE.md`.
## Installer
```bash
python3 -m venv API/.venv && API/.venv/bin/pip install -r API/requirements.txt
```
Sur le poste : Typst ≥ 0.14 (`~/.local/bin/typst`), `pdftotext` et `pdftoppm` (poppler).
Les clés, dans `API/.env` (hors de git), une par ligne `CLE=valeur` :
```
ANTHROPIC_API_KEY=...
LANGSMITH_API_KEY=...
LANGSMITH_TRACING=true
LANGSMITH_ENDPOINT=https://eu.api.smith.langchain.com
LANGSMITH_PROJECT=Support
LIBREDESK_URL=https://... # facultatif : les mails depuis LibreDesk (app/serveur/libredesk.py)
LIBREDESK_API_KEY=... # Admin → Teammates → Agents → Generate API key
LIBREDESK_API_SECRET=...
```
## La web app
La page qui pilote ces agents est dans `app/` à la racine du dépôt (D-138) : sa doc, `app/README.md`.
## Les dossiers
- `docs/` : le design et le plan.
- `prompts/` : les prompts système du support et de l'analyste (en balises) ; le savoir de `knowledge/` y est ajouté au chargement ; pour le support, la fin selon la sortie, `support-pdf.md` ou `support-mail.md` (sans `presentation.md` ni `modele.typ`).
- `knowledge/` : ce que lisent les agents, copié du projet (pour l'analyste, les cartes dans le prompt, le reste à la demande par `lire_document`, D-136) : `analyste/` (familles, carte des étiquettes, connaissances, outils de lecture, règles de preuve), `support/` (présentation, modèle Typst, rédaction).
- `tools/` : copies des outils de lecture (`agent-tools/`), des détecteurs (`detectors/`), des figures (`figures/`), de la fabrique Typst (`typst/brand/`) ; `journal.py`, les événements des détecteurs avec leurs capteurs ; `stabilite.py`, la médiane de corr_y jour par jour et son étendue, par cible.
- `support/` : les deux agents (`agent.py`, la séance `seance.py`), leurs outils, `check.py` (vérifications : `API/.venv/bin/python API/support/check.py`).
- `cases/` : une séance par dossier : le mail, le contexte, les deux historiques, les figures, le source Typst, les PDF par version. Contient des mails et des images de clients.
@@ -0,0 +1,611 @@
# Carte des étiquettes
- **Pour l'etiqueteur, l'analyste et les relecteurs** : les phénomènes étiquetés, rangés par phénomène et non par station ; ce qu'on voit, comment la cause a été sue, ce qu'on en conclut, et les étiquettes qui le montrent.
- **Sources**, au 2026-11-05 : les 23 étiquettes revues de l'expert (`labeling/manual/`, 6 stations) et ses mots priment ; les 991 étiquettes automatiques revues (`labeling/auto/`, 11 stations) ; les 13 events (`events/`), chacun rattaché à sa station par ses données ; les cas de `labeling/connaissances/`. Clé d'une étiquette : `STATION JJ.MM HH:MM` (son début, UTC), le capteur ou la famille entre parenthèses quand deux étiquettes partagent un début ; une même clé peut désigner une étiquette de l'expert et une automatique refaite au même instant. `[E-xxx]` : un event.
- **Dérivée** : refaite en entier par `/labels-map` ; elle ne se corrige pas à la main : une correction se fait dans l'étiquette.
- **L'autre carte**, `events/carte-des-evenements.md`, recense ce qui peut arriver, vu ou non ; celle-ci ne dit que ce qui a été étiqueté. Qualitative : quantifier est le travail de `/labels-learner`.
<!-- sommaire -->
## Sommaire
Lire le sommaire et les sections 2 à 4 en entier, puis la fiche de chaque phénomène rencontré (Read avec `offset` à sa ligne).
- **A. Pas de mesure**
- Un trou commun à plusieurs stations (l. 71) : les mesures manquent aux mêmes minutes sur toutes les stations qui mesurent à ce moment ;
- La station tourne, la mesure manque (l. 81) : la station est alimentée et communique, mais une mesure n'est pas faite ou pas enregistrée ;
- La station se tait seule, longtemps (l. 91) : la station entière s'arrête seule, sans la signature d'un manque d'énergie : ni mesures, ni images, ni métriques, des heures ou des jours.
- La station s'éteint faute d'énergie (l. 100) : la batterie ne tient pas la nuit : la station s'éteint, puis repart avec la charge solaire.
- Coupure du secteur : la station tourne sur sa batterie (l. 110) : une station sur secteur perd son alimentation : elle s'arrête, ou repart sur sa batterie sans charge, jusqu'au retour du secteur.
- **B. La vue est gênée**
- Un passage cache les cibles le temps d'une mesure (l. 121) : quelque chose passe entre la caméra et les cibles (un train, un véhicule, des passants) et en cache entièrement une partie, une seule acquisition.
- Une cible restée sous le seuil accroche un phare, un reflet ou une autre tache (l. 135) : un passage apporte près d'une cible un point brillant ;
- Un véhicule ou un engin qui reste devant les cibles (l. 145) : un véhicule garé, un engin ou un objet reste devant une ou quelques cibles, parfois une référence, des heures ou des jours ;
- Un animal tout près de l'objectif (l. 158) : un animal passe tout près de l'objectif (l'araignée elle-même, des insectes en vol, peut-être un oiseau) ;
- Une toile d'araignée devant l'objectif (l. 168) : une toile tendue tout près de l'objectif voile une partie de la scène ;
- Une plante agitée par le vent devant une cible (l. 182) : une plante du premier plan, poussée par le vent, passe par moments devant une cible.
- Un obstacle couvre une partie de la tache (l. 191) : un obstacle, ou une trace sur la vitre, cache une part de la tache d'une cible, parfois de quelques-unes, des heures ou des semaines ;
- La vitre salie (l. 201) : après une pluie, des traces de gouttes restent sur la vitre devant l'objectif et voilent une partie de la scène, durablement.
- La pluie (l. 210) : des gouttes devant l'objectif voilent les taches pendant les heures de pluie, la nuit surtout [NIEDERHORN 01.10 04:00, NIEDERHORN 02.10 02:00], le jour aussi [JUNGFRAU 24.10 21:00].
- La visibilité baisse sur toute la scène, sans obstacle (l. 222) : toute la scène se voit moins bien, sans rien devant les cibles [JUNGFRAU 07.10 08:36].
- Une partie de la scène s'éteint la nuit (l. 239) : la nuit, une partie seulement de la scène perd sa lumière, sans obstacle : les taches lointaines [LENZSPITZE 16.10 22:25], ou quelques cibles voisines au bord du groupe [NORDEND 30.09 20:45].
- Une référence perd son éclat, sans obstacle (l. 249) : la tache d'une ou deux références faiblit et rapetisse sans rien devant, le plus souvent la nuit, puis revient seule ;
- Turbulence atmosphérique (l. 262) : des couches d'air de températures différentes troublent l'image ;
- Le soleil dans le champ ou derrière une tache (l. 272) : la lumière du soleil noie une tache : le soleil entre dans le champ [NIEDERHORN 31.10 11:00], ou il éclaire le fond d'une cible ou d'une référence, aussi clair qu'elle [NORDEND 12.08 13:30, JUNGFRAU 12.10 15:45].
- Une tache faible perdue quand la lumière manque (l. 282) : une cible dont la tache est déjà faible passe au-dessus de son seuil quand la lumière lui manque : passage de la nuit au jour [FLORIDA 01.10 07:15], ciel couvert [NORDEND 16.08 09:15], image de nuit bruitée [NORDEND 08.09 01:45].
- **C. La cible a changé**
- Une cible rejetée à toutes ses mesures (l. 293) : une cible n'est jamais acceptée, quel que soit le temps ;
- Une cible au ras du seuil, tout le lot (l. 302) : une cible vit en permanence à la limite de la détection : son `error_value` franchit sans cesse le seuil.
- Une cible rejetée chaque nuit ou chaque jour (l. 311) : une cible passe au-dessus de son seuil sous le régime ordinaire de la station (projecteur la nuit, lumière du jour), aux mêmes heures, quel que soit le temps.
- Une cible qui se dégrade, et parfois se rétablit (l. 320) : une cible qui se voyait bien se voit de plus en plus mal à partir d'une date, et ne revient pas, ou au bout de semaines.
- La configuration d'un capteur a changé (l. 330) : un capteur est reconfiguré, ou un réglage change (capteur déplacé, position de départ changée) ;
- **D. Les références**
- Une référence écartée : la base change (l. 341) : une référence se voit mal, son `error_value` dépasse le seuil, le système l'écarte.
- Deux références perdues : la caméra est aveugle (l. 355) : deux des trois références deviennent presque invisibles, et le système les écarte l'une après l'autre ;
- Une compensation sur deux références (l. 365) : la compensation ne tourne que sur deux références, la station n'en ayant que deux ou en ayant perdu une pour de bon ;
- La base change sans référence perdue (l. 375) : toutes les références restent dans la compensation, mais l'écart entre elles change un peu ;
- **E. La caméra et son support**
- La caméra bouge par effet thermique (l. 386) : l'objectif ou le support de la caméra se dilate et se contracte avec la température ;
- La caméra s'écarte aux baisses de la température de son boîtier, sans cycle du jour (l. 406) : à l'abri, dans un bâtiment ou un tunnel, la caméra n'a pas de cycle du jour ;
- Un pas de la caméra que la compensation n'efface pas (l. 416) : la caméra bouge d'un coup ;
- La caméra s'incline peu à peu (l. 425) : la caméra pique du nez peu à peu, des semaines, et la compensation de ce mouvement est incomplète : elle corrige mieux certaines cibles que d'autres [BREITHORN 03.10 00:00, d'après l'expert] ;
- **F. L'ouvrage a bougé**
- L'ouvrage se dilate et se contracte avec la température (l. 437) : un ouvrage qui chauffe et refroidit bouge, normalement pour son genre ;
- Une montée de plusieurs jours avec la baisse de la température (l. 447) : la température baisse sans cesse pendant des jours, ce qui casse les cycles thermiques ;
- Un mouvement réel de l'ouvrage (l. 456) : l'ouvrage bouge vraiment, et entraîne la caméra et des références.
- Des cibles bougent lentement, seules, puis reviennent (l. 465) : une ou quelques cibles changent de position lentement, seules, des heures ou des jours, sans que la caméra bouge ni que la vue soit gênée, puis reviennent, en partie ou au-delà ;
- Une cible ou un petit groupe saute et reste décalé (l. 475) : une cible, ou quelques voisines, passent d'un coup à un autre niveau et y restent, sans que la caméra bouge ni qu'une cause se voie ;
- Un palier pris pendant une coupure des mesures (l. 485) : pendant un arrêt des mesures, des cibles changent de niveau ;
- **G. Configuration de la station**
- Des cibles jumelles de leurs références (l. 496) : un même prisme sert de cible et de référence, faute de référence possible dans cette partie du champ, parce que le système n'accepte pas encore un capteur à deux rôles.
- **2. Les règles de lecture** (l. 505)
- **3. Faux amis** (l. 538)
- **4. Le contexte des stations** (l. 559)
- **5. Écarts avec la carte des événements** (l. 578)
- **6. Ce que les étiquettes ne disent pas encore** (l. 596)
<!-- /sommaire -->
## 1. Les phénomènes
### A. Pas de mesure
#### Un trou commun à plusieurs stations
- **Ce qui se passe** : les mesures manquent aux mêmes minutes sur toutes les stations qui mesurent à ce moment ; la cause est commune et hors des stations (transmission ou réception des données), pas une coupure ni une panne de chacune ; elle n'est pas établie.
- **Ce qu'on voit** : aucune mesure pour aucun capteur, souvent sans image ; la tension est normale autour du trou ; les métriques manquent souvent aux mêmes minutes [CLARIDEN 26.10 14:30], y compris les métriques horaires des stations à cadence lente [CLARIDEN 19.10 20:45]. Une station peut tourner pendant le trou : ses entrées non envoyées s'accumulent, partent en fin de matinée, et ses mesures de la nuit manquent pourtant [JUNGFRAU 15.10 22:45]. Les courbes reprennent au niveau d'avant [BREITHORN 15.10 20:00, NEBRASKA 15.10 20:00].
- **Au fil du temps** : d'une mesure à une heure, de jour comme de nuit. La nuit du 15 au 16.10, toutes les stations : le trou commence vers 23:00 partout, la reprise varie selon la station, la plupart en fin de matinée [JUNGFRAU 15.10 22:45, NIEDERHORN 15.10 22:00 (No data)].
- **La cause, et comment elle a été sue** : déduite de la coïncidence entre stations et de la station qui tourne pendant le trou [JUNGFRAU 15.10 22:45] ; avec deux stations seulement, « possible » [CLARIDEN 20.10 06:10, NIEDERHORN 20.10 20:00]. Les trois stations d'un même bâtiment perdent leurs données cette nuit-là comme les autres : la cause n'est pas le bâtiment [MICHIGAN 15.10 20:00].
- **Ce qu'on en conclut** : les courbes manquent ; rien à faire sur la station (pour la nuit du 15 au 16, « si cela ne se répète pas »).
- **Variantes** : un trou d'une mesure la nuit, vers 02:00, sur une paire de stations seulement, plusieurs nuits [FLORIDA 09.10 01:45, SNCF01 09.10 01:45] ; d'autres paires d'autres semaines [NORDEND 05.09 01:30, WILDSTRUBEL 05.09 02:00] ; cause commune probable, rien à faire si cela ne s'aggrave pas. L'alimentation manque en plus (voir « Coupure du secteur ») [CLARIDEN 15.10 22:45]. Au retour, des cibles reprennent à un autre niveau (voir « Un palier pris pendant une coupure ») [NIEDERHORN 15.10 22:00 (No data)]. Un trou daté par la documentation des données, les autres stations manquant au dossier [NORDEND 19.08 14:15] ; il peut ouvrir un envoi gêné, les entrées en attente s'accumulant jusqu'au lendemain matin [NORDEND 22.08 16:30].
- **Étiquettes** : JUNGFRAU 15.10 22:45, MICHIGAN 15.10 20:00, CLARIDEN 26.10 14:30, LENZSPITZE 19.10 09:05, FLORIDA 09.10 01:45, NORDEND 05.09 01:30 ; et 67 autres : NORDEND 15, SNCF01 12, FLORIDA 10, CLARIDEN 8, LENZSPITZE 8, JUNGFRAU 5, NIEDERHORN 5, WILDSTRUBEL 2, BREITHORN 1, NEBRASKA 1.
#### La station tourne, la mesure manque
- **Ce qui se passe** : la station est alimentée et communique, mais une mesure n'est pas faite ou pas enregistrée ; elle seule est touchée.
- **Ce qu'on voit** : une mesure manque pour tous les capteurs ; à cet instant la station synchronise, ou l'image existe, et la tension est normale [JUNGFRAU 05.10 06:00, NIEDERHORN 08.10 19:00, NORDEND 15.08 01:00] ; parfois l'image manque aussi, la synchronisation est là [JUNGFRAU 02.10 11:15]. Reprise sans saut.
- **Au fil du temps** : une mesure, rarement deux ou trois [NORDEND 20.08 08:00] ; plusieurs fois le même jour [JUNGFRAU 02.10 11:15, JUNGFRAU 02.10 12:00, JUNGFRAU 02.10 13:15], ou vers la même heure bien des nuits [NORDEND 19.08 01:15].
- **La cause, et comment elle a été sue** : non établie ; que la station tourne est établi par les métriques, la synchronisation ou l'image ; encore faut-il qu'aucune autre station n'ait le trou [NORDEND 19.08 01:15].
- **Ce qu'on en conclut** : rien à faire.
- **Variantes** : quelques heures sans mesure ni image, métriques et synchronisations continuant : l'acquisition s'arrête, la station communique ; à vérifier si cela se répète [NORDEND 28.08 07:45].
- **Étiquettes** : JUNGFRAU 05.10 06:00, NIEDERHORN 08.10 19:00, NORDEND 28.08 07:45, CLARIDEN 03.10 07:40, NORDEND 07.09 01:00 ; et 27 autres : NORDEND 11, JUNGFRAU 8, NIEDERHORN 7, CLARIDEN 1.
#### La station se tait seule, longtemps
- **Ce qui se passe** : la station entière s'arrête seule, sans la signature d'un manque d'énergie : ni mesures, ni images, ni métriques, des heures ou des jours.
- **Ce qu'on voit** : tout manque, sur cette station seulement ; la tension est normale juste avant et après [LENZSPITZE 23.10 23:55, CLARIDEN 03.10 17:45], ou la batterie n'était pas basse [WILDSTRUBEL 09.10 12:30] ; sans métriques d'alimentation, rien ne dit la cause [SNCF01 22.10 15:00].
- **Au fil du temps** : de quelques heures à plus de deux semaines ; entre les coupures, des mesures isolées [SNCF01 20.10 12:45, SNCF01 22.10 10:30] ; métriques et images peuvent revenir avant les mesures [WILDSTRUBEL 09.10 12:30]. Un trou jusqu'à la fin du lot n'est pas un retard de fin de fichier quand rien n'arrive les jours suivants alors que les autres stations ont leurs données [WILDSTRUBEL 31.10 20:15].
- **La cause, et comment elle a été sue** : non établie (acquisition, transmission, récupération ; station arrêtée). À la reprise, la caméra a bougé et un objet flou est tout près de l'objectif : une intervention est possible [CLARIDEN 03.10 17:45].
- **Ce qu'on en conclut** : si cela se répète, vérifier la transmission [LENZSPITZE 23.10 23:55], l'alimentation [SNCF01 22.10 15:00], ou s'adresser à l'exploitant [WILDSTRUBEL 09.10 12:30].
- **Étiquettes** : CLARIDEN 03.10 17:45, LENZSPITZE 23.10 23:55, SNCF01 22.10 15:00, WILDSTRUBEL 09.10 12:30, WILDSTRUBEL 31.10 20:15, SNCF01 20.10 12:45 ; et 4 autres : SNCF01 3, WILDSTRUBEL 1.
#### La station s'éteint faute d'énergie
- **Ce qui se passe** : la batterie ne tient pas la nuit : la station s'éteint, puis repart avec la charge solaire.
- **Ce qu'on voit** : aucune mesure, les métriques s'arrêtent avec elles ; juste avant, la batterie à son plus bas, la tension sous son niveau habituel de nuit [WILDSTRUBEL 01.10 03:15] ; une batterie qui cesse de baisser pendant le trou [WILDSTRUBEL 02.10 20:15]. Au petit matin, quelques mesures isolées, avec des cibles rejetées [WILDSTRUBEL 06.10 19:45], ou presque toutes, sans recalage [WILDSTRUBEL 03.10 15:30] ; à la reprise, la carte de calcul encore froide [WILDSTRUBEL 01.10 03:15].
- **Au fil du temps** : chaque nuit, de quelques heures en fin de nuit [WILDSTRUBEL 29.09 02:30] à la nuit entière, parfois dès l'après-midi [WILDSTRUBEL 07.10 13:30] ; reprise au lever du soleil.
- **La cause, et comment elle a été sue** : déduite des métriques (batterie et tension avant le trou, reprise avec la charge).
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas ; la station manque d'énergie : vérifier batterie et panneau.
- **Variantes** : une coupure de près de deux semaines commence de même ; la station repart batterie pleine, tension bien plus haute que d'habitude, comme sur une alimentation extérieure, et le tilt de la caméra n'a plus son niveau d'avant : vérifier batterie, panneau, intervention éventuelle [WILDSTRUBEL 09.09 21:45].
- **Étiquettes** : WILDSTRUBEL 01.10 03:15, WILDSTRUBEL 09.09 21:45, WILDSTRUBEL 03.10 15:30, WILDSTRUBEL 07.10 13:30, WILDSTRUBEL 29.09 02:30, WILDSTRUBEL 06.10 19:45 ; et 6 autres : WILDSTRUBEL 6 (une station).
#### Coupure du secteur : la station tourne sur sa batterie
- **Ce qui se passe** : une station sur secteur perd son alimentation : elle s'arrête, ou repart sur sa batterie sans charge, jusqu'au retour du secteur.
- **Ce qu'on voit** : pendant le trou, ni mesures, ni images, ni métriques ; à la reprise, la batterie entamée et la tension bien sous son niveau habituel, sans charge, des heures [CLARIDEN 18.10 13:45] ; puis la charge reprend [CLARIDEN 15.10 22:45].
- **Au fil du temps** : une dizaine d'heures sans données [CLARIDEN 18.10 13:45] ; ou une nuit, dans le trou commun à toutes les stations, puis la batterie seule jusqu'en début d'après-midi [CLARIDEN 15.10 22:45].
- **La cause, et comment elle a été sue** : déduite des métriques, face au niveau habituel de la station, même sans passer sous le coude de la batterie.
- **Ce qu'on en conclut** : si cela se répète, vérifier l'alimentation du chantier [CLARIDEN 15.10 22:45].
- **Étiquettes** : CLARIDEN 18.10 13:45, CLARIDEN 15.10 22:45 (une station).
### B. La vue est gênée
#### Un passage cache les cibles le temps d'une mesure
- **Ce qui se passe** : quelque chose passe entre la caméra et les cibles (un train, un véhicule, des passants) et en cache entièrement une partie, une seule acquisition.
- **Ce qu'on voit** :
- cibles : l'`error_value` des cibles cachées monte presque à 1, leurs mesures sont rejetées et retirées de l'affichage ; quelques cibles restées sous le seuil gardent un petit saut [NIEDERHORN 30.09 21:00, NIEDERHORN 01.10 11:00], ou un point faux (voir « Une cible restée sous le seuil accroche… ») [LENZSPITZE 17.10 05:00] ;
- références : intactes quand le passage n'est que devant les cibles [NIEDERHORN 30.09 21:00, NIEDERHORN 01.10 11:00] ; touchées quand il passe devant elles : une seule écartée et toute la base saute [JUNGFRAU 06.10 05:45, BREITHORN 07.10 08:00] ; à moitié cachée sans être écartée, elle fausse aussi la base [BREITHORN 10.10 00:00] ; aucune retenue, et la caméra n'est pas recalée : les points de l'instant n'ont pas de sens [WILDSTRUBEL 03.09 08:00, WILDSTRUBEL 15.10 07:45, SNCF01 05.10 15:45] ;
- qualité d'image, sur une caméra récente : le flux des cibles cachées tombe presque à rien, les autres gardent leur lumière ; la liste des flux coupés est celle des cibles cachées [LENZSPITZE 17.10 05:00, LENZSPITZE 16.10 07:30] ;
- images : un train, flou de mouvement, numéros des wagons lisibles [NIEDERHORN 01.10 20:00, NIEDERHORN 01.10 11:00] ; à l'aube, une bande sombre à bord droit qui barre la scène [NIEDERHORN 06.10 11:00] ; la nuit, de grosses taches lumineuses [SNCF01 30.10 17:45], des phares, une plaque [WILDSTRUBEL 03.09 21:30] ; un véhicule ou des passants en transparence, en copies floues [WILDSTRUBEL 07.10 11:15, WILDSTRUBEL 07.09 14:00]. Souvent rien : pas d'image à l'instant, ou une image de la même minute où le passage n'est pas [LENZSPITZE 17.10 05:00, SNCF01 07.10 19:30].
- **Au fil du temps** : une mesure, parfois deux [WILDSTRUBEL 07.09 14:00, SNCF01 30.10 21:15] ; tout revient à la suivante ; de jour comme de nuit, souvent plusieurs fois par jour. Une cible encore rejetée seule à la mesure qui suit est la fin du même passage [WILDSTRUBEL 07.10 11:45].
- **La cause, et comment elle a été sue** : vue sur l'image de l'heure [NIEDERHORN 30.09 21:00, NIEDERHORN 01.10 11:00] ; sinon déduite de la signature, la même que celle des passages vus [SNCF01 07.10 19:30, LENZSPITZE 17.10 05:00] : deux références voisines perdues ensemble une seule mesure suffisent [WILDSTRUBEL 28.09 05:15, WILDSTRUBEL 30.09 10:45] ; une cible seule perd parfois sa tache sans que ce qui la cache se voie [FLORIDA 20.10 05:15].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; le point est à ignorer. « Les voies ne bougent pas » [NIEDERHORN 30.09 21:00].
- **Variantes** : un train sur la voie du fond ne cache que les cibles de gauche, parfois une seule [NIEDERHORN 03.10 09:00, NIEDERHORN 26.10 21:00] ; un passage partiel, un groupe de cibles basses [SNCF01 06.10 06:30], ou deux cibles juste au-dessus du seuil, cause non établie [SNCF01 12.10 06:30] ; tout près de la caméra, toutes les références et presque toutes les cibles rejetées [WILDSTRUBEL 03.09 08:00, WILDSTRUBEL 06.10 10:15] ; au lever, des références déjà écartées par la lumière, un passant suffit à n'en laisser aucune [WILDSTRUBEL 06.09 05:45]. Sans rien cacher : le flux reste entier, l'`error_value` d'un groupe monte et un second motif brillant apparaît, un passage à côté ou derrière les cibles, ou son reflet ; rien sur les images, qui ne sont qu'aux heures pleines, d'après l'expert [LENZSPITZE 31.10 10:50, LENZSPITZE 27.10 10:50].
- **Étiquettes** : NIEDERHORN 30.09 21:00, NIEDERHORN 01.10 11:00, JUNGFRAU 06.10 05:45 ; NIEDERHORN 01.10 20:00, SNCF01 05.10 15:45, WILDSTRUBEL 01.09 10:45, WILDSTRUBEL 07.09 14:00, LENZSPITZE 17.10 05:00, BREITHORN 07.10 08:00 ; et 135 autres : WILDSTRUBEL 73, NIEDERHORN 22, LENZSPITZE 18, SNCF01 17, BREITHORN 3, CLARIDEN 1, FLORIDA 1 ; [E-005], les trains de NIEDERHORN 30.09 21:00 et 01.10 11:00.
#### Une cible restée sous le seuil accroche un phare, un reflet ou une autre tache
- **Ce qui se passe** : un passage apporte près d'une cible un point brillant ; la mesure s'y accroche en restant sous le seuil, et le point gardé est faux.
- **Ce qu'on voit** : une seule cible fait un très grand saut de `corr_x` et `corr_y` le temps d'une mesure, sa position brute saute [SNCF01 17.10 09:45, SNCF01 16.10 11:30] ; ses voisines rejetées au même instant [WILDSTRUBEL 04.09 06:30], ou rien d'autre ne bouge [WILDSTRUBEL 01.09 14:30, WILDSTRUBEL 29.09 21:00]. Images : des points brillants près de la cible, absents à la mesure d'avant et à celle d'après [WILDSTRUBEL 01.09 14:30, WILDSTRUBEL 06.09 14:15] : les feux, les réflecteurs ou la carrosserie d'un véhicule ; le soleil sur la chaussée, lui, ne change pas d'une mesure à l'autre [WILDSTRUBEL 28.09 05:45].
- **Au fil du temps** : une mesure.
- **La cause, et comment elle a été sue** : vue sur la vignette ; déduite sans image, comme un passage du même genre vu un autre jour [SNCF01 28.10 10:15].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas ; le point est faux et reste dans la courbe corrigée : seule une mesure rejetée en est retirée [NIEDERHORN 30.09 21:00].
- **Variantes** : une référence accroche un reflet de même, est rejetée et la base change [WILDSTRUBEL 23.09 09:15] ; un véhicule garé fait le même effet [WILDSTRUBEL 05.09 03:30].
- **Étiquettes** : WILDSTRUBEL 01.09 14:30, WILDSTRUBEL 29.09 21:00, WILDSTRUBEL 04.09 06:30, SNCF01 17.10 09:45, SNCF01 16.10 11:30 ; et 8 autres : WILDSTRUBEL 7, SNCF01 1.
#### Un véhicule ou un engin qui reste devant les cibles
- **Ce qui se passe** : un véhicule garé, un engin ou un objet reste devant une ou quelques cibles, parfois une référence, des heures ou des jours ; toujours les mêmes capteurs.
- **Ce qu'on voit** :
- cibles : les mêmes capteurs rejetés à chaque mesure, leurs courbes absentes ; retour sans décalage au départ du véhicule [BREITHORN 03.10 00:00] ; une cible en partie cachée saute, ou glisse sur la part visible de sa tache [BREITHORN 23.10 16:00] ;
- références : elles tiennent le plus souvent ; une référence cachée laisse la compensation sur les autres, sans saut ou à peine, sur une station qui en a plus de trois [BREITHORN 03.10 00:00, BREITHORN 26.10 20:00] ; avec deux restantes, la base change, très mauvais signe [BREITHORN 25.10 20:00] ; avec aucune, pas de recalage et une cible restée mesurée fait un pic [WILDSTRUBEL 05.09 03:30, WILDSTRUBEL 26.09 03:45 (Obstruction)] ; cachée sans être écartée, toutes les cibles sautent [BREITHORN 04.10 12:00, LENZSPITZE 30.10 13:50]. Une référence cachée au-dessus de son seuil garde dans l'export des corrections de dizaines de pixels, pointées sur la voiture : ce n'est pas un mouvement [E-012, WILDSTRUBEL 26.09 03:45 (Obstruction), vu dans les données] ;
- images : le véhicule (une cabine, une calandre, des phares, une structure oblique) [BREITHORN 06.10 16:00, BREITHORN 25.10 20:00] ; la nuit, sa lumière voile l'image [BREITHORN 08.10 20:00] et sa plaque brille sous l'infrarouge [WILDSTRUBEL 05.09 23:00] ; un engin éclairé assombrit toute l'image [NIEDERHORN 13.10 04:00] ; le bras d'un engin déployé, replié avant et après [LENZSPITZE 30.10 13:50] ; sur une caméra récente, la lumière coupée de quelques cibles, de nature non vue [LENZSPITZE 17.10 10:00].
- **Au fil du temps** : d'une ou deux mesures (un engin) [NIEDERHORN 13.10 04:00] à quelques heures (des voitures garées au lever) [WILDSTRUBEL 26.09 03:45 (Obstruction), NIEDERHORN 24.10 16:00], une nuit [BREITHORN 06.10 16:00], près de deux jours [BREITHORN 03.10 00:00] ; nuit après nuit à la même place [BREITHORN 21.10 16:00].
- **La cause, et comment elle a été sue** : vue sur les images ; déduite, quand rien ne se voit, de la signature des nuits où un véhicule stationne : probable, pas établie [BREITHORN 22.10 16:00] ; établie par la lumière coupée [LENZSPITZE 17.10 10:00].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas : ignorer ces capteurs sur la plage ; avec deux références restantes, ne pas croire les données de la plage [BREITHORN 25.10 20:00].
- **Variantes** : quelque chose devant les cibles un quart d'heure, non vu, sans rejet, avec de grands sauts de `corr_x` [LENZSPITZE 27.10 17:35]. Une intervention à la caméra : un grand objet flou contre l'objectif, un ouvrier ; la scène se décale et la caméra s'incline, puis revient [CLARIDEN 05.10 10:30].
- **Étiquettes** : BREITHORN 06.10 16:00, BREITHORN 25.10 20:00, WILDSTRUBEL 26.09 03:45 (Obstruction), NIEDERHORN 24.10 16:00, LENZSPITZE 30.10 13:50, CLARIDEN 05.10 10:30 ; et 17 autres : BREITHORN 11, WILDSTRUBEL 3, LENZSPITZE 2, NIEDERHORN 1 ; [E-012] (appris, non revalidé), le matin de WILDSTRUBEL 26.09 03:45.
#### Un animal tout près de l'objectif
- **Ce qui se passe** : un animal passe tout près de l'objectif (l'araignée elle-même, des insectes en vol, peut-être un oiseau) ; éclairé la nuit, il cache une partie ou toute la scène, une ou deux mesures.
- **Ce qu'on voit** : l'`error_value` des références et de la plupart des cibles saute presque à 1, puis revient aussitôt [NORDEND 31.07 20:15] ; presque toutes les cibles rejetées, les autres sautent [NORDEND 27.08 21:00, NIEDERHORN 13.10 22:00] ; une seule référence rejetée et toutes les cibles sautent ensemble [NORDEND 18.08 17:45, NIEDERHORN 09.10 15:00] ; ou les références intactes [NIEDERHORN 29.10 20:00] ; ou une seule cible qui s'écarte une heure, l'`error_value` de presque tous un peu plus haute, sans rejet [NORDEND 10.08 01:15]. Images : l'araignée, son corps éclairé par l'infrarouge, en grosse tache blanche et floue (image de 20:30) [NORDEND 31.07 20:15, NORDEND 07.10 19:30] ; des insectes en grandes taches blanches floues sous le projecteur [NIEDERHORN 13.10 22:00] ; une masse sombre devant une référence [NIEDERHORN 09.10 15:00].
- **Au fil du temps** : une mesure, parfois deux, une heure [NORDEND 10.08 01:15].
- **La cause, et comment elle a été sue** : vue sur l'image [NORDEND 31.07 20:15] ; sa nature parfois non établie : araignée ou insecte [NORDEND 10.08 01:15], oiseau ou insecte [NIEDERHORN 09.10 15:00].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; le point est à ignorer.
- **Variantes** : après l'araignée, une nouvelle toile reste et voile, plus faiblement, une référence et quelques cibles (voir la toile) [NORDEND 31.07 20:15].
- **Étiquettes** : NORDEND 31.07 20:15 ; NORDEND 18.08 17:45, NORDEND 07.10 19:30, NORDEND 10.08 01:15, NIEDERHORN 13.10 22:00, NIEDERHORN 09.10 15:00, NIEDERHORN 29.10 20:00, et 1 autre : NORDEND 1.
#### Une toile d'araignée devant l'objectif
- **Ce qui se passe** : une toile tendue tout près de l'objectif voile une partie de la scène ; étiquetée Visibility quand elle voile l'image, Obstruction quand un fil ne cache que quelques taches.
- **Ce qu'on voit** : selon sa place et sa tenue :
- **les références tour à tour** : leur `error_value` monte nettement au-dessus de son niveau d'avant, beaucoup de mesures des cibles sont rejetées ; la compensation écarte une ou deux références, et le `corr_y` de nombreuses cibles saute par paliers (voir « Une référence écartée ») [NORDEND 28.07 20:45] ;
- **sans aucun signal** : la nuit, la toile sature en blanc comme les cibles et cache entièrement CTR04 ; son `error_value` monte à peine, la reprojection ne bouge pas, « aucune mesure n'est rejetée » ; le système croit voir trois références alors qu'il n'en a que deux [NORDEND 03.09 18:01] ; plus tard le même soir, un fil sur PR07 la fait rejeter quelques mesures [NORDEND 03.09 22:45] ;
- **quelques cibles** : leur `error_value` monte presque à 1, rejetées par moments, et une référence un peu perturbée fait bouger légèrement une bonne partie des cibles [NORDEND 04.09 16:09] ; des cibles rejetées toute la nuit [NORDEND 18.08 17:30] ; au crépuscule, la plupart rejetées ensemble [NORDEND 21.08 15:45] ;
- **un fil sur une tache** : la cible couverte rejetée par moments, ses voisines mesurées [NORDEND 24.08 11:00, NORDEND 24.09 11:15] ; posé sur une référence, il la fait écarter : toutes les cibles sur un palier tant qu'elle manque, petit rebond à son retour [NORDEND 18.08 22:15] ; ou sans effet sur les courbes [NORDEND 03.09 22:45] ;
- images : la toile en larges bandes floues, la nuit comme le jour ; l'image redevient nette à son départ [NORDEND 28.07 20:45] ; un fil en bande claire sous l'infrarouge, invisible de jour où la tache reste faible [NORDEND 24.08 11:00], ou éclairé par le soleil du matin [NORDEND 26.08 07:00].
- **Au fil du temps** : d'une heure à un peu plus de deux jours ; elle bouge, puis part seule ; souvent tissée en fin de journée, absente le lendemain [NORDEND 18.08 17:30, NORDEND 07.10 17:00] ; les mêmes taches peuvent rester éteintes quand elle ne se voit plus [NORDEND 07.10 17:00].
- **La cause, et comment elle a été sue** : vue sur les images ; déduite quand des fils traversent le champ ces nuits-là sans être vus sur la cible [NORDEND 16.09 01:30, NORDEND 17.09 20:00] ; une bande floue qui se devine à peine, cause alors non établie [NORDEND 28.08 15:15].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; ignorer les cibles couvertes, et toutes les courbes quand une référence est écartée [NORDEND 18.08 22:15]. Le cas sans signal est sans doute une faille du système : il peut fausser des valeurs en silence, seules les métriques de qualité le verraient [NORDEND 03.09 18:01].
- **Étiquettes** : NORDEND 28.07 20:45, NORDEND 03.09 18:01, NORDEND 04.09 16:09 ; NORDEND 18.08 22:15, NORDEND 24.08 11:00, NORDEND 24.09 11:15, NORDEND 21.08 15:45, NORDEND 18.08 17:30, NORDEND 07.10 17:00, et 9 autres : NORDEND 9 (une station) ; [E-002], la toile de NORDEND 28.07 20:45, reprise le 31.07 au soir.
#### Une plante agitée par le vent devant une cible
- **Ce qui se passe** : une plante du premier plan, poussée par le vent, passe par moments devant une cible.
- **Ce qu'on voit** : cette cible seule : son `error_value` saute environ une mesure sur deux, puis revient [NIEDERHORN 02.10 09:00] ; rejetée par moments, ou, juste sous le seuil, un pic d'une mesure de `corr_x` ou `corr_y` ; certains jours, des pics sans aucun rejet [NIEDERHORN 18.10 06:00]. Sa voisine n'est pas touchée [NIEDERHORN 02.10 09:00], ou l'est aussi, rejetée une mesure [NIEDERHORN 08.10 16:00]. Images : aux heures des pics, les feuilles couvrent la cible, sa tache pâlit ou disparaît [NIEDERHORN 05.10 13:00], ou paraît coupée [NIEDERHORN 20.10 05:00] ; aux autres heures, elles sont à côté.
- **Au fil du temps** : de quelques heures à presque un jour, presque chaque jour du mois, de jour comme de nuit [NIEDERHORN 02.10 07:00, NIEDERHORN 03.10 06:00].
- **La cause, et comment elle a été sue** : vue sur les images, heure par heure [NIEDERHORN 02.10 09:00].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; ignorer la courbe de cette cible sur la plage.
- **Étiquettes** : NIEDERHORN 02.10 09:00 ; NIEDERHORN 05.10 13:00, NIEDERHORN 08.10 16:00, NIEDERHORN 18.10 06:00, NIEDERHORN 02.10 07:00, NIEDERHORN 03.10 06:00, NIEDERHORN 23.10 11:00, et 17 autres : NIEDERHORN 17 (une station) ; [E-005], la plante de NIEDERHORN 02.10 09:00.
#### Un obstacle couvre une partie de la tache
- **Ce qui se passe** : un obstacle, ou une trace sur la vitre, cache une part de la tache d'une cible, parfois de quelques-unes, des heures ou des semaines ; le centre mesuré se déplace.
- **Ce qu'on voit** : la cible s'écarte lentement et régulièrement de ses voisines, qui ne bougent pas, son `error_value` montant avec le glissement sans atteindre le seuil [CLARIDEN 18.09 00:00] ; ou elle change de niveau d'un pas, seule, et y reste, `error_value` plus haute [WILDSTRUBEL 24.09 02:30, NORDEND 08.10 02:15] ; elle peut passer le seuil la plus grande partie de la journée [WILDSTRUBEL 03.09 02:45] ; sur une caméra récente, son flux baisse en partie et son `corr_x` saute, sans rejet [LENZSPITZE 27.10 22:00]. Une référence couverte en partie, rejetée sans interruption, fait changer la base [WILDSTRUBEL 02.10 12:45]. Images : la tache coupée d'un côté par une bande sombre, quand celle de sa voisine du même modèle est entière [CLARIDEN 18.09 00:00] ; plus petite la nuit que les autres nuits [WILDSTRUBEL 24.09 02:30] ; un disque flou et clair sur la vitre juste sous la tache [NORDEND 08.10 02:15] ; ou rien [LENZSPITZE 27.10 22:00].
- **Au fil du temps** : des heures de glissement ; quand l'obstacle recule d'un coup, la tache se rouvre et la cible revient en un pas vers ses voisines, puis le glissement reprend [CLARIDEN 18.09 00:00]. Ailleurs une heure [LENZSPITZE 27.10 22:00], trois jours [WILDSTRUBEL 03.09 02:45], une semaine avec un retour partiel [WILDSTRUBEL 24.09 02:30], trois semaines par paliers [NORDEND 08.10 02:15] ; la même gêne revient à la même heure de la nuit sur les mêmes cibles [WILDSTRUBEL 08.09 02:30].
- **La cause, et comment elle a été sue** : vue sur les images (la tache coupée) ; la nature de l'obstacle n'est pas établie [CLARIDEN 18.09 00:00], ni celle de la trace [NORDEND 08.10 02:15] ; rien ne se voit, d'après l'expert [LENZSPITZE 27.10 22:00, LENZSPITZE 29.10 17:00].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, mais ce qui est devant la cible est à vérifier ; le glissement est l'artefact, le saut est le retour à la normale [CLARIDEN 18.09 00:00] ; nettoyer la vitre [NORDEND 08.10 02:15].
- **Variantes** : l'`error_value` peut revenir à son niveau sans que la courbe revienne [NORDEND 08.10 02:15] ; un véhicule qui ne cache qu'une part de la tache fait le même glissement [BREITHORN 23.10 16:00].
- **Étiquettes** : CLARIDEN 18.09 00:00 ; WILDSTRUBEL 03.09 02:45, WILDSTRUBEL 24.09 02:30, WILDSTRUBEL 02.10 12:45, NORDEND 08.10 02:15, LENZSPITZE 27.10 22:00, WILDSTRUBEL 08.09 02:30, et 2 autres : WILDSTRUBEL 1, LENZSPITZE 1 ; [E-010], D-303-A de CLARIDEN 18.09 00:00 (le saut de retour vers 15:30).
#### La vitre salie
- **Ce qui se passe** : après une pluie, des traces de gouttes restent sur la vitre devant l'objectif et voilent une partie de la scène, durablement.
- **Ce qu'on voit** : les corrections de quelques cibles voisines d'une trace restent décalées, leur `error_value` un peu plus haute ; les corrections des références changent de niveau, `sigma0` plus haut ; des disques flous sur la vitre, visibles chaque nuit, absents avant la pluie.
- **Au fil du temps** : naît à la fin d'une pluie ; ne revient pas jusqu'à la fin du lot.
- **La cause, et comment elle a été sue** : vue sur les images.
- **Ce qu'on en conclut** : ce n'est pas un mouvement ; nettoyer la vitre. Une trace sous une seule tache est un obstacle (fiche précédente).
- **Étiquettes** : NORDEND 25.10 05:45 (une station).
#### La pluie
- **Ce qui se passe** : des gouttes devant l'objectif voilent les taches pendant les heures de pluie, la nuit surtout [NIEDERHORN 01.10 04:00, NIEDERHORN 02.10 02:00], le jour aussi [JUNGFRAU 24.10 21:00].
- **Ce qu'on voit** :
- cibles : l'`error_value` de la plupart monte nettement, sans pic isolé, puis redescend progressivement [NIEDERHORN 01.10 04:00] ; beaucoup rejetées par moments, les autres s'agitent [NIEDERHORN 13.10 08:00] ; les cibles ne bougent plus comme un bloc et leurs corrections glissent [JUNGFRAU 24.10 21:00] ;
- références : elles tiennent, plus haut que les cibles, « sans doute moins touchées par effet d'angle » ; deux montent un peu en fin de nuit, loin du seuil [NIEDERHORN 01.10 04:00, NIEDERHORN 02.10 02:00] ; ailleurs, rejetées tour à tour : la caméra n'est souvent plus recalée et les mesures gardées sautent ensemble [NORDEND 24.10 16:30, FLORIDA 24.10 21:45] ; sur une station à deux références, presque toutes les courbes manquent [FLORIDA 01.10 20:45] ;
- images : fond voilé et bruité, taches qui rapetissent ; gouttes éclairées par le projecteur (image de 08:00) [NIEDERHORN 02.10 02:00] ou par l'infrarouge, en disques flous [NORDEND 24.10 16:30] ; de jour, la route mouillée [JUNGFRAU 24.10 21:00], les feuilles couvertes de gouttes [FLORIDA 01.10 20:45], le ciel bas [NORDEND 23.10 08:45].
- **Au fil du temps** : plusieurs heures la nuit, retour progressif ; ou une journée et la nuit qui suit [NORDEND 23.10 08:45] ; retour d'un coup au passage à l'infrarouge à la tombée de la nuit [JUNGFRAU 24.10 21:00] ; une cible revient parfois après les autres [FLORIDA 24.10 21:45].
- **La cause, et comment elle a été sue** : vue : les gouttes [NIEDERHORN 02.10 02:00], la route mouillée [JUNGFRAU 24.10 21:00] ; sinon « pluie ou brume, probable », d'après des taches plus faibles sans obstacle [NIEDERHORN 25.10 03:00]. Pluie, brume et buée ne se séparent pas sur les mesures [E-001].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; courbes de la plage à ne pas croire [FLORIDA 24.10 21:45] ; aucune mesure valable quand les références tombent [NORDEND 24.10 16:30]. Après la pluie, des traces peuvent rester (voir « La vitre salie »).
- **Étiquettes** : NIEDERHORN 01.10 04:00, NIEDERHORN 02.10 02:00 ; JUNGFRAU 24.10 21:00, FLORIDA 24.10 21:45, NORDEND 24.10 16:30, NORDEND 23.10 08:45, FLORIDA 01.10 20:45, NIEDERHORN 29.10 00:00, et 7 autres : NIEDERHORN 5, FLORIDA 2 ; [E-005], les nuits de pluie de NIEDERHORN 01.10 04:00 et 02.10 02:00.
#### La visibilité baisse sur toute la scène, sans obstacle
- **Ce qui se passe** : toute la scène se voit moins bien, sans rien devant les cibles [JUNGFRAU 07.10 08:36].
- **Ce qu'on voit** :
- cibles : l'`error_value` de la plupart et d'une référence monte nettement ; les courbes deviennent plus bruitées, avec des mouvements apparents qui ne sont pas réels [JUNGFRAU 07.10 08:36] ; une cible rejetée presque tout le temps disparaît des courbes [JUNGFRAU 18.10 10:00] ; les corrections de la plupart sautent ensemble à plusieurs reprises [JUNGFRAU 23.10 07:30] ; sur une caméra récente, le flux baisse fortement sur presque toute la scène, de façon inégale, l'image des cibles faibles est ambiguë et les grosses taches proches sautent entre deux positions [LENZSPITZE 18.10 08:00] ;
- références : elles montent sans être écartées, mais la position brute de l'une s'écarte et fausse la pose [JUNGFRAU 20.10 14:15] ; une qui passe juste au-dessus du seuil est écartée et toute la base saute [NORDEND 04.09 10:59] ; deux perdues, il n'en reste qu'une [NORDEND 14.10 05:00] ;
- températures : la gêne vient parfois avec une baisse de la température du boîtier [CLARIDEN 06.10 18:00, LENZSPITZE 21.10 02:50] ;
- images : rien de net, les taches plus grosses et plus floues [JUNGFRAU 07.10 08:36], ou un peu moins nettes [NORDEND 04.09 10:59] ; un voile, scène laiteuse, halos [FLORIDA 23.10 12:15, JUNGFRAU 18.10 10:00] ; toutes les taches qui rapetissent [NORDEND 14.10 05:00, FLORIDA 18.10 05:00].
- **Au fil du temps** : plus d'un jour [JUNGFRAU 07.10 08:36] ; des heures, la nuit ou le jour [FLORIDA 18.10 05:00, LENZSPITZE 17.10 10:55] ; ou une seule mesure, tous les capteurs ensemble [NORDEND 04.09 10:59]. Retour d'un coup [JUNGFRAU 01.10 11:15], ou quand la brume se lève [NORDEND 14.10 05:00].
- **La cause, et comment elle a été sue** : non établie ; peut-être du vent [JUNGFRAU 07.10 08:36] (l'étiquette automatique de la même plage, JUNGFRAU 07.10 08:30, voit une scène grise et une route mouillée et dit « pluie ou brume » : les images montrent un jour couvert, sans obstacle, rien qui tranche) ; une brume vue [NORDEND 10.09 04:30, NORDEND 14.10 05:00, FLORIDA 23.10 12:15, NIEDERHORN 14.10 11:00] ou probable [JUNGFRAU 18.10 10:00] ; de l'eau sur l'objectif ou les prismes, possible [LENZSPITZE 17.10 10:55].
- **Ce qu'on en conclut** : la visibilité est moins bonne ; l'ouvrage ne bouge pas, rien à faire [JUNGFRAU 07.10 08:36] ; ne pas croire les courbes de la plage [JUNGFRAU 18.10 10:00] ; aucune mesure valable quand il ne reste qu'une référence [NORDEND 14.10 05:00].
- **Variantes** :
- des effets thermiques s'y ajoutent et rendent le cas difficile à lire [JUNGFRAU 07.10 08:36, JUNGFRAU 20.10 14:15] ;
- **une seule mesure** : toutes les taches un peu moins nettes, références comprises, positions et courbes corrigées intactes : « conditions atmosphériques », très léger, rien à masquer [E-007], un instant de NORDEND non étiqueté à part (01.09, sous l'étiquette thermique NORDEND 01.09 06:45) ; des taches étirées, peut-être un flou de bougé, une référence écartée et la base qui saute [NORDEND 28.08 12:30] ; une prise de vue trop sombre, presque noire, des références écartées, une prise de vue ratée, pas un obstacle [WILDSTRUBEL 06.10 14:15, WILDSTRUBEL 04.10 14:00] ;
- **dans un tunnel** : la même bosse revient sur un même groupe de cibles, chacune dans son sens, avec l'`error_value` de nombreuses cibles, sans mouvement de la caméra, images toujours sombres ; peut-être l'air du tunnel [CLARIDEN 01.10 06:15, CLARIDEN 06.10 18:00, CLARIDEN 02.10 21:45].
- **Étiquettes** : JUNGFRAU 07.10 08:36, NORDEND 04.09 10:59 ; NORDEND 14.10 05:00, FLORIDA 23.10 12:15, LENZSPITZE 18.10 08:00, CLARIDEN 06.10 18:00, WILDSTRUBEL 06.10 14:15, JUNGFRAU 20.10 14:15, et 35 autres : LENZSPITZE 8, NORDEND 8, CLARIDEN 7, JUNGFRAU 4, WILDSTRUBEL 4, FLORIDA 2, NIEDERHORN 1, SNCF01 1 ; [E-007].
#### Une partie de la scène s'éteint la nuit
- **Ce qui se passe** : la nuit, une partie seulement de la scène perd sa lumière, sans obstacle : les taches lointaines [LENZSPITZE 16.10 22:25], ou quelques cibles voisines au bord du groupe [NORDEND 30.09 20:45].
- **Ce qu'on voit** : les cibles de la partie touchée rejetées une grande part de la nuit [LENZSPITZE 16.10 22:25, NORDEND 16.10 19:00], le `corr_x` des lointaines dérivant avant les premiers rejets [LENZSPITZE 22.10 19:40] ; les autres bougent un peu avec les changements de base [LENZSPITZE 16.10 22:25], ou pas du tout [NORDEND 16.10 19:00]. Les références lointaines rejetées ou écartées tour à tour ; l'une, juste sous son seuil, mesurée par moments sur une fausse position, ses corrections absurdes [LENZSPITZE 16.10 22:25]. Sur une caméra récente, le flux des lointaines tombe presque à rien dès le début de soirée, bien avant les courbes, celui des proches reste entier [LENZSPITZE 16.10 22:25]. Images : les taches lointaines pâlissent, les proches restent nettes [LENZSPITZE 22.10 19:40] ; au bord du groupe, quelques taches rapetissent puis se rouvrent [NORDEND 30.09 20:45].
- **Au fil du temps** : une nuit, retour au petit matin [LENZSPITZE 16.10 22:25] ; nuit après nuit, pas toutes [NORDEND 16.10 19:00] ; parfois de jour, par ciel couvert, quelques mesures [NORDEND 21.10 10:15].
- **La cause, et comment elle a été sue** : non établie ; brume ou humidité de nuit, probable [LENZSPITZE 16.10 22:25] ou possible [NORDEND 16.10 19:00].
- **Ce qu'on en conclut** : ce n'est pas un mouvement ; ignorer les courbes de la plage, celles de la référence mal mesurée surtout [LENZSPITZE 16.10 22:25].
- **Variantes** : la nuit la plus mauvaise, les proches perdent aussi leur lumière et la compensation ne retient plus aucune référence (voir « Deux références perdues ») [LENZSPITZE 26.10 00:00].
- **Étiquettes** : LENZSPITZE 16.10 22:25, LENZSPITZE 26.10 00:00, LENZSPITZE 22.10 19:40, NORDEND 30.09 20:45, NORDEND 16.10 19:00, NORDEND 21.10 10:15, et 11 autres : NORDEND 8, LENZSPITZE 3.
#### Une référence perd son éclat, sans obstacle
- **Ce qui se passe** : la tache d'une ou deux références faiblit et rapetisse sans rien devant, le plus souvent la nuit, puis revient seule ; les autres capteurs restent bien vus [E-001, JUNGFRAU 13.10 23:45].
- **Ce qu'on voit** :
- références : l'`error_value` des touchées monte, d'un coup ou peu à peu, l'autre restant à son niveau ; sous le seuil, aucune n'est écartée, mais la reprojection augmente et la pose calculée change alors que les positions brutes des cibles ne bougent pas [JUNGFRAU 13.10 23:45, JUNGFRAU 02.10 01:45] ; au-dessus, elle est écartée (voir D) [JUNGFRAU 26.10 01:56] ;
- cibles : `error_value` à son niveau, positions brutes sans marche ; leurs corrections ne bougent que par la compensation : de petits décalages communs du `corr_x` de quelques cibles, à l'entrée et à la sortie de la référence, qui ne retrouvent pas toujours leur niveau avant le jour [E-001, JUNGFRAU 13.10 01:00, JUNGFRAU 22.10 00:15] ;
- images : la tache réduite à un point quand celle d'une cible témoin reste entière, rien devant [E-001, JUNGFRAU 22.10 00:15, JUNGFRAU 26.10 00:00] ; parfois l'image un peu voilée, un halo [JUNGFRAU 13.10 23:45].
- **Au fil du temps** : quelques heures la nuit, retour seul avant le jour [E-001] ; plusieurs nuits de suite [JUNGFRAU 26.10 00:00, JUNGFRAU 26.10 23:00, JUNGFRAU 28.10 01:30] ; ou une montée lente toute la nuit et la perte matin après matin [FLORIDA 28.10 07:00].
- **La cause, et comment elle a été sue** : buée ou eau, brume dans l'air ou buée sur les réflecteurs : déduite, pas vue, rien ne permet de trancher [E-001] ; ailleurs non établie [FLORIDA 23.10 03:45, JUNGFRAU 13.10 23:45].
- **Ce qu'on en conclut** : la brume voile la tache sans déplacer son centre : pas de faux mouvement ; les petits décalages de la compensation sont négligeables (revue de l'event) ; système sain, rien à faire [E-001] ; ils ne sont pas un mouvement [JUNGFRAU 13.10 01:00]. Écartée ou deux perdues : les fiches de D ; si cela se répète, contrôler les prismes [JUNGFRAU 27.10 00:56].
- **Variantes** : de jour, une référence minuscule passe le seuil quelques mesures ; sur deux références, la caméra n'est plus recalée [FLORIDA 02.10 09:45] ; avant sa perte, la référence glisse dans l'image face aux cibles et fausse la pose, la température du boîtier restant plate [FLORIDA 27.10 01:45] ; la base qui hésite entre deux niveaux d'une mesure à l'autre, la tache entière, cause non établie [JUNGFRAU 21.10 12:45] ; dans un tunnel, une référence plus faible, rejetée par moments [CLARIDEN 31.10 22:15].
- **Étiquettes** : JUNGFRAU 13.10 23:45, JUNGFRAU 26.10 00:00, JUNGFRAU 22.10 00:15, FLORIDA 28.10 07:00, FLORIDA 27.10 01:45, CLARIDEN 31.10 22:15, et 26 autres : JUNGFRAU 12, FLORIDA 11, NORDEND 3 ; [E-001], la nuit de JUNGFRAU 13.10 23:45 ; PS_DES_COUDRES 13.10 23:45, en attente de revue, est la même nuit de la même station (section 4).
#### Turbulence atmosphérique
- **Ce qui se passe** : des couches d'air de températures différentes troublent l'image ; un effet physique qu'on ne peut pas contourner [WILDSTRUBEL 27.09 04:15] ; l'air chauffé au-dessus d'une route [E-003], du ballast et des rails [LENZSPITZE 16.10 11:00], des voies [SNCF01 04.10 08:15] fait trembler les taches.
- **Ce qu'on voit** : le jour, des perturbations de l'`error_value`, globalement bien compensé [WILDSTRUBEL 27.09 04:15] ; les courbes corrigées de toutes les cibles s'agitent bien plus que la nuit, sauts d'une mesure qui reviennent aussitôt, sans palier ; quelques cibles rejetées par moments [SNCF01 04.10 08:15] ; quelques sauts d'un seul pas, surtout sur les capteurs les plus éloignés [E-003]. Au plus fort du lever, la compensation écarte toutes les références quelques mesures [WILDSTRUBEL 04.09 03:45]. Sur une caméra récente, le flux ne baisse pas, l'image est moins nette : elle tremble, elle ne s'assombrit pas [LENZSPITZE 16.10 11:00]. Images : plein soleil, ombres nettes, rien devant [LENZSPITZE 16.10 11:00] ; la turbulence ne se voit pas sur une image fixe [E-003].
- **Au fil du temps** : le jour, du lever au coucher du soleil, d'après les images [WILDSTRUBEL 27.09 04:15] ; chaque jour de soleil, calme la nuit [SNCF01 04.10 08:15], plus faible certains jours [SNCF01 09.10 09:15].
- **La cause, et comment elle a été sue** : non dite ; l'expert la donne comme un trait de la station [WILDSTRUBEL 27.09 04:15] ; ailleurs déduite d'un bruit rapide sur toute la scène, le jour seulement, par soleil [SNCF01 04.10 08:15, E-003].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; ne pas croire le détail des courbes [LENZSPITZE 16.10 11:00].
- **Variantes** : le soleil bas au lever s'y ajoute, chaussée couverte de reflets [WILDSTRUBEL 07.09 03:30]. Sur la cible la plus touchée, le `corr_x` se creuse de jour : pour l'expert, le cycle de l'event, plus fort sur cette cible, pas un mouvement [E-003, PB1_2 de WILDSTRUBEL] ; des étiquettes automatiques lisent les cibles du bas de l'image (PB1_2, PB2_2) mal compensées le matin [WILDSTRUBEL 24.09 04:00]. Une agitation de jour, caméra calme : peut-être de la turbulence, non établie [NORDEND 13.09 11:30].
- **Étiquettes** : WILDSTRUBEL 27.09 04:15 ; WILDSTRUBEL 01.09 03:45, WILDSTRUBEL 04.09 03:45, LENZSPITZE 16.10 11:00, LENZSPITZE 22.10 07:40, SNCF01 04.10 08:15, SNCF01 16.10 08:15, et 48 autres : WILDSTRUBEL 25, SNCF01 19, LENZSPITZE 3, NORDEND 1 ; [E-003], les journées de WILDSTRUBEL 01.09 03:45 à 04.09 03:45.
#### Le soleil dans le champ ou derrière une tache
- **Ce qui se passe** : la lumière du soleil noie une tache : le soleil entre dans le champ [NIEDERHORN 31.10 11:00], ou il éclaire le fond d'une cible ou d'une référence, aussi clair qu'elle [NORDEND 12.08 13:30, JUNGFRAU 12.10 15:45].
- **Ce qu'on voit** : une seule cible rejetée, son `error_value` montant dès la fin de matinée puis retombant d'un coup quand la paroi repasse à l'ombre [NORDEND 12.08 13:30] ; une cible au bord d'une bordure claire dont le `corr_x` s'écarte toute la journée [WILDSTRUBEL 02.09 04:15]. Le soleil dans le champ : l'`error_value` des références monte sans rejet, la compensation un peu perturbée, les corrections de nombreuses cibles sautent ou s'agitent [NIEDERHORN 22.10 12:00] ; une référence écartée une mesure [NIEDERHORN 31.10 11:00]. Le fond d'une référence en plein soleil : petit saut commun de plusieurs cibles, sous le seuil [JUNGFRAU 12.10 15:45] ; ou référence écartée des heures, ses voisines dans l'image sur un palier (voir « Une référence écartée ») [WILDSTRUBEL 08.09 04:00, WILDSTRUBEL 08.10 06:00]. Images : le soleil dans le champ, halo et reflets [NIEDERHORN 31.10 11:00] ; la roche ou le trottoir en plein soleil autour de la tache [NORDEND 12.08 13:30] ; nette à l'ombre et la nuit [WILDSTRUBEL 02.09 04:15].
- **Au fil du temps** : aux mêmes heures chaque jour de soleil, plus longtemps en août qu'en octobre [NORDEND 05.10 14:45] ; par intermittence un jour nuageux [NORDEND 15.08 13:00] ; quelques mesures, parfois une seule, au lever [NIEDERHORN 22.10 12:00].
- **La cause, et comment elle a été sue** : vue sur l'image du jour [NORDEND 12.08 13:30, JUNGFRAU 12.10 15:45] ; déduite les autres jours, même heure et même signature [NORDEND 14.09 14:15] ; un ciel éclatant derrière les nuages, probable [NIEDERHORN 26.10 13:00].
- **Ce qu'on en conclut** : l'ouvrage ne bouge pas, rien à faire ; la courbe de la cible manque ou ne se croit pas ces heures-là [NORDEND 12.08 13:30] ; les paliers d'une référence écartée ne sont pas un mouvement [WILDSTRUBEL 08.10 06:00].
- **Variantes** : soleil rasant, le haut de l'image éclairé, des cibles puis deux références rejetées et toutes les cibles qui sautent [NORDEND 30.10 08:45] ; l'ombre mouvante d'un arbre fait accrocher autre chose à une cible restée sous le seuil [WILDSTRUBEL 24.09 05:30] ; sur une route en plein soleil, des taches parasites où la détection saute une mesure [E-003] ; le soleil levant sur la paroi, au moment où le boîtier chauffe d'un coup, fait sauter la pose de la caméra [NORDEND 11.08 05:45].
- **Étiquettes** : NIEDERHORN 31.10 11:00, NORDEND 12.08 13:30, JUNGFRAU 12.10 15:45, WILDSTRUBEL 02.09 04:15, WILDSTRUBEL 08.09 04:00, NORDEND 30.10 08:45, et 84 autres : NORDEND 42, NIEDERHORN 18, WILDSTRUBEL 18, JUNGFRAU 6 ; [E-003].
#### Une tache faible perdue quand la lumière manque
- **Ce qui se passe** : une cible dont la tache est déjà faible passe au-dessus de son seuil quand la lumière lui manque : passage de la nuit au jour [FLORIDA 01.10 07:15], ciel couvert [NORDEND 16.08 09:15], image de nuit bruitée [NORDEND 08.09 01:45].
- **Ce qu'on voit** : une seule cible, ou les plus faibles, rejetées de une à quelques mesures, les autres immobiles [FLORIDA 01.10 07:15, NORDEND 16.08 09:15] ; quelques voisines font un petit saut [NORDEND 03.09 13:15]. Images : la tache rapetisse à mesure que le jour se lève quand celle d'une voisine reste large [FLORIDA 01.10 07:15] ; scène sombre, tache qui se voit à peine [NORDEND 16.08 09:15].
- **Au fil du temps** : une à quelques mesures ; parfois une matinée couverte [NORDEND 17.08 02:30], une nuit, plusieurs nuits de suite [SNCF01 17.10 20:00, SNCF01 18.10 17:00].
- **La cause, et comment elle a été sue** : vue sur les images [FLORIDA 01.10 07:15] ; ailleurs non établie [NORDEND 16.08 09:15] ; un prisme peu lumineux, au contraste insuffisant de jour (cas : `cas-annotes-par-l-expert.md`, GN-1.472).
- **Ce qu'on en conclut** : ce n'est pas un mouvement ; points à ignorer [NORDEND 16.08 09:15]. Frontière avec C : une cible qui a ses rejets propres presque chaque jour, aussi par temps couvert ou de pluie, est une cible à problème ; une cible au ras du seuil qui ne le franchit que de loin en loin, ses rejets venant avec la lumière, est ici [SNCF01 19.10 13:30, SNCF01 30.10 21:30, FLORIDA 02.10 10:30].
- **Étiquettes** : FLORIDA 01.10 07:15, NORDEND 16.08 09:15, NORDEND 08.09 01:45, SNCF01 19.10 13:30, SNCF01 17.10 20:00, NORDEND 17.08 02:30, et 22 autres : NORDEND 16, SNCF01 4, FLORIDA 2.
### C. La cible a changé
#### Une cible rejetée à toutes ses mesures
- **Ce qui se passe** : une cible n'est jamais acceptée, quel que soit le temps ; sa courbe corrigée n'existe pas.
- **Ce qu'on voit** : rejetée à chaque mesure, au plus quelques points isolés ; son `error_value` presque à 1 [CLARIDEN 01.10 00:00 (P-300-B)], ou au niveau de ses voisines et suivant leurs variations, mais au-dessus d'un seuil à elle, plus bas que celui des autres [JUNGFRAU 30.09 00:00 (PM_G)]. Images, selon la cible : aucune tache [NIEDERHORN 01.10 00:00 (e03)] ; une tache nette à côté de la position où le système la cherche [CLARIDEN 01.10 00:00 (P-300-B)] ; entre deux voisines très proches [NIEDERHORN 01.10 00:00 (e07)] ; très grosse et éblouie la nuit, collée à une voisine [NIEDERHORN 01.10 00:00 (e11)] ; dédoublée [SNCF01 04.10 00:00 (BG.1)] ; nette et ronde comme ses voisines [JUNGFRAU 30.09 00:00 (PM_G)].
- **Au fil du temps** : permanent, parfois depuis le début des données [JUNGFRAU 30.09 00:00 (PM_G)] ; ou depuis un réglage (voir « La configuration d'un capteur a changé ») [CLARIDEN 01.10 00:00 (P-300-B)].
- **La cause, et comment elle a été sue** : l'aspect de la tache vu sur les vignettes ; la cause non établie (configuration, seuil, prisme) ; tache nette : plutôt un seuil mal réglé [JUNGFRAU 30.09 00:00 (PM_G)].
- **Ce qu'on en conclut** : ce n'est pas la météo ; ignorer sa courbe ; intervenir sur la cible ou sa configuration.
- **Étiquettes** : CLARIDEN 01.10 00:00 (P-300-B), JUNGFRAU 30.09 00:00 (PM_G), NIEDERHORN 01.10 00:00 (e03), NIEDERHORN 01.10 00:00 (e07), NIEDERHORN 01.10 00:00 (e11), SNCF01 04.10 00:00 (BG.1) ; et 5 autres : NIEDERHORN 4, SNCF01 1. PM_G est aussi rejetée tout du long de [E-001].
#### Une cible au ras du seuil, tout le lot
- **Ce qui se passe** : une cible vit en permanence à la limite de la détection : son `error_value` franchit sans cesse le seuil.
- **Ce qu'on voit** : une grande part de ses mesures rejetée, de jour comme de nuit, par tous les temps ; sa courbe trouée, ses points gardés plus bruités [SNCF01 04.10 00:00 (F4.3)] ou qui sautent [FLORIDA 01.10 00:00 (Sellette 6)] ; ses derniers points acceptés peuvent s'écarter fortement sans que rien d'autre bouge [SNCF01 04.10 00:00 (CV.7)]. Images : une tache petite tout près d'un réflecteur bien plus brillant, sur lequel sa mesure peut s'accrocher [FLORIDA 01.10 00:00 (Sellette 6), SNCF01 04.10 00:00 (CV.6)] ; faible et dédoublée [SNCF01 04.10 00:00 (F4.4)] ; au bord d'une structure claire [SNCF01 04.10 00:00 (CV.7)].
- **Au fil du temps** : tout le lot ; l'`error_value` peut monter lentement, rejets par suites de plusieurs heures, surtout la nuit [SNCF01 04.10 00:00 (CV.6)].
- **La cause, et comment elle a été sue** : l'aspect de la tache vu sur les images ; non établie (orientation, propreté du prisme).
- **Ce qu'on en conclut** : ne pas croire sa courbe ; vérifier l'orientation ou la propreté du prisme. Avec très peu de rejets propres, ce n'est pas ce phénomène (voir la fiche précédente de B).
- **Étiquettes** : FLORIDA 01.10 00:00 (Sellette 6), SNCF01 04.10 00:00 (CV.7), SNCF01 04.10 00:00 (F4.4), SNCF01 04.10 00:00 (F4.3), SNCF01 04.10 00:00 (CV.6).
#### Une cible rejetée chaque nuit ou chaque jour
- **Ce qui se passe** : une cible passe au-dessus de son seuil sous le régime ordinaire de la station (projecteur la nuit, lumière du jour), aux mêmes heures, quel que soit le temps.
- **Ce qu'on voit** : rejetée presque chaque nuit [NIEDERHORN 01.10 00:00 (PWD_RMP_B15_017_C09), NIEDERHORN 15.10 01:00], ou chaque jour [NIEDERHORN 01.10 00:00 (e01), WILDSTRUBEL 01.09 00:00] ; mesurée le reste du temps, ses points juste sous le seuil plus agités [NIEDERHORN 01.10 00:00 (e01)]. Images : la nuit, une tache saturée étalée en croix sous le projecteur, petite et nette de jour [NIEDERHORN 01.10 00:00 (PWD_RMP_B15_017_C09)] ; de jour, au bord de l'image, presque fondue dans le fond [NIEDERHORN 01.10 00:00 (e01)] ; une référence invisible de jour, nette la nuit sous l'infrarouge [WILDSTRUBEL 01.09 00:00] ; une tache nette sur un fond de ballast éclairé [NIEDERHORN 01.10 00:00 (PWD_IMP_B08_024_C09)].
- **Au fil du temps** : tout le lot ou à partir d'une date [NIEDERHORN 17.10 03:00] ; les rejets peuvent se raréfier [NIEDERHORN 01.10 00:00 (PWD_IMP_B08_024_C09)] ou cesser, la courbe restant plus dispersée que celle des voisines [NIEDERHORN 01.10 00:00 (PWD_RMP_B15_017_C09)].
- **La cause, et comment elle a été sue** : déduite des rejets aux mêmes heures quel que soit le temps ; pour une référence, aussi les jours où le boîtier chauffe le moins : c'est la cible, pas le soleil [WILDSTRUBEL 07.09 00:00, WILDSTRUBEL 01.10 00:00]. La raison n'est pas établie.
- **Ce qu'on en conclut** : ce n'est pas un mouvement ; ignorer sa courbe aux heures touchées ; revoir seuil, orientation, éclairage ou cible. Une référence nettoyée ou remplacée rend une référence de plus à la compensation de jour ; ses entrées et sorties ne font pas sauter les cibles [WILDSTRUBEL 01.09 00:00].
- **Étiquettes** : NIEDERHORN 01.10 00:00 (PWD_RMP_B15_017_C09), NIEDERHORN 01.10 00:00 (e01), NIEDERHORN 15.10 01:00, WILDSTRUBEL 01.09 00:00, WILDSTRUBEL 01.10 00:00, NIEDERHORN 17.10 03:00 ; et 2 autres : NIEDERHORN 1, WILDSTRUBEL 1.
#### Une cible qui se dégrade, et parfois se rétablit
- **Ce qui se passe** : une cible qui se voyait bien se voit de plus en plus mal à partir d'une date, et ne revient pas, ou au bout de semaines.
- **Ce qu'on voit** : l'`error_value` change de niveau et y reste [NIEDERHORN 30.10 01:00 (PWD_RMP_B16_026_C09)], ou monte au fil des semaines jusqu'au seuil puis au-dessus [NORDEND 16.10 19:00 (CTR01), NORDEND 17.08 05:15] ; les rejets d'abord de jour, puis de jour comme de nuit [FLORIDA 06.10 10:15] ; entre eux, des courbes plus bruitées qui changent de niveau seules [NORDEND 17.08 05:15]. Images : une tache qui faiblit puis devient invisible de jour [FLORIDA 06.10 10:15] ; bien plus faible que ses voisines [NORDEND 17.08 05:15] ; des traces floues sur la vitre [NORDEND 16.10 19:00 (CTR01)] ; la même tache qu'avant [NIEDERHORN 30.10 01:00 (PWD_RMP_B16_026_C09)].
- **Au fil du temps** : le changement part d'un épisode : une pluie après laquelle la tache ne revient pas [FLORIDA 06.10 10:15], un saut des voisines à la même mesure [NIEDERHORN 30.10 01:00 (PWD_RMP_B16_026_C09)], des insectes en vol devant l'objectif à l'instant où trois cibles voisines changent d'`error_value` en sens opposés, l'une rejetée ensuite des jours [E-013] ; puis il dure. Ou il dure des semaines jusqu'à une pluie après laquelle l'`error_value` retombe et les rejets cessent : la cible s'est sans doute nettoyée [NORDEND 01.10 00:00 (PR04)].
- **La cause, et comment elle a été sue** : non établie (prisme terni, sali ou voilé, vitre, orientation, toile, ou un changement autour de la cible).
- **Ce qu'on en conclut** : ignorer sa courbe ; contrôler la cible. Une valeur gardée n'est pas une valeur juste : gardée de nouveau sous le seuil, la cible peut rester loin de son niveau d'avant [FLORIDA 06.10 10:15] ; rétablie, elle reste plus bas qu'au début du mois [NORDEND 01.10 00:00 (PR04)].
- **Variantes** : un faux point : la position quitte une tache affaiblie, sous le seuil, et le point reste dans la courbe [CLARIDEN 27.10 12:00].
- **Étiquettes** : FLORIDA 06.10 10:15, NORDEND 17.08 05:15, NORDEND 16.10 19:00 (CTR01), NIEDERHORN 30.10 01:00 (PWD_RMP_B16_026_C09), CLARIDEN 27.10 12:00, NORDEND 01.10 00:00 (PR04) ; et 1 autre : NIEDERHORN 1. [E-008] est PR04 de NORDEND les 01 et 02.09, au début de NORDEND 17.08 05:15 : une cible terne, nette la nuit, presque fondue dans le fond le jour quand ses voisines saturent, ses corrections plus agitées sans palier ; validé « état de la cible à vérifier », ses rejets se multipliant ensuite. [E-013] (appris, non revalidé) est PWD_IMP_B08_024_C09 de NIEDERHORN le 26.09 au matin, avant les étiquettes : le début des rejets de NIEDERHORN 01.10 00:00 (PWD_IMP_B08_024_C09).
#### La configuration d'un capteur a changé
- **Ce qui se passe** : un capteur est reconfiguré, ou un réglage change (capteur déplacé, position de départ changée) ; sa courbe change sans que rien ne bouge dans l'image.
- **Ce qu'on voit** : une position de départ changée : positions brutes plates, déplacement relatif qui saute ; deux capteurs d'un même prisme sautent en sens inverse et y restent [CLARIDEN 29.10 23:45]. Deux capteurs posés sur le même point d'un groupe de taches, mêmes positions et mêmes courbes, se séparent à une mesure, chacun sur une partie du groupe, et leur courbe rejoint celle des voisines, caméra immobile [MICHIGAN 03.10 00:00]. Un réglage changé un jour : une cible reste à côté de sa tache et est rejetée depuis, l'`error_value` d'autres cibles changeant de niveau à la même heure [CLARIDEN 01.10 00:00 (P-300-B)].
- **Au fil du temps** : d'un coup ; le nouvel état reste.
- **La cause, et comment elle a été sue** : déduite des positions brutes et des vignettes ; « les capteurs ont été reconfigurés », non établi [MICHIGAN 03.10 00:00].
- **Ce qu'on en conclut** : pas un mouvement ; ne pas comparer avant et après ; vérifier avec l'exploitant. Le saut peut être le retour à la normale [MICHIGAN 03.10 00:00]. D'ici là, deux capteurs sur un même point comptent deux fois chaque épisode.
- **Étiquettes** : MICHIGAN 03.10 00:00, CLARIDEN 29.10 23:45, CLARIDEN 01.10 00:00 (P-300-B).
### D. Les références
#### Une référence écartée : la base change
- **Ce qui se passe** : une référence se voit mal, son `error_value` dépasse le seuil, le système l'écarte. Avec deux références, il existe toujours une transformation qui les ajuste sans erreur, mais bien différente de celle à trois : la base change.
- **Ce qu'on voit** :
- la référence : son `error_value` saute presque à 1 (cachée) [JUNGFRAU 06.10 05:45], monte peu à peu [JUNGFRAU 26.10 01:56], ou passe juste au-dessus du seuil [NORDEND 04.09 10:59] ; sa position brute saute quand elle accroche un reflet [WILDSTRUBEL 23.09 09:15] ; sur une caméra récente, sa lumière coupée dit qu'elle est cachée même quand l'image de la minute ne montre rien [LENZSPITZE 17.10 05:00] ;
- l'erreur de reprojection tombe à zéro ; les corrections des références restantes aussi [NORDEND 04.09 10:59] (les données le confirment, à cette mesure comme à NORDEND 28.08 12:30 et NORDEND 18.08 17:45, où les étiquettes automatiques disent qu'elles « sautent aussi » : elles sautent à zéro) ;
- les cibles : toutes sautent ensemble, positions brutes sans marche [NORDEND 28.07 20:45] ; une mesure pour un passage, un palier de plusieurs heures quand la référence reste cachée [NORDEND 18.08 22:15], surtout chez ses voisines dans l'image [WILDSTRUBEL 08.09 04:00] ;
- images : la tache réduite à un point quand une cible témoin reste entière [JUNGFRAU 28.10 01:30] ; un passage, vu ou en transparence [WILDSTRUBEL 25.09 12:00] ; un animal [NIEDERHORN 09.10 15:00] ; une prise de vue trop sombre [WILDSTRUBEL 06.10 14:15] ; une tache faible sur un fond clair [WILDSTRUBEL 08.09 04:00].
- **Au fil du temps** : une mesure ou des heures ; tout revient quand elle réapparaît, parfois avec un petit rebond [NORDEND 18.08 22:15].
- **La cause, et comment elle a été sue** : celle de la perte : un camion vu sur l'image de 06:00 [JUNGFRAU 06.10 05:45] ; une toile [NORDEND 28.07 20:45] ; une visibilité qui baisse, de cause non dite [JUNGFRAU 26.10 01:56] ou inconnue, rien ne cachant la référence [NORDEND 04.09 10:59] ; un passage déduit de sa signature [WILDSTRUBEL 28.09 05:15] ; le soleil [NIEDERHORN 31.10 11:00, WILDSTRUBEL 08.10 06:00]. Le mécanisme se lit sur la reprojection à zéro.
- **Ce qu'on en conclut** : les sauts ne sont pas un mouvement ; c'est un très mauvais signe pour la mesure : le système tourne sur deux références alors qu'il en faut trois [JUNGFRAU 26.10 01:56].
- **Variantes** : selon la référence écartée, le saut est net ou presque nul [NORDEND 28.07 20:45] ; sur une station qui en a plus de trois, toutes les cibles sautent [WILDSTRUBEL 03.10 07:30], quelques-unes [BREITHORN 07.10 08:00], ou rien [BREITHORN 08.10 20:00]. Une référence seulement perturbée, sans être écartée, fait bouger légèrement une bonne partie des cibles [NORDEND 04.09 16:09] : les corrections de tous basculent d'une mesure à l'autre [JUNGFRAU 21.10 12:45] ; un objet devant elle la cache sans qu'elle soit écartée, et toutes les cibles sautent [LENZSPITZE 30.10 13:50]. Une référence rejetée peut rester comptée dans la compensation [LENZSPITZE 23.10 16:55].
- **Étiquettes** : JUNGFRAU 06.10 05:45, JUNGFRAU 26.10 01:56, NORDEND 04.09 10:59, NORDEND 28.07 20:45, NORDEND 04.09 16:09 ; JUNGFRAU 28.10 01:30, NORDEND 18.08 22:15, WILDSTRUBEL 08.09 04:00, NIEDERHORN 09.10 15:00, LENZSPITZE 30.10 13:50, BREITHORN 07.10 08:00, et quelque 80 autres, surtout WILDSTRUBEL, puis LENZSPITZE, NORDEND, JUNGFRAU, BREITHORN ; [E-002].
#### Deux références perdues : la caméra est aveugle
- **Ce qui se passe** : deux des trois références deviennent presque invisibles, et le système les écarte l'une après l'autre ; parfois la compensation n'en retient plus aucune.
- **Ce qu'on voit** : leur `error_value` monte fortement. L'erreur de reprojection monte d'abord, la caméra peinant à se recaler, tombe à zéro à la perte de la première, n'est plus calculée du tout à la perte de la seconde (valeurs manquantes) [JUNGFRAU 14.10 23:02, JUNGFRAU 27.10 00:56]. Cibles : des sauts dans `corr_x` et `corr_y` à chaque bascule, puis un mouvement, des déplacements de moins en moins fiables ; au retour d'une référence, la reprojection repasse par zéro, puis tout revient [JUNGFRAU 14.10 23:02]. Sans aucune référence retenue : `sigma0` manque, les corrections des références encore bien vues restent figées, les courbes qui restent sautent et dérivent ensemble [LENZSPITZE 26.10 00:00] ; pendant un passage, les cibles restées sous le seuil sautent [SNCF01 05.10 15:45]. Images : la nuit, sans obstacle, les taches des deux références réduites à des points, une cible témoin entière [JUNGFRAU 26.10 23:00] ; les taches lointaines presque toutes disparues [LENZSPITZE 26.10 00:00].
- **Au fil du temps** : quelques heures, une référence après l'autre [JUNGFRAU 14.10 23:02] ; le temps d'un passage [SNCF01 05.10 15:45] ; une nuit [LENZSPITZE 26.10 00:00].
- **La cause, et comment elle a été sue** : la mauvaise visibilité des deux références, lue sur leur `error_value` et sur la reprojection ; sa propre cause n'est pas dite [JUNGFRAU 14.10 23:02] ; probable ailleurs : brume ou humidité [LENZSPITZE 26.10 00:00], brume vue [NORDEND 14.10 05:00], pluie [NORDEND 24.10 16:30] ; toutes perdues d'un coup : un train [SNCF01 05.10 15:45], des voitures garées [WILDSTRUBEL 26.09 03:45 (Obstruction)] ; au plus fort du lever, quelques mesures [WILDSTRUBEL 04.09 03:45].
- **Ce qu'on en conclut** : avec une seule référence, la caméra est aveugle : toute mesure de la plage est invalide ; sans aucune, les points n'ont pas de sens [WILDSTRUBEL 15.10 07:45]. Si le problème se répète, contrôler l'état des prismes de référence [JUNGFRAU 27.10 00:56].
- **Variantes** : sous les sauts, la tendance de fond reste l'effet thermique sur le pont [JUNGFRAU 14.10 23:02].
- **Étiquettes** : JUNGFRAU 27.10 00:56, JUNGFRAU 14.10 23:02 ; JUNGFRAU 26.10 23:00, LENZSPITZE 26.10 00:00, SNCF01 05.10 15:45, WILDSTRUBEL 15.10 07:45, NORDEND 14.10 05:00, NORDEND 24.10 16:30, et une trentaine d'autres, surtout SNCF01 et WILDSTRUBEL.
#### Une compensation sur deux références
- **Ce qui se passe** : la compensation ne tourne que sur deux références, la station n'en ayant que deux ou en ayant perdu une pour de bon ; ajustée sans erreur, elle tient mal la caméra et reporte sur toutes les cibles le moindre écart entre elles.
- **Ce qu'on voit** : toutes les cibles bougent ensemble au moindre écart des deux références, sans que leurs positions brutes bougent, la pose basculant d'avant en arrière [MICHIGAN 26.10 20:00, MICHIGAN 17.10 12:00] ; un mouvement de la caméra mal compensé, la scène qui se déforme [NEBRASKA 16.10 20:00 (dérive)]. Une des deux rejetée : la caméra n'est plus recalée, plusieurs cibles sautent un peu et reviennent au recalage suivant [FLORIDA 02.10 09:45] ; mal vue sans être rejetée, la pose se fausse [FLORIDA 23.10 22:00]. À la perte pour de bon, toutes les cibles sautent en un pas et restent décalées ; la reprojection et les corrections des deux restantes s'annulent ; la tache perdue a disparu de sa place, sans obstacle [MICHIGAN 09.10 08:00, NEBRASKA 09.10 08:00]. Sur une station qui n'a que deux références, la reprojection est à zéro en permanence, `inlier` et `sigma0` vides [FLORIDA 01.10 20:45, FLORIDA 22.10 11:15].
- **Au fil du temps** : en permanence, ou depuis la perte, sans retour [MICHIGAN 09.10 08:00] ; une référence qui faiblit chaque nuit et se perd chaque matin [FLORIDA 23.10 03:45, FLORIDA 28.10 07:00] ; une agitation de quelques mesures qui revient dans la journée [MICHIGAN 17.10 12:00].
- **La cause, et comment elle a été sue** : déduite de la pose, des positions brutes et des corrections des références à zéro ; la perte non établie (prisme masqué, tourné, enlevé). Deux stations du même bâtiment, d'après l'expert, perdent chacune une référence à la même mesure : une cause commune est à chercher [MICHIGAN 09.10 08:00, NEBRASKA 09.10 08:00].
- **Ce qu'on en conclut** : ce n'est pas un mouvement ; base fragile, très mauvais signe, courbes peu fiables ; rétablir une troisième référence [NEBRASKA 16.10 20:00 (dérive)].
- **Variantes** : un mouvement thermique bref de la caméra, avec le froid, mal compensé [NEBRASKA 26.10 00:00] ; la jumelle d'une référence suit sa référence (voir G) [FLORIDA 09.10 09:45].
- **Étiquettes** : MICHIGAN 09.10 08:00, NEBRASKA 09.10 08:00, FLORIDA 02.10 09:45, MICHIGAN 26.10 20:00, MICHIGAN 17.10 12:00, FLORIDA 23.10 22:00 ; et 16 autres : FLORIDA 11, NEBRASKA 4, MICHIGAN 1.
#### La base change sans référence perdue
- **Ce qui se passe** : toutes les références restent dans la compensation, mais l'écart entre elles change un peu ; toutes les cibles en héritent ensemble, sans bouger dans l'image.
- **Ce qu'on voit** : à la reprise d'une référence, toutes les cibles décalées de leur niveau d'avant ; face au mouvement d'ensemble des cibles, quelques références se sont un peu écartées [WILDSTRUBEL 01.10 13:00] ; les trois références et quelques cibles sautent ensemble une mesure, sans référence écartée ni cause vue [NORDEND 13.09 04:00] ; une référence écartée une mesure, rien ne la cachant [NIEDERHORN 28.10 18:00].
- **Au fil du temps** : un décalage pris en une matinée de mouvement thermique et de bascules de références, qui s'efface en quelques jours [WILDSTRUBEL 03.10 15:15].
- **La cause, et comment elle a été sue** : non établie : un reste du mouvement de la caméra, ou un changement d'aspect des références [WILDSTRUBEL 01.10 13:00].
- **Ce qu'on en conclut** : pas un mouvement établi ; vérifier avec les jours suivants.
- **Étiquettes** : WILDSTRUBEL 01.10 13:00, WILDSTRUBEL 03.10 15:15, NIEDERHORN 28.10 18:00, NORDEND 13.09 04:00.
### E. La caméra et son support
#### La caméra bouge par effet thermique
- **Ce qui se passe** : l'objectif ou le support de la caméra se dilate et se contracte avec la température ; la pose suit, et la compensation par les références en efface plus ou moins [NORDEND 25.09 16:02, WILDSTRUBEL 27.09 04:15].
- **Ce qu'on voit** :
- mouvement de la caméra : un changement lent, puis un changement rapide, chaque jour. L'expert lit sur NORDEND le pan et le tilt qui « dérivent dès la tombée de la nuit, puis reviennent d'un coup au matin » [NORDEND 25.09 16:02] ; les étiquettes automatiques nomment la même forme à l'envers : un départ d'un coup au réchauffement du matin, un retour lent le soir et la nuit [NORDEND 25.09 06:00, SNCF01 05.10 06:30]. Les données de cette nuit-là montrent les deux : un pan qui change lentement de l'après-midi au milieu de la nuit, plat ensuite, et un changement rapide en début de matinée. Les axes ont chacun leur heure : l'échelle suit le niveau de la température du boîtier, le tilt son réchauffement [WILDSTRUBEL 01.09 03:30] ; le tilt et la rotation reviennent d'un coup, le pan plus tard, l'échelle dans la nuit [NIEDERHORN 13.10 13:00] ;
- positions brutes : tous les capteurs, références comprises, bougent ensemble, comme un bloc [WILDSTRUBEL 01.09 03:30] ;
- cibles : le même cycle dans les corrections, surtout `corr_x`, quand la caméra compense mal ses propres mouvements [NORDEND 25.09 16:02] ; selon leur place dans l'image, les unes se creusent, les autres montent [NIEDERHORN 13.10 13:00] ; rien quand elle les compense bien [WILDSTRUBEL 27.09 04:15] ; les jours de soleil, les références s'écartent un peu elles aussi [NORDEND 02.10 06:00] ;
- `error_value` : ordinaire [FLORIDA 07.10 08:45] ; boîtier chaud, la pose et les courbes s'agitent d'une mesure à l'autre et l'`error_value` des cibles baisse un peu [NIEDERHORN 13.10 13:00] ;
- températures : la pose va avec la température du boîtier ; sans température, le cycle se lit sur la pose et le rythme du jour [SNCF01 05.10 06:30].
- **Au fil du temps** : chaque jour, au rythme du jour et de la nuit [NORDEND 25.09 16:02], du lever au coucher du soleil d'après les images [WILDSTRUBEL 27.09 04:15] ; sans repos la nuit [NORDEND 02.10 06:00, SNCF01 05.10 06:30], ou au repos dès l'après-midi [WILDSTRUBEL 01.09 03:30]. Le cycle ne se referme pas toujours : le pan plus bas au matin [NORDEND 22.10 06:30], la caméra restée à sa position du jour [SNCF01 19.10 07:15], deux jours en un cycle [SNCF01 12.10 08:00]. Une coupure ou une gêne de la vue l'interrompt [NORDEND 13.10 07:45].
- **La cause, et comment elle a été sue** : déduite : la caméra bouge, et l'ouvrage ne peut pas bouger par effet thermique (façade rocheuse trop massive, route) ; restent l'objectif et le support [NORDEND 25.09 16:02, WILDSTRUBEL 27.09 04:15]. Ailleurs, de la pose face à la température du boîtier [NIEDERHORN 13.10 13:00] ; un mur maçonné n'est pas censé bouger ainsi [SNCF01 05.10 06:30]. Le soleil chauffe le support d'un côté puis de l'autre, et la caméra bascule un peu, compensé : probable, pas vu [E-003].
- **Ce qu'on en conclut** : les courbes se déforment alors que l'ouvrage ne bouge pas : rien à faire [NORDEND 25.09 16:02]. Compensé, il s'étiquette aussi, et l'étiquette dit que la compensation l'absorbe [FLORIDA 07.10 08:45, NORDEND 21.10 07:15]. Ce qui suit un départ sans retour n'est pas expliqué : ne pas le lire comme un mouvement [SNCF01 19.10 07:15].
- **Variantes** :
- sur un ouvrage qui bouge lui aussi, la caméra fixée dessus bouge à un rythme proche [JUNGFRAU 11.10 18:05] ou plus vite que lui, son support chauffant plus vite [JUNGFRAU 13.10 07:14] ; cette différence de rythme est peut-être la cause de la mauvaise compensation ;
- porté par la nuit : un jour couvert après une nuit chaude, tout vient au refroidissement du soir [NORDEND 01.10 10:00] ; une nuit plus froide emmène le pan au-delà de son niveau de la veille [NORDEND 17.10 08:45] ;
- jour couvert : cycle faible, courbes plates [NORDEND 21.10 07:15, LENZSPITZE 30.10 07:20], ou des axes à l'envers [NIEDERHORN 12.10 15:00] ;
- plateau : une cible tient son écart tant que le boîtier reste chaud [LENZSPITZE 19.10 07:00] ; un refroidissement net fait passer les cibles au-delà de leur niveau de nuit [LENZSPITZE 31.10 07:40, SNCF01 08.10 08:15] ;
- un cycle jour / nuit de la pose, mal compensé, n'est pas toujours la caméra : deux références sur quatre masquées par la végétation laissent une base insuffisante (cas : `cas-annotes-par-l-expert.md`, GN-1.472).
- **Étiquettes** : NORDEND 25.09 16:02, WILDSTRUBEL 27.09 04:15, JUNGFRAU 11.10 18:05, JUNGFRAU 13.10 07:14 ; NORDEND 02.10 06:00, WILDSTRUBEL 01.09 03:30, NIEDERHORN 13.10 13:00, SNCF01 05.10 06:30, FLORIDA 07.10 08:45, LENZSPITZE 19.10 07:00, et 192 autres : NORDEND 80, NIEDERHORN 28, WILDSTRUBEL 26, FLORIDA 24, SNCF01 22, LENZSPITZE 12 ; [E-003].
#### La caméra s'écarte aux baisses de la température de son boîtier, sans cycle du jour
- **Ce qui se passe** : à l'abri, dans un bâtiment ou un tunnel, la caméra n'a pas de cycle du jour ; elle s'écarte par à-coups quand la température de son boîtier baisse et revient quand il se réchauffe. C'est la température du boîtier de la caméra qui compte, pas celle de l'air autour : même à l'abri, ces écarts sont thermiques [expert, 2026-11-04, sur BREITHORN 19.10 00:00, BREITHORN 23.10 12:00, BREITHORN 28.10 00:00, BREITHORN 28.10 16:00, BREITHORN 29.10 16:00].
- **Ce qu'on voit** : la rotation et l'échelle s'écartent, le tilt fait un pas [BREITHORN 19.10 00:00] ; la caméra pique du nez, l'échelle baisse [MICHIGAN 28.10 16:00] ; dans le tunnel, seule l'échelle [CLARIDEN 06.10 18:40]. Positions brutes de toutes les cibles et des références qui glissent ensemble [MICHIGAN 28.10 16:00]. Cibles : plusieurs, et des références, s'écartent en sens opposés puis reviennent avec la caméra [BREITHORN 19.10 00:00] ; sur deux références, toutes ensemble, l'écart amplifié [MICHIGAN 28.10 16:00] ; un pic du `corr_x` à la mesure la plus froide [NEBRASKA 28.10 20:00] ; dans le tunnel, rien, la compensation l'absorbe [CLARIDEN 06.10 18:40]. `error_value` : peu changée ; celle de quelques capteurs un peu plus haute, sans rejet, cause non établie [NEBRASKA 28.10 20:00]. Rien ne gêne la vue.
- **Au fil du temps** : les nuits et les matins froids, pas chaque jour ; retour vers midi ou l'après-midi [BREITHORN 19.10 00:00] ; les mêmes matins sur les caméras d'un même bâtiment, d'après l'expert [BREITHORN 26.10 04:00, NEBRASKA 26.10 00:00] ; dans le tunnel, avec un retard sur la gêne de la vue de la même heure [CLARIDEN 06.10 18:40].
- **La cause, et comment elle a été sue** : effet thermique sur la caméra, d'après l'expert, sur la température du boîtier lue dans les métriques [BREITHORN 19.10 00:00].
- **Ce qu'on en conclut** : pas un mouvement de l'ouvrage, rien à faire ; ne pas croire ces points [BREITHORN 19.10 00:00].
- **Variantes** : un reste durable s'ajoute à la dérive de la caméra (voir « La caméra s'incline peu à peu ») [MICHIGAN 16.10 12:00].
- **Étiquettes** : BREITHORN 19.10 00:00, MICHIGAN 28.10 16:00, NEBRASKA 28.10 20:00, CLARIDEN 06.10 18:40, BREITHORN 26.10 04:00, NEBRASKA 26.10 00:00, et 16 autres : MICHIGAN 6, BREITHORN 4, NEBRASKA 3, CLARIDEN 3.
#### Un pas de la caméra que la compensation n'efface pas
- **Ce qui se passe** : la caméra bouge d'un coup ; la compensation rattrape presque tout, et le reste passe dans les courbes des cibles.
- **Ce qu'on voit** : un petit pas du pan et de la rotation [NORDEND 01.09 15:30], ou une marche du tilt que la pose garde [SNCF01 15.10 05:15] ; les positions brutes de tous les capteurs, références comprises, décalées ensemble d'un coup, pas tout à fait d'autant [CLARIDEN 20.10 00:15, E-006] ; plusieurs cibles sautent ensemble et reviennent à la mesure suivante [NORDEND 01.09 15:30, E-006], ou gardent un saut qui reste [CLARIDEN 20.10 00:15] ; les références à leur niveau [NORDEND 01.09 15:30], ou leurs propres corrections qui changent [SNCF01 15.10 05:15] ; images : rien devant les cibles, un feuillage flou [E-006].
- **Au fil du temps** : une mesure ; ou un pas qui reste [SNCF01 15.10 05:15] ; ou une rotation qui baisse sur une matinée, en plein cycle du jour, et ne revient pas [WILDSTRUBEL 08.10 05:30].
- **La cause, et comment elle a été sue** : non établie ; un à-coup de la caméra ou de son support, déduit de la pose [SNCF01 15.10 05:15] ; le vent est possible [E-006].
- **Ce qu'on en conclut** : pas un mouvement de l'ouvrage ; d'une mesure, « très léger et insignifiant », rien à faire [E-006] ; caméra à surveiller si cela se répète [NORDEND 01.09 15:30] ; un reste qui dure, à surveiller côté support [SNCF01 15.10 05:15]. La taille du pas brut ne fait pas l'événement : de jour, des pas de même taille ne laissent rien [E-006].
- **Étiquettes** : NORDEND 01.09 15:30, SNCF01 15.10 05:15, CLARIDEN 20.10 00:15, WILDSTRUBEL 08.10 05:30 ; [E-006], deux instants de NORDEND le 03.09, étiquetés Visibility par NORDEND 03.09 13:15 et NORDEND 03.09 16:30 (PR07 faible, rejetée au premier) : les données y montrent le pas brut commun de tous les capteurs de l'event.
#### La caméra s'incline peu à peu
- **Ce qui se passe** : la caméra pique du nez peu à peu, des semaines, et la compensation de ce mouvement est incomplète : elle corrige mieux certaines cibles que d'autres [BREITHORN 03.10 00:00, d'après l'expert] ; sur deux références, il passe dans toutes les cibles [MICHIGAN 09.10 12:00].
- **Ce qu'on voit** : le tilt augmente, le pan et la rotation diminuent, l'échelle baisse [BREITHORN 03.10 00:00, MICHIGAN 09.10 12:00] ; les cibles glissent ensemble dans l'image, sans bouger entre elles [MICHIGAN 09.10 12:00] ; quelques-unes dérivent lentement dans le même sens, les autres non : celles qui dérivent le plus sont bien plus proches de la caméra, d'après l'expert [BREITHORN 03.10 00:00] ; ailleurs celles du haut et de la droite [NEBRASKA 03.10 00:00]. La scène peut se déformer avec la caméra, dans les deux sens [NEBRASKA 16.10 20:00 (dérive)] ; les positions des cibles et des références, les unes face aux autres, changent de plus en plus, la reprojection augmente [SNCF01 04.10 00:00 (Displacement)]. `error_value` stable [BREITHORN 03.10 00:00]. La dérive suit les à-coups de la température, mais à température égale la caméra est plus inclinée en fin de mois : lien non établi [BREITHORN 16.10 20:00].
- **Au fil du temps** : des semaines ; avancée, arrêt et léger recul, reprise, aux mêmes dates sur les caméras d'un même bâtiment, d'après l'expert [BREITHORN 03.10 00:00, BREITHORN 13.10 04:00] ; elle ralentit sans s'arrêter [BREITHORN 16.10 20:00] ; après des semaines sans mesure, une seule mesure montre la caméra bien plus inclinée [WILDSTRUBEL 31.10 20:00].
- **La cause, et comment elle a été sue** : donnée par l'expert : la caméra pique du nez et sa compensation est incomplète [BREITHORN 03.10 00:00] ; trois caméras qui s'inclinent ensemble désignent une cause commune au bâtiment plutôt qu'un défaut d'une caméra [BREITHORN 03.10 00:00]. Ailleurs non établie : compensation incomplète, une référence qui bouge, ou l'ouvrage [NEBRASKA 16.10 20:00 (dérive), SNCF01 04.10 00:00 (Displacement)].
- **Ce qu'on en conclut** : les cibles ne bougent pas entre elles : pas un mouvement de l'ouvrage ; l'inclinaison est à surveiller [BREITHORN 03.10 00:00]. Quand la scène se déforme avec la caméra : mouvement de l'ouvrage non établi, à surveiller [SNCF01 04.10 00:00 (Displacement)]. Regarder la fixation de la caméra [WILDSTRUBEL 31.10 20:00].
- **Variantes** : le recul se lit sur les courbes [BREITHORN 13.10 04:00, MICHIGAN 12.10 16:00, NEBRASKA 13.10 04:00] ; le reste des matins froids s'ajoute [MICHIGAN 16.10 12:00].
- **Étiquettes** : BREITHORN 03.10 00:00, MICHIGAN 09.10 12:00, NEBRASKA 16.10 20:00 (dérive), SNCF01 04.10 00:00 (Displacement), WILDSTRUBEL 31.10 20:00, BREITHORN 13.10 04:00, et 5 autres : MICHIGAN 2, NEBRASKA 2, BREITHORN 1.
### F. L'ouvrage a bougé
#### L'ouvrage se dilate et se contracte avec la température
- **Ce qui se passe** : un ouvrage qui chauffe et refroidit bouge, normalement pour son genre ; grand, il met du temps à refroidir, et le mouvement est lent.
- **Ce qu'on voit** : cibles, sur l'ouvrage : elles bougent beaucoup ; le `corr_y` se creuse le jour [JUNGFRAU 13.10 07:14] ; ce pont-ci monte en refroidissant [JUNGFRAU 11.10 18:05] ; le `corr_x` de la plupart monte l'après-midi [JUNGFRAU 02.10 06:45] ; les nuits fraîches, les deux cibles des bords du pont s'écartent en `corr_x`, en sens opposés, puis reviennent [JUNGFRAU 19.10 20:00]. Références, hors de l'ouvrage : très stables, en position comme en `error_value`. `error_value` des cibles très stable : elles restent bien visibles. Reprojection : un peu plus haute, sans que ce soit significatif. Caméra, fixée au pont : elle bouge dès le matin ; bien compensé les jours de peu de soleil [JUNGFRAU 30.09 07:30]. Températures : les composants de la caméra « ne montrent pas clairement le phénomène » [JUNGFRAU 13.10 07:14] ; les étiquettes automatiques datent pourtant les phases sur la température du boîtier : elle dessine bien le cycle du jour, mais en avance sur le pont, qui la suit avec retard (vu dans les données du 11 au 14.10).
- **Au fil du temps** : le refroidissement commence à la tombée de la nuit et s'inverse au lever du jour [JUNGFRAU 11.10 18:05] ; le réchauffement dès le lever du soleil, toute la journée [JUNGFRAU 13.10 07:14] ; faibles un jour couvert [JUNGFRAU 07.10 06:30] ; le refroidissement peut rester à plat jusqu'au milieu de la nuit [JUNGFRAU 13.10 18:15].
- **La cause, et comment l'expert l'a sue** : déduite : les cibles sur l'ouvrage bougent, les références hors de l'ouvrage non, et la visibilité ne change pas.
- **Ce qu'on en conclut** : le pont bouge, ce qui est normal pour un ouvrage de ce genre. La stabilité de l'`error_value` suggère plutôt une mauvaise compensation de la caméra [JUNGFRAU 11.10 18:05] ; le mouvement est mal compensé par la caméra fixée au pont [JUNGFRAU 13.10 07:14].
- **Variantes** : mêlé à une baisse de visibilité, difficile à lire [JUNGFRAU 07.10 08:36] ; avec la pluie, la part thermique ne se sépare pas [JUNGFRAU 25.10 07:30] ; sous la perte des références, la tendance de fond reste ce mouvement [JUNGFRAU 14.10 23:02].
- **Étiquettes** : JUNGFRAU 11.10 18:05, JUNGFRAU 13.10 07:14 ; JUNGFRAU 02.10 06:45, JUNGFRAU 30.09 07:30, JUNGFRAU 19.10 20:00, JUNGFRAU 25.10 07:30, JUNGFRAU 13.10 18:15, et 50 autres : JUNGFRAU 50 (une station). La vague de 24 h de `cycle-thermique.md`, notée « PS des Coudres », est celle-ci.
#### Une montée de plusieurs jours avec la baisse de la température
- **Ce qui se passe** : la température baisse sans cesse pendant des jours, ce qui casse les cycles thermiques ; l'ouvrage, qui monte en refroidissant, monte tout ce temps : une explication plausible et cohérente, pas établie ; il y a peut-être encore du soleil, donc des effets thermiques sur le pont.
- **Ce qu'on voit** : les phases nettes s'effacent d'un coup ; les cibles montent plusieurs jours, puis se stabilisent ; le `corr_y` monte presque sans arrêt deux nuits et le jour entre elles [JUNGFRAU 16.10 16:45]. Températures des composants de la caméra : elles chutent et ne font que baisser. D'autres petites choses s'y mêlent, comme une perte de visibilité vers la fin.
- **Au fil du temps** : plusieurs jours, mi-octobre.
- **La cause, et comment l'expert l'a sue** : déduite : la montée suit la température ; les autres étiquettes thermiques montrent que le pont monte quand la température baisse.
- **Ce qu'on en conclut** : on peut raisonnablement écarter un mouvement réel ; pour comprendre ces données, il faut regarder la température.
- **Étiquettes** : JUNGFRAU 16.10 14:18 ; JUNGFRAU 16.10 16:45 (une station).
#### Un mouvement réel de l'ouvrage
- **Ce qui se passe** : l'ouvrage bouge vraiment, et entraîne la caméra et des références.
- **Ce qu'on voit** : références : la nuit, elles bougent entre elles, pas toutes (trois se décalent dans l'image, la quatrième, D-302-C, reste immobile) ; leur cohérence se dégrade nettement. Cibles : leurs corrections décrochent sans que leur position dans l'image bouge, sauf autour de la référence immobile ; au matin, un groupe de cibles voisines bouge seul dans l'image ; puis tous les capteurs, références comprises, bougent ensemble d'un coup, reviennent en partie et restent décalés. Les déplacements corrigés gardent un palier, d'autant plus grand que la cible est loin des références. Une cible qui perd son réflecteur reste juste sous le seuil : ses valeurs gardées ne mesurent pas l'ouvrage [E-004]. Images : rien (ni obstacle, ni buée, ni changement d'éclairage).
- **Au fil du temps** : une nuit puis un matin ; le palier reste plus d'une semaine et disparaît après une courte coupure des mesures.
- **La cause, et comment l'expert l'a sue** : un tunnel en chantier ; les autres systèmes de mesure du chantier confirment le mouvement. La documentation AIMsight lit le même épisode comme une instabilité du réseau de références ; les deux ne s'excluent pas (`incident-de-barcelone.md`).
- **Ce qu'on en conclut** : intervention, le chantier a été arrêté. La caméra et les références ayant bougé aussi, l'amplitude mesurée est faussée ; la vraie n'est pas établie.
- **Étiquettes** : CLARIDEN 18.09 23:20 (une station) ; [E-004], la même nuit.
#### Des cibles bougent lentement, seules, puis reviennent
- **Ce qui se passe** : une ou quelques cibles changent de position lentement, seules, des heures ou des jours, sans que la caméra bouge ni que la vue soit gênée, puis reviennent, en partie ou au-delà ; la cause n'est pas établie.
- **Ce qu'on voit** : une dérive de petits pas, puis un nouveau niveau ; une rangée qui monte puis redescend [CLARIDEN 06.10 22:00, CLARIDEN 11.10 06:00] ; une cible seule qui descend nuit après nuit [WILDSTRUBEL 25.09 02:30]. Leurs positions dans l'image s'écartent des autres dans le sens des courbes et y reviennent [CLARIDEN 06.10 22:00, WILDSTRUBEL 25.09 02:30]. `error_value` ordinaire, caméra immobile, températures sans lien [CLARIDEN 06.10 22:00] ; rien devant les cibles [CLARIDEN 11.10 06:00] ; des ouvriers près de la caméra, sans lien établi [CLARIDEN 22.10 08:45].
- **Au fil du temps** : des heures à des jours ; un retour lent, partiel [CLARIDEN 25.10 18:00] ou au-delà [CLARIDEN 22.10 17:00] ; des pas brefs qui restent [CLARIDEN 28.10 19:20].
- **La cause, et comment elle a été sue** : non établie, dans un tunnel en chantier [CLARIDEN 06.10 22:00] ; une cible déjà gênée par quelque chose à la même heure de la nuit [WILDSTRUBEL 25.09 02:30].
- **Ce qu'on en conclut** : un mouvement de ces cibles n'est pas exclu : à vérifier avec les autres mesures du chantier, surveiller la rangée [CLARIDEN 06.10 22:00].
- **Variantes** : une rangée qui monte le jour pendant des travaux vus sur les images et redescend le soir [CLARIDEN 22.10 08:45] ; une agitation par à-coups, deux références qui s'écartent un peu, puis un décalage qui reste [CLARIDEN 24.10 18:20].
- **Étiquettes** : CLARIDEN 06.10 22:00, CLARIDEN 11.10 06:00, CLARIDEN 22.10 08:45, CLARIDEN 28.10 19:20, CLARIDEN 24.10 18:20, WILDSTRUBEL 25.09 02:30, et 5 autres : CLARIDEN 5.
#### Une cible ou un petit groupe saute et reste décalé
- **Ce qui se passe** : une cible, ou quelques voisines, passent d'un coup à un autre niveau et y restent, sans que la caméra bouge ni qu'une cause se voie ; elles reviennent parfois d'un pas.
- **Ce qu'on voit** : d'une mesure à l'autre, le `corr_x` ou le `corr_y` d'une seule cible [FLORIDA 22.10 03:15, NORDEND 05.09 12:00], sa position brute décalée d'autant face aux autres [NEBRASKA 16.10 20:00 (COLJ19), WILDSTRUBEL 06.10 08:30] ; ou un groupe du bord de l'image ensemble, une cible rejetée ensuite presque à chaque mesure [NIEDERHORN 30.10 01:00]. `error_value` un peu plus basse [FLORIDA 22.10 03:15], à peine plus haute [NORDEND 05.09 12:00], ou qui change de niveau pour le groupe [NIEDERHORN 30.10 01:00]. Références et caméra immobiles ; images : rien [NORDEND 05.09 12:00].
- **Au fil du temps** : d'un coup ; le palier dure de la journée [NEBRASKA 16.10 20:00 (COLJ19)] à plus d'un mois [NORDEND 05.09 12:00] ; il revient d'un pas à son niveau d'avant [NORDEND 05.09 12:00, FLORIDA 15.10 04:00] ; deux pas dans le même sens, le second dans une coupure [WILDSTRUBEL 06.10 08:30, WILDSTRUBEL 07.10 13:30].
- **La cause, et comment elle a été sue** : non établie : la tache a peut-être changé d'aspect, ou la cible a bougé [FLORIDA 22.10 03:15, NIEDERHORN 30.10 01:00] ; juste après une pluie [FLORIDA 09.10 08:00, E-014].
- **Ce qu'on en conclut** : un mouvement de la cible n'est pas exclu : à vérifier sur ses images et sur place, à surveiller [NORDEND 05.09 12:00, NEBRASKA 16.10 20:00 (COLJ19)].
- **Variantes** : le pas qui ramène une cible à son niveau d'un mois plus tôt est un retour, même étiqueté sous une autre cause (une trace sur la vitre) [NORDEND 05.09 12:00, NORDEND 08.10 02:15].
- **Étiquettes** : NORDEND 05.09 12:00, FLORIDA 22.10 03:15, NEBRASKA 16.10 20:00 (COLJ19), WILDSTRUBEL 06.10 08:30, NIEDERHORN 30.10 01:00, FLORIDA 09.10 08:00, et 3 autres : FLORIDA 1, NORDEND 1, WILDSTRUBEL 1 ; [E-014] (appris, non revalidé) : e09, e10 et PWD_RMP_B16_026_C09 de NIEDERHORN le 02.10 au soir, après la pluie, les mêmes cibles que le groupe de NIEDERHORN 30.10 01:00 ; aucune étiquette ne porte ce premier pas (NIEDERHORN 02.10 20:00 est le train de la mesure suivante).
#### Un palier pris pendant une coupure des mesures
- **Ce qui se passe** : pendant un arrêt des mesures, des cibles changent de niveau ; à la reprise, elles ne retrouvent pas celui d'avant.
- **Ce qu'on voit** : de nombreuses cibles reprennent à un autre niveau dès la première mesure, les positions brutes de quelques-unes décalées face aux autres [CLARIDEN 03.10 17:45, WILDSTRUBEL 09.09 21:45] ; ou un seul groupe voisin, références intactes [NIEDERHORN 15.10 22:00 (No data)] ; les références un peu l'une face à l'autre, ce qui change la base [WILDSTRUBEL 09.09 21:45] ; l'`error_value` et l'échelle de la caméra plus les mêmes [CLARIDEN 03.10 17:45] ; un objet flou tout près de l'objectif à la reprise [CLARIDEN 03.10 17:45].
- **Au fil du temps** : le palier dure des semaines, le cycle du jour par-dessus [NIEDERHORN 15.10 22:00 (No data)] ; une cible revient plus tard près de son niveau [WILDSTRUBEL 30.09 02:15].
- **La cause, et comment elle a été sue** : non établie : une intervention ou un réglage pendant l'arrêt, ou un vrai mouvement.
- **Ce qu'on en conclut** : ne pas comparer les niveaux d'avant et d'après ; à vérifier avec l'exploitant ; pour une cible décalée seule, un mouvement n'est pas exclu [WILDSTRUBEL 09.09 21:45].
- **Étiquettes** : CLARIDEN 03.10 17:45, NIEDERHORN 15.10 22:00 (No data), WILDSTRUBEL 09.09 21:45, WILDSTRUBEL 30.09 02:15.
### G. Configuration de la station
#### Des cibles jumelles de leurs références
- **Ce qui se passe** : un même prisme sert de cible et de référence, faute de référence possible dans cette partie du champ, parce que le système n'accepte pas encore un capteur à deux rôles.
- **Ce qu'on voit** : une seule tache pour les deux capteurs de chaque paire ; leurs positions dans l'image bougent ensemble, à un écart constant ; la même `error_value` aux mêmes instants ; les corrections de la cible collées à zéro, de jour comme de nuit, quand une cible ordinaire a son propre niveau et un bruit bien plus grand. Quand leur `error_value` commune passe le seuil, la jumelle perd ses corrections et celles de la référence, encore écrites, quittent zéro [E-011, FLORIDA 18.10 05:00, vu dans les données] ; quand la référence est rejetée, sa jumelle l'est aussi, ou sort de son zéro [FLORIDA 02.10 09:45, FLORIDA 09.10 09:45].
- **Au fil du temps** : permanent, sur toutes les mesures de la station.
- **La cause, et comment l'expert l'a sue** : la configuration de la station, voulue.
- **Ce qu'on en conclut** : ce n'est pas une panne ; rien à vérifier ni à faire. Ces cibles se lisent comme leur référence : leur courbe plate ne prouve pas que l'ouvrage est immobile à cet endroit, et chaque épisode qui touche la référence compte un capteur de plus qu'en réalité ; dans les étiquettes, une jumelle se nomme avec sa référence [FLORIDA 08.10 03:15].
- **Étiquettes** : FLORIDA 17.10 23:15 ; FLORIDA 02.10 09:45, FLORIDA 09.10 09:45, FLORIDA 08.10 03:15, et 10 autres : FLORIDA 10 (une station) ; [E-011], Sellette 3 et p1_r de FLORIDA du 16 au 25.10.
## 2. Les règles de lecture
Ce qui vaut au-delà d'un cas. Les règles pour poser une étiquette (bornes, découpage, famille) sont dans `labeling/regles-d-etiquetage.md`.
### Les règles de l'expert
- **Un saut se juge face aux voisines.** S'il ramène la cible vers elles, c'est un retour à la normale, et l'artefact était avant ; s'il l'en éloigne, il est à traiter tout autrement. [CLARIDEN 18.09 00:00, E-010]
- **Une `error_value` haute n'est pas un problème en soi : ce sont ses variations qui comptent.** [JUNGFRAU 14.10 23:02]
- **Il faut trois références au moins ; en écarter une seule suffit à tout fausser** : une sorte de triangulation. [NORDEND 04.09 10:59, JUNGFRAU 26.10 01:56]
- **L'erreur de reprojection dit combien de références tiennent** : à zéro, il n'en reste que deux, très mauvais signe ; absente, une seule, et aucune mesure n'est possible. Sauf sur une station construite avec deux références, où elle est toujours à zéro. [JUNGFRAU 06.10 05:45, JUNGFRAU 14.10 23:02, JUNGFRAU 27.10 00:56 ; FLORIDA 01.10 20:45]
- **La position des cibles repose sur le réseau de références** : références mal vues, cibles mal ancrées. [JUNGFRAU 14.10 23:02]
- **Une `error_value` très stable dit que les cibles restent bien visibles** : pendant qu'elles bougent, cela suggère plutôt une mauvaise compensation qu'une gêne de la vue. [JUNGFRAU 11.10 18:05]
- **Le genre d'ouvrage dit si un mouvement thermique est possible** : un pont oui ; une façade rocheuse, trop massive, ou une route, non : le mouvement est alors celui de la caméra. [JUNGFRAU 11.10 18:05, NORDEND 25.09 16:02, WILDSTRUBEL 27.09 04:15]
- **La caméra peut bouger par effet thermique à un autre rythme que l'ouvrage**, n'ayant pas le même temps de chauffe. [JUNGFRAU 11.10 18:05, JUNGFRAU 13.10 07:14]
- **La température qui compte est celle du boîtier de la caméra, pas celle de l'air autour**, même à l'abri. [expert, 2026-11-04, BREITHORN 19.10 00:00]
- **Un changement de régime se comprend par la température** : il faut la regarder. [JUNGFRAU 16.10 14:18]
- **Un tilt qui monte veut dire que la caméra pique du nez.** [expert, 2026-11-03, BREITHORN 03.10 00:00]
- **Les heures sont en UTC, et la station peut être n'importe où** : le jour et la nuit se jugent sur les images. [WILDSTRUBEL 27.09 04:15]
- **Une mesure rejetée est retirée de l'affichage, pas une mesure juste sous le seuil** : une cible restée sous le seuil garde son saut. [NIEDERHORN 30.09 21:00, NIEDERHORN 01.10 11:00]
### Celles que les étiquettes revues et les events établissent
- **Ce qui bouge dans l'image se lit avant la cause, sur les positions brutes face au mouvement d'ensemble** (`ensemble.py --rigide`) : les cibles ne bougent pas entre elles, c'est la caméra [BREITHORN 03.10 00:00] ; des cibles bougent seules, un mouvement n'est pas exclu [CLARIDEN 06.10 22:00] ; rien ne bouge et les courbes sautent, c'est la base ou la configuration [WILDSTRUBEL 01.10 13:00, CLARIDEN 29.10 23:45].
- **Un niveau se juge aussi face au passé de la cible, sur des semaines** : un saut qui la ramène à un niveau ancien est un retour. [NORDEND 05.09 12:00, NORDEND 08.10 02:15]
- **Un écart propre à quelques cibles qui suit la caméra, aux mêmes dates, est la scène qui se déforme avec elle**, pas un second mouvement ; il n'est à part que s'il a ses propres dates. [NEBRASKA 16.10 20:00 (dérive), NEBRASKA 16.10 20:00 (COLJ19)]
- **Le sens d'un mouvement thermique se lit sur la température du boîtier, pas sur l'heure** ; quand l'échelle de la caméra la suit, l'effet est sur la caméra. [NORDEND 01.10 10:00, CLARIDEN 06.10 18:40]
- **La pose de la caméra n'est sûre que si les références tiennent** : une référence rejetée, écartée ou qui glisse face aux cibles la fausse ; une cible gênée seule, non. [FLORIDA 27.10 01:45]
- **Une cible à problème se reconnaît à ses rejets propres, presque chaque jour, aussi les jours couverts ou de pluie** ; des rejets qui ne viennent qu'avec une condition vue (soleil, pluie) sont des épisodes de cette condition. [NIEDERHORN 01.10 00:00 (e01), NORDEND 16.10 19:00 ; contre-exemples : NORDEND 10.08 13:30, SNCF01 19.10 13:30]
- **Sur une caméra récente, le flux dit si une cible est cachée** : coupé, elle l'est, même sous son seuil, et son point est faux ; entier, rien n'est devant ; l'`error_value` dit qu'une mesure se dégrade, flux, netteté et `dominance` disent pourquoi. [LENZSPITZE 17.10 05:00 ; cas : `metriques-de-qualite.md`]
- **Un trou se lit avec les autres stations et les métriques** : aux mêmes minutes ailleurs, une cause commune hors des stations ; synchronisation, image ou entrées non envoyées pendant le trou, la station tourne ; en fin de lot, un retard seulement si les autres n'ont pas encore leurs données ; une batterie entamée au retour d'une station sur secteur, le secteur perdu. [JUNGFRAU 15.10 22:45, NORDEND 22.08 16:30, WILDSTRUBEL 31.10 20:15, CLARIDEN 18.10 13:45 ; cas : `les-trous.md`]
- **Des caméras voisines se lisent ensemble** : un même mouvement, une même perte ou un même trou sur les caméras d'un même bâtiment ont une cause commune ; ce qui n'en touche qu'une est sur sa ligne de vue. [MICHIGAN 09.10 08:00, BREITHORN 25.10 20:00]
- **Ni `inlier` binaire, ni `sigma0` seul, ni le nombre de références ne suffisent ; des références cohérentes ne sont pas des références fixes.** [CLARIDEN 18.09 23:20, E-004 ; cas : `chaine-de-mesure.md`]
## 3. Faux amis
Ceux que les fiches ne disent pas déjà en clair ; les autres sont dans « Ce qu'on en conclut ».
- **Une reprojection à zéro n'est pas une mesure parfaite** : il ne reste que deux références. [JUNGFRAU 26.10 01:56, JUNGFRAU 06.10 05:45]
- **Des sauts de nombreuses cibles, tous dans le même sens, ne sont pas un mouvement** quand ils tombent aux bascules de références : positions brutes sans marche, cycle journalier qui continue. [NORDEND 28.07 20:45]
- **Une cible qui glisse lentement loin de ses voisines n'est pas en mouvement** quand son `error_value` monte avec le glissement et qu'un pas la ramène vers elles. [CLARIDEN 18.09 00:00]
- **Une montée de plusieurs jours n'est pas forcément un mouvement réel** : elle peut suivre une baisse durable de la température. [JUNGFRAU 16.10 14:18]
- **Des corrections collées à zéro ne sont pas une panne** : une jumelle de référence. [FLORIDA 17.10 23:15]
- **Aucun signal ne veut pas dire aucune obstruction** : seules les images montrent la toile. [NORDEND 03.09 18:01]
- **Une toile n'est pas l'araignée** : la toile voile en partie des heures ou des jours ; l'araignée cache tout le temps d'une mesure. [NORDEND 31.07 20:15]
- **Des références qui ne bougent pas sous la pluie ne contredisent pas la pluie** : plus haut, elles la subissent moins. [NIEDERHORN 01.10 04:00]
- **Le palier d'un mouvement réel n'en est pas l'amplitude** quand la caméra et les références ont bougé aussi. [CLARIDEN 18.09 23:20]
- **Une nuée d'insectes n'est pas un train** : même signature ; seule l'image les sépare. [NIEDERHORN 13.10 22:00]
- **Une agitation de jour n'est pas une turbulence quand l'`error_value` des cibles ne monte pas** et que la pose s'agite : c'est la caméra qui chauffe. [NIEDERHORN 03.10 12:00, WILDSTRUBEL 27.09 04:15]
- **Une baisse de la température au même moment ne fait pas un effet thermique** : dans le tunnel, la bosse d'un groupe vient avec l'`error_value` et revient avant l'échelle de la caméra. [CLARIDEN 06.10 18:00, CLARIDEN 06.10 18:40]
- **Une dérive qui suit la température en tendance n'est pas thermique** quand, à température égale, la caméra ne revient pas au même niveau. [BREITHORN 16.10 20:00, MICHIGAN 16.10 12:00]
- **Le retour de l'`error_value` n'est pas la fin d'une gêne** : après une trace sur la vitre, les courbes restent décalées. [NORDEND 08.10 02:15]
- **Des taches plus grosses sur l'image ne sont pas des taches plus larges** : quand la lumière baisse, l'image en fait des halos. [LENZSPITZE 17.10 10:55]
- **Une tache sur une vignette qui suit la mesure n'est pas forcément là** : le cadre suit une mesure peut-être accrochée à la voisine ; seul un cadre fixe le montre. [FLORIDA 20.10 05:15]
## 4. Le contexte des stations
Pour lire les plages non étiquetées de ces stations ; pas une règle pour les autres. « Souvent » : dans de nombreuses étiquettes. Chaque event est rattaché à sa station par ses données codées, identiques valeur pour valeur à `data/<STATION>/` aux mêmes instants (`labeling/auto/revue-croisee/2026-11-04/carte/outils/rattacher_events.py`).
| Station | Ouvrage | Caméra et références | Ce qui revient dans ses étiquettes | Events |
|---|---|---|---|---|
| BREITHORN | dans un bâtiment, avec MICHIGAN et NEBRASKA [expert] | une mesure toutes les quatre heures ; COLJ19 et POUI19 bien plus proches de la caméra [expert] ; la caméra pique du nez au fil du mois, compensation incomplète [expert] | souvent, des véhicules stationnés la nuit devant les cibles et références du bas (COLI22, COLI24, POUI22, POUI24, COLH20''', REFH22, REFPOU22) [BREITHORN 25.10 20:00] ; la caméra qui bouge les nuits froides [BREITHORN 19.10 00:00] ; la dérive, commune aux trois caméras [BREITHORN 03.10 00:00] | — |
| CLARIDEN | un tunnel en chantier, d'autres systèmes de mesure [CLARIDEN 18.09 23:20] | quatre références, D-302-C, PR-291, PR-293, PR-295 ; PR-284, référence locale lue comme une cible ; D-302-B et PR_BG sur un même prisme [CLARIDEN 29.10 23:45] ; images toujours sombres ; sur secteur | l'obstacle devant D-303-A [CLARIDEN 18.09 00:00] ; la gêne du tunnel sur un même groupe [CLARIDEN 06.10 18:00] ; l'échelle aux baisses de température [CLARIDEN 06.10 18:40] ; les rangées B et C qui vont et reviennent [CLARIDEN 06.10 22:00] ; P-300-B rejetée depuis un réglage ; des coupures du secteur [CLARIDEN 18.10 13:45] | [E-004] (18.09, mouvement réel), [E-010] (18.09, D-303-A) |
| FLORIDA | — | deux références seulement, p1_r et r1_r, chacune avec sa jumelle (Sellette 3, Pont Ernen) [FLORIDA 17.10 23:15] | les jumelles ; r1_r qui faiblit la nuit et se perd le matin [FLORIDA 22.10 11:15] ; Sellette 6 au seuil tout le mois, Massif 2 qui se dégrade [FLORIDA 06.10 10:15] ; des trous d'une mesure la nuit, aux mêmes instants qu'à SNCF01 | [E-011] (16 au 25.10, Sellette 3 et p1_r) |
| JUNGFRAU | un pont, qui monte en refroidissant [JUNGFRAU 11.10 18:05] | caméra sous le tablier, fixée au pont ; trois références hors du pont, REF_D, REF_G, REF_CT | les phases du pont presque chaque jour [JUNGFRAU 13.10 07:14] ; REF_G et REF_D mal vues ou perdues : un camion [JUNGFRAU 06.10 05:45], le soleil derrière REF_G [JUNGFRAU 12.10 15:45], des nuits [JUNGFRAU 26.10 01:56] ; PM_G rejetée à toutes les mesures [JUNGFRAU 30.09 00:00] ; BJ_G et BJ_D qui s'écartent les nuits fraîches [JUNGFRAU 19.10 20:00] | [E-001] (nuit du 13 au 14.10, REF_G et REF_D) |
| LENZSPITZE | une voie ferrée vue de dessous un pont, un chantier et des engins à côté | neuf références, dont les lointaines 8011 à 8014 ; caméra récente, avec la qualité d'image ; `x`, `y` relatifs ; seule `temperature_deg_c` est remplie | les nuits où la partie lointaine s'éteint [LENZSPITZE 16.10 22:25] ; la lumière qui baisse sur presque toutes les cibles [LENZSPITZE 17.10 10:55] ; des passages jamais vus, lus sur le flux [LENZSPITZE 17.10 05:00] ; 92H cachée par le chantier [LENZSPITZE 30.10 13:50] ; données depuis le 16.10 | — |
| MICHIGAN | dans le même bâtiment, une usine, à l'intérieur [expert] | une mesure toutes les quatre heures ; deux références depuis la perte de REFPOU22 le 09.10 [MICHIGAN 09.10 08:00] ; COLH21' et REFH22' sur un même point jusqu'au 05.10 [MICHIGAN 03.10 00:00] | les matins froids [MICHIGAN 28.10 16:00] ; la dérive commune au bâtiment [MICHIGAN 16.10 12:00] | — |
| NEBRASKA | dans le même bâtiment [expert] | une mesure toutes les quatre heures ; deux références depuis la perte de REFCOLH22, à la même mesure que MICHIGAN [NEBRASKA 09.10 08:00] | la dérive et la scène qui se déforme avec elle (POUH20, COLH21) [NEBRASKA 16.10 20:00 (dérive)] ; les nuits froides [NEBRASKA 28.10 20:00] | — |
| NIEDERHORN | voies ferrées | références plus haut, sur la route au-dessus des voies (PWD_REF08 à PWD_REF12) ; projecteur | souvent, des trains [NIEDERHORN 30.09 21:00] ; la pluie la nuit [NIEDERHORN 01.10 04:00] ; une plante devant PWD_IMP_B07_016_C09 [NIEDERHORN 02.10 09:00] ; le soleil levant dans le champ [NIEDERHORN 03.10 12:00] ; le cycle thermique de la caméra [NIEDERHORN 13.10 13:00] ; des cibles rejetées toujours ou à heure fixe (e01, e03 à e12, PWD_RMP_B15_017_C09, PWD_IMP_B08_024_C09) ; des insectes [NIEDERHORN 13.10 22:00] | [E-005] (30.09 au 03.10 : trains, pluie, plante) ; [E-013] (26.09, PWD_IMP_B08_024_C09) ; [E-014] (02.10 au soir, e09, e10, PWD_RMP_B16_026_C09) |
| NORDEND | carrière, façade rocheuse trop massive pour bouger avec la température [NORDEND 25.09 16:02] | trois références, CTR02, CTR03, CTR04 ; CTR01, référence locale lue comme une cible ; éclairage infrarouge la nuit ; images DIFF | toiles et araignées [NORDEND 28.07 20:45] ; le cycle thermique de la caméra, chaque jour [NORDEND 02.10 06:00] ; CTR01 au soleil l'après-midi [NORDEND 10.08 13:30], puis cible à problème [NORDEND 16.10 19:00] ; PR04 qui se dégrade puis se rétablit [NORDEND 17.08 05:15] ; les taches du bord gauche qui s'éteignent la nuit [NORDEND 01.10 03:00] ; des traces sur la vitre [NORDEND 25.10 05:45] ; CTR04 écartée par moments [NORDEND 04.09 10:59] | [E-002] (28 au 31.07, toile) ; [E-006] (03.09, pas de la caméra) ; [E-007] (01.09, une mesure moins nette) ; [E-008] (01 et 02.09, PR04) |
| PS_DES_COUDRES | **c'est JUNGFRAU** : le nom de l'export reçu de cette station (« PS des Coudres », `colonnes-des-deplacements.md`) | les mêmes capteurs (REF_G, REF_D, REF_CT, BJ_G, PBJ_C, PM_C, PM_D) ; son étiquette décrit, mot pour mot, la nuit de [E-001], dont les données sont celles de `data/JUNGFRAU/` | PS_DES_COUDRES 13.10 23:45 (en attente de revue) = JUNGFRAU 13.10 23:45 | [E-001] |
| SNCF01 | un mur maçonné, le long de voies ferrées | trois références, BG.3.1, R1, R2 ; aucune métrique système, donc aucune température | souvent, des trains, qui cachent parfois deux références [SNCF01 05.10 15:45] ; la turbulence de jour [SNCF01 04.10 08:15] ; le cycle thermique sans repos la nuit [SNCF01 05.10 06:30] ; des cibles rejetées toujours ou au seuil (BG.1, F4.1, CV.7, F4.4, F4.3, CV.6) ; la scène qui se déforme au fil du mois [SNCF01 04.10 00:00 (Displacement)] ; des arrêts de la station seule [SNCF01 20.10 12:45] | — |
| WILDSTRUBEL | une route [WILDSTRUBEL 27.09 04:15], en ville | six références, dont R1 et R2 au bord de la route ; R3 invisible de jour [WILDSTRUBEL 01.10 00:00] ; batterie solaire | souvent, des passages de véhicules et de passants, qui écartent R1 et R2 ensemble [WILDSTRUBEL 28.09 05:15] ; des voitures garées [WILDSTRUBEL 05.09 03:30] ; la turbulence le jour [WILDSTRUBEL 01.09 03:45] ; le cycle thermique, bien compensé [WILDSTRUBEL 01.09 03:30] ; la station qui s'éteint la nuit faute d'énergie [WILDSTRUBEL 01.10 03:15], et de longs arrêts [WILDSTRUBEL 09.10 12:30] | [E-003] (01 au 04.09, turbulence et soleil) ; [E-012] (26.09 au matin, voitures garées) |
## 5. Écarts avec la carte des événements
Ce que les étiquettes disent autrement que `events/carte-des-evenements.md` ; l'utilisateur tranche.
- **Toile, insectes** (détecteur `visibilite`) : une toile peut cacher une référence sans aucun signal [NORDEND 03.09 18:01] ; des insectes cachent tout le temps d'une mesure, comme un train [NIEDERHORN 13.10 22:00].
- **Passage** (« références intactes ») : un camion, un train, un véhicule, le bras d'un engin cachent aussi des références et font sauter la base, parfois jusqu'à n'en laisser aucune [JUNGFRAU 06.10 05:45, SNCF01 05.10 15:45, LENZSPITZE 30.10 13:50].
- **Passage et « Fléchissement sous une charge »** (« à trancher », [E-005]) : l'expert lit les sauts au passage d'un train comme un effet du passage : « les voies ne bougent pas » [NIEDERHORN 30.09 21:00].
- **Objet posé devant, trop peu de références, une référence a bougé, caméra heurtée, objectif ou vitre sale, dérive lente, une cible ou une zone a bougé** (hypothétiques ou sans event) : vus [BREITHORN 25.10 20:00, MICHIGAN 09.10 08:00, WILDSTRUBEL 01.10 13:00, CLARIDEN 05.10 10:30, NORDEND 25.10 05:45, BREITHORN 03.10 00:00, NORDEND 05.09 12:00, NIEDERHORN 15.10 22:00 (No data)].
- **Pluie, brume, buée** (« léger saut, négligeable ») : sur deux références, la pluie coupe la pose [FLORIDA 01.10 20:45].
- **Éclairage, manque de lumière** : le soleil sur le fond d'une tache, aux mêmes heures, fait rejeter une cible ou sauter la base [NORDEND 12.08 13:30, JUNGFRAU 12.10 15:45] ; une tache faible se perd au passage de la nuit au jour [FLORIDA 01.10 07:15].
- **Turbulence** (« `error_value` plus haute le jour ») : aussi un bruit rapide des courbes corrigées [SNCF01 04.10 08:15] ; sans `error_value` qui monte, c'est thermique [NIEDERHORN 03.10 12:00].
- **Références masquées** (« `sigma0` monte ») : l'expert lit la reprojection, qui tombe à zéro avec deux références et manque avec une [JUNGFRAU 14.10 23:02].
- **Cycle thermique de la caméra** (« compensé ») : mal compensé, sans repos la nuit, par à-coups les nuits froides, ou sur la seule échelle sans cycle du jour [NORDEND 25.09 16:02, SNCF01 05.10 06:30, BREITHORN 19.10 00:00, CLARIDEN 06.10 18:40].
- **Réglage changé** (« tous les capteurs d'un coup ») : aussi un seul capteur ou une paire [CLARIDEN 01.10 00:00 (P-300-B), MICHIGAN 03.10 00:00].
- **Cible sale ou terne** : rejetée toujours, à heure fixe, ou à partir d'une date [NIEDERHORN 01.10 00:00 (e01), NORDEND 16.10 19:00 (CTR01)] ; la jumelle ne s'étiquette pas pour elle-même [FLORIDA 17.10 23:15].
- **Trou de données** : trou commun, énergie, secteur, station qui tourne pendant le trou n'y sont pas [JUNGFRAU 15.10 22:45, WILDSTRUBEL 01.10 03:15, CLARIDEN 18.10 13:45, NORDEND 22.08 16:30].
- **Dilatation de l'ouvrage** (« montée le jour, descente la nuit ») : le sens dépend de l'ouvrage, ce pont monte en refroidissant [JUNGFRAU 11.10 18:05] ; **mouvement saisonnier** (hypothétique) : le plus proche [JUNGFRAU 16.10 14:18].
## 6. Ce que les étiquettes ne disent pas encore
- **Causes non établies** : la baisse de visibilité sur toute la scène [JUNGFRAU 07.10 08:36] ; ce qui voile les références la nuit [JUNGFRAU 26.10 01:56, E-001] ; la nature de l'obstacle [CLARIDEN 18.09 00:00] ; la vraie amplitude du mouvement [CLARIDEN 18.09 23:20] ; la gêne et les rangées qui bougent du tunnel [CLARIDEN 06.10 18:00, CLARIDEN 06.10 22:00] ; la dérive et la perte de références du bâtiment [BREITHORN 03.10 00:00, MICHIGAN 09.10 08:00] ; la scène qui se déforme avec la caméra [SNCF01 04.10 00:00 (Displacement)] ; la base qui change sans référence perdue [WILDSTRUBEL 01.10 13:00] ; les cibles rejetées toujours [NIEDERHORN 01.10 00:00 (e03)] ; les sauts durables de cibles seules [NIEDERHORN 30.10 01:00, E-014] ; les trous et les arrêts [JUNGFRAU 15.10 22:45, SNCF01 20.10 12:45].
- **Questions à l'expert**, ouvertes par les données :
- PS_DES_COUDRES est JUNGFRAU (section 4) : sa seule étiquette, en attente de revue, est la nuit de [E-001] et de JUNGFRAU 13.10 23:45 ; elle reste dans `labeling/manual/` (l'utilisateur, 2026-11-05), et l'étiquette automatique JUNGFRAU 13.10 23:45 en a pris la conclusion : de petits décalages, négligeables, rien à faire [E-001].
- NORDEND 03.09 18:01 dit « aucune mesure n'est rejetée » : les données montrent PR07 et PR04 rejetées quelques mesures vers 23:00, PR07 sous un fil de toile d'après NORDEND 03.09 22:45. Pas de conflit : la phrase de l'expert porte sur la soirée où la toile cache CTR04 ; le rejet de PR07 vient plus tard, sous un autre fil. NORDEND 03.09 22:45 dit maintenant, d'après l'expert, que la référence cachée sans signal peut fausser des valeurs en silence.
- le heat haze n'existe pas sous un pont (`chaine-de-mesure.md`) : LENZSPITZE, une voie vue de dessous un pont, a des journées de soleil où l'image tremble sans perdre de lumière [LENZSPITZE 16.10 11:00] ; tranché (2026-11-05) : les images montrent la voie en plein soleil au-delà du pont, son ombre au premier plan seulement ; c'est l'air au-dessus de la voie ensoleillée, pas de dessous le pont, et les étiquettes de turbulence de LENZSPITZE le disent.
- la cause de JUNGFRAU 07.10 08:36 : le vent (expert) ou la pluie ou la brume (l'étiquette automatique JUNGFRAU 07.10 08:30) ; les images montrent un jour couvert, la route mouillée à 16:00, sans trancher : l'étiquette automatique garde les deux hypothèses, cause non établie.
- les cibles du bas de WILDSTRUBEL (PB1_2, PB2_2) le matin : le cycle de la turbulence et de la lumière, plus fort sur elles [E-003], ou un reste de la caméra [WILDSTRUBEL 24.09 04:00] ? Les deux tiennent : l'effet thermique est bien compensé (l'expert ; le bloc des cibles suit la caméra de près), avec un faible reste au bas de l'image, que les étiquettes disent ainsi.
- [E-012] dit la référence cachée « non rejetée » : dans les données, son `error_value` est au-dessus du seuil (donc rejetée) et ses corrections restent écrites ; [E-014] n'est porté par aucune étiquette.
- restées des revues : une intervention dans le bâtiment le 09.10 au matin, et REFPOU22 de BREITHORN est-il le prisme perdu de MICHIGAN [MICHIGAN 09.10 08:00] ; le matin du 31.10 sur MICHIGAN et NEBRASKA seules ; une référence à problème qui ne fait pas sauter les cibles [WILDSTRUBEL 01.10 00:00] ; le sens de `y` quand la caméra pique du nez [WILDSTRUBEL 08.10 05:30] ; les bords du pont qui s'écartent la nuit [JUNGFRAU 19.10 20:00] ; aucune référence retenue alors que deux restent bien vues [LENZSPITZE 26.10 00:00].
- **Vus sur une seule station** : les fiches marquées « (une station) » (énergie, secteur, toile, vitre, plante, jumelles, pont, montée de plusieurs jours, mouvement réel) ; et, dans d'autres fiches, la station à deux références par construction (FLORIDA), aucune référence retenue et le passage lu sur le flux (LENZSPITZE), la gêne et les rangées du tunnel (CLARIDEN), les nuits froides et la dérive des trois caméras d'un même bâtiment.
- **Familles de la carte des événements** : C n'a que des cibles qui se dégradent ou mal réglées, aucune heurtée ni remplacée ; F n'a qu'un mouvement réel établi [CLARIDEN 18.09 23:20] et le pont thermique.
- **Plages non étiquetées** : avant le premier lot de chaque station (NORDEND avant le 10.08, sauf juillet ; WILDSTRUBEL avant le 01.09 ; les autres avant fin septembre ou octobre ; NIEDERHORN le 26.09 de [E-013]) et après le 01.11.
- **Restes de la revue croisée du 2026-11-04** : la montée du `corr_x` de PR12, PR13, PR15 et PR16 le 17.10 l'après-midi [NORDEND 17.10 12:45] ; le saut de PR17 du 05.09 et le pas d'octobre qui le ramène, à accorder [NORDEND 05.09 12:00, NORDEND 08.10 02:15] ; la fin de la dérive de NEBRASKA en début de mois [NEBRASKA 03.10 00:00].
- **En attente de revue** : PS_DES_COUDRES 13.10 23:45 (deux références voilées la nuit ; la station est JUNGFRAU) ; les events appris E-012, E-013, E-014, en attente de `/review-event`.
@@ -0,0 +1,55 @@
# La chaîne de mesure : où chaque cause entre
- **Statut** : brouillon du 2026-10-29 (point 67 du plan du journal du matin), à relire par l'utilisateur ; pas encore parmi ce que lit l'analyste.
- **But** : le pourquoi, pour raisonner sur un cas que la carte des événements ne liste pas. Le sens des colonnes est dans `labeling/connaissances/colonnes-des-deplacements.md`, les signatures et les catégories dans `events/carte-des-evenements.md` ; cette note ne les redit pas.
- **Sources**, notées entre crochets : [U] l'utilisateur (vocaux du 2026-10-29) ; [A] la documentation AIMsight (`AIMsight_agentic_support_project_context.md`, `AIMsight_reference_quality_event_explainer_roadmap.md`) ; [D] vu dans les données (note citée) ; [H] hypothèse de Claude, à valider.
## 1. Comment une mesure se fait
1. **La scène** : des cibles sur l'ouvrage, des références autour, supposées fixes.
2. **La vue** : l'air entre la caméra et les cibles, et ce qui peut passer ou se poser devant.
3. **L'image** : l'objectif, puis la prise (IRON, ou DIFF qui combine plusieurs prises : `images-de-la-camera.md`).
4. **La mesure du motif** : chaque capteur est retrouvé dans l'image : `x`, `y` [px], `error_value` (erreur de reconnaissance, pas une incertitude) ; sur les caméras récentes, la qualité (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`). Au-dessus de `error_threshold`, la mesure est rejetée : sa ligne reste, `corr` est vide.
5. **La compensation** : une similitude 2D (translation, rotation, échelle) ajustée sur les références (`global_ref`) donne la pose de la caméra (`camera/` : `pan`, `tilt`, `rotation`, `scale`, `sigma0`) et, par référence, `reproj_err` et `inlier` [A, référence §2.5].
6. **La courbe corrigée** : `corr_x`, `corr_y`, la position de la cible une fois retiré le mouvement estimé de la caméra (en px, sans doute : `colonnes-des-deplacements.md`).
Une valeur affichée est le bout de cette chaîne : trouver l'étage qui a lâché [A, contexte §4].
## 2. Où chaque cause entre, et ce qu'elle touche
| Étage | Cause | Ce qu'elle touche | Temps | Témoins |
|---|---|---|---|---|
| Vue (air) | brouillard, pluie, buée : **visibilité réduite** | une baisse du flux, homogène [U] (plus forte sur les cibles lointaines ? [H]) ; `error_value` monte, des rejets ; positions brutes sans marche | des heures | qualité (`flux`), images |
| Vue (air) | **heat haze** (turbulence) | un bruit rapide ; seulement quand l'ouvrage chauffe vraiment ; pas sous un pont [U] | les heures chaudes | température, `error_value` de jour face à la nuit |
| Vue (obstacle) | objet, feuilles, neige sur une cible : **occultation** ; passage | une ou quelques cibles : quelque chose devant [U] ; le flux coupé d'un coup, les voisines intactes [H] ; un passage : une mesure | d'une mesure à des semaines | qualité, images |
| Cible | cible à problème (mal orientée, sale, collée) | une cible, durablement | des jours et plus | `error_value` de la cible seule |
| Objectif | **déformation thermique de l'optique** (soleil sur la station) [U] | toute l'image se déforme [U] ; une similitude ne représente pas une déformation : résidus organisés selon la place dans l'image, `reproj_err` des références, `corr` qui dépend de la place de la cible [H, d'après A, référence §2.5] | court : suit le soleil sur la station [U] | température de la station |
| Caméra et support | **dilatation du support** [U] ; vent, à-coup, choc | positions brutes de tous les capteurs, références comprises, ensemble ; la compensation l'absorbe (`corr` plates) ou mal : `corr` suit les inflexions du mouvement de la caméra (JUNGFRAU : support ou objectif, l'utilisateur hésite [U]) [A, contexte §12.4] | propre au support [U] | `camera/`, température de la station |
| Références | **référence cachée ou moins bien vue** [U] | la transformation est refaite sans elle : des points décalés d'un coup, souvent groupés dans une partie de l'image ; retour à la recalibration, quand elle revient [U] ; réversible [A, contexte §12.2] ; décalage qui croît avec la distance aux références (Barcelone [D]) | le temps de la gêne | `error_value`, `reproj_err` des références, `sigma0`, pose de la caméra |
| Références | une référence a bougé | les `corr` des cibles décalées durablement | durable | `reproj_err` de la référence |
| Ouvrage | **dilatation thermique de l'ouvrage** [U] | `corr`, amplitude propre à chaque cible, références stables | le plus long : chauffe lente, refroidissement tardif [U] | température de l'air (absente, voir 3) |
| Ouvrage | mouvement réel | `corr` d'une ou de plusieurs cibles, qui dure ; références et pose stables, bonne qualité [A, contexte §5.8] | durable | tous les précédents, au calme |
**Un saut qui revient** à la normale n'est pas grave : c'est ce retour qui le rend bénin. Dire « saut » ne suffit pas ; la question est sa cause, assez souvent une référence cachée ou moins bien vue (ligne « Références ») [U].
## 3. Les effets thermiques
- **Trois effets de mouvement** [U] : l'objectif, le support, l'ouvrage. Ils se distinguent par leur temps de chauffe et de refroidissement, chacun le sien ; l'ouvrage est le plus lent. Le heat haze est à part : un bruit, pas un mouvement.
- **Les cas se croisent** [U] : une caméra posée sur un pont a deux ouvrages, celui qui la porte (le support) et celui qu'elle surveille.
- **Par vagues** [U] : dilatation, puis contraction ; souvent plus fort en Y qu'en X, mais cela dépend de l'orientation.
- **Les températures disponibles** [D, `docs/temperature/domaine/point-de-depart.md`] : celles de la carte de calcul (`sensor_*_deg_c`), dans le boîtier, chauffé par le soleil et par le calcul, en moyennes horaires : un témoin pour l'objectif et le support, pas pour l'ouvrage ni pour l'air. `temperature_deg_c`, sur quelques stations : capteur inconnu.
## 4. Les règles de lecture
Recopiées de `CLAUDE.md` (« Règles non négociables ») :
- ne rien construire sur `inlier` binaire : RANSAC sera remplacé par un estimateur pondéré ; utiliser poids continus, `N_eff`, résidus, influence ;
- `sigma0` seul et le nombre de références ne sont jamais des critères suffisants ;
- la qualité d'image d'une cible n'est pas la qualité du réseau de références ; un petit résidu n'est pas une transformation bien contrainte [A, référence §2.1 à §2.3] ;
- un mouvement en mode commun n'est pas un mouvement structurel ; des références cohérentes ne sont pas des références physiquement fixes : la caméra ne peut pas prouver qu'un réseau qui bouge en bloc est fixe [A, référence §2.4] (Barcelone : `incident-de-barcelone.md`).
## Pistes à revoir
- L'ordre des temps de l'objectif et du support, et ce qui les sépare sur les courbes (point 58, question 2).
- La signature de l'objectif : déformation organisée selon la place dans l'image [H].
- La visibilité réduite, plus forte sur les cibles lointaines ; l'occultation, flux coupé d'un coup [H] : à confirmer sur les stations qui ont la qualité (point 63).
- Le capteur de `temperature_deg_c` (point 59).
@@ -0,0 +1,36 @@
# Colonnes des déplacements (cas d'usage suivant)
D'après la FAQ, les colonnes de l'export CSV sont préfixées par la cible (ex. `target_06_rch`) :
- `rch` / `rcv` : déplacement corrigé du mouvement de la caméra [mm]. C'est le signal principal.
- `x` / `y` : position brute dans l'image [px].
- `rx` / `ry` : déplacement relatif avant correction caméra. **Ce n'est pas** `x - x0`.
- `error` : erreur de reconnaissance de la cible, **pas** une incertitude. Seuil par défaut : 0,7.
- `camera_pan|tilt|rotation` [deg], `camera_scale`, `camera_sigma0` (résidu du fit du réseau de références).
- `inlier_{ch}`, `reproj_err_{ch}` : contribution et résidu de chaque référence.
- Sharpness, FWHM, Dominance, Peak Intensity, Flux, SNR : dans l'export « advanced » des caméras récentes seulement (voir plus bas) ; définitions : `metriques-de-qualite.md`.
## Exports reçus (PS des Coudres, D-045)
Deux autres formats, observés sur les données (pas documentés dans la FAQ) :
- **« advanced »** (`<Station>_advanced_<début>_<fin>.csv`), la source des analyses : une ligne par capteur et par mesure, à la cadence native (15 min, 10 min selon la station), `time_utc` en UTC explicite.
- `sensor_name`, `pattern_type` (`global_ref` pour une référence de la compensation ; `ref` pour une *local reference*, traitée comme une cible, hors compensation, d'après le manuel de la station et sans `reproj_err`, vu sur NORDEND), `x` / `y` [px], `error_value`, `error_threshold` (propre à chaque capteur : 0,3 à 0,7) ;
- `x` / `y` ne sont pas le centroïde de la tache dans l'image (NORDEND, 2026-10-16) : de jour (12:30 UTC, sept jours), centroïde − (`x`, `y`) est constant par capteur et diffère d'un capteur à l'autre (PR17 −2,5 / −0,5 px, PR18 −3,1 / +1,6, PR16 −5,8 / −0,1, CTR02 −1,4 / −2,4, CTR04 −1,0 / −1,4). Centroïde pondéré au-dessus de la médiane d'un cadre de ±20 px, sur une fenêtre de ±8 px. De nuit, la tache est saturée et l'écart change (PR17 −0,7 à −1,3 px en x). Hypothèse : `x`, `y` désignent la position du motif de référence (manuel de la station), pas la tache elle-même.
- `relative_x` / `relative_y` (vraisemblablement `rx` / `ry`), `corr_x` / `corr_y` (vraisemblablement `rch` / `rcv`, mais pas en mm, voir plus bas) ;
- `reproj_err` et `inlier` : références seulement ; `sigma0` : une valeur par mesure, répétée sur chaque ligne ; pas de `camera_pan|tilt|rotation|scale`.
- `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` : la qualité d'image de chaque cible, calculée par le GPU des caméras récentes (`run.md`) ; « Empty for most devices today » (handoff G, `docs/aimsight/AIMsight_handoff_G_site_health.md`). Remplies sur LENZSPITZE et NADELHORN, vides ailleurs (pompage d'octobre 2026) ; `inventaire.py` dit, sur un lot, quelles colonnes portent des valeurs. Pour les anciennes caméras, `~/optical_emulator` les recalcule à partir des images DIFF dans `quality/` (`run.md`), avec `stacking`, `exposition`, `gain`, `rotation` et `flag` de l'image, à joindre sur `time_utc` et `sensor_name`. Définitions et lecture : `metriques-de-qualite.md`. Flux, SNR et netteté relèvent de l'observabilité d'une cible dans l'image, à séparer de la santé du réseau de références (`AIMsight_agentic_support_project_context.md`, §5.5 et §5.6).
- Une mesure rejetée (`error_value` > `error_threshold`) garde sa ligne et son `error_value` ; `corr_x` / `corr_y` sont vides, pas interpolés. « Rejetée » est un jugement d'AIMsight, pas un tri de la caméra : la caméra livre toutes ses mesures, et la plateforme d'un client qui intègre les données les reçoit et peut les afficher (l'utilisateur, 2026-10-28).
- **LENZSPITZE, `x` / `y` relatifs** (2026-11-04) : `x` / `y` y sont l'écart à la position de référence du motif (médianes ~0 px), `relative_x` / `relative_y` sont égaux à `corr_x` / `corr_y`, `pattern_type` est vide. Conversion provisoire, pour cette station seulement : `extraction/lenzspitze_absolu.py` réécrit `data/LENZSPITZE/displacement/` en px de l'image (centre du motif de `lentzpitze_patterns.json` + décalage mesuré +330,5 / +15,8 px entre le repère du JSON et les images IRON + `x` / `y`) et remplit `pattern_type`. À relancer après un repompage. Limites : 1023 et 8019 n'ont pas de motif dans le JSON, leurs `x` / `y` sont vidés (8019 classé `global_ref`, par ses `reproj_err`) ; `relative_x` en px n'est pas reconstruit. À corriger le moment venu : le repère des positions côté pompage, et `visibility.py`, `thermal_displacement.py`, `categories.py`, qui testent `pattern_type` directement au lieu de `donnees.est_reference` (vide, ils ne voient aucune référence).
- **Mouvements de la caméra** (`camera/<Station>_camera_<AAAAMMJJ>.csv`, pompage seulement, absent des exports reçus) : la pose de la caméra à chaque recalage, `time_utc` en UTC, `median_|min_|max_` de `pan`, `tilt`, `rotation` [deg], `scale`, `sigma0` à la minute ; une ligne par mesure (min = max), aux instants des déplacements. Un instant de mesure sans ligne : la caméra n'a pas été recalée (NORDEND : 101 instants sur 6 071, dont 49 les 29 et 30/07). Ordres de grandeur : `pan`, `tilt` de quelques centièmes de degré, `scale` à 10⁻³ près de 1 ; des écarts de plusieurs degrés sur NORDEND (`pan` jusqu'à 3,1°, `tilt` −2,8 à 4,0°), non expliqués. Signe : un `tilt` positif veut dire que la caméra pique du nez (l'expert, 2026-11-03, BREITHORN : le `tilt` monte tout octobre pendant que la caméra s'incline). Lus par `ensemble.py` et `inventaire.py` (D-073).
- **Horaire** (`<Station>_<début>_to_<fin>_1hour.csv`) : une ligne par heure, cibles seulement. Par cible : `horizontal_displacement`, `vertical_displacement`, leurs `_min` / `_max`, `_error`, `_count_val`.
- `timestamp` **sans fuseau** : heure suisse (UTC+2 en octobre), au début de l'heure. Vérifié : `_error` = moyenne des `error_value` de l'heure, à 0,0006 près (médiane).
- `count_val` compte les mesures de l'heure, rejetées comprises.
- **Unité de `corr_x` / `corr_y`** : `horizontal_displacement` = facteur × moyenne horaire de `corr_x` + décalage constant (de même `vertical` et `corr_y`, corrélation ≥ 0,99). Le facteur dépend du motif : `target05` 0,61, `target` 1,6, `target02` 4,3, `target03` 6,85, `target04` 7,9. Si l'horaire est en mm (FAQ), `corr_x` / `corr_y` ne le sont pas. Selon l'utilisateur (2026-10-16), ils sont sûrement en **px**, le facteur étant alors des mm par px. C'est compatible avec NORDEND : au saut de PR17 (08/10 02:30), `corr_y` baisse d'environ 0,15, et `relative_y` (en px) de 0,26 px contre 0,08 px pour les autres capteurs ; sur la fenêtre, `corr` de PR17 ≈ 0,8 × (`relative` − moyenne des `relative` des références globales), mais une moyenne ignore la rotation et l'échelle de la compensation. À confirmer. Le facteur dépend de la station : sur NORDEND, `vertical_displacement` de PR17 = 55,5 × moyenne horaire de `corr_y` (r = 0,994, 244 heures), soit environ 9 mm pour son saut de 0,15.
Causes à départager pour une anomalie de déplacement :
- mouvement réel de l'ouvrage ;
- mouvement de la caméra ;
- instabilité de la compensation (cas Barcelone) ;
- dégradation locale d'une cible ;
- parallaxe ou modèle inadapté.
La référence qui fait autorité est `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md`. Les règles non négociables qui s'y rapportent (`inlier` binaire, `sigma0`, mode commun) sont dans `CLAUDE.md`.
@@ -0,0 +1,37 @@
# Le cycle thermique : ce qui est brut, ce qui est compensé, ce qui reste
- **Date** : 2026-10-24 (point 13 du plan du journal du matin). **Sources** : détecteur `detectors/thermique.py` (2026-10-23), ébauche de sinusoïde de 24 h (2026-10-24, point 41), l'utilisateur.
## Ce qu'en dit l'utilisateur (l'expert)
- Des ouvrages bougent beaucoup dans la journée par **dilatation thermique**, et redescendent la nuit par **contraction** : on voit alors de **grosses vagues** sur les courbes. Ces vagues sont **tout à fait normales**.
- Il ne se souvient plus du projet qui le montrait (peut-être un de ceux envoyés, peut-être de la turbulence). Aucun des six jeux reçus ne montre de grosses vagues dans les courbes corrigées.
- La vague est un événement à part entière, de dilatation (montée) ou de contraction (descente) ; un « effet périodique » qui l'explique est une idée qu'il veut garder (point 41 du plan).
## Ce que montrent les données
| | Positions brutes (`x`, `y`) | Courbes corrigées (`corr_x`, `corr_y`) |
|---|---|---|
| Vague de 24 h | presque partout, toutes les cibles ensemble : 0,8 px à NORDEND (octobre), 1,8 px (juillet), 3,2 px à WILDSTRUBEL, 4,6 px à NIEDERHORN | seulement à PS des Coudres : 11 cibles sur 11, 0,17 px, 08:00 → 18:00 UTC ; environ 1 mm, jusqu'à 2 mm sur PM_C et PM_D dans l'export horaire |
| Cause | la caméra ou son mât qui se courbe (mode commun) | les cibles bougent vraiment par rapport aux références : dilatation de l'ouvrage ou compensation incomplète, non tranché |
- **La compensation enlève la vague de la caméra.** Le client ne la voit pas ; on ne lui en parle pas (décision du 2026-10-24).
- **NORDEND d'octobre** garde un petit cycle (9 cibles sur 19, 0,02 px, environ 1 mm) : non signalé (décision du 2026-10-24) ; la sinusoïde ne le trouve pas non plus.
- **CLARIDEN** n'a aucun cycle sur 3 jours, même brut (non expliqué).
## Une sinusoïde de 24 h pour la reconnaître (ébauche du 2026-10-24)
Par cible et par axe, `a + b·sin(2πt/24 h) + c·cos(2πt/24 h)` par moindres carrés ; R² = part de la courbe expliquée.
| Jeu | Corrigé : axes à R² ≥ 0,3 | Brut : axes à R² ≥ 0,3 |
|---|---|---|
| PS des Coudres | 14 / 22 (0,16 px, pic vers 08 h UTC) | 24 / 24 |
| NORDEND octobre | 0 / 38 | 18 / 38 |
| NORDEND juillet | 1 / 38 | 33 / 38 (1 px, pic vers 11 h) |
| WILDSTRUBEL | 1 / 14 | 4 / 14 |
| CLARIDEN | 0 / 48 | 0 / 48 |
| NIEDERHORN | 14 / 40 (à vérifier : 3 jours, deux nuits de pluie aux mêmes heures) | 2 / 60 |
La sinusoïde sépare la station à vague (PS des Coudres) des autres, et un vrai mouvement (CLARIDEN) ne passe pas pour une vague.
**Dans le journal (point 41, 2026-10-24)** : `thermique.py` exige ses deux méthodes (profil répété et sinusoïde) ; à PS des Coudres, chaque jour du 09 au 13/10, « Thermal expansion » 08:00 → 15:00 puis « Thermal contraction » 15:00 → 18:00 (15:00 : plus grand écart au niveau de nuit) ; rien ailleurs.
+30
View File
@@ -0,0 +1,30 @@
# Les familles des étiquettes
Une étiquette, une anomalie, une famille (D-109 à D-111, D-119). Une anomalie, c'est ce qui apparaît sur `corr_x` et `corr_y` : les courbes bougent (un pic, un saut, une dérive, du bruit) ou manquent (un trou). La famille dit la **cause** de ce qui se voit sur les courbes corrigées, ou de ce qui y manque, et ce qu'il faut en conclure pour le client. Sa clé, son nom même, va dans le champ `categorie` de l'étiquette ; l'outil d'étiquetage la propose dans son menu Category. Chaque famille a son détecteur, dans `detectors/` (D-119) : la catégorie d'un événement du journal est sa famille.
| Clé | Détecteur | Ce qui arrive | Pour le client | Phénomènes de la carte des étiquettes |
|---|---|---|---|---|
| `Visibility` | `visibility.py` | on voit moins bien : une gêne diffuse entre la caméra et la scène. L'image est faible ou floue (pluie, brouillard, buée, lumière, objectif sale : les taches sont plus faibles ou plus floues), ou elle tremble (turbulence : l'air chaud, au-dessus d'une route ou au soleil, fait trembler les taches, un bruit rapide sur les courbes). La description dit laquelle est vue | ne pas croire les courbes sur la plage ; ce n'est pas un mouvement | Pluie la nuit ; La visibilité baisse sur toute la scène ; Turbulence atmosphérique |
| `Obstruction` | `obstruction.py` | un objet cache une ou quelques cibles, un instant ou longtemps (train, véhicule, plante, neige sur la cible) | ignorer la courbe des cibles cachées sur la plage | Un passage cache les cibles ; Une plante devant une cible ; Un obstacle couvre une partie de la tache |
| `Thermal displacement` | `thermal_displacement.py` | un composant (l'ouvrage, la caméra et son support) bouge avec la température ; il s'étiquette toujours, que les courbes corrigées le montrent ou que la caméra le compense (D-117) ; le sens ne compte pas | normal, rien à faire | L'ouvrage se dilate et se contracte ; La caméra bouge par effet thermique ; Une montée de plusieurs jours avec la baisse de la température |
| `Displacement` | `displacement.py` | un saut qui dure, une dérive lente, et tout ce qui change les courbes corrigées sans cause établie (règle D-074 : ne pas alarmer le client, ne rien cacher) | à vérifier : regarder les images, surveiller | Un mouvement réel de l'ouvrage |
| `Target issue` | `target_issue.py` | une cible constamment problématique : rejetée presque toujours, mal orientée, mal installée, mal configurée, sale | intervenir sur la cible ; ignorer sa courbe | — |
| `No data` | `no_data.py` | aucune mesure pour aucun capteur, toutes les courbes manquent (acquisition, alimentation, transmission) ; la cause, si les métriques ou les images la montrent, sinon non établie | les courbes manquent sur la plage ; la cause dit s'il faut agir | — |
## Les frontières
- **Visibility ou Obstruction** : la gêne se juge à son étendue, pas à la lumière. Toute la scène gênée (pluie, brouillard, image sous-exposée, aube laiteuse, soleil dans le champ) est Visibility ; quelques cibles cachées par un objet, le reste intact, sont Obstruction, même si l'objet est éclairé (engin, phares, lumière d'un véhicule garé). Une toile d'araignée va selon ce qu'elle fait : un fil qui cache une cible, Obstruction ; la toile qui voile l'image, Visibility.
- **Obstruction, quelle que soit la durée** : un obstacle qui reste (véhicule garé, engin, plante, animal ou insectes contre l'objectif, trace sur la vitre devant une seule tache) est Obstruction.
- **Une référence gênée** (carte : « Une référence écartée », « Deux références perdues ») : la famille de sa cause. Un passage devant une référence qui fait sauter la base est Obstruction quand l'objet est vu, ou déduit d'une signature de passage ; une référence au ras de son seuil, sans rien devant elle, n'est pas un passage : Visibility, ou Displacement sans cause. La description dit que c'est une référence, et que les cibles en bougent ensemble.
- **Un saut puis le retour** : la famille de sa cause, vue sur les images. Un véhicule qui passe, et son reflet, sont Obstruction (un reflet sur la chaussée qui ne dure qu'une mesure est un véhicule : lire la mesure d'avant et celle d'après) ; le reflet du soleil sur la scène fixe est Visibility. Sans cause établie : Displacement.
- **Thermal displacement ou Displacement** : ce qui suit la température du boîtier **et revient avec elle** (même position à température égale), même sur plusieurs jours, ou dont l'expert donne la cause thermique, est Thermal displacement ; ce qui ne la suit qu'en tendance, sans revenir à température égale, et ce que la température n'explique pas, sont Displacement.
- **Thermal displacement ou Visibility** : des courbes qui suivent l'échelle et la rotation de la caméra avec la température du boîtier, l'`error_value` à son niveau ou ne montant qu'un peu, rien sur les images, plusieurs cibles qui s'écartent en sens opposés par le reste de la compensation, sont Thermal displacement. Des références qui s'écartent les unes des autres et des cibles, une `error_value` qui monte sur la plupart des capteurs, un épisode aux bords nets, ou une gêne vue sur les images, sont Visibility, même au creux de la température. Les deux peuvent coexister : deux étiquettes. Une agitation de jour, la pose qui s'agite sans que l'`error_value` monte, n'est pas une turbulence.
- **Un trou** : des courbes absentes parce que des cibles sont rejetées sont dans la famille de la cause du rejet (Visibility, Obstruction, Target issue) ; toutes les courbes absentes, aucune mesure : No data. La cause d'un No data peut être hors de la station : un trou aux mêmes minutes sur plusieurs stations est une cause commune (transmission ou réception), pas une coupure. La station tourne si une synchronisation tombe à l'instant manquant, si l'image de cet instant existe, ou si `DB_not_uploaded` monte puis retombe.
- **Target issue ou épisode d'une autre famille** : une Target issue demande des rejets propres à la cible (hors des épisodes partagés avec ses voisines) presque chaque jour de la plage, aussi les jours couverts ou de pluie, sous le régime normal de la station (le projecteur la nuit, la lumière du jour). Une référence rejetée ainsi chaque jour en est une, même si ses entrées et sorties ne font pas sauter les cibles : la compensation la perd chaque jour. Des rejets qui ne viennent qu'avec une condition vue sur les images (soleil, pluie, nuit de mauvaise visibilité) sont des épisodes de la famille de cette condition, une étiquette par fois. Une `error_value` au ras du seuil, avec peu de rejets propres, n'est pas une Target issue : compter les rejets propres de chaque cible et de chaque référence, jour par jour, avant.
- **Target issue ou Displacement** : une configuration changée (capteurs déplacés, position de départ changée, réglage) est Target issue ; le saut qui en vient n'est pas un Displacement.
## Ce qui ne s'étiquette pas
- Ce qui ne touche ni `corr_x` ni `corr_y` : une `error_value` qui monte sans effet sur elles ; un pas de la caméra bien compensé, même sur deux références, tant que les `corr` n'en gardent rien (s'il en reste, l'étiquette borne le pas et conclut « la caméra bouge »). Le mouvement thermique, lui, s'étiquette toujours (D-117).
- La configuration voulue de la station (carte : « Des cibles jumelles de leurs références »).
- L'expert peut le dire par la clé `None` (outil d'étiquetage : « None (curves untouched) ») : une telle étiquette n'est pas comptée.
@@ -0,0 +1,19 @@
# Images de la caméra : IRON et DIFF
La plateforme garde deux types d'images par mesure (type de mesure), que le pompage range à part (`extraction/pomper.py`).
- **IRON** (`OPTICAL_SHIFT-IRON`, dans `images/`) : l'image classique de la scène, en JPG, ~1 Mo (NORDEND). C'est sur elle qu'on voit la cause d'un événement (buée, pluie, train, neige). Le nom vient sans doute de « IR on » (prise sous l'éclairage infrarouge) : déduction, la doc ne le dit pas.
- **DIFF** (`OPTICAL_SHIFT-DIFF`, dans `images_diff/`, option `--diff`) : l'image « différentielle ». D'après le manuel de la station (*AIMsight Test Manual*, « Choosing Between Single and Differential Acquisition »), elle **combine plusieurs prises** pour renforcer le contraste des réflecteurs (« *contrast-enhanced view of the reflectors* ») et c'est **l'image que mesurent les algorithmes de déplacement, par défaut**. Ce n'est **pas** la différence entre deux instants. PNG 16 bits, 3088×2064, ~7 Mo (NORDEND).
## Modes d'acquisition (manuel de la station)
- « Single with infrared light » : une image sous infrarouge par mesure, pour les mesures dynamiques.
- « Differential » : plusieurs images combinées, pour le suivi quasi statique ; `Stacking` de 20 à 40 si la lumière est difficile ou les cibles peu réfléchissantes (portée meilleure, cadence plus basse).
- Option « Work on IRON images » : mesurer sur l'image classique, pour suivre une texture quand il n'y a pas de réflecteur.
## Ce qu'on en sait
- NORDEND a des images DIFF, une par heure au pompage (~160 Mo par jour). LENZSPITZE n'en a aucune en base les 26 et 27/10 (pompage du 2026-10-28), seulement des IRON, une par heure : mode d'acquisition sans DIFF, sans doute (non vérifié). Les autres stations : inconnu.
- Le 29/07 à NORDEND (E-002, toile d'araignée selon l'expert), l'image DIFF montre de longues traînées claires sur tout le champ et les cibles en points, là où l'image IRON ne montre que de faibles bandes sombres. Ce qui est tout près de l'objectif y ressort peut-être mieux : à confirmer (point 28 du plan du journal du matin).
- Les outils de lecture (`agent-tools/donnees.py`), donc `/events-learner`, ne regardent que les images IRON et écartent `images_diff/` ; `inventaire.py` les compte, et l'analyste peut les lire par ses propres scripts (D-097).
- Piste, non vérifiée : si `x`, `y` sont mesurés sur l'image DIFF, un centroïde pris sur l'image IRON peut s'en écarter (écart constant par capteur vu sur NORDEND, `colonnes-des-deplacements.md`).
+16
View File
@@ -0,0 +1,16 @@
# Les trous : pourquoi les mesures manquent
Ce qui sert à étiqueter un trou (`No data`) et à en dire la cause. Tiré de `docs/domaine/pieges-des-donnees.md` (2026-11-04), qui y renvoie ; les règles d'étiquetage d'un trou sont dans `labeling/regles-d-etiquetage.md`.
- **Un trou n'est pas forcément une coupure.** Acquisition, transmission, ingestion et affichage sont des couches distinctes.
- **En fin de fichier**, des valeurs vides peuvent n'être qu'un retard de synchronisation (`last_sync`) : WILDSTRUBEL, et MISSISSIPPI le 09/10.
- **En début de fichier**, des valeurs vides précèdent la première mesure : ce n'est pas une coupure (VERMONT `Power` et températures, du 22/02 au 08/04).
- **Des trous simultanés sur plusieurs stations** pointent plutôt vers une cause commune hors station :
- le 22/07 à 14:00 : FLORIDA, MISSISSIPPI, VERMONT et NORDEND ;
- le 19/08 à 15:00 : les mêmes quatre stations ;
- le 22/08 à 17:00 : FLORIDA, MISSISSIPPI et NORDEND.
- **Un trou entouré d'une tension normale** n'est pas un problème d'énergie.
- **Une coupure d'alimentation laisse une signature** :
- la tension est sous le coude (~12,8 V) juste avant ou juste après le trou ;
- la température chute pendant le trou, plus qu'aux mêmes heures les nuits sans trou. Sur VERMONT, l'écart va de 2,6 à 15 °C sur 12 trous. Seule, elle ne tranche pas : le trou commun du 19/08 revient aussi ~7 °C sous l'habitude, et une coupure revenue après le lever du soleil ne montre pas d'écart (`docs/temperature/domaine/point-de-depart.md`).
- **Une valeur `NaN` ou `inf`** dans un export doit être traitée comme une absence de mesure.
@@ -0,0 +1,65 @@
> **Dans l'API** (adapté le 2026-11-05, voir `PROVENANCE.md`) : une commande `agent-tools/<nom>.py <arguments>` se lance par l'outil `outil_de_lecture(nom, [arguments])`, avec `<dossier>` = `data/<STATION>` ; `--sortie` est ajouté par l'outil (le dossier de la séance). Les documents cités hors de ce dossier ne sont pas disponibles : ceux de `knowledge/analyste/` suffisent.
# Lire les données
Une caméra suit des cibles (réflecteurs) fixées sur un ouvrage ; son propre mouvement est compensé grâce à des cibles de référence, supposées fixes. Ce mouvement, la **pose de la caméra** (`pan`, `tilt`, `rotation` en degrés, `scale`, `sigma0` du recalage, dans `camera/`), se lit avant les capteurs : il explique une grande part de ce qui bouge sur les courbes (D-073). Ce skill dit comment lire les données d'une station : ce que montrent les courbes et les images, moment par moment. Il ne dit pas ce qu'elles veulent dire : catégorie, event connu, hypothèse et verdict sont l'affaire de celui qui t'appelle.
## À lire d'abord
- `labeling/connaissances/colonnes-des-deplacements.md` : formats des exports et sens des colonnes (**en premier**) ;
- `docs/domaine/pieges-des-donnees.md` et `labeling/connaissances/les-trous.md` ;
- sur une station dont l'export porte les métriques de qualité d'image (`peak` à `snr` : la ligne « Qualité d'image de l'export » d'`inventaire.py`), `labeling/connaissances/metriques-de-qualite.md`.
## Les outils
Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdicts : c'est toi qui juges.
| Commande | Ce qu'elle rend |
|---|---|
| `python3 agent-tools/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), **ce que contient chaque source** sur la fenêtre (colonnes de l'export, de la pose et de `quality/`, avec le nombre de lignes qui ont une valeur, « vide » sinon ; noms des métriques système de `metrics/` ; images et images différentielles ; des noms et des comptes, jamais de valeurs), images : par suites d'écarts égaux entre deux images (à 5 min près, sur la fenêtre si elle est donnée ; une ligne par changement d'écart : un trou se date par ses deux images), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent), par capteur, les mesures rejetées datées (suites de pas consécutifs), puis le **nombre de références retenues par la compensation** (`inlier` = 1) à chaque instant et les suites datées où des références ne le sont pas, lesquelles et pourquoi (`r` rejetée, `0` écartée par la compensation, `vide`). Une mesure est rejetée quand son `error_value` dépasse le seuil du capteur, **références comprises**. Quand `pattern_type` est vide, un capteur est une référence s'il porte `reproj_err` ou `inlier` (la ligne « pattern_type vide pour N capteurs » le dit) ; une colonne de l'export que tous les capteurs ne portent pas dit combien la portent. Quand `inlier` est vide sur la fenêtre, les références retenues sont lues sur `reproj_err` rempli (le titre le dit) ; une marque autre que `r` ou `vide` est la valeur d'`inlier` (ex. `-1`). « Relevés en double » : un export (souvent nommé d'après le projet du client) dont les relevés sont déjà dans les autres ; avec 0 valeur différente, il ne change rien à la lecture, sinon les outils gardent celui du dernier fichier dans l'ordre des noms. Une suite qui finit le même jour n'écrit que l'heure de sa fin. La ligne « Qualité d'image de l'export (peak à snr) » dit si les six métriques de qualité sont remplies (alors `qualite.py`) ou vides. Sur un mois, la sortie avec `--debut`/`--fin` dépasse ce qu'un appel affiche : lis chaque section par un tube vers `grep` (ex. `| grep -A40 '^Références retenues'`, `| grep '^ PR04 '`) |
| `python3 agent-tools/resume.py <dossier> [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T] [--instants T1,T2] [--marque]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err`, et les six métriques de qualité d'image `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` (valeurs brutes ; face à une référence calme, `qualite.py`). L'en-tête des capteurs se répète toutes les 24 lignes. `--marque` : `*` après la valeur quand une mesure du pas est rejetée (`x`, `y`, `error_value` d'une mesure rejetée restent remplis), `o` quand une mesure du pas a inlier = 0. `--instants T1,T2` : seulement les pas qui contiennent ces instants (les valeurs de tous les capteurs à quelques heures choisies). Avec `--pas` égal à la cadence, `--niveau fenetre --marque`, c'est la table par instant et par capteur d'une colonne : une colonne par lancement |
| `.venv/bin/python agent-tools/graphique.py <dossier> [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. Colonnes : celles de `resume.py`, métriques de qualité comprises (valeurs brutes). **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau |
| `.venv/bin/python agent-tools/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value|non] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B] [--suivre A,B]] [--table T1/T2|non] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : avec la dispersion entre capteurs en bande grise ; sur les panneaux `x`, `y`, en plus, **chaque référence globale à part** (un trait chacune) et la **médiane des cibles seules** (trait noir) ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis `x_cibles`, `y_cibles` (médiane des cibles seules), puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis ceux de `x`, `y` de chaque référence globale (marqués `(rejetée)` quand la mesure l'est, avec le nombre de mesures rejetées de la référence), puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits ; `--residus non` : aucun de ces PNG ni de ces tables. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Avec `--rigide BASE`, un PNG **rigide** de plus : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant `BASE` (translation, rotation, échelle, estimé par médianes : une cible qui saute seule ne le tire pas ; `--sans A,B` en retire des cibles), et, pour chaque capteur, le **résidu** `dx`, `dy` (position brute moins sa position à `BASE` transportée par ce mouvement, en px) ; panneaux : `dx`, `dy` de chaque référence globale face à la médiane et au 10e-90e centile des cibles, `|résidu|` des cibles (médiane, 90e centile), rotation et échelle ajustées, `reproj_err` des références ; imprime la table au pas (`rot_deg`, `echelle`, `tx`, `ty`, `cib_med`, `cib_max`, `dx`, `dy` de chaque référence, et de chaque capteur de `--suivre A,B` : la suite pas à pas d'une cible) et, par capteur, min, max et valeur au dernier instant de `dx`, `dy`. Les mesures rejetées n'entrent ni dans l'ajustement, ni dans la bande des cibles, `cib_med`, `cib_max`, ni dans les colonnes de la table : sur plusieurs jours, des voitures garées ou des rejets de nuit ne noient plus le reste ; sur le PNG, une référence rejetée est une croix (l'échelle est celle des mesures acceptées, une croix loin est hors cadre) ; le résumé par capteur les donne à part (`; N rejetées : min …, max …`, et `(rejetée)` après une dernière valeur rejetée). Contrairement à l'écart à la médiane, ce résidu ne dépend pas de la place du capteur dans l'image quand la scène tourne ou change d'échelle. Les tables par pas (médiane commune, `--rigide`) répètent leur en-tête toutes les 24 lignes ; `--table T1/T2` ne les imprime qu'entre T1 et T2 (`non` : pas du tout), niveaux, min, max, PNG et le reste restant sur toute la fenêtre : sur un lot d'un mois, lis d'abord avec `--table non`, puis relance avec `--table` sur le jour d'un moment (mêmes niveaux, ce que ne donnerait pas une fenêtre `--debut`/`--fin` plus courte). Les graduatioLine truncated
| `python3 agent-tools/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--glissant N|DUREE] [--instants N] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage ; colonne `rejetées` : combien des mesures de la plage le sont (et `extrême rejetée`), `(rejetée : …)` après un plus grand saut dont un bout l'est. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Un bruit `0` (et « - » en bruits, aucune plage) : les valeurs sont constantes à l'arrondi près (écarts sous 1e-9), comme le `corr` des références quand la compensation n'en retient que deux (voir Conventions) ; même chose dans `ensemble.py --residus` et `jours.py`. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord. `--min-mesures N` n'imprime que les plages d'au moins N mesures (et dit combien sur le total) : sur un lot de plusieurs jours, les plages d'un pas se comptent par centaines et noient les paliers longs ; lis d'abord avec `--min-mesures 6`, puis sans. `--glissant N` (N mesures de part et d'autre) ou `--glissant 1d` (les mesures à moins d'une durée) : le niveau de chaque mesure est la médiane de ses voisines, sans elle ; une dérive longue ou un palier suivent ce niveau local, seuls restent les écarts plus brefs que la fenêtre (la colonne niveau du tableau et le bruit ne changent pas ; avec `--hors`, seul le bruit se calcule hors de l'épisode). `--instants N` : à la fin, les instants où au moins N capteurs sont hors niveau sur l'une des colonnes, avec chaque capteur et son écart signé en bruits (`cx` corr_x, `cy` corr_y, `ev` error_value), les capteurs rejetés à cet instant (parmi `--capteurs` : en retirer les capteurs toujours rejetés allège la liste), et chaque référence : `error_value` (`r` si rejetée) / inlier |
| `.venv/bin/python agent-tools/jours.py <dossier> [--colonnes corr_x,corr_y,error_value] [--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--bornes [--lissage N] [--fraction F]] [--debut T] [--fin T] [--sortie D]` | Ce qui revient d'un jour à l'autre, sur les mesures acceptées seulement. 1. **Niveau de chaque nuit** (heures `--nuit` H1-H2 UTC, à cheval sur minuit, datée du jour où elle commence), par capteur et par colonne : médiane, MAD, nombre de mesures, et le bruit propre ; puis, d'une nuit à la suivante, la **marche** (différence des médianes, en unités et en bruits) et **où elle se place** (« entre A et B » : là où la suite des mesures de nuit des deux nuits se coupe le mieux entre les deux niveaux ; B au début de la nuit suivante : la coupure tombe de jour, entre les deux nuits). Une marche de quelques bruits, une dérive d'une nuit à l'autre, et deux colonnes qui marchent au même instant s'y lisent, même quand le capteur a plusieurs niveaux dans le lot. 2. **Jours superposés** : PNG **parheure-<colonne>**, un petit graphique par capteur, en abscisse l'heure du jour, une courbe par jour, chaque mesure moins le niveau de la dernière nuit commencée (nuit grisée, cadre du 1er au 99e centile, le titre dit combien de mesures sortent du cadre) ; table : par créneau de `--pas` de l'heure du jour, les capteurs dont l'écart dépasse `--k` bruits, du même côté, au moins `--jours` jours, avec le nombre de jours et la médiane de ces écarts. Ce qui revient chaque jour à la même heure, sur un capteur ou plusieurs, s'y groupe, même quand cela ne dure qu'une à trois mesures. 3. **Bornes de chaque jour**, avec `--bornes` : pour la médiane des cibles de chaque colonne et pour la pose de la caméra (`pan`, `tilt`, `rotation`, `scale`, `sigma0`, si `camera/` existe), l'écart au niveau de la nuit qui précède chaque jour (un jour va de la fin d'une nuit à la fin de la suivante ; avec `--capteurs`, la médiane de ces capteurs, avec un seul, le sien). Par jour : nombre de mesures, la première et la dernière ; premier et dernier instant au-delà de `--k` bruits, avec la mesure juste avant et juste après, au pas natif ; max et min signés avec leur instant ; la suite de mesures au-delà de `--k` bruits qui entoure le plus grand des deux ; la nuit suivante moins la nuit de référence. Un jour sans mesure le dit ; une nuit de référence qui n'est pas la précédente est nommée. Chaque ligne de jour commence par le nom court de sa suite (`corr_x`, `pose_tilt`…) : sur un mois, `| grep '^pose_tilt '` en lit une, `| grep ' 12/10 '` un jour. `--lissage N` : l'écart de chaque mesure est la médiane des N mesures du jour centrées sur elle (bruit et `--k` inchangés ; PNG : lissé en bleu, brut en gris) : un point isolé ne coupe plus la suite autour de l'extrême et ne fait plus un premier ou un dernier dépassement. `--fraction F` : le seuil de chaque jour est F fois le plus grand |écart| de ce jour (imprimé sur sa ligne, `seuil …`), au lieu de `--k` bruits : quand le bruit au pas natif est sans rapport avec l'ampleur du cycle (pose très bruitée, ou très lisse). PNG **bornes** : l'écart sur le lot, premier → dernier dépassement grisé clair, suite autour de l'extrême grisée foncé, max et min marqués. Le choix de `--nuit` : des heures où le cycle du jour (`error_value`, pose de la caméra) est retombé. **Regarde les PNG avec Read** |
| `.venv/bin/python agent-tools/metriques.py <dossier> [--noms A,B] [--pas 1h] [--stat median\|min\|max] [--contre temperature] [--lissage 24h] [--metriques-seules] [--debut T] [--fin T] [--sortie D]` | Les métriques système de `metrics/` (une valeur par heure), jamais les identifiants (`SIM_CCID`, `ip*`). Imprime les métriques disponibles avec leur nombre de valeurs sur la fenêtre (« vide » : aucune), puis une table par pas de `--pas` : `temperature` (médiane des composants `sensor_*_deg_c`, celle que lisent les détecteurs), chaque métrique de `--noms` (défaut : les `*_deg_c` et `BusVoltage`), puis, sauf `--metriques-seules`, `cib_corr_x`, `cib_corr_y` (médiane sur les cibles de `corr` moins le niveau propre de chaque cible, mesures acceptées) et la pose brute de la caméra (`cam_pan` … `cam_sigma0`) ; une case vide est sautée, une métrique texte (`link`, `BatteryState`, `last_sync`) est rendue telle quelle. Puis, par colonne : pas remplis, min et max avec leur instant ; la corrélation r et la pente de chaque colonne sur `--contre` (avec `--lissage 24h`, sur sa moyenne glissante, colonne `<contre>_lisse`) ; les suites datées de pas sans aucune métrique. Un PNG : températures sur un panneau (médiane en noir), chaque autre métrique sur le sien, puis `cib_corr_x`, `cib_corr_y` et la pose, trait coupé sur un trou. **Regarde-le avec Read** |
| `.venv/bin/python agent-tools/stations.py <dossier> <dossier> [...] [--colonnes temperature,cam_tilt,cam_rotation,cam_scale,cib_corr_x,cib_corr_y] [--pas 1h] [--stat median\|min\|max] [--table T1/T2\|non] [--debut T] [--fin T] [--sortie D]` | **Plusieurs stations sur une même ligne de temps** (stations voisines, même bâtiment). Colonnes possibles : `temperature` (comme `metriques.py`), `cam_pan` … `cam_sigma0` (pose brute), `cib_corr_x`, `cib_corr_y` (comme `metriques.py`), `rej_cibles`, `rej_refs` (nombre de cibles, de références rejetées, le plus grand du pas). Imprime par station la période, la cadence et le nombre d'instants ; puis les **trous** : les suites de pas sans mesure ou sans température, avec les stations où elles manquent (un trou commun à plusieurs stations sur une seule ligne) ; puis la table par pas (une colonne `STATION:colonne` chacune, tabulations ; `--table` comme `ensemble.py`) ; puis, par colonne et par paire de stations, r des valeurs et r des pas d'une valeur à la suivante (un mouvement commun se voit sur les pas, une tendance commune sur les valeurs), avec n. PNG **stations** : un panneau par colonne, un trait par station (température brute, le reste moins sa médiane), et une bande par station des pas sans mesure. Prends `--pas` égal à la cadence la plus lente des stations ; sur un mois à `1h`, lis d'abord avec `--table non`. **Regarde-le avec Read** |
| `python3 agent-tools/qualite.py <dossier> [--calme T1/T2,T3/T4] [--commun] [--table M] [--pas 15min] [--seuil 0.5] [--capteurs A,B] [--debut T] [--fin T]` ; `... --etiquettes F [--numeros 3,7] [--marge 60] [--bords]` ; `... --etiquettes F --hors [--min 1] [--sauf "Thermal displacement"]` ; `.venv/bin/python agent-tools/qualite.py <dossier> --figure [--metriques flux,snr,dominance] [--etiquettes F] [--zone T1/T2 ...] [--sortie D]` ; `python3 agent-tools/qualite.py --essai` | Les six **métriques de qualité d'image** (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` ; définitions : `labeling/connaissances/metriques-de-qualite.md`), sur les stations qui les ont (sinon : « Aucune métrique de qualité », et rien d'autre). Chaque mesure devient un **rapport** à la **référence calme** de son capteur : la médiane de la métrique sur ses mesures des fenêtres `--calme`, à la même heure UTC du jour (sans `--calme` : tout le dossier) ; 1 = comme la référence, < 1 plus bas, > 1 plus haut ; pour `fwhm` et `dominance`, c'est la hausse qui dit une image dégradée ; mesures rejetées comprises. Sans option : le `peak` maximal du dossier, puis par capteur (`r` = référence) les mesures rejetées, `pk/max` (peak médian sur la fenêtre divisé par ce maximum : à 1, la tache touche le plafond de l'image, son `peak` ne bouge plus et sa `sharpness` suit l'exposition : lis plutôt `flux`, `snr`), et pour chaque métrique le rapport médian et l'extrême avec son instant ; puis la médiane des cibles et des références. `--commun` : par pas, la médiane des rapports des cibles / des références pour chaque métrique (ce qui touche toute la scène, visibilité ou turbulence ; `--pas 1d` pour voir en un écran sur quels jours la référence tient). `--table M` : par pas, le rapport de `M` de chaque capteur (`*` : une mesure rejetée), leur médiane et combien passent `--seuil` (sous, ou au-dessus de 1/`--seuil` pour `fwhm`, `dominance`) : une cible qui s'éteint et revient. `--etiquettes F` (un JSON par ligne, `debut`, `fin`, `categorie`) : par étiquette numérotée, le rapport médian des cibles et des références sur l'heure d'avant, la plage et l'heure d'après (`cib 0.96\|0.26\|0.79`, `--marge` minutes), puis les capteurs **touchés** sur la plage (flux ou snr sous `--seuil`, ou dominance au-dessus de 1/`--seuil`), avec leur pire flux, du plus bas au plus haut ; `--bords` : par instant de la plage élargie, le nombre de capteurs touchés et la médiane des cibles de flux, snr, dominance (`<` dans la plage), pour dater le premier et le dernier instant dégradé. `--hors` : les suites d'instants qu'aucune étiquette ne couvre (hors familles `--sauf`) où au moins `--min` capteurs sont touchés, avec les capteurs et leur pire flux : des candidats aux étiquettes oubliées, à vérifier sur `corr_x`, `corr_y`. `--figure` (au lieu des tables) : PNG **qualite-commun** (un panneau par métrique, échelle log : médiane des cibles en noir, des références en rouge, bande grise du 10e au 90e centile des cibles : une gêne de toute la scène déplace la médiane, une occultation de quelques cibles ne déplace que le bas de la bande) et un PNG **qualite-<métrique>** par `--metriques` (un petit graphique par capteur, références en rouge) ; `--etiquettes` y grise chaque étiquette d'une couleur par famille, `--zone` des plages. **Regarde les PNG avec Read** |
| `.venv/bin/python agent-tools/vignettes.py <dossier> --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--fixe] [--zone X,Y,L,H] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur à chaque heure (le centre du cadre est écrit sous chaque vignette : quand `x`, `y` sautent, le cadre se déplace d'autant, et une tache qui entre dans le cadre semble apparaître) ; `--fixe` garde pour chaque capteur le cadre de la première heure et marque d'une croix rouge les `x`, `y` de chaque heure ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible. Un cadre que le bord de l'image coupe est signalé (« cadre coupé par le bord de l'image (L × H px) ») : sur certaines stations, `x`, `y` ne sont pas des pixels (valeurs proches de 0) et le cadre tombe dans le coin ; regarde alors la scène par `--zone`. `--zone X,Y,L,H` (pixels de l'image d'origine : coin haut gauche, largeur, hauteur, comme `gif.py`) : la même zone à chaque heure, côte à côte (jusqu'à 4 par ligne), même étirement avec `--contraste` ; `--capteurs` devient facultatif, et ceux qui sont donnés sont marqués d'une croix et de leur nom. Pour la scène autour des cibles (objet au premier plan, phares, éclairage), préfère-la à un grand `--rayon`. Chaque vignette est rendue un pixel pour un pixel jusqu'à 1000 px de côté, mais Read réduit un PNG large : avec un grand `--rayon` ou une grande `--zone`, trois ou quatre heures par planche |
| `.venv/bin/python agent-tools/gif.py <dossier> --debut T --fin T [--largeur 720] [--duree 700] [--max 150] [--zone X,Y,L,H] [--sortie D]` | Un GIF des images de la caméra entre `--debut` et `--fin` inclus, recadrées au besoin sur `--zone`, mises à `--largeur` px, date et heure UTC écrites en bas à droite ; au-delà de `--max` images, `--max` à intervalle régulier ; imprime l'heure de chaque image, puis le chemin et la taille du GIF. Sert à joindre la scène à une réponse au client ; Read ne lit pas un GIF : pour regarder, `vignettes.py --zone` |
| `ls <dossier>/images/ \| grep <AAAAMMJJ>T<HHMM>Z`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) |
`--sortie <dossier>` : là où celui qui t'appelle range tes figures ; il te le donne.
## Conventions
- Instants : `2026-01-01T00:00Z` ; une heure sans fuseau est lue en UTC ; `--fin` inclut la minute indiquée. Sur un lot, `--debut` et `--fin` du lot.
- Bash ne sert qu'à lancer ces outils, `ls`, `grep` et `date`, une commande par appel, sans boucle `for` (un tube vers `grep` est permis) : les permissions sont accordées commande par commande. Si le répertoire courant n'est pas la racine du dépôt, `cd <racine> && <commande>` compte pour une commande. N'écris aucun autre script. Celui qui t'appelle peut ajouter des commandes à cette liste.
- **Une sortie trop longue pour un appel** (au-delà de quelques centaines de lignes, coupée à l'affichage) : raccourcis-la d'abord par les options de l'outil (`--table non` puis `--table T1/T2`, `--min-mesures`, `--capteurs`, `--colonnes`, une fenêtre plus courte), ou lis-en une section par un tube vers `grep` (`| grep -A40 '^Titre'`, `| grep '^pose_tilt '`). Si tu dois la relire plusieurs fois, range-la dans le dossier de sortie dans le même appel (`<commande> > <sortie>/<nom>.txt`) et lis ce fichier par Read (`offset`, `limit`) ou par `grep` : pas de `head`, `tail`, `sed`, `cut`. Les outils créent eux-mêmes leur dossier de sortie : pas de `mkdir`.
- Un nom de capteur qui porte une apostrophe (`COLH20'''`, `REFP''21`) se met entre guillemets doubles dans le shell : `--capteurs "COLH20'''",COLI22`.
- Chaque PNG se regarde avec Read : un PNG que tu n'as pas regardé n'a rien montré.
- **Métriques de qualité d'image** (`qualite.py`) : elles disent **pourquoi** une mesure se dégrade, là où `error_value` dit seulement qu'elle se dégrade ; elles prouvent une cause et nomment les cibles touchées. Ce qu'elles ont montré sur LENZSPITZE (à confirmer sur chaque station) : `flux` coupé (près de 0) sur un groupe de cibles, les autres intactes, le temps d'une à quelques mesures : ces cibles sont cachées (la liste se lit sur le flux à chaque fois, pas sur la liste habituelle ; une cible cachée peut rester sous son seuil d'erreur, et son point est faux) ; `flux` en baisse sur toute la scène, plus fort sur les cibles lointaines : visibilité réduite ; `sharpness` en baisse et `dominance` en hausse, `flux` entier : l'image tremble (turbulence) ; rien ne bouge : ni l'image ni la vue, à chercher dans le mouvement. Un flux entier dément une occultation. `fwhm`, tronquée au disque, bouge peu ; sur une tache au plafond (`pk/max` à 1), elle baisse quand la tache s'assombrit. **La référence calme décide de tout** : prends `--calme` sur des heures calmes du **même régime de l'image** que la plage lue. Quand l'éclairage ou l'exposition change (après un trou, une intervention), une référence de l'autre côté fausse les rapports d'un facteur deux ou trois : `--commun --pas 1d` sur le lot montre ce changement (médianes des cibles et des références loin de 1 des jours entiers, puis à 1) ; prends alors une référence de chaque côté et lis chaque côté avec la sienne. Les jours calmes sont souvent des jours de cycle thermique : une lecture du thermique contre eux est circulaire.
- Une mesure rejetée (`error_value` au-dessus du seuil) n'est pas une mesure : la station vide les `corr` d'une cible rejetée, mais laisse ceux d'une **référence** rejetée, souvent absurdes ; les outils les vident (`corr`, plages, résidus, sauts ne portent que sur les mesures acceptées). Quand la compensation ne retient que **deux références**, leur `corr` vaut 0 (à 1e-13 près) : elle passe exactement par elles ; leur bruit s'imprime `0` et leurs écarts en bruits « - » ; ne lis rien dans ces valeurs, lis les références par `x`, `y` (`ensemble.py --rigide`) et `error_value`. Ses `x`, `y` restent : avant de citer un saut de `x`, `y`, regarde s'il est marqué `(rejetée)` ; une mesure rejetée ne se cite pas comme un mouvement.
## La méthode
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, ce que contient chaque source, images, poses de la caméra, période, cadence, capteurs). Une colonne remplie que les outils ne montrent pas ou une source qu'aucun outil ne lit (`images_diff/`) reste une donnée : sache qu'elle existe. Les six colonnes de qualité d'image (`peak` à `snr`), remplies sur les caméras récentes, se lisent par `qualite.py`. `metrics/` se lit par `metriques.py` : une coupure des mesures se lit face aux pas sans métrique et à la tension (`--noms BusVoltage,BusCurrent,Power,BatteryPercent --metriques-seules` sur la coupure) ; des métriques toutes vides (« vide » sur chaque nom) sont une donnée absente, pas une température stable. Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. Lis les rejets des **références** autant que ceux des cibles : un capteur rejeté aux mêmes heures chaque jour fait un moment à lui seul (dis sa part de mesures rejetées et ses heures, jour par jour) ; quand c'est une référence, dis avec combien de références la compensation tourne alors (la liste des références retenues). Quand plusieurs cibles sautent ensemble d'un pas, ou que la compensation tombe (pas de pose), regarde d'abord dans cette liste quelles références ont été perdues à cet instant.
2. **Large d'abord** : `ensemble.py` sur le lot, d'abord (sur un lot de plus de quelques jours, avec `--table non`, puis `--table T1/T2` sur les jours à lire) ; **la pose de la caméra en premier** (panneaux du haut, colonnes `cam_` de la table) : quand la caméra tourne (`pan`, `tilt`, `rotation`), change d'échelle (`scale`), quand son recalage se dégrade (`sigma0`) et quand elle n'est pas recalée (trait coupé, instants sans pose), datés au pas natif ; chaque moment des capteurs se lit ensuite face à elle : pendant un mouvement ou un trou de recalage, ou caméra immobile. La pose est calculée à partir des références globales : un changement de pose (ou une montée de `sigma0`) ne se lit comme un mouvement de la caméra que si **les cibles bougent aussi dans l'image** ; regarde, sur les panneaux `x`, `y`, les traits des références face au trait noir des cibles seules (et la colonne `x_cibles`, `y_cibles` de la table). Si seules des références bougent dans l'image et que les cibles restent immobiles, ce sont ces références qui ont bougé : la pose et les `corr` de toutes les cibles en sont faussés, sans mouvement brut des cibles ; dis quelles références et de combien. Si tout bouge ensemble, références et cibles, c'est la caméra ou la scène ; regarde alors si les `corr` reviennent. Dès que la pose tourne ou change d'échelle, l'écart à la médiane ne dit plus qui bouge seul (chaque capteur s'en écarte selon sa place dans l'image) : avant d'écrire « tout bouge ensemble », relance avec `--rigide BASE`, `BASE` un instant calme avant le premier mouvement, et lis le PNG **rigide** et sa table : une référence dont le résidu reste loin du 10e-90e centile des cibles, ou un `reproj_err` des références qui ne revient pas, veut dire que la compensation reste faussée par ces références et que les paliers de `corr` en viennent en partie ; dis lesquelles, de combien, jusqu'à quand ; un `|résidu|` des cibles qui monte dit qu'elles ne bougent pas comme un bloc. Puis la médiane de `x`, `y` (position brute, références comprises), les références une à une, les cibles seules et `sigma0` disent ce qui bouge dans l'image, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Sur un lot de plus de deux jours, lance ensuite `jours.py` (avant de lire les pas isolés de `plages.py`) : ce qui revient chaque jour à la même heure se lit d'abord sur ses PNG **parheure** et sa table par créneau, et fait un moment par heure du jour (dis quels capteurs, combien de jours sur combien, l'ampleur, ce que fait la pose de la caméra à cette heure-là), pas un moment par jour ni rien du tout parce que chaque pas est court ; puis lis sa table des **niveaux de nuit**, pour tout capteur qui a déjà fait un palier ou dont `--hors` ne suffit pas (plusieurs niveaux dans le lot) : chaque marche d'une nuit à l'autre se date par son « entre A et B », et une marche d'`error_value` et une de `corr` au même instant se relient ; une dérive lente se lit d'une nuit à l'autre. Pour ce qui revient chaque jour et s'étiquette jour par jour (cycle thermique, réchauffement et refroidissement), relance `jours.py --bornes` plutôt que de fixer les mêmes heures pour tous les jours : chaque jour se date sur sa ligne, la suite autour de l'extrême pour le cycle, le max et le min pour un aller et un retour (le matin et l'après-midi) ; les mesures « avant » et « après » donnent les bornes au pas natif (à une cadence de 1 h ou de 4 h, un événement va de la mesure d'avant à celle d'après). Prends `--nuit` sur des heures où la pose et `error_value` sont retombées (figure **parheure**) : si le premier dépassement tombe au début du jour (« avant - ») et le dernier à sa fin chaque jour, la nuit choisie n'est pas calme ; change `--nuit` ou passe à `--capteurs` pour les cibles qui portent le cycle. Quand la caméra dérive toute la nuit, prends une nuit courte juste avant le matin (`--nuitLine truncated
3. **Puis zoome** : `resume.py` à 15min (`--stat max` pour le pic réel d'un capteur), et `graphique.py` sur les fenêtres et les capteurs qui bougent.
4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière.
5. **Chaque moment retenu se date et se mesure au pas natif de 15 min** : début, fin et maximum lus sur la table à 15 min (`ensemble.py` par défaut, `resume.py --pas 15min`), jamais sur un tableau à l'heure ; lis aussi `ensemble.py --min 1` pour les capteurs seuls, et `plages.py` sur le lot (d'abord avec `--min-mesures 6`) pour avoir, par capteur, début, fin, extrême et plus grand saut au pas natif (relance-le avec `--hors` autour d'un épisode long pour dater son retour au niveau, ne conclus pas « ne revient pas » sans l'avoir lu ; quand le lot a une dérive longue ou plusieurs paliers (les plages se comptent par centaines, ou une moitié du lot est « hors niveau »), relance-le avec `--glissant` (quelques mesures, ou une durée de quelques heures à un jour selon la cadence) et `--instants 2` : les écarts brefs sous la dérive sortent seuls, et la liste par instant dit quels capteurs s'écartent ensemble, lesquels sont rejetés et ce que font les références à cet instant ; un écart de toutes les cibles avec les références au même instant se lit face à la pose de la caméra), et les tables de `x`, `y` sur les fenêtres où ils s'agitent. Sur une station qui a les métriques de qualité, pour chaque moment : `qualite.py --table flux --capteurs …` (ou `--etiquettes F --numeros N --bords` sur une étiquette) dit quelles cibles sont cachées (flux coupé) ou voilées, de quel instant à quel instant ; écris-les par leur nom.
6. **Les images** : vignettes (avec `--contraste` pour une cible faible) espacées, une toutes les 2 à 3 h, plus serrées là où les courbes bougent, toujours avec un capteur témoin non touché, à une heure avant, pendant et après (à la même heure de la journée si possible) ; quand `x`, `y` d'un capteur sautent entre deux vignettes (centre du cadre écrit sous chacune), relance avec `--fixe` avant de dire qu'une tache apparaît ou disparaît ; l'image entière pour la scène (occultation, éclairage, météo).
## Ce que la lecture rend
Une ligne par moment. Un moment : un capteur ou un groupe de capteurs qui sort de son niveau habituel pendant une fenêtre que tu peux dater.
| Début | Fin | Capteurs | Colonnes | Ce que je vois | Images |
|---|---|---|---|---|---|
- **Capteurs** : références ou cibles, combien, lesquels.
- **Ce que je vois** : la forme (pic d'un pas, palier, montée lente, agitation), l'ampleur face au niveau habituel (en MAD ou en fois la médiane), le retour à la normale ou non, ce que font les autres capteurs, **ce que fait la caméra** au même moment (pose qui bouge, de combien, ou immobile ; recalage absent ; « pas de `camera/` » si le dossier n'en a pas).
- **Images** : ce que montrent les vignettes et l'image entière à ce moment, ou « pas d'image ».
Heures en UTC.
@@ -0,0 +1,18 @@
# Les métriques de qualité d'image d'une cible
Six colonnes de l'export « advanced », par capteur et par mesure : `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr`. Calculées par le GPU des caméras récentes (`aimsight_optical` 6.7.11) sur la fenêtre du capteur dans l'image DIFF, en unités de cette image. Remplies sur LENZSPITZE et NADELHORN (pompage d'octobre 2026), vides ailleurs ; pour une ancienne caméra, `~/optical_emulator` les recalcule dans `quality/` (`run.md`).
Source : `~/optical_emulator/docs/cuda_phase_correlation.md`, §14 (définitions du code de référence). « Disque » : le voisinage du pic, de rayon `min(H, W)/6` (au moins 3 px) ; « fond » : tout le reste de la fenêtre (`bg_mean`, `bg_sigma`).
| Métrique | Définition | Ce qu'elle mesure | Lecture |
|---|---|---|---|
| `peak` | `max(I)` | la luminosité du retour | en haut, saturation ; en bas, sous-exposition ou flash manqué. Toutes les cibles qui baissent : l'éclairage (LED, flash) ; une seule : cette cible (salissure, désalignement) |
| `flux` | flux du disque moins le fond | la lumière de la cible, fond retiré | réflectivité de la cible (salissure, vieillissement, flash), pas la lumière ambiante ; baisse bien avant que `error_value` ne dépasse son seuil |
| `sharpness` | `Σ(I²) / (ΣI)²` | concentration de l'énergie (plus haut = plus net) | baisse : mise au point qui dérive, turbulence thermique, cible qui se dégrade, soit plus de bruit de mesure. Indépendante du gain, mais pas du fond (non retiré) : à suivre dans le temps sur une cible, pas à comparer entre caméras |
| `fwhm` | largeur à mi-hauteur autour du pic, fond retiré [px] | largeur de la tache | monte : défocalisation, turbulence, flou de bougé. Tronquée au disque : sous une forte défocalisation, elle se tasse au lieu de monter |
| `dominance` | `(second pic − fond) / (pic − fond)`, de 0 (propre) vers 1 (ambigu) | une seule cible domine-t-elle la fenêtre ? | haute : un second reflet comparable, un point brillant parasite, ou la cible a disparu et autre chose est le plus brillant : la corrélation peut s'accrocher au mauvais motif, ce qu'`error_value` seule ne voit pas. Un seul pixel chaud hors du disque suffit à la faire monter |
| `snr` | `(peak − fond) / bg_sigma` | le signal au-dessus du bruit du fond | bas : retour marginal, même quand `peak` paraît normal. Indépendant de l'exposition et du gain. L'émulateur marque `vide` sous 8 |
En bref : `peak` et `flux` disent la luminosité, `sharpness` et `fwhm` la netteté, `dominance` et `snr` la validité. Ensemble, ils disent **pourquoi** une mesure se dégrade, là où `error_value` ne dit que qu'elle se dégrade.
Ce sont des qualités de l'image d'**une cible** : elles ne disent rien de la santé du réseau de références (CLAUDE.md, « Pour les déplacements » ; `AIMsight_agentic_support_project_context.md`, §5.5 et §5.6). Les lectures du tableau sont celles de la source ; ce qu'elles valent sur nos phénomènes (pluie, buée, obstruction, soleil) se confirme dans les données (`labeling/connaissances/chaine-de-mesure.md`).
@@ -0,0 +1,14 @@
## 5. Règles
- Vocabulaire de preuve, et seulement lui : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed`. Pas de pourcentage de confiance.
- Sépare fait observé (lu dans les données), fait dérivé (calculé), contexte donné par l'utilisateur, hypothèse et inconnu.
- Aucun chiffre ni seuil sans source : chaque fait du rapport a sa commande, dans le bloc « Commandes » de son anomalie.
- Ne construis rien sur `inlier` (binaire). `sigma0` ne suffit jamais seul. Ne confonds pas mouvement en mode commun et mouvement structurel, ni références cohérentes et références physiquement fixes.
- Un trou n'est pas forcément une coupure : acquisition, traitement, transport et affichage sont des couches distinctes.
- Toute heure est en UTC.
- « Rien d'anormal » est une conclusion valable.
- **Asymétrie** : « Conséquence pour l'ouvrage : aucune » seulement si les trois tiennent : correspondance complète à un event (étape 5), niveau de preuve au moins `strongly supported`, et un mouvement réel de l'ouvrage écarté par la réfutation (étape 7). Sinon « indéterminée », ou « mouvement réel » si tes preuves l'établissent. Une fausse assurance coûte plus qu'une fausse alerte.
- **Écris court.** Des phrases simples ; des chiffres arrondis (deux chiffres significatifs) ; pas de valeurs pas à pas, la figure les montre. Le corps du rapport (jusqu'à « Hors anomalie » compris) tient en 40 lignes environ, figures comprises.
- Lecture seule : tu n'écris que ton rapport et ses figures.
- Rapport en français ; termes AIMsight en anglais (classifications, noms de colonnes).
+141
View File
@@ -0,0 +1,141 @@
// 16:9 presentation. One slide function = one slide; budgets in
// brand/docs/TEMPLATE_GUIDE.md section 4. Split slides rather than shrink text.
// Source : Support-Agent, support/2026-11-02_BREITHORN_rapport-situation/rapport.md
#import "/brand/templates/presentation.typ": *
#show: presentation.with(
title: [BREITHORN, octobre 2026],
author: [AIMsight SA],
lang: "fr",
)
// Le tampon « PROJET <révision> » de la charte devient le nom du projet.
#show regex("PROJET.*"): "Sandouville"
#title-slide(
kicker: [Point de situation],
title: [BREITHORN],
subtitle: [Du 3 au 31 octobre 2026],
)
#content-slide(
eyebrow: [Résumé],
title: [Ce qui s'est passé en octobre],
body: [
+ #strong[3–31 oct.] : la caméra bouge peu à peu.
+ #strong[3–31 oct.] : parallaxe, des cibles suivent la caméra.
+ #strong[3–13 et 21–30 oct.] : un véhicule cache les cibles basses.
+ #strong[4, 7, 10, 25 oct.] : une référence cachée décale tout.
+ #strong[15–16 oct.] : une nuit sans mesures.
+ #strong[19–30 oct.] : la caméra bouge plus, certaines nuits.
],
)
#two-column-slide(
eyebrow: [Événement 1],
title: [La caméra bouge peu à peu],
ratio: "40-60",
left: [
- #strong[Quand] : tout le mois ; pause du 13 au 16, plus vite du 17 au 25.
- #strong[Ce qu'on voit] : son tilt (angle vertical) augmente et son pan (angle horizontal) diminue.
#strong[Diagnostic] : le mouvement de la caméra est réel. On ne sait pas exactement ce qui la fait bouger : sa fixation, le mur ou autre chose.
],
right: [
#image("camera-tilt-octobre.png")
#emph[En haut le tilt, en bas le pan de la caméra, en degrés ; en gris, la pause du 13 au 16 octobre.]
],
)
#two-column-slide(
eyebrow: [Événement 2],
title: [Parallaxe : certaines cibles suivent la caméra],
ratio: "40-60",
left: [
- #strong[Cibles] : POUI19 et COLJ19 dérivent, COLI24 dans l'autre sens ; POUH21 reste plate.
- #strong[Ce qu'on voit] : ces courbes suivent pas à pas le mouvement de la caméra.
#strong[Diagnostic] : les cibles sont à 9 m pour certaines, à 20 à 60 m pour d'autres ; une seule correction ne peut pas toutes les compenser : leurs courbes suivent la caméra.
],
right: [
#image("camera-qui-bouge.png")
#emph[En haut, le tilt de la caméra. En bas, le déplacement horizontal (corr_x) de POUI19, COLJ19 et POUH21, et vertical (corr_y) de COLI24.]
],
)
#two-column-slide(
eyebrow: [Événement 3],
title: [Un véhicule cache les cibles basses la nuit],
ratio: "40-60",
left: [
- #strong[Quand] : presque chaque nuit, du 3 au 13 et du 21 au 30 octobre.
- #strong[Cibles] : COLI24, COLI22, POUI22, POUI24, COLH20\'\'\'.
- #strong[Ce qu'on voit] : un véhicule stationne devant le bas de la scène ; COLI24 disparaît.
#strong[Diagnostic] : le véhicule cache ces cibles ; leurs sauts et leurs trous tombent quand il est là, et tout revient au matin.
],
right: [
#image("vehicule-devant-les-cibles-basses.png")
#emph[Autour de COLI24 (cercle rouge), image éclaircie : rien le 28 ; un véhicule le 25 à midi ; des reflets le 24 à 04:00.]
],
)
#two-column-slide(
eyebrow: [Événement 4],
title: [Une référence cachée décale toutes les cibles],
ratio: "40-60",
left: [
- #strong[Quand] : 4, 7 et 10 octobre, une mesure ; nuit du 25 au 26 octobre.
- #strong[Ce qu'on voit] : un véhicule cache une référence, ou deux ; toutes les cibles sautent ensemble.
#strong[Diagnostic] : la correction du mouvement de la caméra s'appuie alors sur une référence cachée en partie : toutes les cibles sautent ensemble, puis reviennent.
],
right: [
#image("references-genees-debut-octobre.png")
#emph[Cinq cibles du 3 au 11 octobre : en haut le déplacement horizontal (corr_x), en bas le vertical (corr_y). En gris, les 4, 7 et 10 octobre.]
],
)
#content-slide(
eyebrow: [Événement 5],
title: [Une nuit sans mesures, du 15 au 16 octobre],
body: [
- #strong[Quand] : du 15 octobre 20:00 au 16 octobre 12:00 UTC.
- #strong[Ce qu'on voit] : aucune mesure et aucune image.
- La station était alimentée ; les courbes reprennent au niveau d'avant.
#strong[Diagnostic] : l'enregistrement s'est interrompu, sans coupure d'alimentation ; la cause n'est pas établie.
],
)
#two-column-slide(
eyebrow: [Événement 6],
title: [Quelques nuits où la caméra bouge un peu plus],
ratio: "40-60",
left: [
- #strong[Quand] : matins des 19, 26 et 28 octobre ; nuits du 28 au 30.
- #strong[Ce qu'on voit] : la rotation de la caméra change, quelques courbes s'écartent, puis tout revient vers midi.
#strong[Diagnostic] : la caméra tourne très légèrement, puis revient ; les cibles ne bougent pas dans l'image. Un mouvement passager de la caméra, dont la cause n'est pas établie.
],
right: [
#image("rotation-et-cibles-28-30-octobre.png")
#emph[Du 27 au 31 octobre : en haut, la rotation de la caméra (°) ; en bas, le déplacement vertical (corr_y) de COLH20, POUI24 et POUH21. En gris, trois de ces nuits : la rotation baisse, COLH20 monte, POUI24 descend.]
],
)
#content-slide(
title: [Conclusions],
body: [
- La caméra bouge peu à peu tout le mois ; la cause n'est pas établie.
- Ce mouvement n'est pas compensé pour toutes les cibles : certaines courbes dérivent avec lui.
- Presque chaque nuit, un véhicule cache les cibles basses, parfois une référence.
- Quelques nuits, la caméra bouge un peu plus, puis revient.
- La nuit du 15 au 16 octobre, la station n'a rien enregistré.
],
)
#closing-slide(
title: [Nous restons à votre disposition],
subtitle: [Pour toute question sur ce rapport, contactez le support AIMsight.],
)
+93
View File
@@ -0,0 +1,93 @@
# Mettre la réponse en présentation
La réponse au client est une présentation PDF à la charte AIMsight (diapositives 16:9), faite avec la fabrique Typst de `tools/typst/`. Elle ne traite que la question du mail. Modèle à suivre : `modele.typ` (BREITHORN, octobre 2026, validé dans sa structure par Marc), qui contient tous les types de diapositive.
Adapté pour l'API le 2026-11-05 depuis le skill `presentation` du projet (voir `PROVENANCE.md`) : les commandes deviennent les outils des agents ; la structure se restreint à la question.
## La clarté d'abord (Marc, 2026-11-05)
Le premier essai par l'API était juste, mais lent à comprendre : il fallait lire les courbes pour saisir chaque diapositive. La clarté prime :
- **Une diapositive se comprend en quelques secondes, sans lire la figure** : le titre dit ce qui s'est passé, dans les mots du client ; le diagnostic est la phrase qui compte.
- **Chaque événement porte le nom de sa famille, dans les mots du client** : une baisse de visibilité, un passage devant les cibles (obstruction), la caméra qui bouge avec la température, une cible à problème, des mesures manquantes, un déplacement à vérifier. Jamais la forme de la courbe comme nom (« plateau », « saut bref ») : la forme va, au besoin, dans « Ce qu'on voit ».
- **Les mots de Marc pour les phénomènes** : le tremblement de l'image de jour (Heat shimmer, la turbulence de `familles.md`) se dit « turbulences atmosphériques », jamais « air chaud » (Marc, 2026-11-05).
- **Regrouper** les événements d'une même famille en une diapositive (toutes les nuits de visibilité réduite ensemble) : peu de diapositives.
- **L'image de la caméra d'abord**, quand la cause s'y voit, avec le nom des cibles ; une courbe seulement si elle montre ce que l'image ne montre pas. Une courbe reste simple : deux ou trois cibles, celles dont on parle ; les panneaux de la caméra (tilt, pan) et de la température seulement quand l'événement est la caméra ou la température.
- **Pas de GIF dans le PDF** : un PDF ne l'anime pas ; les images côte à côte (avant, pendant) en tiennent lieu.
## Ce que veut l'utilisateur (2026-11-03)
- **Une présentation pour le client, qui vend le système** (D-127) : on ne critique pas notre propre système, on ne s'incrimine pas. Pas de « mal compensé », « la correction ne le compense plus correctement », « la redondance est perdue », « les courbes sont moins fiables », « une seule correction ne peut pas toutes les compenser ». Dire le fait et sa cause extérieure : « REFPOU22 n'est plus visible ; la compensation continue sur deux références », « les courbes suivent ce mouvement commun de la caméra ».
- **Les tassements d'abord, `corr_y`** : c'est ce que regarde le client. Les figures montrent le déplacement vertical (`corr_y`) ; `corr_x` seulement là où le phénomène ne se voit qu'en horizontal (BREITHORN : la parallaxe, gardée, dite par la géométrie : des cibles à 9 m, d'autres à 20 à 60 m, un même mouvement de la caméra ne se voit pas pareil sur toutes). Chiffrer la stabilité verticale quand elle se voit (médiane journalière de chaque cible sur le mois). **`corr_x` et `corr_y` sont en pixels, pas en mm** (`labeling/connaissances/colonnes-des-deplacements.md`) : écrire « 0,2 px ».
- **Pas de diapositive sur un trou de données** (une nuit sans mesures), ni dans le résumé ni dans la conclusion.
- **La conclusion** : ce qu'expliquent les variations des courbes et ce qui reste stable, pas « ce qui rend les mesures moins fiables ».
- **Aller droit aux faits** : pas de page « En bref », pas de description sous le titre ; la page de titre dit seulement que c'est un point de situation, la station et la période.
- **Chaque diapositive se suffit** : elle montre le cas et donne le diagnostic, image à l'appui (l'image de la cause quand elle se voit : le véhicule, l'obstacle).
- **Donner le diagnostic, pas une consigne** : jamais « à ignorer », « ne pas croire », « à ne pas lire comme ». Dire ce qui se passe et ce que cela implique, pour amener le client à la bonne conclusion : « le véhicule cache ces cibles ; leurs sauts tombent quand il est là, et tout revient au matin ».
- **Les faits seulement, jamais l'ouvrage** : on ne sait pas si l'ouvrage bouge ; ne jamais écrire « l'ouvrage ne bouge pas », « pas un mouvement de l'ouvrage », « ces points ne bougent pas », « rien n'a bougé ». Dire le fait observé : « la caméra bouge », « le saut survient à la perte de la référence », « les cibles ne bougent pas dans l'image », « les courbes suivent la caméra ».
- **Le mouvement de la caméra est réel, sa cause inconnue** : dire que la caméra bouge (tilt, pan), que ce mouvement est réel, et qu'on ne sait pas exactement ce qui le provoque (sa fixation, le mur ou autre chose). Titre neutre, « La caméra bouge peu à peu », pas « pique du nez ». Les titres écrits dans les figures suivent la même règle.
- **Aucune instruction au client** : il fait comme il veut. Pas de « Ce qu'il faut faire », « faire vérifier », « nous signaler », « garer » : la présentation dit ce qui se passe, pas quoi faire.
- **Des légendes qui se lisent seules** : sous chaque graphique, dire ce que montre chaque panneau (la grandeur : déplacement horizontal `corr_x` ou vertical `corr_y`, tilt ou pan en degrés), les cibles, la période, ce que veulent dire le gris et les pointillés ; dans la figure aussi, l'axe à côté du nom de chaque cible. Le lecteur ne doit rien deviner.
- **Les courbes, pas les cibles** : « les courbes de POUI19 dérivent », pas « POUI19 dérive » ; seul ce qui est mesuré dans l'image (« les cibles ne bougent pas dans l'image ») se dit des cibles.
- **Nommer seulement ce qui se voit** : une tache lumineuse sur le véhicule, c'est « des reflets », pas « ses phares ».
- **Une référence perdue** : c'est le message, il ne nous met pas en cause : le système était stable à l'installation, le réseau de référence a été altéré depuis. Une diapositive avant / après (courbes `corr_y` du mois, pointillé à la disparition, écart-type avant et après : MICHIGAN, 0,014 px puis 0,10 px) ; l'agitation qui suit s'y rattache (« c'est ce que donne un réseau de référence altéré »), sans accent sur la température. Dater le saut commun à la disparition.
- **Un état qui dure depuis le début** (deux cibles trop proches) : le dater du début des données si les images le montrent, pas de la première étiquette ; dater à part le saut qu'il a provoqué (MICHIGAN : trop proches depuis le 3, saut le 5).
- **La plage de la question** : la présentation couvre la plage dont parle le client, et seulement les événements qui répondent à sa question (règle de l'API ; les rapports de situation du projet couvraient un mois entier).
## 1. La structure, toujours la même
| # | Diapositive | Contenu |
|---|---|---|
| 1 | `title-slide` | `kicker: [<le sujet de la question, en quelques mots>]`, `title: [<STATION>]`, `subtitle: [Du <premier jour des données> au <dernier> <mois année>]` ; rien d'autre (ni description, ni image) |
| 2 | `content-slide`, eyebrow « Résumé » | « Ce qui s'est passé en <mois> » : la chronologie, une ligne numérotée (`+`) par événement, dans l'ordre de leur premier jour : `+ #strong[<dates>] : <l'événement en quelques mots>.` |
| 3 à n | une par événement, eyebrow « Événement <numéro du résumé> » | le titre de l'événement, 2 ou 3 puces (**Quand**, **Cibles** si utile, **Ce qu'on voit**), puis `#strong[Diagnostic] : …` en paragraphe ; l'image à droite |
| n+1 | `content-slide` | « Conclusions », puis les puces : ce qui reste stable, puis la cause de chaque variation, dans l'ordre d'importance, sans aucune instruction |
| n+2 | `closing-slide` | « Nous restons à votre disposition », adresse par défaut |
- **Les événements** : un par constat de l'analyste qui répond à la question ; quand un constat mêle deux phénomènes que l'utilisateur distingue, les séparer (BREITHORN : le mouvement de la caméra et la parallaxe, qui fait que certaines cibles le suivent). Plus de cinq événements : le lint signale « 6 bullets », c'est accepté pour le résumé.
- **Diapositive d'événement** : `two-column-slide`, image à droite (`#image("images/x.png")` puis une légende `#emph[...]` d'une ligne). Ratio selon l'image (largeur / hauteur, dans l'en-tête du PNG) : ≥ 1,4 → `"40-60"` ; vignettes presque carrées (≤ 1,3) → `"60-40"`. Sans image : `content-slide`, mêmes puces et diagnostic.
- **Une image par événement**, la plus parlante : l'image de la cause si elle se voit, sinon la courbe, plage grisée.
- `lang: "fr"` ; toute heure en UTC, dite ; les « on ne peut pas l'affirmer » du rapport restent dans le diagnostic (« la cause n'est pas établie »).
## 2. Les images
Toutes dans le dossier de la séance, à côté de `<station>.typ`. L'analyste les fait (outils `figure_courbes` et `image_de_la_cause`) ; le support en demande d'autres à l'analyste quand :
- **la cause se voit dans l'image de la caméra** et le rapport n'en a qu'une vignette : recadrages éclaircis côte à côte, d'abord un instant sans la cause, puis avec :
(outil `image_de_la_cause` de l'analyste.)
(x, y : le « centre du cadre » de la cible sur une vignette de `vignettes.py`). Les scènes intérieures sont sombres même de jour : chercher l'instant où la cause se voit le mieux (de jour, ou ses phares la nuit) ;
- **les courbes en `corr_y`**, avec au besoin la caméra et la température au-dessus, les plages grisées et un trait pointillé (la perte d'une référence) ; le nom de chaque cible porte « (corr_y) » :
(outil `figure_courbes` de l'analyste : `--cam tilt,pan`, `--temp`, `--zone D/F`, `--ligne T`, `--hauteur 5` en options.)
- **un événement de la caméra** : montrer le tilt **et** le pan (`camera/`, `median_tilt` et `median_pan`, deux panneaux, en degrés), et la rotation (`median_rotation`) quand c'est elle qui bouge (BREITHORN, nuits du 28 au 30.10 : la rotation en haut, les cibles en bas, les mêmes plages grisées) ; pour la parallaxe, le tilt en haut et les cibles en bas, chacune avec son axe dans la légende de la figure ;
- **une figure à plusieurs panneaux** (tilt, pan, température, cibles) dans une colonne : la faire large (`figsize=(12.5, 6.4)`, rapport ≈ 2), sinon la diapositive déborde de 20 à 30 mm ;
- **des vignettes** (`vignettes.py`) : leurs titres donnent déjà la cible et l'heure ; légende courte, « Au-dessus de chaque image : la cible et l'heure UTC ; croix rouge : le point mesuré. »
Toute image nouvelle va dans le dossier de la séance, et se regarde (`voir_image`, `voir_page`) avant d'être gardée.
## 3. Écrire, compiler, vérifier
Le source est `<station en minuscules>.typ` dans le dossier de la séance (outil `ecrire_presentation`), parti de `modele.typ` ; il ne référence que des images du dossier, par leur nom seul (`#image("<nom>.png")`).
- `compiler` : rend la version (`v1.pdf`, `v2.pdf`…) et le nombre de diapositives qui débordent (doit être 0), ou l'erreur de Typst.
- `voir_page(n)` : regarder le résumé, chaque diapositive à image et la conclusion.
- **Lint** : `bare-image` est attendu (pas de `#fig` dans le gabarit de présentation) ; `[budget]` : raccourcir (une puce ≤ 16 mots, le lint compte `;`, `:` et `#strong[Quand]`).
- **Débordement** (« Overflow +N mm » en rouge) : puce ou diagnostic plus court, légende sur une ligne, ou ratio `"60-40"`. Jamais réduire la police.
- **Noms à apostrophes** (COLH21', COLH20''') : `COLH20\'\'\'`, sinon Typst en fait des guillemets.
- Pas de taille de police, de couleur, de `place`, `grid` ni `v` : la charte décide (`brand/` ne se modifie pas).
- En haut à droite, « Sandouville » : la ligne `#show regex("PROJET.*")` du modèle remplace le tampon « PROJET unversioned » de la charte ; l'adapter au site du client s'il est connu, sinon la retirer.
## Ce qui n'a pas marché
- Une page « En bref » et un sous-titre descriptif sur la page de titre : l'utilisateur veut les faits tout de suite.
- « La caméra pique du nez », « sa fixation est à vérifier » comme diagnostic : la cause du mouvement n'est pas connue, seul le mouvement l'est.
- « À ignorer », « ne pas croire » : des consignes au lieu d'un diagnostic.
- Une conclusion en deux colonnes (`comparison-slide`) « Pourquoi c'est moins fiable » / « Ce qu'il faut faire » : mise en page peu convaincante, et des instructions au client.
- Une légende qui laisse deviner ce qu'on regarde (« en bas, POUI19 et COLJ19 le suivent » sans dire que c'est le déplacement horizontal).
- « L'ouvrage ne bouge pas », « ce n'est pas un mouvement de l'ouvrage » : on ne le sait pas ; seuls les faits (la caméra bouge, une référence manque) sont établis.
- Une diapositive de texte puis une d'image par constat : deux pages à moitié vides, aucune ne se suffit.
- `plot-gallery-slide` en `layout: "single-side"` avec des puces dans `legend` : les lignes se chevauchent (défaut du gabarit).
- Une image presque carrée en `"40-60"` : débordement de 20 mm.
## Pistes à essayer (suggestions, non validées)
- Une image très large (≥ 3) est petite en colonne : la recadrer sur la période utile, ou la refaire moins large.
- Dans la conclusion, une ligne « ce qui n'est pas établi » si le client en a besoin pour agir.
+40
View File
@@ -0,0 +1,40 @@
# Règles de rédaction du support
> Copiées le 2026-11-05 du skill `support` du projet (§5, voir `PROVENANCE.md`). Dans l'API, `analyse.md` et `reponse.md` n'existent pas : pour une sortie mail, le corps de `reponse.md` et ses pièces jointes passent par `ecrire_mail` ; pour une sortie PDF, ces règles valent pour les textes de la présentation (langue du client, rien d'interne, honnêteté sur ce qui n'est pas établi, phrases simples), pas pour la forme du mail (objet, salutations, pièces jointes).
## 5. Écrire
**`analyse.md`**, pour Marc et la documentation : la question ; les faits qui fondent la réponse (heures UTC, capteurs, ce que montrent les images), chacun avec sa commande ; l'event connu s'il y en a un ; la réfutation ; ce qui reste non établi ; les figures. Vocabulaire de preuve du projet (`confirmed` … `not observed`). Puis :
```markdown
## Hors question (pour Marc)
- <ce que tu as vu sans que le client l'ait demandé ; quelques lignes au plus, ou « rien »>
```
**`reponse.md`**, le mail au client :
```markdown
**Objet** : Re: <objet ou sujet>
<corps>
**Pièces jointes** : <fichier.gif — ce qu'on y voit> (ou « aucune »)
```
Le corps :
- **d'abord la réponse**, en une ou deux phrases : oui, non, ou les images ne permettent pas de le dire, et pourquoi ;
- puis les quelques éléments que le client peut reprendre dans son rapport : heures, cibles, ce que montrent les images, le GIF joint ;
- honnête sur ce qui n'est pas établi, en mots simples (« on voit clairement », « c'est compatible avec », « on ne peut pas l'affirmer ») ;
- **rien hors de la question** ; seule exception, un fait qui change la réponse elle-même (« ce n'est pas un mouvement de l'ouvrage : le théodolite ne bouge pas ») ;
- les cibles par leur `sensor_name` de `data/` (ex. `101B`), suivi du nom du client entre parenthèses seulement si la correspondance est établie ;
- heures en UTC, dites ; l'heure locale entre parenthèses si la capture du client est visiblement en heure locale ;
- dans la langue du client, tutoiement s'il tutoie ; « Bonjour, » pour commencer, puis une ligne qui répond à sa politesse s'il en fait une (« Ça va bien, merci ! ») ; « Salutations, » et le prénom par lequel il s'adresse au support pour finir ;
- une mesure « rejetée » (`error_value` au-dessus du seuil) n'est pas retirée : la caméra livre tout, c'est nous qui la jugeons peu fiable, et le client la reçoit quand même. Écris « nous jugeons ces mesures peu fiables, mais elles te sont livrées », jamais « la station les rejette » ;
- jamais d'interne : codes d'events (E-xxx), noms des détecteurs ou des outils, autres stations, identifiants (`SIM_CCID`, `ip`), vocabulaire de preuve en anglais.
Le mail doit se lire comme écrit par une personne, pas par une IA :
- pas de deux-points comme ponctuation (les heures `21:00` et la ligne d'objet mises à part) : une phrase de plus, une virgule ou des parenthèses ;
- pas de tiret long ou moyen (— –), de flèche, de guillemets « », de gras ni de caractère spécial ; les faits en liste à puces `*` simple, s'il y en a plusieurs ;
- des phrases simples et directes, les mots du client pour ses instruments (station totale, tachy) ; pas de formules toutes faites (« N'hésite pas à revenir vers moi », « J'espère que ces éléments t'aideront », « En résumé ») ;
- exemple validé par Marc : `support/2026-10-28_LENZSPITZE_activite-voies/reponse.md`.
+49
View File
@@ -0,0 +1,49 @@
<role>
Tu es l'analyste du support AIMsight. AIMsight est un système de surveillance optique de déplacements : une caméra suit des cibles (prismes, réflecteurs) sur un ouvrage, et son propre mouvement est compensé par des cibles de référence. Un client a écrit au support parce qu'il ne comprend pas ses courbes. Ton travail est le diagnostic : dire ce qui s'est passé sur la plage dont il parle, preuves à l'appui. L'agent de support, lui, parle à Marc (l'ingénieur d'AIMsight, le spécialiste) et met ta réponse en présentation pour le client.
Chaque message commence par sa source : `<source>support</source>` (l'agent de support) ou `<source>marc</source>` (Marc lui-même).
</role>
<premiere_passe>
Sur une demande (station, plage UTC, question) :
1. Lance `detecteurs` sur la plage. Les détecteurs sont la base du diagnostic ; leurs phrases sont écrites pour le site, en anglais.
2. Retiens les événements qui répondent à la question du client, et seulement eux. Range chacun dans sa **famille** (`familles.md`) et regroupe ceux d'une même famille : c'est la famille qui nomme l'événement, jamais la forme de la courbe (« plateau », « saut bref »). Les détecteurs sont encore en cours d'amélioration et peuvent se tromper de famille (une baisse de visibilité rangée en déplacement ou en turbulence) : si les frontières de `familles.md` ou la carte des étiquettes rangent clairement la signature ailleurs, range-la là, et dis au support que tu as corrigé le détecteur.
3. Pour chaque famille retenue, fais **une illustration**, la plus simple qui montre la cause : l'image de la caméra quand la cause s'y voit (`image_de_la_cause`, avant et pendant, avec le nom des seules cibles dont tu parles) ; sinon la courbe `corr_y` de deux ou trois cibles, plage grisée (`figure_courbes` ; `--cam tilt,pan` et `--temp` seulement si l'événement est la caméra ou la température). Regarde-la avec `voir_image` avant de la garder ; refais-la si elle ne montre pas ce que tu dis.
4. Pour situer un événement (ses cibles, ce qu'on voit sur l'image), tu peux regarder une ou deux images de la caméra ; une image se demande par son heure (`voir_image("images/20261026T0300Z")`, `image_de_la_cause` aussi) : l'outil prend l'image la plus proche, sans qu'il faille chercher les noms de fichiers. Lance `outil_de_lecture` seulement quand c'est indispensable.
5. Pour un point de situation, chiffre la stabilité des cibles avec `stabilite` sur la plage, en écartant les plages des événements de visibilité et des trous : c'est ce qui rassure le client (« 27 cibles sur 32 ont varié de 0,1 px ou moins d'un jour à l'autre »).
C'est une passe courte : pas d'enquête au-delà de ce qu'il faut pour illustrer et dater les événements des détecteurs.
</premiere_passe>
<approfondi>
L'analyse approfondie (outils de lecture, images en série, critique des détecteurs, recherche d'une cause qu'ils ne donnent pas) coûte cher. Tu ne la fais que si **Marc** la demande (`<source>marc</source>`). Si le support te la demande sans dire que Marc l'a voulue, fais ta première passe, puis réponds-lui que l'approfondi doit venir de Marc, et ce qu'il apporterait.
En approfondi : lis les détecteurs comme une preuve imparfaite ; confirme, corrige ou complète-les avec les données et les images ; dis où ils se trompent. Tu ne modifies jamais les détecteurs : ta critique va dans ta réponse.
</approfondi>
<rendu>
Ta réponse au support :
Un bloc par famille retenue, titré par la famille dans les mots du client :
- **Quand** : début → fin, UTC.
- **Cibles** : celles qui sont touchées (leur `sensor_name`).
- **Ce qu'on voit** : sur les courbes et sur les images, en faits.
- **Diagnostic** : la cause si elle est établie, sinon ce qui reste non établi ; avec le niveau de preuve.
- **Illustration** : le nom du fichier, et en une ligne ce qu'elle montre (pour la légende).
Puis une section `Hors question (pour Marc)` : ce que tu as vu sans que le client l'ait demandé, en quelques lignes, ou « rien ». Le support ne la met pas dans la présentation.
Écris court, des chiffres arrondis (deux chiffres significatifs), en français.
</rendu>
<regles>
- Les règles de preuve de `regles-de-preuve.md` s'appliquent : sépare fait observé, fait dérivé, hypothèse et inconnu ; le vocabulaire de preuve, et seulement lui.
- `corr_x` et `corr_y` sont en pixels, pas en mm.
- Toute heure est en UTC.
- Lecture seule : tu n'écris que des figures dans le dossier de la séance.
- Un trou dans les données que tu lis n'est pas un arrêt de la station : les données du poste sont un export, qui peut être incomplet (un jour pas encore copié). Dis « aucune mesure dans les données du … au … » ; ne parle d'un arrêt ou d'une coupure que si une preuve indépendante le montre, et signale le trou au support comme un point à vérifier par Marc.
- Un outil qui échoue rend son erreur : dis-la au support plutôt que de deviner (station absente, aucune mesure sur la plage).
</regles>
Le savoir qui suit est copié du projet : les cartes (`familles.md`, le sommaire et les règles de la carte des étiquettes, les règles de preuve), puis l'index de ce qui se lit à la demande par `lire_document` : la fiche d'un phénomène de la carte quand tu le rencontres, le mode d'emploi des outils de lecture avant `outil_de_lecture`, les connaissances pour raisonner sur un cas nouveau. Ne lis que ce qui sert au cas : chaque document lu reste dans ta conversation.
+7
View File
@@ -0,0 +1,7 @@
<sortie>
Un mail de réponse, que Marc copie dans sa messagerie.
Écris-le avec `ecrire_mail` : le corps seul, de « Bonjour, » à la signature (ni objet ni liste des pièces jointes), et les fichiers à joindre, des figures du dossier de la séance (`.png`, `.jpg`, `.gif`) que l'analyste a faites et regardées. Joins seulement celles qui prouvent la réponse mieux qu'une phrase, et dis dans le texte ce qu'on y voit ; aucune si le texte suffit. Il te manque une figure, ou plus simple : demande-la à l'analyste.
Le mail suit `redaction.md` (le corps de `reponse.md`, et « Le mail doit se lire comme écrit par une personne ») : d'abord la réponse, puis les quelques éléments que le client peut reprendre, dans sa langue, en texte simple. Restreins-le à la question du client : rien de la section « Hors question » de l'analyste.
</sortie>
+9
View File
@@ -0,0 +1,9 @@
<sortie>
Un PDF de diapositives.
Écris la présentation (`ecrire_presentation`), `compiler`, puis regarde avec `voir_page` le résumé, chaque diapositive à image et la conclusion. Corrige jusqu'à zéro débordement et des pages propres.
<presentation>
Suis `presentation.md` et `modele.typ`, en commençant par « La clarté d'abord » : la structure (titre, résumé, une diapositive par événement, conclusions, clôture), les images, les légendes, les règles de la charte. Restreins-la à la question du client : seuls les événements qui y répondent, rien de la section « Hors question » de l'analyste. Les textes suivent `redaction.md`, dans la langue du client.
</presentation>
</sortie>
+31
View File
@@ -0,0 +1,31 @@
<role>
Tu es l'agent de support d'AIMsight. AIMsight est un système de surveillance optique de déplacements : une caméra suit des cibles sur un ouvrage et compense son propre mouvement grâce à des cibles de référence. Un client a écrit parce qu'il ne comprend pas ses courbes ; souvent, il doit lui-même rendre compte à quelqu'un. Tu travailles avec Marc, l'ingénieur d'AIMsight, le spécialiste, qui relira ta présentation avant de l'envoyer. Tu pilotes la séance et tu fais la présentation ; le diagnostic, c'est l'analyste qui le fait.
Chaque message commence par sa source : `<source>marc</source>`. Un bloc `<echange_marc_analyste>` en tête d'un message te rapporte ce que Marc a dit directement à l'analyste, et ce que l'analyste a répondu : tiens-en compte.
Le but : une réponse que Marc puisse envoyer telle quelle, sous la forme qu'il a choisie (`<sortie>`, à la fin), qui répond à la question du client et à rien d'autre.
</role>
<deroule>
1. Lis le mail (texte et captures) et le contexte de Marc. Tires-en la station (un dossier de données : le client a souvent ses propres noms pour ses séries), la plage en UTC (une capture peut être en heure locale), et la question, reformulée en une phrase. Le site se nomme comme le client le nomme (le nom de son mail, ex. « Crissier »), dans le titre et partout dans la présentation, jamais par le nom du dossier de données.
2. S'il te manque quelque chose que tu ne peux pas déduire, demande-le à Marc en un seul message, et arrête ton tour : il te répondra.
3. Sinon, appelle `poser_station`, puis `demander_analyste` avec la station, la plage et la question.
4. Fais la sortie, comme le dit `<sortie>`.
5. Dis à Marc, en quelques lignes, ce que contient la version, et ce que l'analyste a noté hors question.
</deroule>
<retours>
- Un retour de forme (trop technique, trop long, une diapositive de trop) : corrige seul, et refais la sortie.
- Un retour de fond (une cause, une plage, un événement à revoir) : transmets-le à l'analyste par `demander_analyste`, puis refais la sortie.
- L'analyse approfondie coûte cher : ne la demande à l'analyste que si Marc l'a demandée, et dis-le-lui (« Marc demande une analyse approfondie : … »).
- Il te faut une illustration de plus, ou plus simple (moins de cibles, l'image plutôt que la courbe) : demande-la à l'analyste.
</retours>
<interdits>
- Rien d'interne : ni codes d'events, ni noms des détecteurs ou des outils, ni autres stations, ni identifiants (`SIM_CCID`, `ip`), ni vocabulaire de preuve en anglais.
- Ne pas mettre en cause notre système (« mal compensé », « moins fiable »).
- Ne rien affirmer sur l'ouvrage qu'on ne sait pas (« l'ouvrage ne bouge pas ») : dire les faits observés.
- Aucune consigne au client : dire ce qui se passe, pas quoi faire.
</interdits>
Le savoir qui suit est copié du projet.
+123
View File
@@ -0,0 +1,123 @@
"""Un agent de l'API Claude qui reste vivant : un historique seulement ajouté, une boucle d'outils, son coût.
L'historique n'est jamais réécrit (le modèle refuse un historique édité qui contient ses blocs de réflexion) ; un
message assistant qui demande des outils n'y entre qu'avec ses tool_result, pour qu'une erreur au milieu d'un tour ne
laisse pas de tool_use orphelin.
"""
import json
import threading
from pathlib import Path
from typing import Callable
from langsmith import traceable
PRIX = {"claude-opus-5-5": {"entree": 4.0, "sortie": 20.0, "cache_lu": 0.20, "cache_ecrit": 5.0}} # $ / Mtok
MAX_TOKENS = 64000
@traceable(run_type="llm", name="claude")
def _llm(client, **kw):
"""Un appel à l'API, tracé dans LangSmith (son enveloppe wrap_anthropic ne couvre pas beta.messages.stream)."""
with client.beta.messages.stream(**kw) as flux:
return flux.get_final_message()
@traceable(run_type="tool")
def _outil(executer, nom: str, entree: dict):
return executer(nom, entree)
def _resume(entree: dict) -> str:
t = json.dumps(entree, ensure_ascii=False)
return t if len(t) <= 200 else t[:200] + "…"
# ponytail: l'historique grossit sans limite, images comprises (voir_image, voir_page) ; une longue analyse
# approfondie finira par dépasser la taille de requête de l'API, et on ne peut pas tronquer l'historique.
# Sortie prévue : la compaction côté serveur (beta compact-2026-01-12) ou le context editing des vieux tool_result.
class Agent:
def __init__(self, nom: str, systeme: str, outils: list[dict], executer: Callable[[str, dict], str | list[dict]],
client, journal: Callable[[dict], None], effort: str, modele: str = "claude-opus-5-5"):
self.nom, self.systeme, self.outils, self.executer = nom, systeme, outils, executer
self.client, self.journal, self.effort, self.modele = client, journal, effort, modele
self.messages: list[dict] = []
self.cout = 0.0
self.occupe = False
self._verrou = threading.Lock()
def _dire(self, type_: str, texte: str, **plus):
self.journal({"agent": self.nom, "type": type_, "texte": texte, **plus})
def _ajouter_user(self, blocs: list[dict]):
# après un tour interrompu, l'historique finit sur un message user : on y ajoute plutôt que d'en mettre deux
if self.messages and self.messages[-1]["role"] == "user":
self.messages[-1]["content"] += blocs
else:
self.messages.append({"role": "user", "content": blocs})
def _compter(self, usage):
p = PRIX[self.modele]
self.cout += (usage.input_tokens * p["entree"] + usage.output_tokens * p["sortie"]
+ (getattr(usage, "cache_read_input_tokens", 0) or 0) * p["cache_lu"]
+ (getattr(usage, "cache_creation_input_tokens", 0) or 0) * p["cache_ecrit"]) / 1e6
self._dire("cout", f"{self.cout:.2f}")
def _appel(self):
return _llm(self.client, model=self.modele, max_tokens=MAX_TOKENS,
system=[{"type": "text", "text": self.systeme, "cache_control": {"type": "ephemeral"}}],
tools=self.outils, messages=self.messages, thinking={"type": "adaptive"},
output_config={"effort": self.effort}, cache_control={"type": "ephemeral"})
# pas de fallbacks="default" : un bloc de repli renvoyé tel quel casse l'historique (clé from_, blocs à
# retirer) ; un refus finit le tour comme un max_tokens, sans rien ajouter à l'historique
def tour(self, contenu: str | list[dict], source: str) -> str:
"""Ajoute le message de `source` (marc ou support), fait tourner la boucle jusqu'à la fin du tour, rend le
texte final (vide si le tour s'arrête sur une erreur)."""
blocs = [{"type": "text", "text": contenu}] if isinstance(contenu, str) else list(contenu)
texte = next((b["text"] for b in blocs if b.get("type") == "text"), "")
blocs = [{"type": "text", "text": f"<source>{source}</source>"}] + blocs
with self._verrou:
self.occupe = True
try:
self._ajouter_user(blocs)
self._dire("entree", texte, source=source)
return self._boucle()
finally:
self.occupe = False
def _boucle(self) -> str:
while True:
try:
r = self._appel()
except Exception as e: # noqa: BLE001 — surcharge, quota, réseau : le tour s'arrête, l'historique reste valide
self._dire("erreur", f"{type(e).__name__}: {e}")
return ""
self._compter(r.usage)
if r.stop_reason not in ("tool_use", "end_turn", "pause_turn"):
# max_tokens, refusal… : la réponse peut porter un tool_use sans suite, qui rendrait l'historique
# invalide pour toujours ; elle n'y entre pas, le tour s'arrête, le message suivant repart d'ici
self._dire("erreur", f"tour arrêté : {r.stop_reason} (réponse non gardée)")
return ""
contenu = [b.model_dump(mode="json", exclude_none=True, by_alias=True) for b in r.content]
for b in contenu:
if b["type"] == "text" and b["text"].strip():
self._dire("texte", b["text"])
if r.stop_reason == "tool_use":
resultats = []
for b in (b for b in contenu if b["type"] == "tool_use"):
self._dire("outil", f"{b['name']} {_resume(b['input'])}")
try:
res = {"type": "tool_result", "tool_use_id": b["id"], "content": _outil(self.executer, b["name"], b["input"])}
except Exception as e: # noqa: BLE001 — l'erreur d'un outil est rendue au modèle
res = {"type": "tool_result", "tool_use_id": b["id"], "content": f"{type(e).__name__}: {e}",
"is_error": True}
resultats.append(res)
self.messages += [{"role": "assistant", "content": contenu}, {"role": "user", "content": resultats}]
continue
self.messages.append({"role": "assistant", "content": contenu})
if r.stop_reason == "pause_turn": # seulement avec des outils serveur, que nous n'avons pas
continue
return "\n".join(b["text"] for b in contenu if b["type"] == "text")
def sauver(self, chemin: Path) -> None:
Path(chemin).write_text(json.dumps(self.messages, ensure_ascii=False, indent=1))
+300
View File
@@ -0,0 +1,300 @@
"""Vérifications du support par l'API, sans appel à l'API (faux client) : API/.venv/bin/python API/support/check.py"""
import sys
from pathlib import Path
from types import SimpleNamespace as NS
sys.path.insert(0, str(Path(__file__).resolve().parent))
from agent import Agent # noqa: E402
API = Path(__file__).resolve().parents[1]
DONNEES = API.parent / "data"
class Bloc(NS):
def model_dump(self, **_):
return {k: v for k, v in vars(self).items() if v is not None}
def reponse(contenu, stop, entree=10, sortie=10):
return NS(content=contenu, stop_reason=stop, usage=NS(input_tokens=entree, output_tokens=sortie,
cache_read_input_tokens=0, cache_creation_input_tokens=0))
class FauxClient:
"""beta.messages.stream(**kw) rend, dans l'ordre, les réponses scriptées ; une exception scriptée est levée."""
def __init__(self, *reponses):
self.reponses, self.appels = list(reponses), []
self.beta = NS(messages=NS(stream=self._stream))
def _stream(self, **kw):
self.appels.append(kw)
r = self.reponses.pop(0)
client = self
class Flux:
def __enter__(self):
if isinstance(r, Exception):
raise r
return NS(get_final_message=lambda: r)
def __exit__(self, *_):
return False
client.dernier = kw
return Flux()
def agent(client, executer=lambda n, e: "ok"):
journal = []
a = Agent("analyste", "système", [], executer, client, journal.append, effort="high")
return a, journal
def check_boucle():
appels = []
c = FauxClient(reponse([Bloc(type="tool_use", id="t1", name="detecteurs", input={"station": "X"})], "tool_use"),
reponse([Bloc(type="text", text="fini")], "end_turn"))
a, _ = agent(c, lambda n, e: appels.append((n, e)) or "3 événements")
assert a.tour("question", "support") == "fini"
roles = [m["role"] for m in a.messages]
assert roles == ["user", "assistant", "user", "assistant"], roles
res = a.messages[2]["content"][0]
assert res["type"] == "tool_result" and res["tool_use_id"] == "t1" and res["content"] == "3 événements"
assert appels == [("detecteurs", {"station": "X"})]
assert not a.occupe
def check_erreur():
c = FauxClient(reponse([Bloc(type="tool_use", id="t1", name="detecteurs", input={})], "tool_use"),
RuntimeError("surcharge"))
a, journal = agent(c)
a.tour("question", "marc")
assert any(e["type"] == "erreur" for e in journal)
dernier = a.messages[-1]
assert not (dernier["role"] == "assistant" and any(b.get("type") == "tool_use" for b in dernier["content"]))
assert not a.occupe
# le tour suivant repart proprement : user après user est permis, pas de tool_use orphelin
c.reponses.append(reponse([Bloc(type="text", text="repris")], "end_turn"))
assert a.tour("encore", "marc") == "repris"
def check_cout():
r = reponse([Bloc(type="text", text="x")], "end_turn", entree=1_000_000, sortie=100_000)
a, journal = agent(FauxClient(r))
a.tour("q", "marc")
assert abs(a.cout - 6.0) < 1e-9, a.cout
assert any(e["type"] == "cout" for e in journal)
def check_source():
a, journal = agent(FauxClient(reponse([Bloc(type="text", text="x")], "end_turn")))
a.tour("bonjour", "marc")
premier = a.messages[0]["content"][0]
assert premier["type"] == "text" and premier["text"].startswith("<source>marc</source>")
assert journal[0]["type"] == "entree" and journal[0]["source"] == "marc"
def check_outil_qui_leve():
c = FauxClient(reponse([Bloc(type="tool_use", id="t1", name="x", input={})], "tool_use"),
reponse([Bloc(type="text", text="vu")], "end_turn"))
a, _ = agent(c, lambda n, e: 1 / 0)
a.tour("q", "marc")
res = a.messages[2]["content"][0]
assert res["is_error"] is True and "division" in res["content"]
def boite(dossier, station="NEBRASKA"):
from outils import Boite
return Boite(lambda: dossier, lambda: station, DONNEES, lambda m: "réponse", lambda st, su: dossier)
def leve(f, *a):
from outils import ErreurOutil
try:
f(*a)
except ErreurOutil as e:
return str(e)
raise AssertionError(f"{f.__name__}{a} n'a pas levé ErreurOutil")
def seance_temporaire():
import tempfile
return Path(tempfile.mkdtemp(prefix="seance-"))
def check_lecture_refusee():
b = boite(seance_temporaire())
assert "rm" in leve(b.executer_analyste, "outil_de_lecture", {"nom": "rm", "arguments": []})
def check_chemin():
b = boite(seance_temporaire())
for c in ("../../.env", "/etc/passwd"):
leve(b.executer_analyste, "voir_image", {"chemin": c})
def check_station_absente():
b = boite(seance_temporaire())
m = leve(b.executer_analyste, "detecteurs", {"station": "NULLEPART", "du": "2026-10-01", "au": "2026-10-02"})
assert "NULLEPART" in m
def check_detecteurs():
b = boite(seance_temporaire())
t = b.executer_analyste("detecteurs", {"station": "NEBRASKA", "du": "2026-10-20", "au": "2026-11-01"})
assert "événement" in t and "capteurs :" in t, t
def check_plafond():
from outils import plafonner
t = plafonner("x" * 50_000)
assert len(t) <= 40_100 and t.endswith("tronqué : 50000 caractères]"), t[-60:]
def check_image():
import base64
import io
from PIL import Image
from outils import bloc_image
jpg = sorted((DONNEES / "NEBRASKA" / "images").glob("*.jpg"))[0]
b = bloc_image(jpg)
assert b["type"] == "image" and b["source"]["media_type"] == "image/jpeg"
im = Image.open(io.BytesIO(base64.b64decode(b["source"]["data"])))
assert max(im.size) <= 1568, im.size
def check_compiler():
import re
import shutil
d = seance_temporaire()
modele = (API / "knowledge" / "support" / "modele.typ").read_text()
(d / "nebraska.typ").write_text(modele)
for f in set(re.findall(r'image\("([^"]+)"\)', modele)):
shutil.copy(API.parent / "support" / "2026-11-02_BREITHORN_rapport-situation" / f, d)
b = boite(d)
assert b.executer_support("compiler", {}).startswith("v1.pdf : ") and (d / "v1.pdf").exists()
assert b.executer_support("compiler", {}).startswith("v2.pdf : ")
(d / "nebraska.typ").write_text("#oups(")
leve(b.executer_support, "compiler", {})
assert not (d / "v3.pdf").exists()
page = b.executer_support("voir_page", {"n": 1})
assert page[0]["type"] == "image"
def check_max_tokens():
# un tour coupé (max_tokens, refus) avec un tool_use : rien n'entre dans l'historique, la séance continue
c = FauxClient(reponse([Bloc(type="tool_use", id="t1", name="ecrire_presentation", input={})], "max_tokens"),
reponse([Bloc(type="text", text="repris")], "end_turn"))
a, journal = agent(c)
a.tour("q", "marc")
assert any(e["type"] == "erreur" for e in journal)
assert all(m["role"] == "user" for m in a.messages), [m["role"] for m in a.messages]
assert a.tour("encore", "marc") == "repris"
def check_sans_repli():
# le repli de modèle casse l'historique renvoyé (clé from_) : il n'est pas demandé
c = FauxClient(reponse([Bloc(type="text", text="x")], "end_turn"))
a, _ = agent(c)
a.tour("q", "marc")
assert "fallbacks" not in c.dernier and "server-side-fallback-2026-07-01" not in c.dernier.get("betas", [])
def check_capture_reduite():
import io
import shutil
from PIL import Image
from seance import Seance
tampon = io.BytesIO()
Image.new("RGB", (4000, 3000), "white").save(tampon, "PNG")
s = Seance("mail", [("image/png", tampon.getvalue())], "", DONNEES, lambda e: None,
client=FauxClient(reponse([Bloc(type="text", text="x")], "end_turn")))
try:
s.demarrer()
bloc = next(b for b in s.support.messages[0]["content"] if b.get("type") == "image")
import base64
im = Image.open(io.BytesIO(base64.b64decode(bloc["source"]["data"])))
assert max(im.size) <= 1568, im.size
finally:
shutil.rmtree(s.dossier)
def check_image_proche():
from datetime import datetime, timedelta
b = boite(seance_temporaire())
jpg = sorted((DONNEES / "NEBRASKA" / "images").glob("*.jpg"))[0]
t = datetime.strptime(jpg.name[:14], "%Y%m%dT%H%MZ") + timedelta(minutes=2)
bloc = b.executer_analyste("voir_image", {"chemin": "images/" + t.strftime("%Y%m%dT%H%MZ")})
assert bloc[0]["type"] == "image"
assert b._image_proche(t.strftime("%Y%m%dT%H%MZ")) == jpg
leve(b._image_proche, "20200101T0000Z")
def check_stabilite():
b = boite(seance_temporaire(), "LENZSPITZE")
t = b.executer_analyste("stabilite", {"station": "LENZSPITZE", "du": "2026-10-16", "au": "2026-10-20",
"hors": ["2026-10-17T00:00Z/2026-10-18T00:00Z"]})
assert "1017" in t and "étendue" in t, t[:400]
ligne = next(l for l in t.splitlines() if l.startswith("1017 "))
assert ligne.split()[1] == "3", ligne # 4 jours, dont le 17 écarté
def check_lire_document():
b = boite(seance_temporaire())
t = b.executer_analyste("lire_document", {"nom": "carte-des-etiquettes.md",
"section": "La station s'éteint faute d'énergie"})
assert t.startswith("#### La station s'éteint faute d'énergie") and "#### Coupure du secteur" not in t, t[:200]
assert "Les frontières" in b.executer_analyste("lire_document", {"nom": "familles.md", "section": ""})
assert "sections" in leve(b.executer_analyste, "lire_document", {"nom": "familles.md", "section": "n'existe pas"})
leve(b.executer_analyste, "lire_document", {"nom": "../../.env", "section": ""})
def check_cartes():
from seance import systeme
a = systeme("analyste")
assert len(a) < 60_000, len(a) # les cartes, pas tout le savoir (214 000 caractères avant)
assert "## Sommaire" in a and "#### Un trou commun" not in a and "## Les frontières" in a
assert "lire-les-donnees.md" in a # dans l'index
assert "#### Un trou commun" not in a and "## Les outils" not in a
def check_stations_dans_la_seance():
from outils import AVEC_SORTIE
assert "stations" in AVEC_SORTIE
def check_sortie_mail():
# la sortie mail : prompt sans la présentation, outils sans compiler, versions mail-vN.json, pièces du dossier seules
import json
from seance import Seance, systeme
m, p = systeme("support", "mail"), systeme("support", "pdf")
assert "ecrire_mail" in m and "modele.typ\">" not in m and "ecrire_presentation" not in m.split("<sortie>")[-1]
assert "modele.typ\">" in p and "ecrire_presentation" in p.split("<sortie>")[-1]
d = seance_temporaire()
(d / "bosse.png").write_bytes(b"x")
b = boite(d)
assert "pièces refusées" in leve(b.executer_support, "ecrire_mail", {"texte": "t", "pieces_jointes": ["../x.png"]})
leve(b.executer_support, "ecrire_mail", {"texte": "t", "pieces_jointes": ["absente.png"]})
assert b.executer_support("ecrire_mail", {"texte": "Bonjour,", "pieces_jointes": ["bosse.png"]}).startswith("mail-v1.json")
b.executer_support("ecrire_mail", {"texte": "Bonjour, v2", "pieces_jointes": []})
assert json.loads((d / "mail-v2.json").read_text()) == {"texte": "Bonjour, v2", "pieces_jointes": []}
import seance
seance.CASES, avant = d, seance.CASES
try:
s = Seance("mail", [], "", DONNEES, lambda e: None, client=FauxClient(), sortie="mail")
assert [o["name"] for o in s.support.outils][-1] == "ecrire_mail" and s.derniere_version() is None
for i in (1, 2, 10):
(s.dossier / f"mail-v{i}.json").write_text("{}")
assert s.derniere_version().name == "mail-v10.json"
finally:
seance.CASES = avant
CHECKS = [check_sortie_mail, check_lire_document, check_cartes, check_stabilite, check_image_proche, check_max_tokens, check_sans_repli, check_capture_reduite, check_stations_dans_la_seance, check_boucle, check_erreur, check_cout, check_source, check_outil_qui_leve, check_lecture_refusee,
check_chemin, check_station_absente, check_detecteurs, check_plafond, check_image, check_compiler]
if __name__ == "__main__":
nom = sys.argv[1] if len(sys.argv) > 1 else None
for f in CHECKS:
if nom in (None, f.__name__):
f()
print("ok", f.__name__)
+296
View File
@@ -0,0 +1,296 @@
"""Les outils des deux agents : leurs schémas pour l'API, et la Boite qui les exécute sur le poste.
Tout outil lance une copie de `API/tools/` par `subprocess`, n'écrit que dans le dossier de la séance (et dans la fabrique
Typst `tools/typst/{documents,build}/`), et lève ErreurOutil sur une erreur : l'agent la rend au modèle en `is_error`.
"""
import base64
import io
import json
import os
import re
import shutil
import subprocess
from datetime import datetime
from pathlib import Path
from typing import Callable
from PIL import Image
API = Path(__file__).resolve().parents[1]
PY = str(API / ".venv" / "bin" / "python")
TOOLS = API / "tools"
TYPST = TOOLS / "typst"
KNOWLEDGE = API / "knowledge"
LECTURE = {"inventaire", "resume", "plages", "jours", "vignettes", "qualite", "ensemble", "graphique", "metriques",
"stations"}
AVEC_SORTIE = {"graphique", "ensemble", "jours", "metriques", "vignettes", "qualite", "stations"} # ceux qui écrivent des PNG
DELAI = 600 # s
VOIR = 1000 # px : les images regardées restent dans l'historique et repartent à chaque appel
NOM = re.compile(r"^[A-Za-z0-9_-]+$")
INSTANT = re.compile(r"^\d{8}T\d{4}Z$") # AAAAMMJJTHHMMZ, comme le début du nom des images
PROCHE = 90 # min : au-delà, pas d'image « à cette heure »
class ErreurOutil(Exception):
pass
def plafonner(texte: str, n: int = 40_000) -> str:
return texte if len(texte) <= n else texte[:n] + f"\n[… tronqué : {len(texte)} caractères]"
def section(texte: str, titre: str) -> str:
"""La section d'un markdown dont le titre contient `titre` (sans la casse), jusqu'au titre suivant de même niveau ou
plus haut ; lève ErreurOutil avec la liste des titres si aucun ne convient."""
lignes = texte.splitlines()
titres = [(i, len(l) - len(l.lstrip("#"))) for i, l in enumerate(lignes) if l.startswith("#")]
for k, (i, niveau) in enumerate(titres):
if titre.lower() in lignes[i].lstrip("#").strip().lower():
fin = next((j for j, n in titres[k + 1:] if n <= niveau), len(lignes))
return "\n".join(lignes[i:fin]).strip()
raise ErreurOutil(f"pas de section « {titre} » ; sections : " + " | ".join(lignes[i].strip() for i, _ in titres))
def bloc_image(chemin: Path, cote: int = 1568) -> dict:
"""Image -> bloc image de l'API, plus grand côté ≤ cote px (au-delà de 1568, l'API la réduirait de toute façon)."""
im = Image.open(chemin)
im.thumbnail((cote, cote))
jpeg = Path(chemin).suffix.lower() in (".jpg", ".jpeg")
if im.mode not in ("RGB", "L"):
im = im.convert("RGB")
tampon = io.BytesIO()
im.save(tampon, "JPEG" if jpeg else "PNG")
return {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg" if jpeg else "image/png",
"data": base64.b64encode(tampon.getvalue()).decode()}}
def _schema(nom: str, description: str, props: dict) -> dict:
return {"name": nom, "description": description, "strict": True,
"input_schema": {"type": "object", "properties": props, "required": list(props),
"additionalProperties": False}}
S, I = {"type": "string"}, {"type": "integer"}
LISTE = {"type": "array", "items": {"type": "string"}}
OUTILS_ANALYSTE = [
_schema("detecteurs", "Les événements des détecteurs du journal sur une plage : famille, sorte, capteurs, phrase. "
"du et au : AAAA-MM-JJ, UTC, au exclu.", {"station": S, "du": S, "au": S}),
_schema("stabilite", "La stabilité verticale chiffrée : pour chaque cible, la médiane de corr_y jour par jour et "
"l'étendue de ces médianes (de combien elle a varié d'un jour à l'autre), mesures rejetées écartées ; hors : "
"plages à écarter, AAAA-MM-JJTHH:MMZ/AAAA-MM-JJTHH:MMZ (les nuits de visibilité réduite). du, au : AAAA-MM-JJ, "
"au exclu.", {"station": S, "du": S, "au": S, "hors": LISTE}),
_schema("lire_document", "Lit un document de ton savoir (l'index de ton prompt), entier (section vide) ou une seule "
"section par son titre (ex. une fiche de la carte des étiquettes : « La pluie »).", {"nom": S, "section": S}),
_schema("outil_de_lecture", "Lance un outil de lecture (lire-les-donnees.md) : nom parmi " + ", ".join(sorted(LECTURE))
+ ". arguments : la ligne de commande après le nom du script, data/<STATION> pour le dossier.",
{"nom": S, "arguments": LISTE}),
_schema("figure_courbes", "Figure corr_y à plage grisée (figure-y.py) dans le dossier de la séance, <nom>.png. "
"debut, fin : AAAA-MM-JJTHH:MMZ. options : --cam tilt,pan, --temp, --zone D/F, --ligne T, --hauteur 5…",
{"nom": S, "debut": S, "fin": S, "cibles": LISTE, "options": LISTE}),
_schema("image_de_la_cause", "Recadrages éclaircis côte à côte autour d'une cible (x, y : pixel dans l'image entière), "
"<nom>.png. instants : AAAAMMJJTHHMMZ=légende (l'image la plus proche de chaque heure), d'abord un instant "
"sans la cause. cibles : les seules cibles dont le nom est écrit, celles dont parle la diapositive.",
{"nom": S, "x": I, "y": I, "instants": LISTE, "cibles": LISTE}),
_schema("voir_image", "Regarder une image : un fichier du dossier de la séance (ex. bosse.png), ou une image de la "
"caméra, images/AAAAMMJJTHHMMZ (la plus proche de cette heure UTC) ou images/<fichier>.", {"chemin": S}),
]
OUTILS_SUPPORT = [
_schema("poser_station", "Fixe la station de la séance (un dossier de données) et le sujet en 2-3 mots "
"(ex. courbes-bruitees) ; rend ce que la station a comme données.", {"station": S, "sujet": S}),
_schema("demander_analyste", "Envoie un message à l'analyste (station, plage UTC, question ; ou un retour de fond) "
"et rend sa réponse.", {"message": S}),
_schema("ecrire_presentation", "Écrit le source Typst complet de la présentation dans le dossier de la séance.",
{"source_typ": S}),
_schema("compiler", "Compile la présentation : rend la version (v1.pdf, v2.pdf…), le nombre de diapositives qui "
"débordent et les remarques du lint, ou l'erreur de Typst.", {}),
_schema("voir_page", "Regarder la page n (à partir de 1) de la dernière version du PDF.", {"n": I}),
]
PIECES = (".png", ".jpg", ".jpeg", ".gif") # ce qu'un mail peut joindre, du dossier de la séance
# La sortie mail : sans les outils de la présentation, avec ecrire_mail
OUTILS_SUPPORT_MAIL = [o for o in OUTILS_SUPPORT if o["name"] in ("poser_station", "demander_analyste")] + [
_schema("ecrire_mail", "Écrit une version du mail de réponse (mail-v1.json, mail-v2.json…) : le corps, et les "
"fichiers du dossier de la séance à joindre (.png, .jpg, .gif ; liste vide : aucun).",
{"texte": S, "pieces_jointes": {"type": "array", "items": S}}),
]
class Boite:
def __init__(self, dossier_seance: Callable[[], Path], station: Callable[[], str | None], donnees: Path,
demander_analyste: Callable[[str], str], poser: Callable[[str, str], Path]):
self.dossier, self.station, self.donnees = dossier_seance, station, Path(donnees)
self.demander_analyste, self.poser = demander_analyste, poser
# --- aides
def _lancer(self, args: list[str], env: dict | None = None) -> str:
try:
r = subprocess.run(args, cwd=self.dossier(), capture_output=True, text=True, timeout=DELAI,
env={**os.environ, **(env or {})})
except subprocess.TimeoutExpired:
raise ErreurOutil(f"délai de {DELAI} s dépassé : {' '.join(args[1:3])}")
sortie = (r.stdout + ("\n" + r.stderr if r.stderr.strip() else "")).strip()
if r.returncode:
raise ErreurOutil(plafonner(sortie or f"code de sortie {r.returncode}"))
return plafonner(sortie or "(rien)")
def _station(self, station: str | None = None) -> Path:
station = station or self.station()
if not station:
raise ErreurOutil("pas encore de station : le support doit d'abord appeler poser_station")
if not NOM.match(station) or not (self.donnees / station).is_dir():
raise ErreurOutil(f"station inconnue : {station} (pas de dossier dans les données)")
return self.donnees / station
def _nom(self, nom: str) -> str:
if not NOM.match(nom):
raise ErreurOutil(f"nom de fichier refusé : {nom} (lettres, chiffres, - et _)")
return nom
def _data(self, a: str) -> str:
return str(self.donnees) + a[4:] if a == "data" or a.startswith("data/") else a
def _image_proche(self, instant: str) -> Path:
"""L'image de la station la plus proche de l'instant (les images tombent à :00 ou :01, à un nom près)."""
t = datetime.strptime(instant, "%Y%m%dT%H%MZ")
ecart = lambda p: abs((datetime.strptime(p.name[:14], "%Y%m%dT%H%MZ") - t).total_seconds()) # noqa: E731
images = [p for p in (self._station() / "images").glob("*.jpg") if INSTANT.match(p.name[:14])]
proche = min(images, key=ecart, default=None)
if not proche or ecart(proche) > PROCHE * 60:
raise ErreurOutil(f"pas d'image à moins de {PROCHE} min de {instant}")
return proche
def _image(self, chemin: str) -> Path:
if chemin.startswith("images/") and INSTANT.match(chemin[7:21]) and not (self._station() / chemin).is_file():
return self._image_proche(chemin[7:21])
if chemin.startswith("images/"):
base = self._station() / "images"
p = (base / chemin[7:]).resolve()
else:
base = self.dossier()
p = (base / chemin).resolve()
if Path(chemin).is_absolute() or not p.is_relative_to(base.resolve()) or not p.is_file():
raise ErreurOutil(f"image refusée ou absente : {chemin}")
return p
def _versions(self) -> list[Path]:
return sorted(self.dossier().glob("v*.pdf"), key=lambda p: int(p.stem[1:]))
# --- l'analyste
def executer_analyste(self, nom: str, e: dict):
if nom == "detecteurs":
return self._lancer([PY, str(TOOLS / "journal.py"), str(self._station(e["station"])), "--du", e["du"],
"--au", e["au"]])
if nom == "lire_document":
p = KNOWLEDGE / "analyste" / e["nom"]
if "/" in e["nom"] or not p.is_file():
raise ErreurOutil(f"document inconnu : {e['nom']} ; documents : "
+ ", ".join(sorted(f.name for f in (KNOWLEDGE / "analyste").iterdir())))
texte = p.read_text()
return plafonner(section(texte, e["section"]) if e["section"].strip() else texte)
if nom == "stabilite":
return self._lancer([PY, str(TOOLS / "stabilite.py"), str(self._station(e["station"])), "--du", e["du"],
"--au", e["au"], *(["--hors", *e["hors"]] if e["hors"] else [])])
if nom == "outil_de_lecture":
if e["nom"] not in LECTURE:
raise ErreurOutil(f"outil inconnu : {e['nom']} (permis : {', '.join(sorted(LECTURE))})")
args = [self._data(a) for a in e["arguments"]]
if e["nom"] in AVEC_SORTIE:
args += ["--sortie", str(self.dossier())]
return self._lancer([PY, str(TOOLS / "agent-tools" / f"{e['nom']}.py"), *args])
if nom == "figure_courbes":
sortie = self.dossier() / f"{self._nom(e['nom'])}.png"
self._lancer([PY, str(TOOLS / "figures" / "figure-y.py"), str(self._station()), str(sortie), e["debut"],
e["fin"], "--cibles", ",".join(e["cibles"]), *e["options"]])
return f"{sortie.name} écrite ; la regarder avec voir_image avant de la garder"
if nom == "image_de_la_cause":
sortie = self.dossier() / f"{self._nom(e['nom'])}.png"
instants = [] # chaque instant ramené à l'image la plus proche, sa légende gardée
for i in e["instants"]:
k, egal, legende = i.partition("=")
instants.append(self._image_proche(k).name[:14] + egal + legende)
self._lancer([PY, str(TOOLS / "figures" / "image-de-la-cause.py"), str(self._station()), str(e["x"]),
str(e["y"]), str(sortie), *instants, *(["--cibles", ",".join(e["cibles"])] if e["cibles"] else [])])
return (f"{sortie.name} écrite, images : {', '.join(i.partition('=')[0] for i in instants)} ; "
"la regarder avec voir_image avant de la garder")
if nom == "voir_image":
return [bloc_image(self._image(e["chemin"]), VOIR)]
raise ErreurOutil(f"outil inconnu : {nom}")
# --- le support
def executer_support(self, nom: str, e: dict):
if nom == "poser_station":
dossier = self._station(e["station"])
self.poser(e["station"], self._nom(e["sujet"]))
sous = ", ".join(f"{d.name} ({sum(1 for _ in d.iterdir())} fichiers)" for d in sorted(dossier.iterdir())
if d.is_dir())
return f"station {e['station']} posée ; données : {sous}"
if nom == "demander_analyste":
return self.demander_analyste(e["message"])
if nom == "ecrire_presentation":
p = self.dossier() / f"{self._station().name.lower()}.typ"
p.write_text(e["source_typ"])
return f"{p.name} écrit ({len(e['source_typ'])} caractères)"
if nom == "compiler":
return self._compiler()
if nom == "voir_page":
return self._voir_page(int(e["n"]))
if nom == "ecrire_mail":
return self._ecrire_mail(e["texte"], e["pieces_jointes"])
raise ErreurOutil(f"outil inconnu : {nom}")
def _ecrire_mail(self, texte: str, pieces: list[str]) -> str:
absentes = [p for p in pieces if "/" in p or not p.lower().endswith(PIECES) or not (self.dossier() / p).is_file()]
if absentes:
raise ErreurOutil(f"pièces refusées ou absentes du dossier de la séance : {', '.join(absentes)}")
version = self.dossier() / f"mail-v{len(list(self.dossier().glob('mail-v*.json'))) + 1}.json"
version.write_text(json.dumps({"texte": texte, "pieces_jointes": pieces}, ensure_ascii=False, indent=1))
return f"{version.name} écrit ({len(texte)} caractères, {len(pieces)} pièce(s) jointe(s))"
def _compiler(self) -> str:
station = self._station().name.lower()
source = self.dossier() / f"{station}.typ"
if not source.exists():
raise ErreurOutil("pas de source : appeler ecrire_presentation d'abord")
slug = f"{station}-support"
doc = TYPST / "documents" / slug
shutil.rmtree(doc, ignore_errors=True)
doc.mkdir(parents=True)
shutil.copy(source, doc / "main.typ")
for png in self.dossier().glob("*.png"):
shutil.copy(png, doc)
env = {"PATH": f"{Path.home() / '.local' / 'bin'}:{os.environ.get('PATH', '')}"}
try:
r = subprocess.run([PY, "brand/tools/build.py", slug], cwd=TYPST, capture_output=True, text=True,
timeout=DELAI, env={**os.environ, **env})
except subprocess.TimeoutExpired:
raise ErreurOutil(f"compilation : délai de {DELAI} s dépassé")
sortie = (r.stdout + "\n" + r.stderr).strip()
pdf = TYPST / "build" / f"{slug}-draft.pdf"
if r.returncode or not pdf.exists():
raise ErreurOutil(plafonner(sortie))
version = self.dossier() / f"v{len(self._versions()) + 1}.pdf"
shutil.copy(pdf, version)
pdf.unlink() # la prochaine compilation ratée ne doit pas trouver l'ancien PDF
texte = subprocess.run(["pdftotext", str(version), "-"], capture_output=True, text=True).stdout
remarques = "\n".join(l for l in sortie.splitlines() if "warning" in l and "bare-image" not in l)
return f"{version.name} : {texte.count('Overflow')} diapositive(s) qui débordent" + (
f"\nremarques du lint :\n{plafonner(remarques, 4000)}" if remarques else "")
def _voir_page(self, n: int) -> list[dict]:
versions = self._versions()
if not versions:
raise ErreurOutil("pas encore de PDF : compiler d'abord")
prefixe = self.dossier() / f".page-{n}"
r = subprocess.run(["pdftoppm", "-f", str(n), "-l", str(n), "-png", "-r", "80", str(versions[-1]),
str(prefixe)], capture_output=True, text=True)
pages = sorted(self.dossier().glob(f".page-{n}-*.png"))
if r.returncode or not pages:
raise ErreurOutil(f"page {n} introuvable dans {versions[-1].name}")
bloc = bloc_image(pages[0])
for p in pages:
p.unlink()
return [bloc]
+166
View File
@@ -0,0 +1,166 @@
"""Une séance de support : un mail, le support et l'analyste vivants, le dossier de la séance dans API/cases/.
Une séance = un fil (thread) LangSmith : chaque tour de Marc y est une trace, avec les appels à l'API et aux outils.
"""
import os
from datetime import datetime, timezone
from pathlib import Path
from typing import Callable
API = Path(__file__).resolve().parents[1]
CASES = Path(os.environ.get("AIMSIGHT_CASES", API / "cases")).resolve()
TYPES_IMAGE = {"image/png", "image/jpeg", "image/gif", "image/webp"}
def charger_env(chemin: Path = API / ".env") -> None:
"""Les lignes CLE=valeur de API/.env dans l'environnement (sans écraser ce qui y est déjà)."""
if chemin.exists():
for ligne in chemin.read_text().splitlines():
ligne = ligne.strip().removeprefix("export ") # accepte aussi la forme du shell : export CLE=valeur
cle, egal, valeur = ligne.partition("=")
if egal and cle and not cle.startswith("#"):
os.environ.setdefault(cle.strip(), valeur.strip().strip('"').strip("'"))
charger_env() # avant d'importer langsmith, qui garde en cache les variables qu'il a lues (LANGSMITH_ENDPOINT…)
import anthropic # noqa: E402
from langsmith import traceable # noqa: E402
from agent import Agent # noqa: E402
from outils import OUTILS_ANALYSTE, OUTILS_SUPPORT, OUTILS_SUPPORT_MAIL, Boite, bloc_image, section # noqa: E402
# Le savoir toujours présent (les cartes) ; le reste se lit à la demande par lire_document (Marc, 2026-11-05 : le strict
# nécessaire aux agents). Un document absent d'ici est entier dans le prompt ; une liste : seulement ces sections.
CARTES = {"analyste": {"familles.md": None, "regles-de-preuve.md": None,
"carte-des-etiquettes.md": ["Sommaire", "2. Les règles de lecture", "3. Faux amis",
"4. Le contexte des stations"]}}
SORTIES = {"pdf": OUTILS_SUPPORT, "mail": OUTILS_SUPPORT_MAIL} # ce que Marc veut recevoir : les outils du support
SANS = {"mail": {"presentation.md", "modele.typ"}} # le savoir inutile à une sortie
def systeme(nom: str, sortie: str | None = None) -> str:
"""Le prompt de l'agent, puis son savoir dans des balises : les cartes en entier (ou leurs sections), et l'index
de ce qui se lit à la demande ; pour le support, la sortie à la fin (prompts/support-<sortie>.md). Stable d'une
séance à l'autre, donc en cache."""
texte = (API / "prompts" / f"{nom}.md").read_text()
cartes, index = CARTES.get(nom), []
for f in sorted((API / "knowledge" / nom).iterdir()):
if f.name in SANS.get(sortie, ()):
continue
contenu = f.read_text()
if cartes is None or (f.name in cartes and cartes[f.name] is None):
texte += f'\n\n<savoir fichier="{f.name}">\n{contenu}\n</savoir>'
continue
if f.name in cartes:
parties = "\n\n".join(section(contenu, t) for t in cartes[f.name])
texte += f'\n\n<savoir fichier="{f.name}" extrait="{", ".join(cartes[f.name])}">\n{parties}\n</savoir>'
titres = [l.lstrip("#").strip() for l in contenu.splitlines() if l.startswith("## ")]
index.append(f"- `{f.name}` ({len(contenu) // 1000} k car.) : {next((l[2:] for l in contenu.splitlines() if l.startswith('# ')), f.stem)}"
+ (f" ; sections : {' | '.join(titres)}" if titres else ""))
if index:
texte += ("\n\n<index>\nÀ lire à la demande, par lire_document(nom, section) : seulement ce qui sert au cas. "
"Les fiches de la carte des étiquettes se lisent par leur titre (le sommaire ci-dessus).\n"
+ "\n".join(index) + "\n</index>")
if sortie:
texte += "\n\n" + (API / "prompts" / f"{nom}-{sortie}.md").read_text()
return texte
def donnees_par_defaut() -> Path:
return Path(os.environ.get("AIMSIGHT_DATA", API.parent / "data")).resolve()
class Seance:
def __init__(self, mail: str, images: list[tuple[str, bytes]], contexte: str, donnees: Path,
journal: Callable[[dict], None], client=None, sortie: str = "pdf"):
if sortie not in SORTIES:
raise ValueError(f"sortie inconnue : {sortie} ({', '.join(SORTIES)})")
self.mail, self.images, self.contexte, self.journal, self.sortie = mail, images, contexte, journal, sortie
self.id = datetime.now(timezone.utc).strftime("%Y-%m-%d_%H%M%S")
self.dossier = CASES / self.id
self.dossier.mkdir(parents=True)
self.station: str | None = None
self._echanges: list[tuple[str, str]] = [] # ce que Marc a dit à l'analyste, pour le prochain tour du support
client = client or anthropic.Anthropic()
boite = Boite(lambda: self.dossier, lambda: self.station, donnees, self._demander_analyste, self._poser)
self.support = Agent("support", systeme("support", sortie), SORTIES[sortie], boite.executer_support, client, journal,
effort="medium")
self.analyste = Agent("analyste", systeme("analyste"), OUTILS_ANALYSTE, boite.executer_analyste, client,
journal, effort="high")
# --- rappels des outils
def _poser(self, station: str, sujet: str) -> Path:
jour = self.id[:10]
nouveau, i = CASES / f"{jour}_{station}_{sujet}", 2
while nouveau.exists() and nouveau != self.dossier:
nouveau, i = CASES / f"{jour}_{station}_{sujet}-{i}", i + 1
if nouveau != self.dossier:
self.dossier.rename(nouveau)
self.dossier = nouveau
self.station = station
return nouveau
def _demander_analyste(self, message: str) -> str:
r = self.analyste.tour(message, "support")
self._sauver()
return r or "(l'analyste s'est arrêté sur une erreur, voir son fil)"
# --- ce que fait Marc
def _trace(self, nom: str, f, *args):
return traceable(name=nom, metadata={"thread_id": self.id})(f)(*args)
def demarrer(self) -> None:
blocs, lignes = [], []
for i, (type_, donnee) in enumerate(self.images, 1):
if type_ not in TYPES_IMAGE:
continue
nom = f"capture-{i}.{type_.split('/')[1]}"
(self.dossier / nom).write_bytes(donnee)
lignes.append(f"![Capture {i}]({nom})")
blocs.append(bloc_image(self.dossier / nom)) # réduite : une capture 4K serait refusée, et pour toujours
(self.dossier / "demande.md").write_text(
f"# Demande du {self.id[:10]}\n\n## Mail du client\n\n{self.mail}\n\n## Contexte de Marc\n\n"
f"{self.contexte or '(aucun)'}\n\n" + "\n".join(lignes) + "\n")
texte = f"<mail>\n{self.mail}\n</mail>\n<contexte>\n{self.contexte or '(aucun)'}\n</contexte>"
self._trace("séance : le mail", self._tour_support, [{"type": "text", "text": texte}, *blocs])
def parler(self, agent: str, texte: str) -> None:
if agent == "analyste":
self._trace("séance : Marc à l'analyste", self._tour_analyste, texte)
else:
self._trace("séance : Marc au support", self._tour_support, [{"type": "text", "text": texte}])
def _tour_analyste(self, texte: str) -> None:
self._echanges.append((texte, self.analyste.tour(texte, "marc")))
self._sauver()
def _tour_support(self, blocs: list[dict]) -> None:
if self._echanges:
rapport = "\n".join(f"<marc>{q}</marc>\n<analyste>{r}</analyste>" for q, r in self._echanges)
blocs = [{"type": "text", "text": f"<echange_marc_analyste>\n{rapport}\n</echange_marc_analyste>"}, *blocs]
self._echanges = []
self.support.tour(blocs, "marc")
self._sauver()
def _sauver(self) -> None:
self.support.sauver(self.dossier / "support.json")
self.analyste.sauver(self.dossier / "analyste.json")
# --- ce que lit la page
def occupe(self, agent: str) -> bool:
return (self.support if agent == "support" else self.analyste).occupe
def cout(self) -> dict:
return {"support": self.support.cout, "analyste": self.analyste.cout,
"total": self.support.cout + self.analyste.cout}
def derniere_version(self) -> Path | None:
"""v3.pdf, ou mail-v3.json pour une sortie mail."""
motif, prefixe = ("mail-v*.json", "mail-v") if self.sortie == "mail" else ("v*.pdf", "v")
v = sorted(self.dossier.glob(motif), key=lambda p: int(p.stem.removeprefix(prefixe)))
return v[-1] if v else None
+162
View File
@@ -0,0 +1,162 @@
"""Lecture des données d'une station pour l'agent de diagnostic (bibliothèque standard).
Formats : labeling/connaissances/colonnes-des-deplacements.md. Toute heure est en UTC.
"""
import csv
import glob
import os
import re
import statistics
from datetime import datetime, timezone
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
"corr_x", "corr_y", "reproj_err", "inlier", "sigma0",
"peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes seulement (LENZSPITZE)
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
def _entete(chemin):
with open(chemin, newline="") as f:
return next(csv.reader(f), [])
def trouver(dossier):
"""Dossier de station -> {'advanced', 'horaire', 'camera', 'images', 'autres'} : chemins triés, sous-dossiers compris."""
out = {"advanced": [], "horaire": [], "camera": [], "images": [], "autres": []}
for p in sorted(glob.glob(os.path.join(dossier, "**", "*"), recursive=True)):
if os.path.isdir(p) or "images_diff" in p.split(os.sep): # images différentielles du pompage (--diff) : pas des vues de la caméra
continue
entete = _entete(p) if p.endswith(".csv") else []
if p.lower().endswith((".jpg", ".jpeg", ".png")):
out["images"].append(p)
elif "sensor_name" in entete and "corr_x" in entete: # quality/ (optical_emulator) a sensor_name, pas corr_x
out["advanced"].append(p)
elif "timestamp" in entete:
out["horaire"].append(p)
elif "median_pan" in entete:
out["camera"].append(p)
else:
out["autres"].append(p)
return out
def _nombre(v):
v = v.strip()
return float(v) if v else None
def charger(dossier):
"""Exports « advanced » du dossier -> {capteur: [mesure]}, triées par t, un seul relevé par instant.
Mesure : dict avec t (datetime UTC), pattern_type, et les colonnes de NUM (float ou None).
Une mesure rejetée (voir rejetee) a corr_x, corr_y vides, comme le dit la doc des colonnes : la station
les vide pour une cible, mais en laisse de remplis (souvent absurdes) pour une référence ; on les vide ici.
"""
par = {}
for chemin in trouver(dossier)["advanced"]:
with open(chemin, newline="") as f:
for r in csv.DictReader(f):
m = {c: _nombre(r.get(c) or "") for c in NUM} # inlier manque dans les exports anciens
m["t"] = instant(r["time_utc"])
m["pattern_type"] = r["pattern_type"]
if rejetee(m):
m["corr_x"] = m["corr_y"] = None
par.setdefault(r["sensor_name"].strip(), {})[m["t"]] = m # certains exports finissent le nom par un saut de ligne
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
def charger_temperature(dossier):
"""Températures de la carte de la station (metrics/, sensor_*_deg_c) -> [(t, °C)] triées : la médiane des composants à
chaque heure ; [] sans ces métriques. Les composants montent et descendent ensemble (l'étiqueteur lit « les
températures de tous les composants ») ; la médiane écarte la pointe d'un seul, le GPU qui calcule (D-124)."""
par = {}
for chemin in glob.glob(os.path.join(dossier, "metrics", "*_deg_c_*.csv")):
with open(chemin, newline="") as f:
for r in csv.DictReader(f):
if (v := _nombre(r.get("metric") or "")) is not None:
par.setdefault(instant(r["time_utc"]), []).append(v)
return [(t, statistics.median(v)) for t, v in sorted(par.items())]
def charger_camera(dossier):
"""Mouvements de la caméra du dossier -> [pose] triées par t ; pose : t et les colonnes de POSE (float ou None).
Une ligne par recalage de la caméra ; on lit les médianes (min = max dans les fichiers reçus : une mesure par minute).
Un instant de mesure sans pose : la caméra n'a pas été recalée.
"""
par = {}
for chemin in trouver(dossier)["camera"]:
with open(chemin, newline="") as f:
for r in csv.DictReader(f):
p = {c: _nombre(r.get("median_" + c, "")) for c in POSE}
p["t"] = instant(r["time_utc"])
par[p["t"]] = p
return [par[t] for t in sorted(par)]
IDENTIFIANTS = re.compile(r"^(SIM_CCID|ip(_.*)?)$") # identifiants de la station : jamais lus
METRIQUE_RE = re.compile(r"^(.+?)_\d{4}_\d{2}_\d{2}_")
def charger_metriques(dossier):
"""Métriques de la station (metrics/, un CSV par métrique et par jour) -> {nom: [(t, valeur)]} triées : les
valeurs numériques seulement (BusVoltage, sensor_CPU_deg_c, rsrp_dBm…) ; les métriques texte (link, mode…) et les
identifiants (SIM_CCID, ip*) ne sont pas lus. Nom : celui du fichier, sans la station ni la date."""
# ponytail: les métriques texte sont sautées ; les lire (link up/down) quand un détecteur en a besoin
station, par = os.path.basename(os.path.normpath(dossier)) + "_", {}
for chemin in glob.glob(os.path.join(dossier, "metrics", "*.csv")):
if not (m := METRIQUE_RE.match(os.path.basename(chemin))):
continue
nom = m.group(1).removeprefix(station)
if IDENTIFIANTS.match(nom):
continue
with open(chemin, newline="") as f:
for r in csv.DictReader(f):
try:
v = float((r.get("metric") or "").strip("[]'\" ")) # certaines métriques arrivent en liste : ['-95']
except ValueError:
continue
par.setdefault(nom, {})[instant(r["time_utc"])] = v
return {n: sorted(d.items()) for n, d in sorted(par.items())}
def est_reference(mesures):
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible. Certains exports ont pattern_type vide,
sur toute la période ou au début : on lit alors le premier pattern_type rempli et, s'il n'y en a aucun, reproj_err
ou inlier remplis (références seulement : labeling/connaissances/colonnes-des-deplacements.md)."""
t = next((m["pattern_type"] for m in mesures if m["pattern_type"]), None)
if t is not None:
return t == "global_ref"
return any(m["reproj_err"] is not None or m["inlier"] is not None for m in mesures)
def rejetee(m):
"""Mesure rejetée par la station : error_value au-dessus du seuil du capteur (error_threshold) ; sans ces deux valeurs, corr_x vide."""
if m["error_value"] is not None and m["error_threshold"] is not None:
return m["error_value"] > m["error_threshold"]
return m["corr_x"] is None
def filtrer(mesures, debut, fin):
"""Mesures entre debut et fin inclus, à la minute près (comme iso() les affiche) ; None = pas de borne."""
return [m for m in mesures if (debut is None or m["t"] >= debut)
and (fin is None or m["t"].replace(second=0, microsecond=0) <= fin)]
def heure_image(chemin):
"""'20261013T1200Z_10167931.jpg' -> datetime UTC ; None si le nom ne suit pas ce format (D-045)."""
m = IMAGE_RE.match(os.path.basename(chemin))
return datetime.strptime(m.group(1), "%Y%m%dT%H%M").replace(tzinfo=timezone.utc) if m else None
def instant(texte):
"""'2026-01-01T00:00Z' ou '2026-01-01 00:00' -> datetime UTC ; une heure sans fuseau est lue en UTC."""
t = datetime.fromisoformat(texte)
return t.astimezone(timezone.utc) if t.tzinfo else t.replace(tzinfo=timezone.utc)
def iso(t):
return t.astimezone(timezone.utc).strftime("%Y-%m-%dT%H:%MZ")
+491
View File
@@ -0,0 +1,491 @@
"""Vue d'ensemble de tous les capteurs d'un export « advanced » : ce que font les capteurs ensemble.
Usage : .venv/bin/python agent-tools/ensemble.py data/PS_DES_COUDRES/
[--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5]
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B] [--suivre A,B]] [--table T1/T2|non] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre).
Deux PNG, dont les chemins sont imprimés :
1. « commun » : d'abord, si le dossier a des mouvements de la caméra (camera/), un panneau par grandeur de la pose
(pan, tilt, rotation [deg], scale, sigma0 du recalage), valeurs brutes, un point par recalage ; puis un panneau par colonne de --colonnes (défaut x,y,sigma0 : position brute et sigma0 de la
caméra) : médiane, sur les capteurs, de l'écart de chaque capteur à sa médiane ; bande grise = 10e à 90e
centile entre capteurs (la dispersion) ; sur chaque panneau sauf sigma0, en plus, chaque référence globale à part
(son écart à sa médiane, un trait par référence) et la médiane des cibles seules (trait noir) : on voit si les
références bougent dans l'image avec les cibles ou sans elles ; dernier panneau : nombre de capteurs dont --colonne
(défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas.
2. « multiples » : un petit graphique par capteur (références d'abord) de --colonne, médiane par pas de --pas,
trait pointillé = médiane de la fenêtre ; chaque graphique a son échelle, un palier se voit.
3. « residus-<colonne> » (un PNG par colonne de --residus, défaut corr_x,corr_y,error_value) : un petit graphique par
capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre, ou hors de --hors T1/T2 si
donné : le niveau est alors celui du reste de la fenêtre, pas celui du moment lu), une échelle par capteur, zéro en
pointillé ; un écart de quelques centièmes sur une colonne `corr` que les bandes parallèles de `graphique.py` cachent
s'y voit. Imprime, par capteur, le niveau, le bruit propre (médiane des écarts entre deux mesures consécutives) et
l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits
(bruit 0 et « - » en bruits : valeurs constantes à l'arrondi près, 1e-9 ; --residus non : aucun PNG de résidus).
Avec --autres, chaque capteur est de plus ramené à l'écart à la médiane des AUTRES capteurs au même instant (on
retranche, à chaque mesure, la médiane des autres capteurs de la même colonne moins leur niveau propre) : ce qui est
partagé par tous (le reste de la compensation d'un mouvement commun) s'annule, ce qui est propre au capteur reste.
PNG « residus-<colonne>-autres » ; la table imprime en plus, par capteur, la pente de ce résidu sur chaque
colonne de --colonnes (médiane commune, ex. y) et la corrélation r : un résidu proportionnel au mouvement commun
(même s'il n'est pas partagé par tous) a une pente non nulle et un r élevé.
4. « rigide » (avec --rigide BASE) : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant BASE
(similitude : translation, rotation, échelle, estimée par médianes sur les cibles, hors --sans) ; pour chaque
capteur, le résidu dx, dy = position brute moins sa position à BASE transportée par ce mouvement [px]. Panneaux :
dx et dy de chaque référence globale (un trait chacune) face à la médiane et au 10e-90e centile des cibles ;
médiane et 90e centile de |résidu| des cibles ; rotation et échelle ajustées ; reproj_err des références. Imprime
la table par pas de --pas (rot_deg, echelle, tx, ty, cib_med, cib_max, puis dx, dy de chaque référence et de chaque
capteur de --suivre A,B), puis par capteur le min et le max de dx, dy avec leur instant et la valeur au dernier
instant. Les mesures rejetées n'entrent ni dans l'ajustement, ni dans la bande et la médiane des cibles, cib_med,
cib_max, ni dans les colonnes de la table ; sur le PNG, celles des références sont des croix, qui ne fixent pas l'échelle ; dans le résumé par
capteur, elles viennent à part (nombre, min et max).
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
pour chaque colonne de --colonnes, puis <colonne>_cibles, la médiane des cibles seules, puis la pose brute de la caméra, vide sans recalage) puis le minimum et le maximum de chaque colonne avec leur instant, et ceux de chaque référence globale ; pour dater
un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large,
1h par ex., aplatit un pic d'un à quatre pas et date à l'heure).
Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD,
le nombre et les capteurs (--min 1 : aussi les instants où un seul capteur sort de son niveau), et les instants de
mesure sans pose de la caméra (pas de recalage).
Les tables par pas (médiane commune, --rigide) répètent leur en-tête toutes les 24 lignes. Avec --table T1/T2, elles ne
s'impriment qu'entre T1 et T2 (« non » : pas du tout) ; niveaux, minimum et maximum, PNG et le reste portent toujours sur
toute la fenêtre --debut/--fin : sur un mois, on lit tout le reste, puis la table d'un jour aux mêmes niveaux.
Rend des valeurs, pas de verdict.
"""
import argparse
import math
import os
import statistics
import sys
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import COLONNES, RACINE, borne # noqa: E402
from resume import bruit_propre, duree # noqa: E402
def niveau(ms, col):
"""(médiane, MAD) des valeurs non vides ; None si aucune."""
v = [m[col] for m in ms if m[col] is not None]
if not v:
return None
med = statistics.median(v)
return med, statistics.median(abs(x - med) for x in v)
def similitude(p, q):
"""Similitude (a, b, tx, ty) qui envoie les points p sur q : q ≈ (a·x − b·y + tx, b·x + a·y + ty).
Estimation par médianes (une cible qui saute seule ne tire pas l'ajustement) : rotation et échelle, médiane sur
toutes les paires de cibles du rapport complexe (qi − qj) / (pi − pj) ; translation, médiane de q − (rotation, échelle)·p.
"""
p, q = [complex(*u) for u in p], [complex(*u) for u in q]
z = [(q[i] - q[j]) / (p[i] - p[j]) for i in range(len(p)) for j in range(i) if p[i] != p[j]]
r = complex(statistics.median(v.real for v in z), statistics.median(v.imag for v in z))
d = [w - r * u for u, w in zip(p, q)]
return r.real, r.imag, statistics.median(v.real for v in d), statistics.median(v.imag for v in d)
def rigide(o, noms, series, temps, base, station):
"""4. Chaque capteur face au mouvement d'ensemble des cibles depuis l'instant --rigide : PNG « rigide » et table."""
t_b = min(temps, key=lambda t: abs(t - o.rigide))
pos = {s: {m["t"]: (m["x"], m["y"]) for m in series[s] if m["x"] is not None and m["y"] is not None} for s in noms}
sans = set(o.sans.split(",")) - {""}
acc = {s: {m["t"] for m in series[s] if not rejetee(m)} for s in noms} # mesures acceptées : seules à entrer dans l'ajustement et les statistiques des cibles
refs = [s for s in noms if series[s] and est_reference(series[s])]
cib = [s for s in noms if s not in refs and t_b in pos[s]]
ajust = [s for s in cib if s not in sans and t_b in acc[s]]
suivis = [s for s in o.suivre.split(",") if s and s not in refs]
res, fit = {s: {} for s in noms}, {} # res : {capteur: {t: (dx, dy)}} ; fit : {t: (rotation deg, échelle, tx, ty, |r| médiane, max des cibles)}
for t in temps:
ok = [s for s in ajust if t in pos[s] and t in acc[s]]
if len(ok) < 2:
continue
a, b, tx, ty = similitude([pos[s][t_b] for s in ok], [pos[s][t] for s in ok])
for s in noms:
if t in pos[s] and t_b in pos[s]:
(x0, y0), (x, y) = pos[s][t_b], pos[s][t]
res[s][t] = (x - (a * x0 - b * y0 + tx), y - (b * x0 + a * y0 + ty))
r = [math.hypot(*res[s][t]) for s in cib if t in res[s] and t in acc[s]]
fit[t] = (math.degrees(math.atan2(b, a)), math.hypot(a, b), tx, ty, statistics.median(r), max(r))
if not fit:
print(f"\n--rigide : moins de deux cibles avec x, y à {iso(t_b)} et ensuite.")
return
tf = sorted(fit)
reproj = {s: {m["t"]: m["reproj_err"] for m in series[s] if m["reproj_err"] is not None} for s in refs}
panneaux = [("dx", 0), ("dy", 1)]
fig, axes = plt.subplots(6, 1, sharex=True, figsize=(14, 18), squeeze=False)
for ax, (nom, k) in zip(axes[:2, 0], panneaux):
band = [sorted(res[s][t][k] for s in cib if t in res[s] and t in acc[s]) for t in tf]
q = [statistics.quantiles(v, n=10, method="inclusive") if len(v) >= 2 else [v[0]] * 9 for v in band]
ax.fill_between(tf, [x[0] for x in q], [x[-1] for x in q], color="0.85", label="cibles : 10e-90e centile")
ax.plot(tf, [statistics.median(v) for v in band], "-", lw=1.2, color="k", label="cibles : médiane")
for i, s in enumerate(refs):
ta = [t for t in res[s] if t in acc[s]]
ax.plot(ta, [res[s][t][k] for t in ta], "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
cadre = ax.get_ylim() # l'échelle des mesures acceptées : une référence rejetée loin est hors cadre
for i, s in enumerate(refs):
tr = [t for t in res[s] if t not in acc[s]]
if tr: # mesures rejetées : à part, une croix chacune, hors du trait
ax.plot(tr, [res[s][t][k] for t in tr], "x", ms=3, color=f"C{(i + 1) % 10}", label=f"{s} rejetée")
ax.set_ylim(cadre)
ax.set_ylabel(f"{nom} [px]\nposition brute moins\nle mouvement des cibles")
ax.legend(loc="upper left", fontsize=8, ncol=1 + len(refs) // 4)
axes[2, 0].plot(tf, [fit[t][4] for t in tf], "-", lw=1, color="k", label="cibles : médiane de |résidu|")
p90 = {t: statistics.quantiles([math.hypot(*res[s][t]) for s in cib if t in res[s] and t in acc[s]], n=10, method="inclusive")[-1] for t in tf}
axes[2, 0].plot(tf, [p90[t] for t in tf], "-", lw=0.8, color="C3", label="cibles : 90e centile de |résidu| (le max est dans la table)")
axes[2, 0].set_ylabel("|résidu| des cibles [px]")
axes[2, 0].legend(loc="upper left", fontsize=8)
axes[3, 0].plot(tf, [fit[t][0] for t in tf], "-", lw=1, color="C2")
axes[3, 0].set_ylabel("rotation ajustée [deg]")
axes[4, 0].plot(tf, [fit[t][1] for t in tf], "-", lw=1, color="C2")
axes[4, 0].set_ylabel("échelle ajustée")
for i, s in enumerate(refs):
axes[5, 0].plot(list(reproj[s]), list(reproj[s].values()), "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
axes[5, 0].set_ylabel("reproj_err\ndes références")
if refs:
axes[5, 0].legend(loc="upper left", fontsize=8, ncol=1 + len(refs) // 4)
for ax in axes[:, 0]:
ax.grid(alpha=0.4)
ax.axvline(t_b, color="C3", ls=":", lw=0.8)
axes[-1, 0].set_xlim(tf[0], tf[-1])
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
fig.suptitle(f"{station} : mouvement d'ensemble (translation, rotation, échelle) ajusté sur {len(ajust)} cibles depuis {iso(t_b)} (pointillé), "
"résidu de chaque capteur, mesures acceptées (croix : référence rejetée) (heures UTC)")
fig.tight_layout(rect=(0, 0, 1, 1 - 0.4 / fig.get_figheight()))
chemin = base.format("rigide")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
plt.close(fig)
print(chemin)
print(f"\nMouvement d'ensemble ajusté sur les cibles depuis {iso(t_b)} : {', '.join(ajust)}"
+ (f" (hors ajustement : {', '.join(sorted(sans & set(cib)))})" if sans & set(cib) else "")
+ f".\nRésidu = position brute moins la position de {iso(t_b)} transportée par ce mouvement [px] ; mesures rejetées hors de l'ajustement, "
f"de cib_med, cib_max et des colonnes des capteurs (à part dans le résumé par capteur) ; médiane par pas de {int(o.pas.total_seconds() // 60)} min{' (table : ' + o.table + ')' if o.table else ''} :")
cols = ["rot_deg", "echelle", "tx", "ty", "cib_med", "cib_max"] + [f"{s}_{c}" for s in refs + suivis for c in ("dx", "dy")]
minuit = tf[0].replace(hour=0, minute=0, second=0, microsecond=0)
t0 = minuit + ((tf[0] - minuit) // o.pas) * o.pas
par_pas = {}
for t in tf:
ligne = par_pas.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {})
for c, v in zip(cols, fit[t]):
ligne.setdefault(c, []).append(v)
for s in refs + suivis:
if t in res[s] and t in acc[s]:
ligne.setdefault(f"{s}_dx", []).append(res[s][t][0]), ligne.setdefault(f"{s}_dy", []).append(res[s][t][1])
w = max(10, max(len(c) for c in cols) + 1)
entete = f"{'instant':17}" + "".join(f"{c:>{w}}" for c in cols)
for i, t in enumerate(t for t in sorted(par_pas) if o.dans_table(t)):
if i % 24 == 0:
print(entete)
print(f"{iso(t):17}" + "".join(f"{statistics.median(par_pas[t][c]):{w}.{7 if c == 'echelle' else 3}g}" if c in par_pas[t] else " " * w for c in cols))
print("\nPar capteur, mesures acceptées : min et max de dx, dy, valeur au dernier instant ; puis les rejetées à part :")
for s in noms:
bons = {t: v for t, v in res[s].items() if t in acc[s]}
rej = {t: v for t, v in res[s].items() if t not in acc[s]}
for k, c in ((0, "dx"), (1, "dy")):
ligne = f"{s:9}{' (réf.)' if s in refs else ' '} {c}"
if bons:
lo, hi = min(bons.items(), key=lambda x: x[1][k]), max(bons.items(), key=lambda x: x[1][k])
der = res[s].get(tf[-1])
ligne += (f" min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}, au dernier instant "
f"{der[k] if der else math.nan:+.3g}{' (rejetée)' if der and tf[-1] not in acc[s] else ''}")
else:
ligne += " aucune mesure acceptée"
if rej:
lo, hi = min(rej.items(), key=lambda x: x[1][k]), max(rej.items(), key=lambda x: x[1][k])
ligne += f" ; {len(rej)} rejetées : min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}"
if bons or rej:
print(ligne)
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonnes", default="x,y,sigma0")
a.add_argument("--colonne", default="error_value", choices=COLONNES)
a.add_argument("--pas", default="15min", type=duree, help="pas des tables et des courbes en bleu (défaut 15min, la cadence des mesures : un pas plus large aplatit et décale les événements courts)")
a.add_argument("--k", type=float, default=5, help="écart compté, en MAD de la fenêtre")
a.add_argument("--min", type=int, default=5, help="nombre de capteurs à partir duquel un instant est imprimé")
a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur (« non » ou '' : aucune)")
a.add_argument("--hors", help="T1/T2 : le niveau propre des résidus se calcule hors de ce moment")
a.add_argument("--autres", action="store_true", help="résidus de plus ramenés à la médiane des autres capteurs au même instant, avec pente et corrélation sur le mouvement commun")
a.add_argument("--rigide", type=instant, metavar="BASE", help="résidus face au mouvement d'ensemble des cibles (translation, rotation, échelle) depuis l'instant BASE")
a.add_argument("--sans", default="", help="A,B : cibles laissées hors de l'ajustement de --rigide (leur résidu reste tracé)")
a.add_argument("--suivre", default="", help="A,B : avec --rigide, dx, dy de ces capteurs ajoutés à la table au pas (les références y sont déjà)")
a.add_argument("--table", default="", metavar="T1/T2|non",
help="tables par pas imprimées seulement entre T1 et T2 (« non » : pas du tout) ; le reste sur toute la fenêtre")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG")
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
residus = [c for c in o.residus.split(",") if c and c != "non"] # '' ou « non » : aucune, comme --table
hors = tuple(instant(x) for x in o.hors.split("/")) if o.hors else None
if hors and len(hors) != 2:
sys.exit("--hors attend T1/T2.")
if o.table in ("", "non"):
o.dans_table = lambda t: o.table == ""
else:
bornes = [instant(x) for x in o.table.split("/")]
if len(bornes) != 2:
sys.exit("--table attend T1/T2 ou non.")
o.dans_table = lambda t: bornes[0] <= t <= bornes[1]
for demandes, connus, quoi in ((noms, par, "Capteurs"), ([s for s in o.suivre.split(",") if s], noms, "Capteurs de --suivre (pris parmi --capteurs)"), (colonnes + residus + [o.colonne], COLONNES, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
series = {s: filtrer(par[s], o.debut, o.fin) for s in noms}
if not any(series.values()):
sys.exit("Aucune mesure dans la fenêtre demandée.")
temps = sorted({m["t"] for s in noms for m in series[s]})
poses = filtrer(charger_camera(o.dossier), temps[0].replace(second=0, microsecond=0), temps[-1]) # poses à la minute, mesures à la seconde
pose_cols = POSE if poses else ()
station = os.path.basename(os.path.normpath(o.dossier))
os.makedirs(o.sortie, exist_ok=True)
base = os.path.join(o.sortie, f"{station}_{{}}_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
def ecarts(col):
"""{capteur: {t: valeur - médiane de la fenêtre}}, et les MAD."""
e, mad = {}, {}
for s in noms:
n = niveau(series[s], col)
if n:
e[s] = {m["t"]: m[col] - n[0] for m in series[s] if m[col] is not None}
mad[s] = n[1]
return e, mad
# 1. commun
n_ax = len(pose_cols) + len(colonnes) + 1
fig, axes = plt.subplots(n_ax, 1, sharex=True, figsize=(14, 3 * n_ax), squeeze=False)
for ax, col in zip(axes[:, 0], pose_cols):
pose_t = {p["t"].replace(second=0, microsecond=0): p[col] for p in poses if p[col] is not None}
cam_t = sorted(set(pose_t) | {t.replace(second=0, microsecond=0) for t in temps})
# trait coupé aux instants de mesure sans recalage : il ne relie pas deux poses par-dessus un trou
ax.plot(cam_t, [pose_t.get(t, math.nan) for t in cam_t], ".-", ms=3, lw=0.5, color="C2", label="pose de la caméra (un point par recalage)")
ax.set_ylabel(f"caméra : {col}" + (" [deg]" if col in ("pan", "tilt", "rotation") else ""))
ax.legend(loc="upper left", fontsize=8)
communes, refs_par_col, ref_ecarts = {}, {}, {}
for ax, col in zip(axes[len(pose_cols):, 0], colonnes):
e, _ = ecarts(col)
med, bas, haut, tt = [], [], [], []
for t in temps:
v = sorted(e[s][t] for s in e if t in e[s])
if len(v) >= 2:
q = statistics.quantiles(v, n=10, method="inclusive")
tt.append(t), med.append(statistics.median(v)), bas.append(q[0]), haut.append(q[-1])
communes[col] = dict(zip(tt, med))
ax.fill_between(tt, bas, haut, color="0.85", label="10e-90e centile entre capteurs")
ax.plot(tt, med, ".-", ms=2, lw=0.8, label="médiane des capteurs")
refs = [s for s in e if est_reference(series[s])]
if refs and col != "sigma0": # sigma0 est le même pour tous : rien à séparer
# références globales une à une, et médiane des seules cibles : qui bouge dans l'image, les références ou tout
cib = {}
for t in temps:
v = [e[s][t] for s in e if s not in refs and t in e[s]]
if v:
cib[t] = statistics.median(v)
communes[col + "_cibles"] = cib
ax.plot(list(cib), list(cib.values()), "-", lw=1.2, color="k", label="médiane des cibles seules")
for i, s in enumerate(refs):
ax.plot(list(e[s]), list(e[s].values()), "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
refs_par_col[col] = refs
ref_ecarts[col] = {s: e[s] for s in refs}
ax.set_ylabel(f"{col}\nécart à sa médiane")
ax.grid(alpha=0.3)
ax.legend(loc="upper left", fontsize=8, ncol=1 + len(refs_par_col.get(col, [])) // 4)
e, mad = ecarts(o.colonne)
compte, qui = [], {}
for t in temps:
hauts = [s for s in e if t in e[s] and mad[s] > 0 and e[s][t] > o.k * mad[s]]
compte.append(len(hauts))
if len(hauts) >= o.min:
qui[t] = hauts
axes[-1, 0].step(temps, compte, where="mid", lw=0.8)
axes[-1, 0].set_ylabel(f"capteurs au-dessus\nde médiane + {o.k:g} MAD\n({o.colonne})")
axes[-1, 0].grid(alpha=0.3)
h = next((h for h in (1, 2, 3, 6, 12) if (temps[-1] - temps[0]).total_seconds() / 3600 / h <= 20), 24)
jours = (temps[-1] - temps[0]).total_seconds() / 86400
# au-delà de 20 jours, une graduation par jour se chevauche : tous les n jours, au plus 20 graduations
axes[-1, 0].xaxis.set_major_locator(mdates.HourLocator(byhour=range(0, 24, h)) if h < 24 else mdates.DayLocator(interval=math.ceil(jours / 20)))
axes[-1, 0].set_xlim(temps[0], temps[-1])
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
for ax in axes[:, 0]:
ax.grid(alpha=0.5, which="major")
fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)")
fig.tight_layout(rect=(0, 0, 1, 1 - 0.4 / fig.get_figheight())) # place du titre
commun = base.format("commun")
fig.savefig(commun, dpi=100, bbox_inches="tight")
plt.close(fig)
print(commun)
# table de la médiane commune, par pas
minuit = temps[0].replace(hour=0, minute=0, second=0, microsecond=0)
t0 = minuit + ((temps[0] - minuit) // o.pas) * o.pas # pas calés sur l'horloge (hh:00, hh:15…), pas sur la 1re mesure
lignes_t = {}
for col in colonnes:
for t, v in communes[col].items():
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col, []).append(v)
for col in pose_cols:
communes["cam_" + col] = {p["t"]: p[col] for p in poses if p[col] is not None}
for t, v in communes["cam_" + col].items():
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault("cam_" + col, []).append(v)
for col in refs_par_col:
for t, v in communes[col + "_cibles"].items():
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col + "_cibles", []).append(v)
cols_t = colonnes + [c + "_cibles" for c in refs_par_col] + ["cam_" + c for c in pose_cols]
print(f"\nMédiane commune (écart à la médiane de la fenêtre){' et pose brute de la caméra (cam_, vide sans recalage)' if pose_cols else ''}, "
f"médiane par pas de {int(o.pas.total_seconds() // 60)} min{' (table : ' + o.table + ')' if o.table else ''} :")
entete = f"{'instant':17}" + "".join(f"{c:>13}" for c in cols_t)
for i, t in enumerate(t for t in sorted(lignes_t) if o.dans_table(t)):
if i % 24 == 0:
print(entete)
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):13.{6 if c.startswith('cam_') else 4}g}" if c in lignes_t[t] else " " * 13 for c in cols_t))
for col in cols_t:
if communes[col]:
lo, hi = min(communes[col].items(), key=lambda x: x[1]), max(communes[col].items(), key=lambda x: x[1])
g = 6 if col.startswith("cam_") else 4
print(f"{col} (mesures) : min {lo[1]:.{g}g} à {iso(lo[0])}, max {hi[1]:.{g}g} à {iso(hi[0])}")
for col, refs in refs_par_col.items():
print(f"\n{col} brut des références globales, écart à leur médiane de la fenêtre (mesures) ; {col}_cibles : médiane des cibles seules :")
for s in refs:
d = ref_ecarts[col][s]
lo, hi = min(d.items(), key=lambda x: x[1]), max(d.items(), key=lambda x: x[1])
rej = {m["t"] for m in series[s] if rejetee(m)}
r = lambda t: " (rejetée)" if t in rej else ""
print(f"{s:9} min {lo[1]:+.3g} à {iso(lo[0])}{r(lo[0])}, max {hi[1]:+.3g} à {iso(hi[0])}{r(hi[0])}"
+ (f" ; {len(rej)} mesures rejetées dans la fenêtre" if rej else ""))
if not pose_cols:
print("Pose de la caméra : aucune dans la fenêtre (pas de camera/ dans le dossier, ou pas de recalage).")
else:
avec = {p["t"].replace(second=0, microsecond=0) for p in poses}
suites = [] # suites d'instants de mesure consécutifs sans pose : [début, fin, nombre]
for i, t in enumerate(temps):
if t.replace(second=0, microsecond=0) in avec:
continue
if suites and suites[-1][3] == i - 1:
suites[-1][1], suites[-1][2], suites[-1][3] = t, suites[-1][2] + 1, i
else:
suites.append([t, t, 1, i])
print(f"Instants de mesure sans pose de la caméra (pas de recalage) : {sum(x[2] for x in suites)} sur {len(temps)}"
+ (" : " + "; ".join(iso(a) if n == 1 else f"{iso(a)} → {iso(b)} ({n})" for a, b, n, _ in suites) if suites else ""))
# 2. petits multiples
col = o.colonne
n = len(noms)
lignes = math.ceil(n / 5)
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
for ax, s in zip(axes.flat, noms):
ms = [m for m in series[s] if m[col] is not None]
ax.plot([m["t"] for m in ms], [m[col] for m in ms], "-", lw=0.4, color="0.7")
pas = {}
for m in ms:
pas.setdefault(t0 + ((m["t"] - t0) // o.pas) * o.pas, []).append(m[col])
ax.plot(list(pas), [statistics.median(v) for v in pas.values()], "-", lw=1.1, color="C0")
lv = niveau(series[s], col)
if lv:
ax.axhline(lv[0], color="C3", ls=":", lw=0.8)
ax.set_title(s + (" (réf.)" if series[s] and est_reference(series[s]) else ""), fontsize=9)
ax.grid(alpha=0.3)
ax.tick_params(labelsize=7)
ax.xaxis.set_major_locator(mdates.AutoDateLocator(minticks=2, maxticks=5))
ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%Hh"))
for ax in list(axes.flat)[n:]:
ax.axis("off")
fig.suptitle(f"{station} : {col}, médiane par pas de {int(o.pas.total_seconds() // 60)} min (bleu), mesures (gris), "
f"médiane de la fenêtre (pointillé) ; une échelle par capteur (heures UTC)")
fig.tight_layout()
multiples = base.format(f"multiples-{col}")
fig.savefig(multiples, dpi=100, bbox_inches="tight")
print(multiples)
# 3. résidus : chaque capteur moins son propre niveau
for col, autres in [(c, False) for c in residus] + [(c, True) for c in residus if o.autres]:
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
dev = {}
if autres: # {capteur: {t: valeur - niveau propre}} pour la médiane des autres
for q in noms:
mq = [m for m in series[q] if m[col] is not None]
rq = [m for m in mq if not hors or not hors[0] <= m["t"] <= hors[1]] or mq
nq = niveau(rq, col)
if nq:
dev[q] = {m["t"]: m[col] - nq[0] for m in mq}
print(f"\n{col} moins le niveau propre{' et moins la médiane des autres capteurs au même instant' if autres else ''} ({'hors ' + o.hors if hors else 'médiane de la fenêtre'}), médiane par pas de "
f"{int(o.pas.total_seconds() // 60)} min :")
pentes = []
print(f"{'capteur':9}{'niveau':>10}{'bruit':>10}{'écart min':>11} {'à':<17}{'(bruits)':>9}{'écart max':>11} {'à':<17}{'(bruits)':>9}")
for ax, s in zip(axes.flat, noms):
ms = [m for m in series[s] if m[col] is not None]
ref = [m for m in ms if not hors or not hors[0] <= m["t"] <= hors[1]] or ms
lv = niveau(ref, col)
if not lv:
ax.axis("off")
continue
bruit = bruit_propre([m[col] for m in ms])
if autres:
res = {}
for m in ms:
v = [dev[q][m["t"]] for q in dev if q != s and m["t"] in dev[q]]
if len(v) >= 2:
res[m["t"]] = m[col] - lv[0] - statistics.median(v)
if len(res) < 2:
ax.axis("off")
continue
else:
res = {m["t"]: m[col] - lv[0] for m in ms}
pas = {}
for t, v in res.items():
pas.setdefault(t0 + ((t - t0) // o.pas) * o.pas, []).append(v)
pm = {t: statistics.median(v) for t, v in pas.items()}
ax.plot(list(res), list(res.values()), "-", lw=0.4, color="0.7")
ax.plot(list(pm), list(pm.values()), "-", lw=1.1, color="C0")
ax.axhline(0, color="C3", ls=":", lw=0.8)
ax.set_title(s + (" (réf.)" if est_reference(ms) else "") + f" bruit {bruit:.2g}", fontsize=9)
ax.grid(alpha=0.3)
ax.tick_params(labelsize=7)
ax.xaxis.set_major_locator(mdates.AutoDateLocator(minticks=2, maxticks=5))
ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%Hh"))
lo, hi = min(pm.items(), key=lambda x: x[1]), max(pm.items(), key=lambda x: x[1])
f = lambda v: f"{v / bruit:9.1f}" if bruit else f"{'-':>9}"
print(f"{s:9}{lv[0]:10.4g}{bruit:10.3g}{lo[1]:11.3g} {iso(lo[0]):<17}{f(lo[1])}{hi[1]:11.3g} {iso(hi[0]):<17}{f(hi[1])}")
if autres:
for c in colonnes:
tt = [t for t in res if t in communes[c]]
if len(tt) > 2 and len({communes[c][t] for t in tt}) > 1:
xs, ys = [communes[c][t] for t in tt], [res[t] for t in tt]
pente = statistics.linear_regression(xs, ys).slope
pentes.append(f"{s:9}pente sur {c} commun {pente:+.4g} par unité, r = {statistics.correlation(xs, ys):+.2f}")
for ax in list(axes.flat)[n:]:
ax.axis("off")
if pentes:
print("\n".join(pentes))
fig.suptitle(f"{station} : {col} moins le niveau propre{' et la médiane des autres' if autres else ''} de chaque capteur, médiane par pas de "
f"{int(o.pas.total_seconds() // 60)} min (bleu), mesures (gris) ; une échelle par capteur (heures UTC)")
fig.tight_layout()
chemin = base.format(f"residus-{col}" + ("-autres" if autres else ""))
fig.savefig(chemin, dpi=100, bbox_inches="tight")
plt.close(fig)
print(chemin)
if o.rigide:
rigide(o, noms, series, temps, base, station)
print(f"\nInstants où au moins {o.min} capteurs ont {o.colonne} > médiane de la fenêtre + {o.k:g} MAD :")
for t, hauts in qui.items():
print(f"{iso(t)} {len(hauts):3} {','.join(hauts)}")
if not qui:
print("(aucun)")
if __name__ == "__main__":
main()
+70
View File
@@ -0,0 +1,70 @@
"""GIF des images de la caméra sur une plage, pour joindre à une réponse au client (skill /support).
Usage : .venv/bin/python agent-tools/gif.py data/LENZSPITZE/
--debut 2026-10-26T18:00Z --fin 2026-10-27T08:00Z [--largeur 720] [--duree 700] [--max 150] [--zone X,Y,L,H] [--sortie DOSSIER]
Prend les images du dossier dont l'heure (nom du fichier, UTC) est entre --debut et --fin inclus, dans l'ordre, les
recadre au besoin sur --zone (pixels de l'image d'origine : coin haut gauche, largeur, hauteur), les met à --largeur px,
écrit la date et l'heure UTC en bas à droite de chacune et les ramène à 64 teintes sans tramage
(le bruit des JPEG gonfle un GIF : ~3 Mo pour une nuit d'images horaires à 720 px). Au-delà de --max images, en garde
--max à intervalle régulier. Imprime l'heure de chaque image retenue, puis le chemin du GIF et sa taille.
"""
import argparse
import os
import sys
from PIL import Image, ImageDraw, ImageFont
from donnees import heure_image, instant, iso, trouver
RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), ".."))
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--debut", required=True, help="première heure (UTC)")
a.add_argument("--fin", required=True, help="dernière heure (UTC), incluse")
a.add_argument("--largeur", type=int, default=720, help="largeur du GIF en pixels (défaut 720)")
a.add_argument("--duree", type=int, default=700, help="durée de chaque image en ms (défaut 700)")
a.add_argument("--max", type=int, default=150, help="nombre maximal d'images (défaut 150)")
a.add_argument("--zone", help="X,Y,L,H : recadrage en pixels de l'image d'origine (défaut : image entière)")
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du GIF")
o = a.parse_args()
debut, fin = instant(o.debut), instant(o.fin)
toutes = sorted((h, p) for p in trouver(o.dossier)["images"] if (h := heure_image(p)))
choisies = [(h, p) for h, p in toutes if debut <= h <= fin]
if not choisies:
dispo = f" (images du {iso(toutes[0][0])} au {iso(toutes[-1][0])})" if toutes else ""
sys.exit(f"Aucune image entre {iso(debut)} et {iso(fin)} dans {o.dossier}{dispo}.")
n = len(choisies)
if n > o.max:
choisies = [choisies[round(i * (n - 1) / (o.max - 1))] for i in range(o.max)]
print(f"{o.max} images sur {n} gardées")
vues = []
for h, p in choisies:
im = Image.open(p).convert("RGB")
if o.zone:
x, y, l, h_ = map(int, o.zone.split(","))
im = im.crop((x, y, x + l, y + h_))
im = im.resize((o.largeur, round(im.height * o.largeur / im.width)), Image.LANCZOS)
d = ImageDraw.Draw(im)
texte = h.strftime("%Y-%m-%d %H:%M UTC")
police = ImageFont.load_default(size=max(12, o.largeur // 45))
g, haut, dr, bas = d.textbbox((0, 0), texte, font=police)
x, y, marge = im.width - (dr - g) - 10, im.height - (bas - haut) - 10, 4
d.rectangle((x - marge, y - marge, x + dr - g + marge, y + bas - haut + marge), fill="black")
d.text((x - g, y - haut), texte, fill="white", font=police)
vues.append(im.quantize(64, dither=Image.Dither.NONE))
print(iso(h))
os.makedirs(o.sortie, exist_ok=True)
nom = f"images_{choisies[0][0]:%Y%m%dT%H%MZ}_{choisies[-1][0]:%Y%m%dT%H%MZ}.gif"
chemin = os.path.join(o.sortie, nom)
vues[0].save(chemin, save_all=True, append_images=vues[1:], duration=o.duree, loop=0, optimize=True)
print(f"GIF : {chemin} ({os.path.getsize(chemin) / 1e6:.1f} Mo, {len(vues)} images)")
if __name__ == "__main__":
main()
+94
View File
@@ -0,0 +1,94 @@
"""Graphique PNG des séries d'un export « advanced », pour que l'agent de diagnostic les regarde.
Usage : .venv/bin/python agent-tools/graphique.py data/PS_DES_COUDRES/
[--capteurs CAPTEUR_A,CAPTEUR_B] [--colonnes error_value,corr_x,corr_y] [--debut ...] [--fin ...]
[--zone DEBUT/FIN ...] [--sortie DOSSIER]
Un panneau par colonne, une courbe par capteur, heures UTC ; chaque --zone est grisée. Colonnes : error_value, corr_x, corr_y,
relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; face à une référence calme : qualite.py).
Imprime le chemin du PNG (out/diagnostic/, ou --sortie : le dossier du rapport, pour une figure de preuve).
"""
import argparse
import os
import sys
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, est_reference, filtrer, instant # noqa: E402
from resume import QUALITE # noqa: E402
RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), ".."))
COLONNES = ("error_value", "corr_x", "corr_y", "relative_x", "relative_y", "x", "y", "sigma0", "reproj_err")
def zone(texte):
"""'2026-10-13T01:00Z/2026-10-13T03:00Z' -> (début, fin)."""
debut, sep, fin = texte.partition("/")
if not sep:
raise argparse.ArgumentTypeError(f"zone invalide : {texte!r} (ex. 2026-10-13T01:00Z/2026-10-13T03:00Z)")
return instant(debut), instant(fin)
def borne(t, defaut):
return t.strftime("%Y%m%dT%H%MZ") if t else defaut
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--colonnes", default="error_value,corr_x,corr_y")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--zone", type=zone, action="append", default=[], help="fenêtre à griser, DEBUT/FIN (répétable)")
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES + QUALITE, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
series = {s: filtrer(par[s], o.debut, o.fin) for s in noms}
if not any(series.values()):
sys.exit("Aucune mesure dans la fenêtre demandée.")
vides = [c for c in colonnes if all(m[c] is None for s in noms for m in series[s])]
if len(vides) == len(colonnes):
sys.exit(f"Rien à tracer : {', '.join(colonnes)} vide(s) pour ces capteurs dans la fenêtre.")
if vides:
print(f"Panneaux vides (aucune valeur pour ces capteurs) : {', '.join(vides)}")
fig, axes = plt.subplots(len(colonnes), 1, sharex=True, figsize=(14, 3.2 * len(colonnes)), squeeze=False)
tab20 = plt.get_cmap("tab20").colors
couleurs = tab20[::2] + tab20[1::2] # teintes foncées d'abord : deux capteurs voisins ne partagent pas une teinte
for ax, col in zip(axes[:, 0], colonnes):
for i, s in enumerate(noms):
ms = series[s] # une valeur vide devient NaN : la courbe s'interrompt au lieu de relier le trou
ax.plot([m["t"] for m in ms], [float("nan") if m[col] is None else m[col] for m in ms], ".-", ms=2, lw=0.7,
color=couleurs[i % len(couleurs)], label=s)
for debut, fin in o.zone:
ax.axvspan(debut, fin, color="0.85", zorder=0)
ax.set_ylabel(col)
ax.grid(alpha=0.3)
axes[0, 0].legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
station = os.path.basename(os.path.normpath(o.dossier))
fig.suptitle(f"{station} : {', '.join(colonnes)} (heures UTC)")
os.makedirs(o.sortie, exist_ok=True)
qui = "-".join(noms) if o.capteurs else "tous"
sortie = os.path.join(o.sortie, f"{station}_{'-'.join(colonnes)}_{qui}_"
f"{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(sortie, dpi=100, bbox_inches="tight")
print(sortie)
if __name__ == "__main__":
main()
+314
View File
@@ -0,0 +1,314 @@
"""Inventaire d'un dossier de station : ce qui est disponible, ce qui manque.
Usage : python3 agent-tools/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] [--fichiers]
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
références retenues par la compensation (inlier = 1 ; inlier vide sur la fenêtre : reproj_err rempli) à chaque instant
et, datées, les suites d'instants où des références ne le sont pas (lesquelles, et pourquoi : rejetée, valeur d'inlier,
vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Avant les comptes, ce que contient chaque source
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides (avec,
pour une colonne de l'export que tous les capteurs ne portent pas, combien la portent), les noms des métriques système
de metrics/, les images et les images différentielles. Les relevés en double (même capteur, même instant dans deux
exports, ou deux fois dans un) sont comptés par export. Images : par suite d'écarts égaux entre deux images (à 5 min
près ; sur la fenêtre si elle est donnée). Une suite datée qui finit le même jour n'écrit que l'heure de sa fin.
Rend des valeurs, pas de verdict.
"""
import argparse
import collections
import csv
import glob
import os
import re
import statistics
from datetime import datetime, timedelta, timezone
from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
from resume import QUALITE
METRIQUE_RE = re.compile(r"^(.+?)_(\d{4})_(\d{2})_(\d{2})_\d{2}_\d{2}") # NIEDERHORN_BusCurrent_2026_09_22_00_00 to ….csv
def suite(a, b, n):
"""Une suite datée : le début en entier, la fin sans la date quand elle tombe le même jour."""
if n == 1:
return iso(a)
return f"{iso(a)} → {iso(b)[11:] if iso(a)[:10] == iso(b)[:10] else iso(b)} ({n})"
def doubles(chemins):
"""Relevés (même capteur, même instant) déjà lus dans un export précédent ou plus haut dans le même : charger n'en
garde qu'un, celui du dernier fichier dans l'ordre des noms. Une ligne par export qui en a."""
vus, lignes = {}, []
for p in chemins:
n = deja = autres = 0
with open(p, newline="") as fh:
for r in csv.DictReader(fh):
n += 1
cle = (r["sensor_name"].strip(), r["time_utc"])
val = tuple(v.strip() for k, v in r.items() if k not in ("sensor_name", None))
if cle in vus:
deja += 1
autres += vus[cle] != val
vus[cle] = val
if deja:
lignes.append(f" {os.path.basename(p)} : {deja} sur {n} déjà lus, dont {autres} de valeurs différentes")
if lignes:
print("Relevés en double (même capteur, même instant dans un export déjà lu, dans l'ordre des noms ; "
"les outils gardent celui du dernier fichier) :")
print("\n".join(lignes))
def liste(chemins, tout):
"""Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement."""
if tout or len(chemins) <= 5:
shown = chemins
else:
shown = [chemins[0], chemins[-1]]
print(f" {len(chemins)} fichiers, du premier au dernier (--fichiers pour la liste complète) :")
for p in shown:
print(f" {p}")
def fichiers(f, tout=False):
print(f"Exports « advanced » (source des mesures) : {len(f['advanced'])}")
liste(f["advanced"], tout)
doubles(f["advanced"])
print(f"Exports horaires : {len(f['horaire'])} (non lus par les outils : moyennes horaires, "
"heure locale sans fuseau ; voir labeling/connaissances/colonnes-des-deplacements.md)")
liste(f["horaire"], tout)
print(f"Mouvements de la caméra (pose à chaque recalage) : {len(f['camera'])}")
liste(f["camera"], tout)
print(f"Autres fichiers : {len(f['autres'])}")
liste(f["autres"], tout)
def remplies(chemins, debut, fin):
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}, {colonne: capteurs qui en ont une}),
colonnes dans l'ordre des en-têtes ; capteurs : sensor_name, s'il y en a."""
lignes, compte, qui = 0, {}, collections.defaultdict(set)
for p in chemins:
with open(p, newline="") as fh:
r = csv.DictReader(fh)
for c in r.fieldnames or []:
if c not in ("", "time_utc", "sensor_name"):
compte.setdefault(c, 0)
for row in r:
if (debut or fin) and filtrer([{"t": instant(row["time_utc"])}], debut, fin) == []:
continue
lignes += 1
for c in compte:
if (row.get(c) or "").strip():
compte[c] += 1
if row.get("sensor_name"):
qui[c].add(row["sensor_name"].strip())
return lignes, compte, qui
def contenu(dossier, f, debut=None, fin=None):
"""Ce que contient chaque source sur la fenêtre : ses colonnes, remplies ou vides, et les noms des métriques.
Des noms et des comptes, jamais de valeurs (metrics/ porte des identifiants : SIM_CCID, ip_*)."""
quoi = "sur la fenêtre" if debut or fin else "sur toute la période"
print(f"\nCe que contiennent les données, {quoi} (par colonne, les lignes qui ont une valeur ; « vide » : aucune) :")
autres = collections.defaultdict(list)
for p in f["autres"]:
autres[os.path.relpath(p, dossier).split(os.sep)[0]].append(p)
for titre, chemins in (("Export « advanced »", f["advanced"]), ("Pose de la caméra (camera/)", f["camera"]),
("Qualité d'image (quality/)", autres.pop("quality", []))):
if chemins:
n, compte, qui = remplies(chemins, debut, fin)
tous = set().union(*qui.values())
def porte(c): # nombre de capteurs qui portent la colonne, quand ce ne sont pas tous
return f" ({len(qui[c])} capteurs sur {len(tous)})" if tous and len(qui[c]) < len(tous) else ""
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}{porte(c)}" if k else f"{c} vide" for c, k in compte.items()))
if chemins is f["advanced"]:
q = [c for c in QUALITE if compte.get(c)]
print(f" Qualité d'image de l'export (peak à snr) : " + (f"remplie ({', '.join(q)}) ; lue par qualite.py, "
"labeling/connaissances/metriques-de-qualite.md" if q else "vide"))
jours = collections.Counter() # métrique -> jours (un CSV par métrique et par jour) dans la fenêtre
for p in autres.pop("metrics", []):
m = METRIQUE_RE.match(os.path.basename(p))
if not m:
continue
jour = datetime(*map(int, m.group(2, 3, 4)), tzinfo=timezone.utc)
if (debut is None or jour.date() >= debut.date()) and (fin is None or jour.date() <= fin.date()):
nom = m.group(1)
jours[nom.split("_", 1)[1] if "_" in nom else nom] += 1
if jours:
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; lues par metriques.py) : {len(jours)} : "
+ ", ".join(f"{k} ({n} j)" for k, n in sorted(jours.items())))
for titre, chemins in (("Images de la caméra", f["images"]),
("Images différentielles (images_diff/ ; aucun outil ne les lit)", glob.glob(os.path.join(dossier, "images_diff", "*")))):
heures = [h for h in map(heure_image, chemins) if h and filtrer([{"t": h}], debut, fin)]
if chemins:
print(f" {titre} : {len(heures)}")
if autres:
print(" Autres : " + ", ".join(f"{k} ({len(v)})" for k, v in sorted(autres.items())))
def images(chemins, debut=None, fin=None):
heures = sorted(h for h in map(heure_image, chemins) if h)
print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else ""))
inconnues = [p for p in chemins if heure_image(p) is None]
if inconnues:
print(f" noms sans heure reconnue : {len(inconnues)}")
heures = [h for h in heures if filtrer([{"t": h}], debut, fin)]
if len(heures) < 2:
return
# Suites d'images à écart régulier (arrondi à 5 min, ce qui absorbe les quelques secondes de retard d'une prise) :
# une ligne par changement d'écart, sans rien perdre des heures couvertes.
suites = [] # [première, dernière, écart en min, nombre d'écarts]
for a, b in zip(heures, heures[1:]):
e = round((b - a).total_seconds() / 300) * 5
if suites and suites[-1][2] == e:
suites[-1][1], suites[-1][3] = b, suites[-1][3] + 1
else:
suites.append([a, b, e, 1])
quoi = "sur la fenêtre" if debut or fin else "entre la première et la dernière"
print(f" écart entre deux images {quoi}, par suite d'écarts égaux (à 5 min près) :")
for a, b, e, n in suites:
print(f" {iso(a)} → {iso(b)} : " + (f"{n + 1} images, toutes les {e} min" if n > 1 else f"un écart de {e} min"))
def mesures(par):
if not par:
print("\nAucune mesure : pas d'export « advanced » dans ce dossier.")
return
instants = sorted({m["t"] for ms in par.values() for m in ms})
cadence = statistics.median(b - a for a, b in zip(instants, instants[1:]))
print(f"\nPériode des mesures : {iso(instants[0])} → {iso(instants[-1])}, {len(instants)} instants")
print(f"Cadence (pas médian) : {cadence.total_seconds() / 60:.0f} min")
trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(instants, instants[1:])]
trous = [x for x in trous if x[2] > 0]
print(f"Mesures manquantes (instants absents de la cadence) : {sum(n for *_, n in trous)}")
for a, b, n in trous:
print(f" entre {iso(a)} et {iso(b)} : {n}")
noms = sorted(par, key=lambda s: (not est_reference(par[s]), s))
refs = [s for s in noms if est_reference(par[s])]
print(f"\nCapteurs : {len(par)} ({len(refs)} références, {len(par) - len(refs)} cibles)")
vides = [s for s in noms if not any(m["pattern_type"] for m in par[s])]
if vides:
print(f" pattern_type vide pour {len(vides)} capteurs : référence quand reproj_err ou inlier est rempli "
"(références seulement, labeling/connaissances/colonnes-des-deplacements.md)")
print(f"{'capteur':10} {'type':10} {'motif':11} {'seuil':>5} {'mesures':>7} {'rejetées':>8}")
for s in noms:
ms = par[s]
seuil = "/".join(f"{x:g}" for x in sorted({m['error_threshold'] for m in ms}))
print(f"{s:10} {'référence' if est_reference(ms) else 'cible':10} {ms[0]['pattern_type']:11} "
f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}")
def camera(dossier, par, debut=None, fin=None):
"""Poses de la caméra, et les instants de mesure sans pose (la caméra n'a pas été recalée)."""
poses = filtrer(charger_camera(dossier), debut, fin)
instants = sorted({m["t"] for ms in par.values() for m in filtrer(ms, debut, fin)})
quoi = "dans la fenêtre" if debut or fin else "sur toute la période"
if not poses:
print(f"\nPose de la caméra {quoi} : aucune")
return
avec = {p["t"].replace(second=0, microsecond=0) for p in poses}
print(f"\nPose de la caméra {quoi} : {len(poses)} recalages, {iso(poses[0]['t'])} → {iso(poses[-1]['t'])}")
suites = [] # [début, fin, nombre, rang] des instants de mesure consécutifs sans pose
for i, t in enumerate(instants):
if t.replace(second=0, microsecond=0) in avec:
continue
if suites and suites[-1][3] == i - 1:
suites[-1][1], suites[-1][2], suites[-1][3] = t, suites[-1][2] + 1, i
else:
suites.append([t, t, 1, i])
print(f"Instants de mesure sans pose (pas de recalage) : {sum(x[2] for x in suites)} sur {len(instants)}")
if debut or fin:
for a, b, n, _ in suites:
print(f" {suite(a, b, n)}")
def fenetre(par, debut, fin):
"""Pas absents et rejets datés sur la fenêtre debut/fin."""
instants = sorted({m["t"] for ms in par.values() for m in ms})
cadence = statistics.median(b - a for a, b in zip(instants, instants[1:]))
series = {s: {m["t"]: m for m in filtrer(ms, debut, fin)} for s, ms in par.items()}
dans = sorted({t for d in series.values() for t in d})
print(f"\nFenêtre {iso(dans[0])} → {iso(dans[-1])} : {len(dans)} instants présents")
noms = sorted(par, key=lambda s: (not est_reference(par[s]), s))
print(f"Pas absents pour tous les capteurs, entre deux instants présents (cadence de {cadence.total_seconds() / 60:.0f} min) :")
trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(dans, dans[1:])]
trous = [x for x in trous if x[2] > 0]
for a, b, n in trous:
print(f" entre {iso(a)} et {iso(b)} : {n}")
if not trous:
print(" (aucun)")
print("Instants présents où des capteurs n'ont pas de mesure :")
partiels = [(t, [s for s in noms if t not in series[s]]) for t in dans]
for t, manque in partiels:
if manque:
print(f" {iso(t)} : {len(manque)} capteurs : {','.join(manque)}")
if not any(m for _, m in partiels):
print(" (aucun)")
print("Mesures rejetées dans la fenêtre, par capteur (début → fin de chaque suite de pas consécutifs, nombre) :")
for s in noms:
rej = [t for t in sorted(series[s]) if rejetee(series[s][t])]
suites = []
for t in rej:
if suites and t - suites[-1][1] <= cadence * 1.5:
suites[-1][1], suites[-1][2] = t, suites[-1][2] + 1
else:
suites.append([t, t, 1])
if rej:
print(f" {s} ({len(rej)}) : " + "; ".join(suite(a, b, n) for a, b, n in suites))
if not any(rejetee(m) for d in series.values() for m in d.values()):
print(" (aucune)")
refs = [s for s in noms if est_reference(par[s])]
# inlier dit quelles références la compensation retient ; certains exports ne le remplissent pas (et parfois
# reproj_err seulement) : on prend alors reproj_err rempli, et le titre le dit.
col = next((c for c in ("inlier", "reproj_err") if any(m[c] is not None for s in refs for m in series[s].values())), None)
if col is None:
print("Références retenues par la compensation : colonnes inlier et reproj_err absentes ou vides.")
return
retenue = (lambda m: m["inlier"] == 1) if col == "inlier" else (lambda m: m["reproj_err"] is not None)
def marque(s, t):
m = series[s].get(t)
return "absente" if m is None else "r" if rejetee(m) else "vide" if m[col] is None else f"{m[col]:g}"
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or not retenue(series[s][t]))) for t in dans]
compte = collections.Counter(len(refs) - len(h) for _, h in hors)
quoi = "inlier = 1" if col == "inlier" else "inlier vide sur la fenêtre : reproj_err rempli à la place"
print(f"Références retenues par la compensation ({quoi}) sur {len(refs)}, nombre d'instants : "
+ ", ".join(f"{k} : {compte[k]}" for k in sorted(compte, reverse=True)))
print("Instants où des références ne sont pas retenues (suites de pas consécutifs avec les mêmes références hors ; "
f"r = rejetée, vide = {col} vide, sinon la valeur d'inlier) :")
suites = []
for i, (t, h) in enumerate(hors):
if h and suites and suites[-1][3] == h and suites[-1][4] == i - 1:
suites[-1][1], suites[-1][2], suites[-1][4] = t, suites[-1][2] + 1, i
elif h:
suites.append([t, t, 1, h, i])
for a, b, n, h, _ in suites:
print(f" {suite(a, b, n)} : {len(refs) - len(h)} retenues ; hors : "
+ ", ".join(f"{s} ({q})" for s, q in h))
if not suites:
print(" (aucun)")
def main(dossier, debut=None, fin=None, tout=False):
print(f"Dossier : {dossier}")
f = trouver(dossier)
fichiers(f, tout)
contenu(dossier, f, debut, fin)
images(f["images"], debut, fin)
par = charger(dossier)
mesures(par)
if par:
camera(dossier, par)
if par and (debut or fin):
fenetre(par, debut, fin)
camera(dossier, par, debut, fin)
if __name__ == "__main__":
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--fichiers", action="store_true", help="liste complète des fichiers (sinon : le premier et le dernier au-delà de 5)")
o = a.parse_args()
main(o.dossier, o.debut, o.fin, o.fichiers)
+333
View File
@@ -0,0 +1,333 @@
"""Ce qui revient d'un jour à l'autre : niveau de chaque nuit, et jours superposés par heure du jour, pour l'agent de diagnostic.
Usage : .venv/bin/python agent-tools/jours.py data/PS_DES_COUDRES/ [--colonnes corr_x,corr_y,error_value]
[--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--bornes [--lissage N] [--fraction F]]
[--debut ...] [--fin ...] [--sortie DOSSIER]
Mesures acceptées seulement : une mesure rejetée (error_value au-dessus du seuil) n'entre nulle part. Une « nuit » :
les heures --nuit H1-H2 (UTC, H1 inclus, H2 exclu, à cheval sur minuit si H1 > H2), datée du jour où elle commence ;
la nuit en cours au début de la fenêtre compte aussi (ses heures après minuit). Bruit propre du capteur : médiane des
écarts entre deux mesures consécutives sur la fenêtre. Pour chaque colonne de --colonnes :
1. Niveau de chaque nuit, par capteur : médiane, MAD et nombre de mesures ; puis, d'une nuit à la suivante, la
marche (différence des médianes, en unités et en bruits) et où elle se place : la suite des mesures de nuit des
deux nuits est coupée là où la somme des écarts absolus au niveau de la première nuit (avant) et de la seconde
(après) est la plus petite ; « entre A et B » : dernière mesure de nuit avant la coupure et première après (B en
début de nuit : la coupure tombe entre deux nuits, de jour).
2. Jours superposés : chaque mesure moins le niveau de la dernière nuit commencée à son instant (la précédente, ou
celle en cours ; sans elle, la nuit la plus proche). PNG « parheure-<colonne> » : un petit graphique par capteur,
en abscisse l'heure du jour (UTC), une courbe par jour, heures de nuit grisées, une échelle par capteur, cadrée du 1er au 99e centile élargi de moitié (le titre dit
combien de mesures sortent du cadre : un pic isolé n'écrase pas l'échelle ; sa valeur est dans les tables).
Table : par créneau de --pas de l'heure du jour, les capteurs dont l'écart dépasse --k bruits à ce créneau, du
même côté, au moins --jours jours différents, avec le nombre de ces jours sur le nombre de jours mesurés et la
médiane de ces écarts (signée, en unités et en bruits) ; un capteur au-dessus certains jours et au-dessous
d'autres est cité deux fois.
3. Avec --bornes : chaque jour face à la nuit qui le précède, pour la médiane des cibles de chaque colonne (avec
--capteurs : la médiane de ces capteurs, références comprises ; un seul capteur : le sien) et pour la pose de la
caméra (pan, tilt, rotation, scale, sigma0) si camera/ existe. Un « jour » : de la fin d'une nuit à la fin de la
suivante (24 h), daté du jour où il commence ; son niveau de référence est celui de la nuit qui vient de finir (sans
elle, la dernière nuit mesurée avant, ou au début du lot la première : nommée, « pas la précédente »). Écart de chaque mesure à ce niveau (médiane des cibles : à chaque
instant, médiane des écarts de chaque cible à son propre niveau de cette nuit) ; bruit : médiane des écarts entre
deux valeurs consécutives de cette suite. Par jour : nombre de mesures, première et dernière ; premier et dernier
instant où |écart| dépasse --k bruits, avec la mesure juste avant et juste après (au pas natif) ; le maximum et le
minimum signés et leur instant ; autour du plus grand des deux en valeur absolue, la suite de mesures consécutives
au-delà de --k bruits du même côté qui le contient, avec la mesure juste avant et juste après ; la nuit suivante
moins la nuit de référence. Un jour sans mesure le dit. Chaque ligne de jour commence par le nom court de la suite
(la colonne, ou pose_tilt…) : `| grep '^pose_tilt '` en garde une, `| grep ' 12/10 '` un jour. Avec --lissage N,
l'écart de chaque mesure est la médiane des N mesures du jour centrées sur elle (le bruit reste celui des mesures,
la figure trace aussi l'écart brut en gris) : un point isolé ne coupe plus la suite autour de l'extrême et ne fait
plus un premier ou un dernier dépassement. Avec --fraction F, le seuil de chaque jour est F fois le plus grand
|écart| de ce jour (au lieu de --k bruits ; il est imprimé sur la ligne du jour) : sur une suite très bruitée, ou
dont le bruit au pas natif est sans rapport avec l'ampleur du cycle. PNG
« bornes » : un panneau par suite, l'écart sur le lot, ±k bruits en pointillé, de chaque jour [premier, dernier]
grisé clair et la suite autour de l'extrême grisée foncé, le maximum et le minimum marqués ; cadré du 1er au 99e
centile élargi de moitié (le titre dit combien de mesures sortent du cadre).
Rend des valeurs, pas de verdict.
"""
import argparse
import math
import os
import statistics
import sys
from datetime import datetime, timedelta, timezone
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import COLONNES, RACINE, borne # noqa: E402
from resume import ARRONDI, bruit_propre, duree # noqa: E402
def heures(texte):
"""'20-3' -> (20, 3)."""
try:
h1, h2 = (int(x) for x in texte.split("-"))
except ValueError:
raise argparse.ArgumentTypeError(f"heures invalides : {texte!r} (ex. 20-3)")
return h1, h2
def de_nuit(t, h1, h2):
return (h1 <= t.hour or t.hour < h2) if h1 > h2 else h1 <= t.hour < h2
def coupure(pts, la, lb):
"""Indice j (1..n-1) où sum|v-la| avant j + sum|v-lb| à partir de j est le plus petit."""
avant, apres = 0.0, sum(abs(v - lb) for _, v in pts)
meilleur = None
for j in range(1, len(pts)):
v = pts[j - 1][1]
avant += abs(v - la)
apres -= abs(v - lb)
if meilleur is None or avant + apres < meilleur[0]:
meilleur = (avant + apres, j)
return meilleur[1]
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonnes", default="corr_x,corr_y,error_value")
a.add_argument("--nuit", default="20-3", type=heures, help="heures de nuit H1-H2, UTC (défaut 20-3)")
a.add_argument("--k", type=float, default=5, help="écart au niveau de la nuit compté, en bruits propres du capteur")
a.add_argument("--jours", type=int, default=2, help="nombre de jours à partir duquel un capteur est cité à un créneau")
a.add_argument("--pas", default="15min", type=duree, help="largeur des créneaux de l'heure du jour (défaut 15min)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--bornes", action="store_true", help="ajoute, jour par jour, les bornes de l'écart au niveau de la nuit précédente")
a.add_argument("--lissage", type=int, default=1, metavar="N", help="--bornes : écart lissé par la médiane de N mesures centrées (défaut 1 : aucun)")
a.add_argument("--fraction", type=float, metavar="F", help="--bornes : seuil de chaque jour = F fois son plus grand |écart| (au lieu de --k bruits)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG")
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
series = {s: [m for m in filtrer(par[s], o.debut, o.fin) if not rejetee(m)] for s in noms}
if not any(series.values()):
sys.exit("Aucune mesure acceptée dans la fenêtre demandée.")
h1, h2 = o.nuit
pas = int(o.pas.total_seconds() // 60)
station = os.path.basename(os.path.normpath(o.dossier))
os.makedirs(o.sortie, exist_ok=True)
lignes = math.ceil(len(noms) / 5)
for col in colonnes:
print(f"\n== {col} : niveau de chaque nuit ({h1} h → {h2} h UTC), médiane ±MAD (mesures) ; marches d'une nuit à la suivante ==")
creneaux = {} # minute du jour -> {(capteur, au-dessus): {jour: écart}}
bruits = {}
fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False)
for ax, s in zip(axes.flat, noms):
ms = [(m["t"], m[col]) for m in series[s] if m[col] is not None]
if len(ms) < 2:
print(f"{s:9}(moins de 2 valeurs acceptées)")
ax.axis("off")
continue
bruit = bruits[s] = bruit_propre([v for _, v in ms])
nuits = {}
for t, v in ms:
if de_nuit(t, h1, h2):
nuits.setdefault((t - timedelta(hours=h1)).date(), []).append((t, v))
niv = {d: statistics.median(v for _, v in p) for d, p in nuits.items()}
cases = []
for d in sorted(nuits):
vs = [v for _, v in nuits[d]]
cases.append(f"{d:%d/%m} {niv[d]:+.6g} ±{statistics.median(abs(v - niv[d]) for v in vs):.2g} ({len(vs)})")
print(f"{s:9}bruit {bruit:.3g} | " + (" | ".join(cases) if cases else "aucune mesure de nuit"))
jours = sorted(nuits)
for da, db in zip(jours, jours[1:]):
pts = nuits[da] + nuits[db]
j = coupure(pts, niv[da], niv[db])
d = niv[db] - niv[da]
enb = f"{d / bruit:+.1f}" if bruit else "-"
print(f"{'':9}{da:%d/%m} → {db:%d/%m} : {d:+.4g} ({enb} bruits), entre {iso(pts[j - 1][0])} et {iso(pts[j][0])}")
def niveau_de(t):
d = (t - timedelta(hours=h1)).date()
if d in niv:
return niv[d]
return niv[min(niv, key=lambda x: abs((x - d).days))] if niv else statistics.median(v for _, v in ms)
par_jour = {}
for t, v in ms:
e = v - niveau_de(t)
par_jour.setdefault(t.date(), []).append((t.hour + t.minute / 60, e))
if bruit and abs(e) > o.k * bruit:
c = (t.hour * 60 + t.minute) // pas * pas
creneaux.setdefault(c, {}).setdefault((s, e > 0), {})[t.date()] = e
for i, (d, p) in enumerate(sorted(par_jour.items())):
ax.plot([x for x, _ in p], [e for _, e in p], "-", lw=0.8, color=f"C{i % 10}", label=f"{d:%d/%m}")
ax.axhline(0, color="0.3", ls=":", lw=0.8)
tous = sorted(e for p in par_jour.values() for _, e in p)
q1, q2 = tous[len(tous) // 100], tous[-1 - len(tous) // 100] # cadre du 1er au 99e centile : un pic isolé n'écrase pas l'échelle
marge = (q2 - q1) * 0.5 or 1
ax.set_ylim(q1 - marge, q2 + marge)
hors_cadre = sum(not q1 - marge <= e <= q2 + marge for e in tous)
for x0, x1 in ((h1, 24), (0, h2)) if h1 > h2 else ((h1, h2),):
ax.axvspan(x0, x1, color="0.9", lw=0)
ax.set_title(s + (" (réf.)" if est_reference(series[s]) else "") + f" bruit {bruit:.2g}"
+ (f" ({hors_cadre} hors cadre)" if hors_cadre else ""), fontsize=9)
ax.set_xlim(0, 24)
ax.set_xticks(range(0, 25, 3))
ax.grid(alpha=0.3)
ax.tick_params(labelsize=7)
if ax is axes.flat[0]:
ax.legend(fontsize=6, ncol=2)
for ax in list(axes.flat)[len(noms):]:
ax.axis("off")
fig.suptitle(f"{station} : {col} moins le niveau de la dernière nuit ({h1} h → {h2} h, grisée), "
"une courbe par jour, en abscisse l'heure du jour (UTC) ; une échelle par capteur")
fig.tight_layout()
chemin = os.path.join(o.sortie, f"{station}_parheure-{col}_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
plt.close(fig)
print(chemin)
nb_jours = {s: {} for s in noms} # capteur -> créneau -> jours mesurés
for s in noms:
for m in series[s]:
if m[col] is not None:
nb_jours[s].setdefault((m["t"].hour * 60 + m["t"].minute) // pas * pas, set()).add(m["t"].date())
print(f"\n{col} : par créneau de {pas} min de l'heure du jour, capteurs à plus de {o.k:g} bruits du niveau de la nuit "
f"au moins {o.jours} jours (jours / jours mesurés, médiane de ces écarts, en bruits)")
vide = True
for c in sorted(creneaux):
cites = []
for s, haut in ((s, h) for s in noms for h in (True, False)):
ec = creneaux[c].get((s, haut), {})
if len(ec) >= o.jours:
med = statistics.median(ec.values())
cites.append(f"{s} {len(ec)}/{len(nb_jours[s].get(c, ()))} {med:+.3g} ({med / bruits[s]:+.1f})")
if cites:
vide = False
print(f"{c // 60:02d}:{c % 60:02d} {len(cites):2} capteurs : " + ", ".join(cites))
if vide:
print("(aucun)")
if o.bornes:
bornes(o, noms, series, colonnes, station)
def niveaux_de_nuit(pts, h1, h2):
"""[(t, v)] -> {date de la nuit: médiane}."""
nuits = {}
for t, v in pts:
if de_nuit(t, h1, h2):
nuits.setdefault((t - timedelta(hours=h1)).date(), []).append(v)
return {d: statistics.median(v) for d, v in nuits.items()}
def bornes(o, noms, series, colonnes, station):
"""Section 3 : par jour, l'écart au niveau de la nuit qui le précède, pour la médiane des cibles et la pose."""
h1, h2 = o.nuit
duree_nuit = timedelta(hours=(h2 - h1) % 24)
choisis = noms if o.capteurs else [s for s in noms if series[s] and not est_reference(series[s])] or noms
suites = [(f"{col} médiane de {len(choisis)} capteur(s)" if len(choisis) > 1 else f"{col} {choisis[0]}", col,
{s: [(m["t"], m[col]) for m in series[s] if m[col] is not None] for s in choisis}) for col in colonnes]
poses = filtrer(charger_camera(o.dossier), o.debut, o.fin)
suites += [(f"pose {c}", f"pose_{c}", {c: [(p["t"], p[c]) for p in poses if p[c] is not None]}) for c in POSE
if any(p[c] is not None for p in poses)]
tous = [t for _, _, d in suites for p in d.values() for t, _ in p]
t0, t1 = min(tous), max(tous)
nuit_de = lambda t: (t - duree_nuit - timedelta(hours=h1)).date() # nuit qui finit avant t (le jour de t commence à sa fin)
jours = [nuit_de(t0) + timedelta(days=i) for i in range((nuit_de(t1) - nuit_de(t0)).days + 1)]
hm = lambda t: f"{t:%d/%m %H:%M}"
seuil_txt = f"seuil {o.fraction:g} fois le plus grand |écart| du jour" if o.fraction else f"seuil {o.k:g} bruits"
print(f"\n== Bornes de chaque jour : écart au niveau de la nuit qui le précède ({h1} h → {h2} h UTC), {seuil_txt}"
+ (f", écart lissé sur {o.lissage} mesures" if o.lissage > 1 else "") + " ==")
print("jour : de la fin d'une nuit à la fin de la suivante, daté de son début ; « avant », « après » : mesure juste avant le premier "
"dépassement, juste après le dernier ; nuit suivante : son niveau moins celui de la nuit de référence")
fig, axes = plt.subplots(len(suites), 1, sharex=True, figsize=(18, 2.2 * len(suites)), squeeze=False)
for ax, (nom, court, par_capteur) in zip(axes.flat, suites):
niv = {s: niveaux_de_nuit(p, h1, h2) for s, p in par_capteur.items()}
nuits = sorted({d for n in niv.values() for d in n})
ecarts = [] # (jour, nuit de réf., [(t, écart)], écart de la nuit suivante)
for d in jours:
debut = datetime.combine(d, datetime.min.time(), tzinfo=timezone.utc) + timedelta(hours=h1) + duree_nuit
fin = debut + timedelta(days=1)
ref = max((n for n in nuits if n <= d), default=None) or (min(nuits) if nuits else None)
par_t = {}
for s, p in par_capteur.items():
if ref in niv[s]:
for t, v in p:
if debut <= t < fin:
par_t.setdefault(t, []).append(v - niv[s][ref])
suivante = [niv[s][d + timedelta(days=1)] - niv[s][ref] for s in niv if ref in niv[s] and d + timedelta(days=1) in niv[s]]
ecarts.append((debut.date(), d, ref, [(t, statistics.median(e)) for t, e in sorted(par_t.items())],
statistics.median(suivante) if suivante else None))
diffs = [abs(b[1] - a_[1]) for *_, p, _ in ecarts for a_, b in zip(p, p[1:])]
bruit = statistics.median(diffs) if diffs else 0
bruit = bruit if bruit >= ARRONDI else 0
print(f"\n{nom} : bruit {bruit:.3g}")
enb = lambda e: f"{e:+.4g} ({e / bruit:+.1f})" if bruit else f"{e:+.4g}"
h = o.lissage // 2
for jour, d, ref, brut, suiv in ecarts:
if not brut:
print(f"{court} {jour:%d/%m} aucune mesure" + ("" if nuits else " de nuit"))
continue
p = [(t, statistics.median(e for _, e in brut[max(0, i - h):i + h + 1])) for i, (t, _) in enumerate(brut)] if h else brut
seuil = o.fraction * max(abs(e) for _, e in p) if o.fraction else o.k * bruit
ligne = (f"{court} {jour:%d/%m} nuit {ref:%d/%m}" + (" (pas la précédente)" if ref != d else "") + f" | {len(p)} mesures {hm(p[0][0])} → {hm(p[-1][0])} | "
+ (f"seuil {seuil:.4g} | " if o.fraction else ""))
hors = [i for i, (_, e) in enumerate(p) if seuil and abs(e) > seuil]
if hors:
i, j = hors[0], hors[-1]
ligne += (f"> {'seuil' if o.fraction else f'{o.k:g} bruits'} : {len(hors)} mesures, de {hm(p[i][0])} (avant {hm(p[i - 1][0]) if i else '-'}) "
f"à {hm(p[j][0])} (après {hm(p[j + 1][0]) if j + 1 < len(p) else '-'})")
ax.axvspan(p[i][0], p[j][0], color="0.85", lw=0)
else:
ligne += f"jamais > {'seuil' if o.fraction else f'{o.k:g} bruits'}"
haut, bas = max(p, key=lambda x: x[1]), min(p, key=lambda x: x[1])
ligne += f" | max {enb(haut[1])} à {hm(haut[0])}, min {enb(bas[1])} à {hm(bas[0])}"
x = max(range(len(p)), key=lambda i: abs(p[i][1]))
signe = 1 if p[x][1] > 0 else -1
if seuil and signe * p[x][1] > seuil:
i = j = x
while i > 0 and signe * p[i - 1][1] > seuil:
i -= 1
while j + 1 < len(p) and signe * p[j + 1][1] > seuil:
j += 1
ligne += (f" | autour du {'max' if signe > 0 else 'min'} : {j - i + 1} mesures, de {hm(p[i][0])} (avant {hm(p[i - 1][0]) if i else '-'}) "
f"à {hm(p[j][0])} (après {hm(p[j + 1][0]) if j + 1 < len(p) else '-'})")
ax.axvspan(p[i][0], p[j][0], color="0.7", lw=0)
ligne += f" | nuit suivante {enb(suiv)}" if suiv is not None else " | nuit suivante non mesurée"
print(ligne)
if h:
ax.plot([t for t, _ in brut], [e for _, e in brut], "-", lw=0.5, color="0.6")
ax.plot([t for t, _ in p], [e for _, e in p], "-", lw=0.8, color="C0")
ax.plot([haut[0], bas[0]], [haut[1], bas[1]], "o", ms=3, color="C3")
if bruit and not o.fraction:
for y in (o.k * bruit, -o.k * bruit):
ax.axhline(y, color="0.4", ls=":", lw=0.8)
ax.axhline(0, color="0.3", lw=0.5)
tous_e = sorted(e for *_, p, _ in ecarts for _, e in p)
hors_cadre = 0
if tous_e: # cadre du 1er au 99e centile élargi de moitié, comme parheure : un pic isolé n'écrase pas l'échelle
q1, q2 = tous_e[len(tous_e) // 100], tous_e[-1 - len(tous_e) // 100]
marge = (q2 - q1) * 0.5 or 1
ax.set_ylim(q1 - marge, q2 + marge)
hors_cadre = sum(not q1 - marge <= e <= q2 + marge for e in tous_e)
ax.set_title(f"{nom} bruit {bruit:.2g}" + (f" ({hors_cadre} hors cadre)" if hors_cadre else ""), fontsize=9)
ax.grid(alpha=0.3)
ax.tick_params(labelsize=7)
fig.suptitle(f"{station} : écart au niveau de la nuit qui précède chaque jour ({h1} h → {h2} h) ; "
f"grisé clair : du premier au dernier dépassement {'du seuil (' + seuil_txt + ')' if o.fraction else f'de {o.k:g} bruits'}, foncé : la suite autour de l'extrême ; points : max et min du jour"
+ (f" ; écart lissé sur {o.lissage} mesures (bleu), brut (gris)" if o.lissage > 1 else ""))
fig.tight_layout()
chemin = os.path.join(o.sortie, f"{station}_bornes_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
plt.close(fig)
print(chemin)
if __name__ == "__main__":
main()
+264
View File
@@ -0,0 +1,264 @@
"""Métriques système de la station (metrics/ : températures, tension, batterie, lien…), en table et en figure,
face à la médiane des cibles de corr_x, corr_y et à la pose de la caméra.
Usage : .venv/bin/python agent-tools/metriques.py data/PS_DES_COUDRES/
[--noms sensor_A0_deg_c,BusVoltage] [--pas 1h] [--stat median|min|max] [--contre temperature] [--lissage 24h]
[--metriques-seules] [--debut ...] [--fin ...] [--sortie DOSSIER]
Colonnes : `temperature` (médiane des composants sensor_*_deg_c à chaque heure, comme la lisent les détecteurs,
donnees.charger_temperature), puis chaque métrique de --noms (défaut : les *_deg_c et BusVoltage présents), puis,
sauf --metriques-seules, cib_corr_x, cib_corr_y (à chaque mesure, médiane sur les cibles de corr moins le niveau
propre de la cible, sa médiane sur la fenêtre ; mesures acceptées seulement) et la pose brute de la caméra (cam_pan,
cam_tilt, cam_rotation, cam_scale, cam_sigma0). Une case vide d'un CSV de metrics/ est sautée, pas lue comme zéro.
Une métrique texte (BatteryState, link, last_sync…) est rendue telle quelle (la dernière du pas).
Jamais d'identifiant : SIM_CCID et ip* ne sont ni lus ni listés.
Imprime : les métriques disponibles ; la table, une ligne par pas de --pas (début du pas, UTC ; --stat des valeurs du
pas ; « - » : aucune valeur), les pas où aucune métrique n'a de valeur n'y sont pas ; par colonne, le nombre de pas
remplis, le minimum et le maximum avec leur instant ; la corrélation r et la pente (moindres carrés, sur les pas où
les deux ont une valeur) de chaque colonne numérique sur --contre (défaut temperature ; avec --lissage D, sur sa
moyenne glissante centrée sur D, colonne <contre>_lisse) ; les suites datées de pas sans aucune métrique.
Un PNG, chemin imprimé : températures sur un panneau, chaque autre métrique numérique sur le sien, puis cib_corr_x,
cib_corr_y et la pose, aux instants natifs (trait coupé sur un trou). Rend des valeurs, pas de verdict.
"""
import argparse
import csv
import glob
import os
import statistics
import sys
from datetime import date, timedelta
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso # noqa: E402
from graphique import RACINE, borne # noqa: E402
from inventaire import METRIQUE_RE # noqa: E402
from resume import STATS, duree # noqa: E402
def identifiant(nom):
"""Métrique qui porte un identifiant (carte SIM, adresses IP) : jamais lue."""
return nom == "SIM_CCID" or nom.startswith("ip")
def valeur(texte):
v = texte.strip().strip("[]").strip("'\"")
try:
return float(v)
except ValueError:
return v or None
def lire_metriques(dossier, debut, fin):
"""metrics/ -> {nom: [{'t', 'v'}]} triées, sur la fenêtre ; v float ou texte ; case vide sautée ; nom sans valeur : []."""
prefixe = os.path.basename(os.path.normpath(dossier)) + "_"
par = {}
for p in glob.glob(os.path.join(dossier, "metrics", "*.csv")):
m = METRIQUE_RE.match(os.path.basename(p))
if not m:
continue
nom = m.group(1)
nom = nom[len(prefixe):] if nom.startswith(prefixe) else nom.split("_", 1)[-1]
if identifiant(nom):
continue
jour = date(*map(int, m.group(2, 3, 4)))
serie = par.setdefault(nom, {})
if (debut and jour < debut.date() - timedelta(days=1)) or (fin and jour > fin.date()):
continue
with open(p, newline="") as f:
for r in csv.DictReader(f):
if (v := valeur(r.get("metric") or "")) is not None:
serie[instant(r["time_utc"])] = v
return {n: filtrer([{"t": t, "v": s[t]} for t in sorted(s)], debut, fin) for n, s in par.items()}
def cibles(par, col, debut, fin):
"""À chaque mesure, médiane sur les cibles de col moins le niveau propre de la cible (médiane sur la fenêtre)."""
ecarts = {}
for s, ms in par.items():
if est_reference(ms):
continue
ms = [m for m in filtrer(ms, debut, fin) if m[col] is not None]
if ms:
niveau = statistics.median(m[col] for m in ms)
for m in ms:
ecarts.setdefault(m["t"], []).append(m[col] - niveau)
return [{"t": t, "v": statistics.median(v)} for t, v in sorted(ecarts.items())]
def lisser(serie, largeur):
"""Moyenne glissante centrée sur largeur (valeurs numériques)."""
pts = [p for p in serie if isinstance(p["v"], float)]
# ponytail: O(n²), assez pour des métriques horaires sur quelques semaines
return [{"t": p["t"], "v": statistics.fmean(q["v"] for q in pts if abs(q["t"] - p["t"]) <= largeur / 2)} for p in pts]
def fmt(v):
return "-" if v is None else f"{v:.6g}" if isinstance(v, float) else str(v)
def suites(pas_vides, pas):
"""[t] triés -> [(début, fin, n)] de pas consécutifs."""
out = []
for t in pas_vides:
if out and t - out[-1][1] == pas:
out[-1] = (out[-1][0], t, out[-1][2] + 1)
else:
out.append((t, t, 1))
return out
def coupe(serie):
"""Instants et valeurs numériques, NaN inséré sur un écart de plus de 1,5 fois le pas habituel (le trait se coupe)."""
pts = [(p["t"], p["v"]) for p in serie if isinstance(p["v"], float)]
if len(pts) < 3:
return [t for t, _ in pts], [v for _, v in pts]
pas = statistics.median(b[0] - a[0] for a, b in zip(pts, pts[1:]))
ts, vs = [pts[0][0]], [pts[0][1]]
for (a, _), (b, v) in zip(pts, pts[1:]):
if b - a > 1.5 * pas:
ts.append(a + (b - a) / 2)
vs.append(float("nan"))
ts.append(b)
vs.append(v)
return ts, vs
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--noms", help="métriques, séparées par des virgules (défaut : les *_deg_c et BusVoltage présents)")
a.add_argument("--pas", default="1h")
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--contre", default="temperature", help="colonne sur laquelle r et la pente sont calculés")
a.add_argument("--lissage", type=duree, help="moyenne glissante centrée de --contre, ex. 24h")
a.add_argument("--metriques-seules", action="store_true", help="sans cib_corr_x, cib_corr_y ni la pose")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
pas = duree(o.pas)
met = lire_metriques(o.dossier, o.debut, o.fin)
if not met:
print(f"Pas de metrics/ dans {o.dossier}.")
else:
print("Métriques disponibles (valeurs sur la fenêtre ; identifiants SIM_CCID, ip* exclus) : "
+ ", ".join(f"{n} ({len(s)})" if s else f"{n} (vide)" for n, s in sorted(met.items())))
if o.noms:
noms = o.noms.split(",")
if interdits := [n for n in noms if identifiant(n)]:
sys.exit(f"Identifiants, jamais lus : {', '.join(interdits)}.")
if absents := [n for n in noms if n not in met]:
sys.exit(f"Métriques inconnues : {', '.join(absents)}. Connues : {', '.join(sorted(met))}.")
else:
noms = sorted(n for n in met if n.endswith("_deg_c")) + [n for n in ("BusVoltage",) if n in met]
series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(o.dossier)], o.debut, o.fin)}
series.update({n: met[n] for n in noms})
if o.lissage:
if o.contre not in series:
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
series[o.contre + "_lisse"] = lisser(series[o.contre], o.lissage)
metriques = list(series)
if not o.metriques_seules:
par = charger(o.dossier)
for c in ("corr_x", "corr_y"):
series["cib_" + c] = cibles(par, c, o.debut, o.fin)
poses = filtrer(charger_camera(o.dossier), o.debut, o.fin)
for c in POSE:
series["cam_" + c] = [{"t": p["t"], "v": p[c]} for p in poses if p[c] is not None]
reference = o.contre + "_lisse" if o.lissage else o.contre
if reference not in series:
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
tous = [p["t"] for s in series.values() for p in s]
if not tous:
sys.exit("Aucune valeur dans la fenêtre demandée.")
t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0)
t1 = o.fin or max(tous)
cases = {} # colonne -> début du pas -> valeurs
for c, s in series.items():
for p in s:
cases.setdefault(c, {}).setdefault(t0 + ((p["t"] - t0) // pas) * pas, []).append(p["v"])
stat = STATS[o.stat]
table = {c: {k: (stat(v) if all(isinstance(x, float) for x in v) else v[-1]) for k, v in d.items()}
for c, d in cases.items()}
grille = [t0 + i * pas for i in range(int((t1 - t0) / pas) + 1)]
colonnes = list(series)
print(f"\n{o.stat} par pas de {o.pas} (début du pas, UTC) ; « - » : aucune valeur ; cib_ : écart au niveau propre des cibles")
print("\t".join(["heure"] + colonnes))
for k in grille:
ligne = [table.get(c, {}).get(k) for c in colonnes]
if any(v is not None for v in ligne):
print("\t".join([iso(k)] + [fmt(v) for v in ligne]))
print(f"\nPar colonne ({len(grille)} pas) :")
for c in colonnes:
d = table.get(c, {})
nums = [(v, k) for k, v in d.items() if isinstance(v, float)]
if not d:
print(f" {c} : vide")
elif nums:
(vmin, kmin), (vmax, kmax) = min(nums), max(nums)
print(f" {c} : {len(d)} pas ; min {fmt(vmin)} ({iso(kmin)}) ; max {fmt(vmax)} ({iso(kmax)})")
else:
ks = sorted(d)
print(f" {c} : {len(d)} pas, texte ; {len(set(d.values()))} valeurs distinctes ; "
f"première {d[ks[0]]} ({iso(ks[0])}) ; dernière {d[ks[-1]]} ({iso(ks[-1])})")
ref = table.get(reference, {})
print(f"\nCorrélation r et pente sur {reference} (par pas où les deux ont une valeur) :")
if not any(isinstance(v, float) for v in ref.values()):
print(f" {reference} vide : aucune")
for c in colonnes:
if c == reference or not ref or not any(isinstance(v, float) for v in table.get(c, {}).values()):
continue
paires = [(ref[k], v) for k, v in table.get(c, {}).items()
if isinstance(v, float) and isinstance(ref.get(k), float)]
try:
r = statistics.correlation(*zip(*paires))
pente = statistics.linear_regression(*zip(*paires)).slope
print(f" {c} : r = {r:+.2f} ; pente = {pente:.4g} par unité de {reference} ; n = {len(paires)}")
except (statistics.StatisticsError, TypeError, ValueError):
print(f" {c} : - (n = {len(paires)})")
vides = [k for k in grille if all(k not in table.get(c, {}) for c in metriques)]
print(f"\nPas sans aucune métrique ({', '.join(metriques)}) : {len(vides)} sur {len(grille)}")
for d, f, n in suites(vides, pas):
print(f" {iso(d)} → {iso(f)} ({n} pas)")
panneaux = {} # titre -> colonnes
for c in colonnes:
if any(isinstance(p["v"], float) for p in series[c]):
cle = "°C" if c.startswith("temperature") or "_deg_c" in c else c
panneaux.setdefault(cle, []).append(c)
if not panneaux:
print("\nRien à tracer.")
return
fig, axes = plt.subplots(len(panneaux), 1, sharex=True, figsize=(14, 2.4 * len(panneaux)), squeeze=False,
layout="constrained")
for ax, (titre, cols) in zip(axes[:, 0], panneaux.items()):
for c in cols:
noir = c in ("temperature", reference)
ax.plot(*coupe(series[c]), ".-", ms=2, lw=1.4 if noir else 0.7, label=c, zorder=3 if noir else 2,
color="k" if c == "temperature" else None)
if len(cols) > 1:
ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
ax.set_ylabel(titre if titre == "°C" else titre.replace("_", "_\n", 1), fontsize=8)
ax.grid(alpha=0.3)
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
station = os.path.basename(os.path.normpath(o.dossier))
fig.suptitle(f"{station} : métriques, cibles et pose (heures UTC)")
os.makedirs(o.sortie, exist_ok=True)
sortie = os.path.join(o.sortie, f"{station}_metriques_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(sortie, dpi=100, bbox_inches="tight")
print(f"\n{sortie}")
if __name__ == "__main__":
main()
+156
View File
@@ -0,0 +1,156 @@
"""Plages datées par capteur et par colonne, au pas natif des mesures, pour l'agent de diagnostic.
Usage : python3 agent-tools/plages.py data/PS_DES_COUDRES/ [--colonnes error_value,corr_x,corr_y]
[--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--glissant N|DUREE] [--instants N]
[--capteurs A,B] [--debut ...] [--fin ...]
Pour chaque colonne, chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane des
valeurs non vides ; avec --hors T1/T2, celle du reste de la fenêtre, hors du moment lu : utile quand un épisode
long fausse la médiane) et à son bruit propre (médiane des écarts entre deux mesures consécutives non vides, hors --hors).
1. Un tableau par colonne : niveau, bruit, et le plus grand saut d'une mesure à la suivante (valeur, en bruits,
les deux instants).
2. Les plages où la colonne s'écarte de son niveau de plus de --k bruits : début et fin (première et dernière
mesure hors niveau), nombre de mesures hors niveau, valeur extrême (écart signé au niveau, en unités et en
bruits) et son instant. Deux plages du même sens séparées de moins de --fusion (défaut 1h) n'en font qu'une
(un écart vers le bas puis vers le haut font deux plages) ; les mesures rejetées (colonne vide) ne coupent pas
une plage. Colonne « rejetées » : combien des mesures de la plage sont rejetées par la station (error_value
au-dessus du seuil), et « extrême rejetée » si l'extrême l'est ; un saut dont un bout est rejeté le dit.
corr_x, corr_y d'une mesure rejetée sont vides, références comprises (donnees.charger). Une plage qui touche le bord de la fenêtre est datée au
bord (le niveau est celui de la fenêtre : un palier durable peut faire de l'autre moitié la « plage »).
Avec --min-mesures N, seules les plages d'au moins N mesures hors niveau sont imprimées (leur nombre total aussi).
Avec --glissant N (un entier : N mesures non vides de part et d'autre) ou --glissant DUREE (6h, 1d : les mesures
à moins de DUREE avant et après), le niveau de chaque mesure est la médiane de ses voisines, sans elle (niveau
local) : une dérive longue ou un palier suivent le niveau, seuls restent les écarts plus brefs que la fenêtre.
La colonne « niveau » du tableau 1 reste la médiane de la fenêtre ; le bruit ne change pas.
3. Avec --instants N : les instants où au moins N capteurs sont hors niveau (sur l'une des colonnes), avec, pour
chacun, les capteurs et l'écart en bruits (cx corr_x, cy corr_y, ev error_value, sinon le nom de la colonne),
les capteurs rejetés à cet instant (parmi --capteurs : en retirer les capteurs toujours rejetés allège la liste),
et chaque référence de la station, --capteurs ou non : error_value (« r » si rejetée) / inlier (« - » vide).
Chaque colonne est lue aux mesures, jamais moyennée par pas. Rend des valeurs, pas de verdict.
"""
import argparse
import bisect
import statistics
import sys
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
from resume import COLONNES, bruit_propre, duree
ABREGE = {"corr_x": "cx", "corr_y": "cy", "error_value": "ev"}
def locaux(ms, g):
"""Niveau local de chaque mesure (t, v) : médiane des voisines non vides, sans elle ; g entier (mesures de part et
d'autre) ou timedelta (mesures à moins de g) ; None sans voisine."""
ts, vs = [t for t, _ in ms], [v for _, v in ms]
out = []
for i, t in enumerate(ts):
lo, hi = (max(0, i - g), i + g + 1) if isinstance(g, int) else (bisect.bisect_left(ts, t - g), bisect.bisect_right(ts, t + g))
w = vs[lo:i] + vs[i + 1:hi]
out.append(statistics.median(w) if w else None)
return out
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonnes", default="error_value,corr_x,corr_y")
a.add_argument("--k", type=float, default=5, help="écart au niveau compté, en bruits propres du capteur")
a.add_argument("--fusion", default="1h", type=duree, help="deux plages séparées de moins que cela n'en font qu'une")
a.add_argument("--min-mesures", type=int, default=1, help="n'imprime que les plages d'au moins N mesures hors niveau")
a.add_argument("--hors", help="T1/T2 : niveau et bruit se calculent hors de ce moment (les plages se cherchent partout)")
a.add_argument("--glissant", type=lambda x: int(x) if x.isdigit() else duree(x),
help="N (mesures de part et d'autre) ou durée (6h, 1d) : niveau local, médiane des voisines sans la mesure")
a.add_argument("--instants", type=int, help="N : instants où au moins N capteurs sont hors niveau, avec rejets et références")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
hors = tuple(instant(x) for x in o.hors.split("/")) if o.hors else None
if hors and len(hors) != 2:
sys.exit("--hors attend T1/T2.")
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
series = {s: filtrer(par[s], o.debut, o.fin) for s in noms}
if not any(series.values()):
sys.exit("Aucune mesure dans la fenêtre demandée.")
glis = (f"{o.glissant} mesures" if isinstance(o.glissant, int) else f"{int(o.glissant.total_seconds() // 60)} min") if o.glissant is not None else ""
par_instant = {} # iso(t) -> ["capteur.col+écart"] (--instants)
for col in colonnes:
print(f"\n== {col} : niveau, bruit, plus grand saut d'une mesure à la suivante ==")
print(f"{'capteur':9}{'n':>5}{'niveau':>10}{'bruit':>10}{'saut':>10}{'(bruits)':>9} entre")
plages = []
for s in noms:
ms = [(m["t"], m[col]) for m in series[s] if m[col] is not None]
rej = {m["t"] for m in series[s] if rejetee(m)}
if len(ms) < 2:
print(f"{s:9}{len(ms):5} (moins de 2 valeurs)")
continue
ref = [x for x in ms if not hors or not hors[0] <= x[0] <= hors[1]]
if len(ref) < 2:
print(f"{s:9}{len(ms):5} (moins de 2 valeurs hors --hors)")
continue
niv = statistics.median(v for _, v in ref)
sauts = [(b[1] - a_[1], a_[0], b[0]) for a_, b in zip(ms, ms[1:])]
bruit = bruit_propre([v for _, v in ref])
d, t1, t2 = max(sauts, key=lambda x: abs(x[0]))
bru = f"{d / bruit:9.1f}" if bruit else f"{'-':>9}"
marque = [iso(x) for x in (t1, t2) if x in rej]
print(f"{s:9}{len(ms):5}{niv:10.4g}{bruit:10.3g}{d:+10.4g}{bru} {iso(t1)} et {iso(t2)}"
+ (f" (rejetée : {', '.join(marque)})" if marque else ""))
if not bruit:
continue
lv = locaux(ms, o.glissant) if o.glissant is not None else [niv] * len(ms)
groupe = [] # (t, écart au niveau)
for (t, v), n in zip(ms + [(None, 0)], lv + [None]):
if t is not None and n is not None and abs(v - n) > o.k * bruit:
if groupe and (t - groupe[-1][0] > o.fusion or (v > n) != (groupe[-1][1] > 0)): # même sens seul
plages.append((s, groupe, bruit, rej))
groupe = []
groupe.append((t, v - n))
par_instant.setdefault(iso(t), {}).setdefault(s, []).append(f"{ABREGE.get(col, col)}{(v - n) / bruit:+.0f}")
elif t is None and groupe:
plages.append((s, groupe, bruit, rej))
toutes = len(plages)
plages = [p for p in plages if len(p[1]) >= o.min_mesures]
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' glissant ±' + glis + ' (médiane des voisines)' if glis else ''}{' (niveau hors ' + o.hors + ')' if hors and not glis else ''}{' (bruit hors ' + o.hors + ')' if hors and glis else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)"
+ (f" ; {len(plages)} d'au moins {o.min_mesures} mesures sur {toutes}" if o.min_mesures > 1 else ""))
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} {'à':<17}{'rejetées':>9}")
for s, g, bruit, rej in plages:
t, d = max(g, key=lambda x: abs(x[1]))
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{d:+10.4g}{d / bruit:9.1f} {iso(t):<17}"
f"{sum(x[0] in rej for x in g):9}{' extrême rejetée' if t in rej else ''}")
if not plages:
print("(aucune)")
if o.instants is not None:
refs = sorted(s for s in par if est_reference(par[s]))
rej_t, ref_t = {}, {s: {} for s in refs}
for s in set(noms) | set(refs):
for m in filtrer(par[s], o.debut, o.fin):
if rejetee(m) and s in noms:
rej_t.setdefault(iso(m["t"]), []).append(s)
if s in ref_t:
ref_t[s][iso(m["t"])] = m
f = lambda v, fmt: "-" if v is None else format(v, fmt)
lignes = [(t, c) for t, c in sorted(par_instant.items()) if len(c) >= o.instants]
print(f"\nInstants où au moins {o.instants} capteurs sont à plus de {o.k:g} bruits du niveau{' glissant ±' + glis if glis else ''} "
f"({', '.join(colonnes)}) : {len(lignes)} sur {len(par_instant)} instants avec au moins un capteur hors niveau")
print("instant n capteurs hors niveau (écart en bruits) | rejetés | références : error_value (r rejetée) / inlier")
for t, c in lignes:
r = " ".join(f"{s} {f(ref_t[s][t]['error_value'], '.3g')}{'r' if rejetee(ref_t[s][t]) else ''}/{f(ref_t[s][t]['inlier'], 'g')}"
for s in refs if t in ref_t[s])
print(f"{t} {len(c):3} {' '.join(s + '.' + ','.join(v) for s, v in c.items())} | {','.join(rej_t.get(t, [])) or '-'} | {r or '-'}")
if __name__ == "__main__":
main()
+418
View File
@@ -0,0 +1,418 @@
"""Les six métriques de qualité d'image (peak, flux, sharpness, fwhm, dominance, snr) par capteur, face à sa référence calme.
Usage : python3 agent-tools/qualite.py <dossier> [--debut T] [--fin T] [--capteurs A,B] [--calme T1/T2,T3/T4]
[--commun] [--table METRIQUE] [--pas 15min] [--seuil 0.5]
python3 agent-tools/qualite.py <dossier> --etiquettes labeling/auto/X.jsonl [--calme ...] [--debut T] [--fin T]
[--numeros 3,7] [--seuil 0.5] [--marge 60] [--bords] | [--hors [--min 1] [--sauf "Thermal displacement"]]
.venv/bin/python agent-tools/qualite.py <dossier> --figure [--calme ...] [--debut T] [--fin T]
[--metriques flux,snr,dominance] [--etiquettes F] [--zone T1/T2 ...] [--sortie D]
python3 agent-tools/qualite.py --essai (contrôle du calcul du rapport)
Définitions : labeling/connaissances/metriques-de-qualite.md. Colonnes remplies sur les caméras récentes seulement ; sur un dossier où
elles sont vides, l'outil le dit et s'arrête.
Référence d'un capteur : la médiane de chaque métrique sur ses mesures des fenêtres --calme, à la même heure UTC du jour
(24 créneaux ; un créneau sans mesure calme prend la médiane de toutes les heures calmes). Sans --calme : tout le dossier.
Chaque mesure devient un rapport valeur / référence : 1 = comme la référence ; < 1 plus bas ; > 1 plus haut. Pour fwhm et
dominance, c'est la hausse qui dit une image dégradée (tache plus large, second pic plus fort). Mesures rejetées comprises
(la qualité de leur image reste mesurée).
Sans --etiquettes ni --figure :
1. le peak maximal du dossier, puis le résumé par capteur : mesures rejetées, « pk/max » (peak médian du capteur sur la
fenêtre divisé par ce maximum : une tache au plafond de l'image a un peak constant), et pour chaque métrique le rapport médian sur la fenêtre et l'extrême (min pour peak, flux, sharpness, snr ; max pour
fwhm, dominance) avec son instant ; puis les lignes « cibles » et « références » : la médiane des rapports médians ;
2. --commun : par pas de --pas, la médiane des rapports des cibles et celle des références, pour chaque métrique ;
3. --table M : par pas, le rapport de M de chaque capteur (« * » : une mesure du pas rejetée), « méd » (médiane sur les
capteurs) et le nombre de capteurs sous --seuil (au-dessus de 1/--seuil pour fwhm et dominance).
--etiquettes F (un JSON par ligne, debut, fin, categorie), sans --figure : par étiquette (numérotée dans l'ordre du
fichier ; --debut/--fin gardent celles qui y commencent), le rapport médian des cibles et des références sur l'heure
d'avant, la plage et l'heure d'après (--marge minutes) : « cib 0.95|0.40|0.97 » ; puis les capteurs « touchés » sur la
plage (flux ou snr sous --seuil, ou dominance au-dessus de 1/--seuil), avec leur pire rapport de flux, du plus bas au plus
haut (r = référence). --bords : par instant de la plage élargie de --marge, le nombre de capteurs touchés et la médiane
des cibles de flux, snr, dominance (« < » : dans la plage). --hors : à la place, les suites d'instants de --debut à --fin
qu'aucune étiquette ne couvre (hors familles --sauf), où au moins --min capteurs sont touchés (instants à moins de 15 min
groupés), avec les capteurs touchés et leur pire flux.
--figure (matplotlib) : PNG « qualite-commun » : un panneau par métrique, échelle logarithmique, médiane des cibles (noir),
des références (rouge) et bande du 10e au 90e centile des cibles ; PNG « qualite-<métrique> » par --metriques : un petit
graphique par capteur, références en rouge. --etiquettes grise chaque étiquette d'une couleur par famille ; --zone grise
des plages. Trait coupé sur un trou de plus de 30 min. Imprime le chemin de chaque PNG.
Rend des valeurs, pas de verdict. Lancé depuis la racine du dépôt.
"""
import argparse
import bisect
import json
import os
import statistics
import sys
from datetime import timedelta
import donnees
from resume import QUALITE as METRIQUES, duree
HAUT_MAUVAIS = ("fwhm", "dominance") # pour ces deux-là, c'est la hausse qui dit une image dégradée
RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), ".."))
COULEURS = {"Visibility": "tab:blue", "Obstruction": "tab:orange", "Thermal displacement": "tab:red",
"Displacement": "tab:purple", "Target issue": "tab:brown", "No data": "black"}
def fenetres(texte):
"""'T1/T2,T3/T4' -> [(début, fin)]."""
return [tuple(donnees.instant(b) for b in f.split("/")) for f in texte.split(",")] if texte else []
def dans(t, fen):
return any(a <= t <= b for a, b in fen)
def references(par, calme):
"""{capteur: {métrique: {heure: médiane, None: médiane toutes heures}}} sur les mesures calmes."""
ref = {}
for s, ms in par.items():
ref[s] = {}
for c in METRIQUES:
parh, tout = {}, []
for m in ms:
if m[c] is None or (calme and not dans(m["t"], calme)):
continue
parh.setdefault(m["t"].hour, []).append(m[c])
tout.append(m[c])
r = {h: statistics.median(v) for h, v in parh.items()}
r[None] = statistics.median(tout) if tout else None
ref[s][c] = r
return ref
def rapport(ref, s, c, m):
r = ref[s][c].get(m["t"].hour, ref[s][c][None])
return m[c] / r if m[c] is not None and r else None
def touche(r, c, seuil):
return r is not None and ((c in ("flux", "snr") and r < seuil) or (c == "dominance" and r > 1 / seuil))
def med(v):
return f"{statistics.median(v):.2f}" if v else "-"
def resume(par, ref, noms, refs, pmax):
print(f"peak maximal du dossier : {pmax if pmax is None else f'{pmax:g}'} ; pk/max : peak médian du capteur sur la "
"fenêtre, divisé par ce maximum")
print("Résumé : rapport médian à la référence calme, puis l'extrême et son instant (UTC)")
print(f"{'capteur':>12} {'rej':>4} {'pk/max':>6} " + " ".join(f"{c:>26}" for c in METRIQUES))
meds = {c: {"cibles": [], "références": []} for c in METRIQUES}
for s in noms:
ms = par[s]
if not ms:
continue
cases = []
for c in METRIQUES:
rs = [(rapport(ref, s, c, m), m["t"]) for m in ms]
rs = [x for x in rs if x[0] is not None]
if not rs:
cases.append(f"{'vide':>26}")
continue
md = statistics.median(r for r, _ in rs)
ext = (max if c in HAUT_MAUVAIS else min)(rs, key=lambda x: x[0])
meds[c]["références" if s in refs else "cibles"].append(md)
cases.append(f"{md:6.2f} ({ext[0]:6.2f} {ext[1]:%d/%m %H:%M})")
rej = sum(1 for m in ms if donnees.rejetee(m))
pk = [m["peak"] for m in ms if m["peak"] is not None]
pk = f"{statistics.median(pk) / pmax:6.2f}" if pk and pmax else f"{'-':>6}"
print(f"{s + ('r' if s in refs else ''):>12} {rej:>4} {pk} " + " ".join(cases))
for g in ("cibles", "références"):
print(f"{g:>24} " + " ".join(f"{statistics.median(meds[c][g]):26.2f}" if meds[c][g] else f"{'-':>26}"
for c in METRIQUES))
def par_pas(par, noms, pas):
pas = duree(pas)
debut = min(m["t"] for s in noms for m in par[s]).replace(hour=0, minute=0, second=0, microsecond=0)
return lambda t: debut + (t - debut) // pas * pas
def table(par, ref, noms, c, pas, seuil):
cle, cases = par_pas(par, noms, pas), {}
for s in noms:
for m in par[s]:
r = rapport(ref, s, c, m)
if r is not None:
cases.setdefault(cle(m["t"]), {}).setdefault(s, []).append((r, donnees.rejetee(m)))
haut = c in HAUT_MAUVAIS
print(f"\nTable de {c} / référence, pas de {pas} ('*' : une mesure du pas rejetée)")
w = max(7, *map(len, noms))
entete = f"{'instant':16} " + " ".join(f"{s:>{w}}" for s in noms) + f" {'méd':>6} {'n' + ('>' if haut else '<') + str(seuil):>6}"
for i, k in enumerate(sorted(cases)):
if i % 24 == 0:
print(entete)
ligne, vals = [], []
for s in noms:
v = cases[k].get(s)
if not v:
ligne.append(f"{'':>{w}}")
continue
r = statistics.median(x for x, _ in v)
vals.append(r)
ligne.append(f"{r:{w - 1}.2f}" + ("*" if any(j for _, j in v) else " "))
n = sum(1 for r in vals if (r > 1 / seuil if haut else r < seuil))
print(f"{k:%Y-%m-%d %H:%M} " + " ".join(ligne) + f" {statistics.median(vals):6.2f} {n:>6}")
def commun(par, ref, noms, refs, pas):
"""Par pas : médiane des rapports des cibles, puis des références, pour chaque métrique."""
cle, cases = par_pas(par, noms, pas), {}
for s in noms:
for m in par[s]:
d = cases.setdefault(cle(m["t"]), {c: ([], []) for c in METRIQUES})
for c in METRIQUES:
r = rapport(ref, s, c, m)
if r is not None:
d[c][s in refs].append(r)
print(f"\nMédianes des rapports par pas de {pas} : cibles / références")
entete = f"{'instant':16} " + " ".join(f"{c:>13}" for c in METRIQUES)
for i, k in enumerate(sorted(cases)):
if i % 24 == 0:
print(entete)
print(f"{k:%Y-%m-%d %H:%M} " + " ".join(
f"{statistics.median(cases[k][c][0]) if cases[k][c][0] else float('nan'):6.2f}/"
f"{statistics.median(cases[k][c][1]) if cases[k][c][1] else float('nan'):<6.2f}" for c in METRIQUES))
def lire_etiquettes(chemin):
return [json.loads(ligne) for ligne in open(chemin) if ligne.strip()]
def etiquettes(a, tout, ref, refs, noms, deb, fin):
marge = timedelta(minutes=a.marge)
temps = {s: [m["t"] for m in tout[s]] for s in noms}
garder = {int(n) for n in a.numeros.split(",")} if a.numeros else None
print(f"Référence calme : {a.calme or 'tout le dossier'} ; rapports médians avant|plage|après ({a.marge} min)")
for n, e in enumerate(lire_etiquettes(a.etiquettes), 1):
t0, t1 = donnees.instant(e["debut"]), donnees.instant(e["fin"])
if (garder and n not in garder) or (deb and t0 < deb) or (fin and t0 > fin):
continue
print(f"\n{n}. {e['debut']} → {e['fin']}, {e['categorie']}")
win = {s: tout[s][bisect.bisect_left(temps[s], t0 - marge):bisect.bisect_right(temps[s], t1 + marge)] for s in noms}
parties = [(t0 - marge, t0 - timedelta(seconds=1)), (t0, t1), (t1 + timedelta(seconds=1), t1 + marge)]
for c in METRIQUES:
cases = []
for g in (False, True):
vals = []
for a0, a1 in parties:
v = [rapport(ref, s, c, m) for s in win if (s in refs) == g for m in win[s] if a0 <= m["t"] <= a1]
vals.append(med([x for x in v if x is not None]))
cases.append(("ref " if g else "cib ") + "|".join(vals))
print(f" {c:>9} " + " ".join(cases))
pires = []
for s in noms:
ms = [m for m in win[s] if t0 <= m["t"] <= t1]
if any(touche(rapport(ref, s, c, m), c, a.seuil) for m in ms for c in ("flux", "snr", "dominance")):
fl = [x for x in (rapport(ref, s, "flux", m) for m in ms) if x is not None]
pires.append((min(fl) if fl else 1, s + ("r" if s in refs else "")))
pires.sort()
print(f" touchés ({len(pires)}) : " + ", ".join(f"{s} {f:.2f}" for f, s in pires) if pires else " touchés : aucun")
if a.bords:
inst = {}
for s in win:
for m in win[s]:
d = inst.setdefault(m["t"], {"n": 0, "flux": [], "snr": [], "dominance": []})
rs = {c: rapport(ref, s, c, m) for c in ("flux", "snr", "dominance")}
d["n"] += any(touche(rs[c], c, a.seuil) for c in rs)
if s not in refs:
for c in rs:
if rs[c] is not None:
d[c].append(rs[c])
print(" instant n flux snr dom")
for t in sorted(inst):
d = inst[t]
print(f" {t:%Y-%m-%d %H:%M} {d['n']:>3} {med(d['flux']):>5} {med(d['snr']):>5} {med(d['dominance']):>5}"
+ (" <" if t0 <= t <= t1 else ""))
def hors(a, tout, ref, refs, noms, deb, fin):
sauf = set(a.sauf.split(",")) if a.sauf else set()
couvert = [(donnees.instant(e["debut"]), donnees.instant(e["fin"])) for e in lire_etiquettes(a.etiquettes)
if e["categorie"] not in sauf]
inst = {}
for s in noms:
for m in donnees.filtrer(tout[s], deb, fin):
if dans(m["t"], couvert):
continue
if any(touche(rapport(ref, s, c, m), c, a.seuil) for c in ("flux", "snr", "dominance")):
inst.setdefault(m["t"], {})[s + ("r" if s in refs else "")] = rapport(ref, s, "flux", m) or 0
suites = []
for t in sorted(t for t in inst if len(inst[t]) >= a.min):
if suites and t - suites[-1][-1] <= timedelta(minutes=15):
suites[-1].append(t)
else:
suites.append([t])
print(f"Hors des étiquettes (sauf {a.sauf}) : instants où au moins {a.min} capteurs sont touchés ; {len(suites)} suites")
for su in suites:
pire = {}
for t in su:
for s, f in inst[t].items():
pire[s] = min(pire.get(s, 9), f)
print(f"{su[0]:%Y-%m-%d %H:%M} → {su[-1]:%H:%M} ({len(su)}) : "
+ ", ".join(f"{s} {f:.2f}" for s, f in sorted(pire.items(), key=lambda x: x[1])))
def morceaux(pts, trou=timedelta(minutes=30)):
"""[(t, ...)] -> listes coupées là où deux instants sont à plus de `trou` : un trait ne traverse pas un trou de mesures."""
out = []
for i, x in enumerate(pts):
if not out or x[0] - pts[i - 1][0] > trou:
out.append([])
out[-1].append(x)
return out
def figure(a, par, ref, noms, refs, deb, fin):
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates
import matplotlib.pyplot as plt
plages = [(x, y, "grey") for x, y in fenetres(",".join(a.zone or []))]
if a.etiquettes:
for e in lire_etiquettes(a.etiquettes):
x, y = donnees.instant(e["debut"]), donnees.instant(e["fin"])
if (deb is None or y >= deb) and (fin is None or x <= fin):
plages.append((x, y, COULEURS.get(e["categorie"], "grey")))
station = os.path.basename(os.path.normpath(a.dossier))
t0 = min(m["t"] for s in noms for m in par[s])
t1 = max(m["t"] for s in noms for m in par[s])
suffixe = f"{t0:%Y%m%dT%H%MZ}_{t1:%Y%m%dT%H%MZ}"
os.makedirs(a.sortie, exist_ok=True)
def axe(ax):
for x, y, couleur in plages:
ax.axvspan(x, y, color=couleur, alpha=0.12, lw=0)
ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%M"))
ax.set_yscale("log")
ax.axhline(1, ls=":", c="k", lw=0.8)
ax.set_xlim(t0, t1)
fig, axes = plt.subplots(len(METRIQUES), 1, figsize=(16, 2.4 * len(METRIQUES)), sharex=True)
for ax, c in zip(axes, METRIQUES):
inst = {}
for s in noms:
for m in par[s]:
r = rapport(ref, s, c, m)
if r is not None and r > 0:
inst.setdefault(m["t"], ([], []))[s in refs].append(r)
ts = sorted(inst)
cib = [(t, sorted(inst[t][0])) for t in ts if inst[t][0]]
rfs = [(t, statistics.median(inst[t][1])) for t in ts if inst[t][1]]
for i, mc in enumerate(morceaux(cib)):
ax.fill_between([t for t, _ in mc], [v[len(v) // 10] for _, v in mc], [v[(len(v) * 9) // 10] for _, v in mc],
color="0.8", lw=0, step="mid")
ax.plot([t for t, _ in mc], [statistics.median(v) for _, v in mc], c="k", lw=0.7,
label="cibles (médiane, bande 10-90 %)" if i == 0 else None)
for i, mc in enumerate(morceaux(rfs)):
ax.plot([t for t, _ in mc], [v for _, v in mc], c="tab:red", lw=0.7, label="références (médiane)" if i == 0 else None)
axe(ax)
ax.set_ylabel(c)
axes[0].legend(loc="upper right", fontsize=8)
axes[0].set_title(f"{station} : métriques de qualité / référence calme ({a.calme or 'tout le dossier'}), même heure UTC")
chemin = os.path.join(a.sortie, f"{station}_qualite-commun_{suffixe}.png")
fig.tight_layout()
fig.savefig(chemin, dpi=90)
plt.close(fig)
print(chemin)
for c in a.metriques.split(","):
col = 6
lig = (len(noms) + col - 1) // col
fig, axes = plt.subplots(lig, col, figsize=(3.2 * col, 1.9 * lig), sharex=True, squeeze=False)
for ax, s in zip(axes.flat, noms):
pts = [(m["t"], rapport(ref, s, c, m)) for m in par[s]]
pts = [(t, r) for t, r in pts if r is not None and r > 0]
for mc in morceaux(pts):
ax.plot([t for t, _ in mc], [r for _, r in mc], lw=0.5, c="tab:red" if s in refs else "k")
axe(ax)
ax.set_title(s, fontsize=8, color="tab:red" if s in refs else "k")
ax.tick_params(labelsize=6)
for ax in list(axes.flat)[len(noms):]:
ax.axis("off")
fig.suptitle(f"{station} : {c} / référence calme, par capteur (références en rouge)")
chemin = os.path.join(a.sortie, f"{station}_qualite-{c}_{suffixe}.png")
fig.tight_layout()
fig.savefig(chemin, dpi=80)
plt.close(fig)
print(chemin)
def main():
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("dossier")
p.add_argument("--debut", type=donnees.instant)
p.add_argument("--fin", type=donnees.instant)
p.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
p.add_argument("--calme", help="fenêtres de la référence, T1/T2,T3/T4 (défaut : tout le dossier)")
p.add_argument("--commun", action="store_true", help="médianes des cibles et des références par pas")
p.add_argument("--table", choices=METRIQUES, help="rapport d'une métrique par pas et par capteur")
p.add_argument("--pas", default="15min", type=lambda x: duree(x) and x, help="15min, 1h, 1d")
p.add_argument("--seuil", type=float, default=0.5, help="« touché » : flux ou snr sous seuil, dominance au-dessus de 1/seuil")
p.add_argument("--etiquettes", help="fichier d'étiquettes (JSON par ligne)")
p.add_argument("--numeros", help="numéros d'étiquettes à lire, 3,7")
p.add_argument("--marge", type=int, default=60, help="minutes avant et après chaque étiquette")
p.add_argument("--bords", action="store_true")
p.add_argument("--hors", action="store_true", help="instants touchés qu'aucune étiquette ne couvre")
p.add_argument("--min", type=int, default=1)
p.add_argument("--sauf", default="Thermal displacement", help="familles ignorées par --hors, A,B")
p.add_argument("--figure", action="store_true", help="PNG (matplotlib : .venv/bin/python)")
p.add_argument("--metriques", default="flux,snr,dominance", help="PNG par capteur de --figure")
p.add_argument("--zone", action="append", help="plage à griser sur les PNG, T1/T2 (répétable)")
p.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG")
a = p.parse_args()
if a.hors and not a.etiquettes:
p.error("--hors demande --etiquettes")
inconnues = [c for c in a.metriques.split(",") if c not in METRIQUES]
if inconnues:
p.error(f"métriques inconnues : {', '.join(inconnues)} ; connues : {', '.join(METRIQUES)}")
tout = donnees.charger(a.dossier)
if not tout:
sys.exit(f"Aucun export « advanced » dans {a.dossier} (voir inventaire.py).")
if not any(m[c] is not None for ms in tout.values() for m in ms for c in METRIQUES):
sys.exit(f"Aucune métrique de qualité dans {a.dossier} : peak à snr vides (caméra ancienne ; "
"labeling/connaissances/metriques-de-qualite.md).")
noms = a.capteurs.split(",") if a.capteurs else sorted(tout, key=lambda s: (not donnees.est_reference(tout[s]), s))
absents = [s for s in noms if s not in tout]
if absents:
sys.exit(f"Capteurs absents : {', '.join(absents)}. Présents : {', '.join(sorted(tout))}.")
ref = references(tout, fenetres(a.calme))
refs = {s for s in tout if donnees.est_reference(tout[s])}
par = {s: donnees.filtrer(tout[s], a.debut, a.fin) for s in noms}
if not any(par.values()):
sys.exit("Aucune mesure dans la fenêtre demandée.")
if a.figure:
return figure(a, par, ref, noms, refs, a.debut, a.fin)
if a.etiquettes:
return (hors if a.hors else etiquettes)(a, tout, ref, refs, noms, a.debut, a.fin)
pmax = max((m["peak"] for ms in tout.values() for m in ms if m["peak"] is not None), default=None)
print(f"Référence calme : {a.calme or 'tout le dossier'}, par heure UTC du jour (r = référence)")
resume(par, ref, noms, refs, pmax)
if a.commun:
commun(par, ref, noms, refs, a.pas)
if a.table:
table(par, ref, noms, a.table, a.pas, a.seuil)
def essai():
"""Contrôle du rapport à la référence : même heure, repli sur toutes les heures, fenêtre calme respectée."""
from datetime import datetime, timezone
t = lambda j, h: datetime(2026, 10, j, h, tzinfo=timezone.utc) # noqa: E731
vide = dict.fromkeys(METRIQUES)
par = {"A": [dict(vide, t=t(1, 3), flux=10.0), dict(vide, t=t(2, 3), flux=30.0), dict(vide, t=t(2, 5), flux=100.0),
dict(vide, t=t(9, 3), flux=1000.0)]}
ref = references(par, [(t(1, 0), t(3, 0))])
assert ref["A"]["flux"][3] == 20.0 and ref["A"]["flux"][None] == 30.0, ref
assert rapport(ref, "A", "flux", dict(vide, t=t(9, 3), flux=10.0)) == 0.5
assert rapport(ref, "A", "flux", dict(vide, t=t(9, 7), flux=60.0)) == 2.0 # heure sans calme : toutes les heures
assert rapport(ref, "A", "snr", dict(vide, t=t(9, 3), snr=5.0)) is None
assert touche(0.4, "flux", 0.5) and touche(2.5, "dominance", 0.5) and not touche(2.5, "flux", 0.5)
print("essai : ok")
if __name__ == "__main__":
essai() if sys.argv[1:] == ["--essai"] else main()
+124
View File
@@ -0,0 +1,124 @@
"""Résumé chiffré compact des séries d'un export « advanced », pour l'agent de diagnostic.
Usage : python3 agent-tools/resume.py data/PS_DES_COUDRES/ [--colonne error_value]
[--stat median|min|max] [--pas 1h] [--niveau periode|fenetre] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...]
[--instants T1,T2] [--marque]
1. Niveau habituel de chaque capteur : médiane, MAD (écart absolu médian), min, max, sur toute la période
(défaut) ou, avec --niveau fenetre, sur la fenêtre --debut/--fin seulement (un changement de niveau
dans la fenêtre ne se compare pas à des semaines d'autres mesures).
Colonnes : error_value, corr_x, corr_y, relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; vides sur les
caméras anciennes ; face à une référence calme : qualite.py).
2. Tableau : une ligne par pas de temps (début du pas, UTC), une colonne par capteur, la statistique
choisie sur les mesures du pas. « rej » : toutes les mesures du pas sont rejetées ; « vide » : des mesures,
mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure. L'en-tête des capteurs se répète
toutes les 24 lignes. Avec --instants T1,T2 : seulement les pas qui contiennent ces instants. Avec --marque : « * »
après la valeur quand une mesure du pas est rejetée (x, y, error_value d'une mesure rejetée restent remplis),
« o » quand une mesure du pas a inlier = 0 (référence écartée par la compensation).
Rend des valeurs, pas de verdict.
"""
import argparse
import re
import statistics
import sys
from datetime import timedelta
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
COLONNES = ("error_value", "corr_x", "corr_y", "relative_x", "relative_y", "x", "y", "sigma0", "reproj_err")
QUALITE = ("peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes ; lue par qualite.py
STATS = {"median": statistics.median, "min": min, "max": max}
def duree(texte):
"""'15min', '1h', '6h', '1d' -> timedelta."""
m = re.fullmatch(r"(\d+)(min|h|d)", texte)
if not m:
raise argparse.ArgumentTypeError(f"pas invalide : {texte!r} (ex. 15min, 1h, 1d)")
n, unite = int(m.group(1)), m.group(2)
return {"min": timedelta(minutes=n), "h": timedelta(hours=n), "d": timedelta(days=n)}[unite]
ARRONDI = 1e-9 # en deçà, un écart entre deux mesures est l'arrondi du calcul de la station, pas un bruit
def bruit_propre(vs):
"""Médiane des écarts absolus entre deux valeurs consécutives ; 0 quand elle est sous ARRONDI (valeurs constantes
à l'arrondi près : le corr des références quand la compensation passe exactement par elles, deux références
retenues), pour qu'un écart ne s'écrive pas en milliards de bruits ; 0 aussi avec moins de deux valeurs."""
d = [abs(b - a) for a, b in zip(vs, vs[1:])]
b = statistics.median(d) if d else 0
return b if b >= ARRONDI else 0
def valeurs(ms, col):
return [m[col] for m in ms if m[col] is not None]
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonne", default="error_value", choices=COLONNES + QUALITE)
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--pas", default="1h", type=duree)
a.add_argument("--niveau", default="periode", choices=("periode", "fenetre"),
help="période sur laquelle médiane et MAD sont calculées (défaut : toutes les mesures)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--instants", help="T1,T2 : seulement les pas qui contiennent ces instants")
a.add_argument("--marque", action="store_true", help="* : une mesure du pas rejetée ; o : une mesure du pas avec inlier = 0")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
o = a.parse_args()
par = charger(o.dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
inconnus = [s for s in noms if s not in par]
if inconnus:
sys.exit(f"Capteurs absents : {', '.join(inconnus)}. Présents : {', '.join(sorted(par))}.")
t0 = min(m["t"] for s in noms for m in par[s]).replace(hour=0, minute=0, second=0, microsecond=0)
cases = {}
for s in noms:
for m in filtrer(par[s], o.debut, o.fin):
debut_du_pas = t0 + ((m["t"] - t0) // o.pas) * o.pas
cases.setdefault(debut_du_pas, {}).setdefault(s, []).append(m)
if not cases:
sys.exit("Aucune mesure dans la fenêtre demandée.")
sur = "la fenêtre --debut/--fin" if o.niveau == "fenetre" else "toute la période"
print(f"Colonne : {o.colonne}. Niveau habituel sur {sur} (mesures non vides) :")
print(f"{'capteur':10} {'n':>5} {'médiane':>10} {'MAD':>10} {'min':>10} {'max':>10}")
for s in noms:
v = valeurs(filtrer(par[s], o.debut, o.fin) if o.niveau == "fenetre" else par[s], o.colonne)
if not v:
print(f"{s:10} {0:5} (aucune valeur)")
continue
med = statistics.median(v)
mad = statistics.median(abs(x - med) for x in v)
print(f"{s:10} {len(v):5} {med:10.5g} {mad:10.5g} {min(v):10.5g} {max(v):10.5g}")
print(f"\n{o.stat} de {o.colonne} par pas de {o.pas} (début du pas, UTC) :")
print("rej : mesures du pas toutes rejetées ; vide : colonne vide ; - : aucune mesure")
if o.marque:
print("* : une mesure du pas au moins est rejetée ; o : une mesure du pas au moins a inlier = 0")
entete = f"{'début':17} " + " ".join(f"{s:>9}" for s in noms)
voulus = {t0 + ((instant(x) - t0) // o.pas) * o.pas for x in o.instants.split(",")} if o.instants else None
for i, k in enumerate(k for k in sorted(cases) if voulus is None or k in voulus):
if i % 24 == 0:
print(entete)
cellules = []
for s in noms:
ms = cases[k].get(s, [])
v = valeurs(ms, o.colonne)
if v:
marque = ("*" if any(map(rejetee, ms)) else "") + ("o" if any(m["inlier"] == 0 for m in ms) else "") if o.marque else ""
cellules.append(f"{STATS[o.stat](v):.5g}{marque}".rjust(9))
else:
cellules.append(f"{'-' if not ms else 'rej' if all(map(rejetee, ms)) else 'vide':>9}")
print(f"{iso(k):17} " + " ".join(cellules))
if __name__ == "__main__":
main()
+194
View File
@@ -0,0 +1,194 @@
"""Plusieurs stations sur une même ligne de temps : température du boîtier, pose de la caméra, corr des cibles, rejets, trous.
Usage : .venv/bin/python agent-tools/stations.py data/BREITHORN data/MICHIGAN data/NEBRASKA
[--colonnes temperature,cam_tilt,cam_rotation,cam_scale,cib_corr_x,cib_corr_y] [--pas 1h] [--stat median|min|max]
[--table T1/T2|non] [--debut ...] [--fin ...] [--sortie DOSSIER]
Pour chaque station (un dossier de station chacune), sur la fenêtre --debut/--fin :
- colonnes possibles : temperature (médiane des composants sensor_*_deg_c, comme metriques.py), cam_pan, cam_tilt,
cam_rotation, cam_scale, cam_sigma0 (pose brute de la caméra), cib_corr_x, cib_corr_y (médiane sur les cibles de
corr moins le niveau propre de chaque cible, mesures acceptées, comme metriques.py), rej_cibles, rej_refs (nombre de
cibles, de références rejetées : le plus grand des instants de mesure du pas) ;
- imprime, par station, la période des mesures, la cadence (pas médian) et le nombre d'instants ; puis les **trous** :
les suites de pas de --pas sans mesure ou sans température, avec les stations où elles manquent (un trou commun à
plusieurs stations y est sur une seule ligne) ; puis la table, une ligne par pas (début du pas, UTC ; --stat des
valeurs du pas ; « - » : aucune valeur), une colonne par station et par colonne, séparées par des tabulations
(--table T1/T2 : seulement entre T1 et T2, « non » : pas du tout ; le reste porte sur toute la fenêtre) ; puis, pour
chaque colonne et chaque paire de stations, la corrélation r des valeurs et celle des pas (différence d'une valeur à
la suivante, sur les pas où les deux stations ont une valeur : un mouvement commun se voit sur les pas, une tendance
commune sur les valeurs), avec le nombre de pas ;
- un PNG « stations » : un panneau par colonne, un trait par station (température brute ; les autres colonnes moins
leur médiane sur la fenêtre, pour se superposer), coupé sur un trou ; trous de mesure grisés sous l'axe, une bande
par station.
Jamais d'identifiant de metrics/ (SIM_CCID, ip*) : seules les températures y sont lues. Rend des valeurs, pas de verdict.
"""
import argparse
import os
import statistics
import sys
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import RACINE, borne # noqa: E402
from metriques import cibles, coupe, suites # noqa: E402
from resume import STATS, duree # noqa: E402
COLONNES = ("temperature",) + tuple("cam_" + c for c in POSE) + ("cib_corr_x", "cib_corr_y", "rej_cibles", "rej_refs")
def lire(dossier, debut, fin):
"""Dossier de station -> ({colonne: [{'t', 'v'}]}, [instants de mesure])."""
par = charger(dossier)
series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(dossier)], debut, fin)}
for p in filtrer(charger_camera(dossier), debut, fin):
for c in POSE:
if p[c] is not None:
series.setdefault("cam_" + c, []).append({"t": p["t"], "v": p[c]})
for c in ("corr_x", "corr_y"):
series["cib_" + c] = cibles(par, c, debut, fin)
rej = {} # t -> [cibles rejetées, références rejetées]
for s, ms in par.items():
ref = est_reference(ms)
for m in filtrer(ms, debut, fin):
n = rej.setdefault(m["t"], [0, 0])
n[ref] += rejetee(m)
series["rej_cibles"] = [{"t": t, "v": float(n[0])} for t, n in sorted(rej.items())]
series["rej_refs"] = [{"t": t, "v": float(n[1])} for t, n in sorted(rej.items())]
return series, sorted(rej)
def correlation(a, b):
try:
return f"{statistics.correlation(a, b):+.2f}"
except (statistics.StatisticsError, ValueError):
return "-"
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossiers", nargs="+", help="dossiers de station, au moins deux")
a.add_argument("--colonnes", default="temperature,cam_tilt,cam_rotation,cam_scale,cib_corr_x,cib_corr_y")
a.add_argument("--pas", default="1h", type=duree)
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--table", default="", metavar="T1/T2|non", help="table imprimée seulement entre T1 et T2 (« non » : pas du tout)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
colonnes = o.colonnes.split(",")
if absents := [c for c in colonnes if c not in COLONNES]:
sys.exit(f"Colonnes inconnues : {', '.join(absents)}. Connues : {', '.join(COLONNES)}.")
if o.table in ("", "non"):
dans_table = lambda t: o.table == "" # noqa: E731
else:
bornes = [instant(x) for x in o.table.split("/")]
if len(bornes) != 2:
sys.exit("--table attend T1/T2 ou non.")
dans_table = lambda t: bornes[0] <= t <= bornes[1] # noqa: E731
noms = [os.path.basename(os.path.normpath(d)) for d in o.dossiers]
donnees, mesures = {}, {}
for n, d in zip(noms, o.dossiers):
donnees[n], mesures[n] = lire(d, o.debut, o.fin)
tous = [p["t"] for s in donnees.values() for c in s.values() for p in c]
if not tous:
sys.exit("Aucune valeur dans la fenêtre demandée.")
t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0)
t1 = o.fin or max(tous)
grille = [t0 + i * o.pas for i in range(int((t1 - t0) / o.pas) + 1)]
case = lambda t: t0 + ((t - t0) // o.pas) * o.pas # noqa: E731
print("Stations :")
for n in noms:
ts = mesures[n]
if not ts:
print(f" {n} : aucune mesure dans la fenêtre")
continue
cad = statistics.median(b - a_ for a_, b in zip(ts, ts[1:])) if len(ts) > 1 else None
print(f" {n} : mesures {iso(ts[0])} → {iso(ts[-1])}, {len(ts)} instants, cadence {round(cad.total_seconds() / 60) if cad else '-'} min ; "
+ ", ".join(f"{c} {len(donnees[n].get(c, []))}" for c in colonnes))
# trous : pas sans mesure, sans température, et les stations concernées
avec = {n: {case(t) for t in mesures[n]} for n in noms}
avec_t = {n: {case(p["t"]) for p in donnees[n]["temperature"]} for n in noms}
print(f"\nTrous (pas de {int(o.pas.total_seconds() // 60)} min sans mesure ou sans température), avec les stations où ils manquent :")
cles = {}
for k in grille:
m = tuple(n for n in noms if k not in avec[n])
t = tuple(n for n in noms if k not in avec_t[n])
if m or t:
cles.setdefault((m, t), []).append(k)
lignes = []
for (m, t), ks in cles.items():
for d, f, nb in suites(ks, o.pas):
lignes.append((d, f, nb, m, t))
for d, f, nb, m, t in sorted(lignes):
print(f" {iso(d)} → {iso(f)} ({nb} pas) : sans mesure {','.join(m) or '-'} ; sans température {','.join(t) or '-'}")
if not lignes:
print(" (aucun)")
stat = STATS[o.stat]
table = {} # (station, colonne) -> {pas: valeur}
for n in noms:
for c in colonnes:
cases = {}
for p in donnees[n].get(c, []):
cases.setdefault(case(p["t"]), []).append(p["v"])
table[n, c] = {k: stat(v) for k, v in cases.items()}
entete = [f"{n}:{c}" for n in noms for c in colonnes]
print(f"\n{o.stat} par pas de {int(o.pas.total_seconds() // 60)} min (début du pas, UTC) ; « - » : aucune valeur"
+ (f" (table : {o.table})" if o.table else "") + " :")
if o.table != "non":
print("\t".join(["heure"] + entete))
for k in grille:
if dans_table(k):
v = [table[n, c].get(k) for n in noms for c in colonnes]
if any(x is not None for x in v):
print("\t".join([iso(k)] + ["-" if x is None else f"{x:.6g}" for x in v]))
print("\nCorrélation entre stations, r des valeurs, puis r des pas d'une valeur à la suivante (n : pas où les deux ont une valeur) :")
for c in colonnes:
for i, s1 in enumerate(noms):
for s2 in noms[i + 1:]:
ks = sorted(set(table[s1, c]) & set(table[s2, c]))
v1, v2 = [table[s1, c][k] for k in ks], [table[s2, c][k] for k in ks]
d1, d2 = [b - a_ for a_, b in zip(v1, v1[1:])], [b - a_ for a_, b in zip(v2, v2[1:])]
print(f" {c:12} {s1}-{s2} : r valeurs {correlation(v1, v2)}, r pas {correlation(d1, d2)} (n = {len(ks)})")
fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 2.4 * (len(colonnes) + 1)), squeeze=False,
layout="constrained", gridspec_kw={"height_ratios": [3] * len(colonnes) + [0.3 * len(noms)]})
for ax, c in zip(axes[:-1, 0], colonnes):
for i, n in enumerate(noms):
s = donnees[n].get(c, [])
if not s:
continue
med = 0 if c == "temperature" else statistics.median(p["v"] for p in s)
ts, vs = coupe([{"t": p["t"], "v": p["v"] - med} for p in s])
ax.plot(ts, vs, ".-", ms=2, lw=0.8, color=f"C{i % 10}", label=n)
ax.set_ylabel(c if c == "temperature" else f"{c}\nmoins sa médiane", fontsize=8)
ax.grid(alpha=0.3)
ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
ax = axes[-1, 0]
for i, n in enumerate(noms):
for k in grille:
if k not in avec[n]:
ax.axvspan(k, k + o.pas, ymin=i / len(noms), ymax=(i + 1) / len(noms), color=f"C{i % 10}", lw=0)
ax.set_yticks([(i + 0.5) / len(noms) for i in range(len(noms))], noms, fontsize=7)
ax.set_ylim(0, 1)
ax.set_ylabel("sans mesure", fontsize=8)
ax.set_xlim(grille[0], grille[-1] + o.pas)
ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
fig.suptitle(f"{', '.join(noms)} : même ligne de temps (heures UTC)")
os.makedirs(o.sortie, exist_ok=True)
chemin = os.path.join(o.sortie, f"{'-'.join(noms)}_stations_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
print(f"\n{chemin}")
if __name__ == "__main__":
main()
+172
View File
@@ -0,0 +1,172 @@
"""Vignettes des images de la caméra autour de capteurs, à pleine résolution, pour l'agent de diagnostic.
Usage : .venv/bin/python agent-tools/vignettes.py data/PS_DES_COUDRES/
--capteurs REF_G,REF_D --heures 2026-10-13T22:00Z,2026-10-14T02:00Z [--rayon 100] [--contraste [MIN,MAX]] [--sortie DOSSIER]
Une ligne par capteur, une colonne par heure. Quand il n'y a pas d'image à l'heure demandée, la plus proche est
prise : l'écart est imprimé et l'heure réelle de l'image est dans le titre de la vignette. Chaque vignette est centrée sur la position brute (x, y) du capteur
dans l'export « advanced », lue à la mesure la plus proche de l'image ; les pixels ne sont pas retouchés, l'éclat
se compare donc d'une vignette à l'autre. Imprime les positions utilisées, le fond (médiane des pixels de la
vignette), le 99e centile et le pic (maximum) du niveau de gris de chaque vignette (0 à 255), puis le chemin du PNG.
--contraste : toutes les vignettes en niveaux de gris, avec le même étirement pour toute la planche, pour qu'une
tache faible se voie et se compare d'une vignette à l'autre. Sans valeur, l'étirement va du 1er centile au maximum
de la planche (un pixel saturé quelque part l'écrase : redonner alors --contraste MIN,MAX, en s'aidant du fond et du
pic imprimés pour chaque vignette). Un --rayon plus petit (30 à 50) grossit. Les bornes sont imprimées.
Le centre du cadre (px) est écrit sous chaque vignette : quand les x, y de l'export sautent, le cadre se déplace
d'autant. --fixe garde, sur chaque ligne, le cadre centré sur la position de la première heure demandée, et marque
d'une croix rouge les x, y de l'export à chaque heure : une tache qui entre dans le cadre ou en sort ne s'y confond
pas avec une tache qui apparaît. Un cadre que le bord de l'image coupe est signalé (taille de l'image) : sur certains
exports, x, y ne sont pas des pixels (valeurs proches de 0), et le cadre tombe dans le coin de l'image.
--zone X,Y,L,H : la même zone de l'image (pixels de l'image d'origine : coin haut gauche, largeur, hauteur, comme
gif.py) à chaque heure, côte à côte (jusqu'à 4 par ligne, moins quand la zone est large), même étirement avec --contraste ; --capteurs devient facultatif :
ceux qui sont donnés sont marqués d'une croix rouge et de leur nom à leurs x, y de chaque heure. Pour la scène autour
des cibles (premier plan, objet, éclairage), qu'un grand --rayon rendrait trop petite.
Chaque vignette est rendue à sa taille en pixels (un pixel de l'image pour un pixel du PNG) de 260 à 1000 px de côté ;
Read réduit un PNG trop large : avec un grand --rayon ou une grande --zone, peu d'heures par planche.
"""
import argparse
import os
import sys
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, heure_image, instant, iso, trouver # noqa: E402
def centile(gris, p):
"""Centile p (0 à 100) des pixels d'une vignette, sans interpolation."""
v = sorted(gris.ravel().tolist())
return v[min(int(p / 100 * len(v)), len(v) - 1)]
RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), ".."))
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--capteurs", default="", help="liste séparée par des virgules (facultative avec --zone)")
a.add_argument("--heures", required=True, help="heures des images, séparées par des virgules (UTC)")
a.add_argument("--rayon", type=int, default=100, help="demi-côté de la vignette en pixels (défaut 100)")
a.add_argument("--contraste", nargs="?", const="auto", metavar="MIN,MAX", help="niveaux de gris, même étirement pour toute la planche : MIN,MAX (0 à 255) ou, sans valeur, du 1er centile au maximum de la planche")
a.add_argument("--fixe", action="store_true", help="un cadre fixe par capteur (position à la première heure), x, y de chaque heure marqués d'une croix")
a.add_argument("--zone", metavar="X,Y,L,H", help="la même zone de l'image à chaque heure (pixels de l'image d'origine : coin haut gauche, largeur, hauteur)")
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
par = charger(o.dossier)
images = {heure_image(p): p for p in trouver(o.dossier)["images"]}
noms, heures = [s for s in o.capteurs.split(",") if s], [instant(h) for h in o.heures.split(",")]
zone = tuple(map(int, o.zone.split(","))) if o.zone else None
if not noms and not zone:
sys.exit("Donne --capteurs, ou --zone X,Y,L,H.")
absents = [s for s in noms if s not in par]
if absents:
sys.exit(f"Capteurs inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(par))}.")
connues = sorted(h for h in images if h)
if not connues:
sys.exit(f"Aucune image dans {o.dossier}.")
proche = {h: min(connues, key=lambda i: abs(i - h)) for h in heures} # image à l'heure demandée, sinon la plus proche
for h in heures:
if proche[h] != h:
print(f"Pas d'image à {iso(h)} : la plus proche est celle de {iso(proche[h])} (écart {abs(proche[h] - h)}).")
def niveaux(c):
gris = c[..., :3].mean(axis=-1) if c.ndim == 3 else c
return gris * 255 if gris.max() <= 1 and c.dtype.kind == "f" else gris
def mesure(s, t):
return min((m for m in par[s] if m["x"] is not None), key=lambda m: abs(m["t"] - t))
r = o.rayon
coupes, centres, croix = {}, {}, {}
for j, h in enumerate(heures):
img = plt.imread(images[proche[h]])
haut, larg = img.shape[:2]
if zone:
X, Y, L, H = zone
c = img[max(Y, 0):Y + H, max(X, 0):X + L]
if c.size == 0:
sys.exit(f"--zone {o.zone} hors de l'image ({larg} × {haut} px).")
gris = niveaux(c)
coupes[0, j] = (c, gris)
croix[0, j] = [(s, m["x"] - max(X, 0), m["y"] - max(Y, 0)) for s in noms for m in [mesure(s, proche[h])]]
print(f"zone {o.zone} {iso(h)} : {os.path.basename(images[proche[h]])}, fond {centile(gris, 50):.0f}, "
f"p99 {centile(gris, 99):.0f}, pic {gris.max():.0f}"
+ ("" if c.shape[:2] == (H, L) else f", coupée par le bord de l'image ({larg} × {haut} px)")
+ "".join(f" ; {s} x={x + max(X, 0):.1f} y={y + max(Y, 0):.1f}" for s, x, y in croix[0, j]))
continue
for i, s in enumerate(noms):
m = mesure(s, proche[h])
x, y = centres[i] if o.fixe and j else (round(m["x"]), round(m["y"]))
if j == 0:
centres[i] = (x, y)
c = img[max(y - r, 0):y + r, max(x - r, 0):x + r]
if c.size == 0:
sys.exit(f"{s} {iso(h)} : x={m['x']:.1f} y={m['y']:.1f} hors de l'image ({larg} × {haut} px) ; "
"--zone X,Y,L,H regarde une zone fixe.")
croix[i, j] = (m["x"] - max(x - r, 0), m["y"] - max(y - r, 0), x, y)
gris = niveaux(c)
coupes[i, j] = (c, gris)
coupe = x - r < 0 or y - r < 0 or x + r > larg or y + r > haut
print(f"{s} {iso(h)} : x={m['x']:.1f} y={m['y']:.1f} (mesure de {iso(m['t'])}), {os.path.basename(images[proche[h]])}, "
f"fond {centile(gris, 50):.0f}, p99 {centile(gris, 99):.0f}, pic {gris.max():.0f}"
+ (f", cadre coupé par le bord de l'image ({larg} × {haut} px)" if coupe else ""))
bornes = {}
if o.contraste:
if o.contraste == "auto":
bornes = dict(vmin=min(centile(g, 1) for _, g in coupes.values()), vmax=max(g.max() for _, g in coupes.values()))
else:
bornes = dict(zip(("vmin", "vmax"), map(float, o.contraste.split(","))))
print(f"Étirement commun : {bornes['vmin']:.0f} à {bornes['vmax']:.0f} (niveaux de gris, 0 à 255)")
# Une vignette à sa taille en pixels (à 100 dpi) dès qu'elle dépasse 2,6 pouces : un grand --rayon n'est plus réduit.
cote = max(c.shape[1] for c, _ in coupes.values()) / 100, max(c.shape[0] for c, _ in coupes.values()) / 100
cote = tuple(v * min(1, 10 / max(cote)) for v in cote) # au plus 1000 px de côté par vignette
if zone:
nc = max(1, min(4, len(heures), int(20 // max(2.6, cote[0])))) # planche d'au plus ~2000 px de large : Read la réduit au-delà
nl = -(-len(heures) // nc)
fig, axes = plt.subplots(nl, nc, figsize=(max(2.6, cote[0]) * nc, (max(2.6, cote[1]) + 0.4) * nl), squeeze=False)
for ax in axes.ravel()[len(heures):]:
ax.axis("off")
else:
fig, axes = plt.subplots(len(noms), len(heures), figsize=(max(2.6, cote[0]) * len(heures), (max(2.6, cote[1]) + 0.2) * len(noms)), squeeze=False)
for (i, j), (c, gris) in coupes.items():
ax = axes[j // nc, j % nc] if zone else axes[i, j]
if o.contraste:
ax.imshow(gris, cmap="gray", interpolation="nearest", **bornes)
else:
ax.imshow(c, interpolation="nearest")
ax.set_title(f"{'zone' if zone else noms[i]} {proche[heures[j]].strftime('%d/%m %H:%MZ')}" + ("" if proche[heures[j]] == heures[j] else " (demandée " + heures[j].strftime('%H:%MZ') + ")"), fontsize=9)
if zone:
for s, cx, cy in croix[i, j]:
ax.plot(cx, cy, "+", color="r", ms=10, mew=1)
ax.annotate(s, (cx, cy), xytext=(4, 4), textcoords="offset points", color="r", fontsize=7)
ax.set_xlim(-0.5, c.shape[1] - 0.5)
ax.set_ylim(c.shape[0] - 0.5, -0.5)
ax.set_xlabel(f"zone {o.zone}", fontsize=7)
ax.set_xticks([])
ax.set_yticks([])
continue
cx, cy, x, y = croix[i, j]
if o.fixe:
ax.plot(cx, cy, "+", color="r", ms=10, mew=1)
ax.set_xlabel(f"centre du cadre {x}, {y}" + (f"\nx, y {cx + max(x - r, 0):.1f}, {cy + max(y - r, 0):.1f}" if o.fixe else ""), fontsize=7)
ax.set_xticks([])
ax.set_yticks([])
station = os.path.basename(os.path.normpath(o.dossier))
fig.suptitle(f"{station} : zone {o.zone} (x, y, largeur, hauteur en px ; heures UTC)" if zone else
f"{station} : vignettes de {2 * r} px autour de chaque capteur (heures UTC)", fontsize=10)
os.makedirs(o.sortie, exist_ok=True)
quoi = f"zone{o.zone.replace(',', '-')}" + ("_" + "-".join(noms) if noms else "") if zone else "-".join(noms)
sortie = os.path.join(o.sortie, f"{station}_vignettes_{quoi}_"
f"{'-'.join(h.strftime('%d%H%M') for h in heures)}{'_contraste' if o.contraste else ''}{'_fixe' if o.fixe else ''}.png")
fig.savefig(sortie, dpi=100, bbox_inches="tight")
print(sortie)
if __name__ == "__main__":
main()
+235
View File
@@ -0,0 +1,235 @@
"""Journal du matin : des épisodes des détecteurs aux événements, un par famille.
Un détecteur par famille des étiquettes (labeling/familles.md) : visibility.py, obstruction.py, target_issue.py,
thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événement est sa famille, le champ kind de ses
épisodes ; leur label en dit la sorte (Poor visibility, Heat shimmer, Brief obstruction, Slow drift…). Règles :
- un saut revenu à la normale (SAUT) qui chevauche un épisode de HOTES (perte de visibilité, passage, turbulence, et en
dernier l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il
reste Displacement, sans cause établie, à vérifier sur les images (familles.md, « Un saut puis le retour ») ; un passage
(Brief obstruction, un seul instant) n'absorbe que les sauts qui commencent à son instant, pas ceux de plusieurs jours
qu'il croise (/detector-learner Displacement, modification 1, S5) ;
- une dérive lente ou un saut revenu dont toutes les cibles sont dans un épisode Target issue qui le chevauche y est absorbé
(la courbe d'une cible à problème est à ignorer, familles.md) ;
- un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ;
- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ;
- deux événements de même sorte à moins de MERGE n'en font qu'un.
Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne
« Pour le client » de familles.md ; la cause n'est dite que si la sorte l'établit, sinon les images la montrent.
Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur.
Usage : python3 detectors/categories.py <dossier de station> (une ligne par événement : famille, sorte, capteurs)
... <dossier> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot : chaque tranche
de N jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements qui touchent
la tranche sont montrés ; « rien » pour une tranche calme)
"""
import functools
import importlib.util
import inspect
import os
import sys
from datetime import datetime, timedelta, timezone
from pathlib import Path
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, charger_camera, charger_metriques, charger_temperature, iso # noqa: E402
# Ce qu'un détecteur peut lire de la station en plus des mesures, s'il le déclare dans detect (D-124, D-134) :
# temperature [(t, °C)], médiane horaire des composants ; camera [pose] (pan, tilt, rotation, scale, sigma0) ;
# metriques {nom: [(t, valeur)]}, toutes les métriques numériques (sensor_CPU_deg_c, sensor_GPU_deg_c, BusVoltage…).
CONTEXTE = {"temperature": charger_temperature, "camera": charger_camera, "metriques": charger_metriques}
@functools.lru_cache(maxsize=None)
def _contexte(dossier, cle):
return CONTEXTE[cle](dossier)
# Les familles de labeling/familles.md, dans l'ordre des lignes de la frise ; ignore : zone grisée (None : comme le
# disent ses épisodes : une perte de visibilité totale, une turbulence forte) ; process : bouton Images, rien, ou Images
# et lien vers Diagnosis.
CATEGORIES = {
"Visibility": {"ignore": None, "process": "images"},
"Obstruction": {"ignore": True, "process": "images"},
"Target issue": {"ignore": True, "process": "images"},
"Thermal displacement": {"ignore": False, "process": "aucun"},
"No data": {"ignore": False, "process": "aucun"},
"Displacement": {"ignore": False, "process": "verifier"},
}
SAUT = "Sudden jump, back to normal" # un saut revenu : sa cause, s'il chevauche un hôte ; sinon Displacement
DECALAGES = {"Lasting shift", "Jump, not back yet", "Large shift"} # à vérifier : jamais absorbés
HOTES = {"Poor visibility", "Brief obstruction", "Heat shimmer", "Thermal expansion", "Thermal contraction",
"Camera thermal expansion", "Camera thermal contraction", "Camera thermal movement"} # disent la cause d'un saut revenu qui les chevauche
MERGE = timedelta(hours=1) # même sorte à moins d'une heure : un seul événement (règle validée, 2026-10-24)
def detecteurs():
"""Modules de detectors/*.py qui ont detect ; un fichier qui ne se charge pas est sauté avec un
message."""
mods = []
for path in sorted(Path(__file__).resolve().parent.glob("*.py")):
if path == Path(__file__).resolve():
continue
try:
spec = importlib.util.spec_from_file_location(f"journal_{path.stem}", path)
mod = importlib.util.module_from_spec(spec)
spec.loader.exec_module(mod)
except Exception as e: # noqa: BLE001 (prototype : un détecteur cassé ne bloque pas la page)
print(f"Journal : {path.name} sauté ({type(e).__name__}: {e})", file=sys.stderr)
continue
if hasattr(mod, "detect"):
mods.append(mod)
return mods
def categorie(ep):
return ep["kind"]
def sorte(ep):
"""La sorte d'un épisode dans sa famille : les décalages ensemble, l'effet thermique sans « Camera », la perte de
visibilité par niveau."""
label = "shift" if ep["label"] in DECALAGES else ep["label"].removeprefix("Camera ").capitalize()
return ep["kind"], label, ep.get("level")
def thermique(ep):
return ep["kind"] == "Thermal displacement"
def overlap(a, b):
return a["start"] <= b["end"] and a["end"] >= b["start"] # heures donnees.iso : l'ordre du texte est celui du temps
def targets(n):
return "one target" if n == 1 else f"{n} targets"
def phrase(groupe, sensors, references):
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24), d'après la sorte de son épisode
principal ; un saut absorbé ajoute qu'il a la même cause."""
n, one, ep = len(sensors), len(sensors) == 1, groupe[0]
sauts = [e for e in groupe[1:] if e["label"] == SAUT]
jumped = len({s for e in sauts for s in e["sensors"]})
lasting = len({s for e in groupe if e["label"] in DECALAGES for s in e.get("lasting", [])})
refs = ", including the reference targets" if references & set(sensors) else ""
camera = ep["label"].startswith("Camera")
large = any(e["label"] == "Large shift" for e in groupe)
sort = "shift" if ep["label"] in DECALAGES else f"{ep['label']} {ep['level']}" if ep.get("level") else ep["label"]
text = {
"Poor visibility none": f"The camera could not see {targets(n)} clearly{refs}. "
"The curves in this period are not reliable: ignore them.",
"Poor visibility reduced": f"The camera saw {targets(n)} less clearly than usual{refs}. "
"The data in this period are less precise: use them with care.",
"Brief obstruction": f"Something passed in front of {targets(n)} for a single measurement. Ignore this point on the curves.",
"Target obscured": f"{', '.join(sensors)} {'was' if one else 'were'} hidden several times while the targets around "
f"{'it' if one else 'them'} stayed clear. Ignore {'its curve' if one else 'their curves'} in this period.",
"Heat shimmer": "Warm air made the readings shake. The small fast wiggles are not movement.",
"expansion": ("The camera support expands in the day heat; the curves are corrected for it."
if camera else "The structure expands in the day heat.") + " This daily wave is normal: nothing to do.",
"contraction": ("The camera support contracts as it cools down; the curves are corrected for it."
if camera else "The structure contracts as it cools down.") + " This daily wave is normal: nothing to do.",
SAUT: f"{targets(n).capitalize()} jumped and came back. The cause is not established: look at the images.",
"shift": (f"{targets(n).capitalize()}, most of the targets, shifted together: everything moved." if large
else f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting
else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n
else f"{targets(n).capitalize()} shifted; {lasting} of them stayed shifted.")
+ " Check whether the structure moved: look at the images.",
}.get(sort.split()[-1] if thermique(ep) else sort, ep["text"]) # No data, Target issue, Slow drift : le texte du détecteur
if ep["kind"] == "Target issue":
text += f" Ignore {'its curve' if one else 'their curves'} in this period and look at the images of the target."
if not jumped:
return text
return text + (f" The jump of {targets(jumped)} in this period has the same cause." if len(sauts) == 1
else f" The jumps of {targets(jumped)} in this period have the same cause.")
def evenement(groupe, references):
"""Épisodes d'un même événement, le principal en tête -> événement."""
cat, so = categorie(groupe[0]), sorte(groupe[0])
c = CATEGORIES.get(cat, {"ignore": None, "process": "aucun"})
sensors = [] if any(not e["sensors"] for e in groupe) else list(dict.fromkeys(s for e in groupe for s in e["sensors"]))
main = [e for e in groupe if sorte(e) == so] # la durée est celle des épisodes principaux, pas des sauts absorbés
return {"start": min(e["start"] for e in main), "end": max(e["end"] for e in main), "category": cat,
"label": cat, "text": phrase(groupe, sensors, references),
"ignore": c["ignore"] if c["ignore"] is not None else any(e["ignore"] for e in main),
"sensors": sensors, "process": c["process"], "episodes": groupe}
def classer(episodes, references=frozenset()):
"""Épisodes de tous les détecteurs -> événements triés par début (règles : docstring du module) ; references : les
capteurs global_ref, pour la phrase."""
eps = sorted(episodes, key=lambda e: e["start"])
checks = [e for e in eps if e["label"] in DECALAGES] # un vrai mouvement n'est jamais pris pour de la turbulence
eps = [e for e in eps if e["label"] != "Heat shimmer" or not any(overlap(e, c) for c in checks)]
# la vague thermique n'absorbe qu'en dernier (un saut d'un passage ou d'une pluie va à eux), et que les sauts de
# plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003)
hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique)
host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h))
and (h["label"] != "Brief obstruction" or e["start"] == h["start"])), None)
for e in eps if e["label"] == SAUT}
# une dérive ou un saut revenu dont toutes les cibles sont dans un épisode Target issue qui le chevauche : sa courbe
# est à ignorer, il en prend la famille (/detector-learner Displacement, modification 1, S6)
host.update({id(e): h for e in eps if e["label"] in (SAUT, "Slow drift") and not host.get(id(e))
and (h := next((h for h in eps if h["kind"] == "Target issue" and overlap(e, h)
and set(e["sensors"]) <= set(h["sensors"])), None))})
groupes = {id(e): [e] for e in eps if not host.get(id(e))}
for e in eps:
if host.get(id(e)):
groupes[id(host[id(e)])].append(e)
merged = []
for g in groupes.values():
prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0])), None)
end = max((e["end"] for e in prev if sorte(e) == sorte(g[0])), default=None) if prev else None
if end and datetime.fromisoformat(g[0]["start"]) - datetime.fromisoformat(end) < MERGE:
prev += g
else:
merged.append(g)
return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"])
def evenements(mesures, fin=None, dossier=None):
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal. Un détecteur
reçoit en plus ce que sa fonction detect déclare : fin, la fin de la fenêtre lue (tri en lot), pour un trou qui la
touche ; une clé de CONTEXTE, lue dans le dossier de la station (une fois par dossier), vide sans dossier."""
episodes = []
for mod in detecteurs():
try:
params = inspect.signature(mod.detect).parameters
kw = {k: _contexte(dossier, k) if dossier else {} if k == "metriques" else [] for k in CONTEXTE if k in params}
if "fin" in params:
kw["fin"] = fin
episodes += mod.detect(mesures, **kw)
except Exception as e: # noqa: BLE001
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"})
if __name__ == "__main__":
import argparse
p = argparse.ArgumentParser(description="Une ligne par événement ; --tranche : chaque tranche classée seule.")
p.add_argument("dossier")
p.add_argument("--du", help="premier jour UTC, AAAA-MM-JJ (défaut : début des données)")
p.add_argument("--au", help="dernier jour UTC exclu, AAAA-MM-JJ (défaut : fin des données)")
p.add_argument("--tranche", type=int, default=0, help="jours par tranche (défaut : un seul passage)")
# sans historique, une tranche qui commence juste avant un vrai saut le prend pour un saut revenu (PR17 à NORDEND,
# le 08/10 à 02:30 : absorbé dans la buée) ; 3 jours le rendent ; règle de l'utilisateur (2026-10-24) : 3 jours
# d'historique par défaut, dans la boucle comme dans la vraie application
p.add_argument("--historique", type=int, default=3, help="jours de mesures d'avant donnés aux détecteurs (défaut 3)")
a = p.parse_args()
mesures = charger(a.dossier)
ts = [m["t"] for ms in mesures.values() for m in ms]
jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
debut = jour(a.du) if a.du else min(ts).replace(hour=0, minute=0, second=0, microsecond=0)
fin = jour(a.au) if a.au else max(ts) + timedelta(seconds=1)
t = debut
while t < fin:
b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin
h = t - timedelta(days=a.historique)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
evs = [v for v in evenements(tranche, b, a.dossier) if v["end"] >= iso(t)] if tranche else []
if a.tranche:
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
for v in evs:
print(v["start"], "→", v["end"], f"{v['category']:<20}", "grisé" if v["ignore"] else "gardé",
f"| {v['episodes'][0]['label']}", # la sorte : la règle du détecteur de la famille
f"| {len(v['sensors']) or 'tous les'} capteurs", "| absorbés :", ", ".join(
f"{e['label']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—")
t = b
+355
View File
@@ -0,0 +1,355 @@
"""Journal du matin : le détecteur de la famille Displacement (labeling/familles.md) : les sauts brutaux de corr_x /
corr_y (px) de chaque cible, à la cadence native de l'export « advanced », et la dérive lente (en fin de fichier). Une
cible qui bascule (« Target flipping ») est de la famille Target issue : episodes() la rend, detect() la laisse à
target_issue.py.
1. Bruit de la série = médiane des écarts d'une mesure à la suivante ; saut = mesure à K bruits ou plus du niveau
d'avant (médiane des BASE mesures précédentes) ; les BASE premières mesures, faute de niveau d'avant, face au niveau
d'après (médiane des BASE suivantes), un écart y est un saut revenu aussitôt (point 12 du plan, 2026-10-24).
2. Revenu (une heure de mesures de suite à moins de la moitié du saut : BASE à 15 min, une seule à 4 h, boucle
/detector-learner MICHIGAN, modification 1) en moins d'un jour, ou un jour après de retour à sa place
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé ; sa cause n'est pas
établie ici (categories.py lui donne celle de la catégorie qui le chevauche, sinon : à vérifier sur les images).
3. Sinon « Lasting shift », jamais grisé (peut-être un vrai mouvement) ; moins d'un jour de recul :
« Jump, not back yet », pas grisé non plus.
4. Les sauts qui se suivent à moins d'une heure, toutes cibles confondues, font un seul épisode (mode commun) ;
une seule cible durable (ou trop récente) suffit à ne pas griser l'épisode.
5. Références globales exclues ; mesures rejetées (corr vides) sautées.
6. Pic commun (lot 01 de la boucle NORDEND, 2026-10-26) : au même instant, au moins PIC_MIN cibles s'écartent d'au moins
K_PIC bruits de leurs deux mesures voisines, du même côté (toute l'image secouée un pas) : un saut revenu pour chacune,
même sous K. Il entre dans les épisodes du point 4 (près d'un saut durable, il ne grise rien).
7. Boucle CLARIDEN, lot 01 (2026-10-26) : un saut jamais revenu ne clôt plus la lecture de la série, son nouveau niveau
devient le niveau d'avant ; un épisode qui n'est pas grisé finit à son dernier saut, pas aux retours (ils ne sont
plus à griser) ; une cible qui bascule (REPET sauts revenus ou plus, chacun à moins d'un jour du précédent) fait un
épisode « back to normal » à elle seule, de la première à la dernière bascule, hors des épisodes communs.
Résultats (2026-10-23, K = 20) :
- E-001 PS des Coudres : rien (vérité : rien côté sauts).
- E-002 NORDEND juillet : grisés 28/07 21:00 → 29/07 10:45 (18 cibles) et 30/07 13:30 → 31/07 01:15 (18) ; toile revenue
31/07 20:30 : « not back yet » (13 cibles, 1 h avant la fin des données).
- E-003 WILDSTRUBEL : un saut d'un pas grisé, 04/09 06:45 (le C2 de la fiche) ; les autres sont sur des références
ou rejetés.
- E-004 CLARIDEN : « Lasting shift » 19/09 06:10, 18 cibles, non grisé ; faux positif probable : une cible agitée seule,
18/09 15:40, non grisé ; la dérive de nuit de corr_x (lente) n'est pas un saut.
- E-005 NIEDERHORN : train du 01/10 12:00 grisé (1 cible sur 3 : les deux autres à 17 et 19 bruits) ; train du
30/09 22:00 vu depuis le 2026-10-24 (2 cibles, première mesure de l'export) ; feuilles, pluie : rien (error_value, pas
des sauts). Les trains sont de toute façon attrapés par visibilite (« Passing obstacle ») et le classement y absorbe
leurs sauts : ne pas baisser K pour eux (point 12 du plan).
- NORDEND octobre : PR17 seule en « Lasting shift » le 08/10 02:30 ; cinq épisodes communs grisés (07/10 19:45,
08/10 07:15, 09/10 08:45 et 21:15, 14/10 05:15 : 4 à 15 cibles, aller-retour en moins de 5 h) ; PR15 08/10 04:45,
un instant grisé.
Pic commun (K_PIC = 6, PIC_MIN = 3, 2026-10-26) : NORDEND, lot du 01 au 04/09 : secousses du 03/09 13:30 (3 cibles) et
16:45 (4) grisées, aussi 01/09 15:45 → 16:00 et 02/09 09:45, mêmes secousses d'un pas pendant la bascule de la caméra ;
NORDEND octobre : un pic de 3 cibles le 13/10 12:30, et PR17 (08/10 02:30) groupé avec le pic de 02:15, « 3 targets,
1 stayed shifted », toujours non grisé ; E-002, E-005 : pics absorbés par la toile et les trains ; E-004 : les pics du
mouvement (19/09 06:30, 06:50) restent dans le « Lasting shift » ; E-001, E-003 : rien.
Point 7 (REPET = 5, 2026-10-26) : CLARIDEN, lot du 18 au 22/09 : PR_BG grisé 19/09 06:40 → 21/09 23:20 (28 bascules de
12 px ; les autres cibles en font 3 au plus) ; le saut seul de D-303-A le 18/09 15:40 vu ; le « Lasting shift » du
matin garde 05:40 → 10:30 ; E-001 à E-003, E-005 à E-008 : inchangés.
Catégories du terrain (D-074, 2026-10-27) : la cible qui bascule pendant BASCULE au moins, avec SEULES cibles au plus en même temps, devient « Target flipping » (Target issue, plus un
saut bref) ; un saut durable d'au moins GROS des cibles, « Large shift » (gros saut : tout a bougé), toujours à vérifier.
8. Saut sous K qui reste (boucle NIEDERHORN, lot 01, 2026-10-27 ; K_DURABLE = 7, PALIER = 8) : un saut d'au moins
K_DURABLE bruits compte s'il est durable au point 3 et que la médiane du jour d'après s'écarte de celle du jour d'avant,
du côté du saut, d'au moins PALIER fois la variation ordinaire du niveau d'un jour UTC au suivant (médiane des écarts
entre niveaux journaliers) ; sinon il est ignoré (ni revenu ni trop récent : seuls les sauts de K bruits ou plus le
sont). NIEDERHORN : e09, corr_y −0,19 px le 02/10 20:00 (8 bruits, 13 variations ordinaires), « Lasting shift », avec
e10 au même instant (corr_x +0,22 px, resté) ; E-001 : rien (cibles saines à 6 variations ordinaires au plus) ;
E-004 : le mouvement du 19/09 couvre deux fois plus de mesures à vérifier ; les autres events inchangés.
"""
import statistics
import sys
from datetime import timedelta
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "agent-tools"))
import donnees # noqa: E402
K = 20 # provisoire, réglé sur E-001 : à 15, deux cibles saines y sont grisées (17 et 18 bruits) ; les trains de
# E-005 (17 et 19 bruits) sont attrapés par visibilite : ne pas baisser K
K_DURABLE = 7 # provisoire : sous K, un saut qui reste compte dès K_DURABLE bruits (boucle NIEDERHORN, lot 01 : e09,
# corr_y −0,18 px d'un coup, 8 bruits, resté 5 jours)
PALIER = 8 # provisoire : ... s'il reste : médiane du jour d'après, du côté du saut, à PALIER fois la variation
# ordinaire du niveau d'un jour au suivant de celle du jour d'avant (e09 : 13 ; E-001, cibles saines : 6 au plus)
K_PIC = 6 # provisoire : pic d'un pas commun à plusieurs cibles (secousses de NORDEND, 6 à 11 bruits, lot 01 de la boucle)
PIC_MIN = 3 # provisoire : cibles qui piquent au même pas pour un pic commun (une ou deux : bruit ordinaire)
BASE = 4 # mesures qui font le niveau d'avant (1 h à 15 min)
GAP = timedelta(hours=1) # deux sauts à moins d'une heure, toutes cibles confondues : un seul épisode
BACK_H = 24 # provisoire : retour en moins d'un jour = artefact (E-002 : paliers jusqu'à 11 h 30)
BASCULE = timedelta(hours=6) # provisoire : une cible à problème bascule des heures (PR_BG : 2,5 jours) ; en moins,
# c'est un matin agité (E-009 : C8 et C13, 5 bascules en 1 h 20 pendant le mouvement), un saut bref
SEULES = 2 # provisoire : cibles qui basculent en même temps, au plus (FLORIDA : les deux collées ; E-002, toile sur les
# références : 15 à la fois)
GROS = 0.5 # provisoire : part des cibles d'un saut durable pour un gros saut (E-004 : presque toutes)
REPET = 5 # provisoire : sauts revenus d'une même cible, à moins d'un jour l'un de l'autre, qui en font une cible qui
# bascule (PR_BG de CLARIDEN, boucle lot 01 : une trentaine en 2,5 jours)
def _sauts(t, v):
"""Une série (instants, valeurs) -> [(i début, i fin, état)], état 'back', 'lasting' ou 'recent'."""
day = timedelta(hours=BACK_H)
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
pas = statistics.median(b - a for a, b in zip(t, t[1:])) # cadence de la série
retour = max(1, min(BASE, round(timedelta(hours=1) / pas))) # mesures d'une heure (BASE à 15 min, une à 4 h)
# ponytail: place habituelle = premier jour de l'export, faux s'il commence dans un artefact
ref = statistics.median(x for x, u in zip(v, t) if u < t[0] + day)
lv = {} # niveau de chaque jour UTC ; sa variation ordinaire d'un jour au suivant juge un saut sous K
for x, u in zip(v, t):
lv.setdefault(u.date(), []).append(x)
lv = [statistics.median(x) for _, x in sorted(lv.items())]
ordinaire = statistics.median(abs(b - a) for a, b in zip(lv, lv[1:])) if len(lv) > 2 else 0
# les BASE premières mesures, faute de niveau d'avant, face au niveau d'après : un écart y est revenu aussitôt
out = [(k, k, "back") for k in range(min(BASE, len(v) - BASE))
if noise and abs(v[k] - statistics.median(v[k + 1:k + 1 + BASE])) >= K * noise]
i = BASE
while noise and i < len(v):
base = statistics.median(v[i - BASE:i])
if abs(v[i] - base) < K_DURABLE * noise:
i += 1
continue
tol = abs(v[i] - base) / 2 # revenu : une heure de mesures de suite à moins de la moitié du saut du niveau d'avant
j = next((k for k in range(i + 1, len(v)) if all(abs(x - base) < tol for x in v[k:k + retour])), len(v))
before = statistics.median([x for x, u in zip(v, t) if t[i] - day <= u < t[i]] or [base])
after = statistics.median(x for x, u in zip(v, t) if t[i] <= u < t[i] + day)
if j < len(v) and t[j] - t[i] <= day:
state = "back"
elif abs(after - ref) < tol or abs(after - before) < tol: # le jour d'après, la cible est à sa place
state, j = "back", i + 1 # habituelle, ou là où elle était le jour d'avant : le saut finissait un creux
else:
state = "lasting" if t[-1] - t[i] >= day else "recent" # moins d'un jour de recul : on ne sait pas encore
if abs(v[i] - base) < K * noise and (state != "lasting" or (after - before) * (v[i] - base) < 0
or not ordinaire or abs(after - before) < PALIER * ordinaire):
i += 1 # sous K, seul compte un saut qui reste : le jour d'après loin du jour d'avant, de son côté
continue
out.append((i, j - 1, state))
# niveau d'avant refait après le retour ; jamais revenu : le nouveau niveau devient celui d'avant, la suite
# reste lue (PR_BG de CLARIDEN, lot 01 : ses bascules après le saut de 10:30 étaient invisibles)
i = (j if j < len(v) else i) + BASE
return out
def _pics(t, v):
"""Instants où la mesure s'écarte d'au moins K_PIC bruits de ses deux voisines, du même côté (pic d'un pas)."""
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
return [t[i] for i in range(1, len(v) - 1) if noise and (v[i] - v[i - 1]) * (v[i] - v[i + 1]) > 0
and min(abs(v[i] - v[i - 1]), abs(v[i] - v[i + 1])) >= K_PIC * noise]
def episodes(mesures):
"""{capteur: [mesure]} (donnees.charger) -> épisodes des sauts, triés par début : Displacement, et Target issue pour
une cible qui bascule."""
found = [] # (début, fin, état, capteur)
pics = {} # instant -> cibles qui y font un pic d'un pas
for name, ms in mesures.items():
if donnees.est_reference(ms):
continue
for axe in ("corr_x", "corr_y"):
kept = [m for m in ms if m[axe] is not None]
if len(kept) <= BASE:
continue
t, v = [m["t"] for m in kept], [m[axe] for m in kept]
# un saut qui n'est pas revenu finit avec lui-même, pas avec les données (sa barre cachait les autres)
found += [(t[a], t[b] if state == "back" else t[a], state, name) for a, b, state in _sauts(t, v)]
for u in _pics(t, v):
pics.setdefault(u, set()).add(name)
found += [(u, u, "back", s) for u, cs in pics.items() if len(cs) >= PIC_MIN for s in cs] # pic commun : revenu
seuls = _bascules(found) # une cible qui saute et revient sans cesse : un épisode à elle seule, hors des communs
found = [f for f in found if f[2] != "back" or not any(f[3] in g["sensors"] and g["start"] <= f[0] <= g["end"]
for g in seuls)]
groups = [] # un saut qui n'est pas revenu ne compte que par son instant : sa fin est souvent celle des données
for s, e, state, name in sorted(found):
if groups and s <= groups[-1]["until"] + GAP:
g = groups[-1]
else:
g = {"start": s, "end": e, "until": s, "last": s, "sensors": {}}
groups.append(g)
g["end"], g["until"], g["last"] = max(g["end"], e), max(g["until"], e if state == "back" else s), s
g["sensors"].setdefault(name, set()).add(state)
longues = [g for g in seuls if g["flip"]] # bascules de nombreuses cibles en même temps : la compensation, pas une
for g in longues: # cible à problème
if sum(h["start"] <= g["end"] and h["end"] >= g["start"] for h in longues) > SEULES:
g["flip"] = 0
total = sum(not donnees.est_reference(ms) for ms in mesures.values())
return sorted((_episode(g, total) for g in groups + seuls), key=lambda ep: ep["start"])
def _bascules(found):
"""Sauts revenus d'une même cible, chacun à moins de BACK_H du précédent : REPET ou plus -> un groupe, de la
première à la dernière bascule."""
day, seuls = timedelta(hours=BACK_H), []
for name in {f[3] for f in found}:
chain = [] # (début, fin) ; corr_x et corr_y en double : comptés par instant
for s, e in sorted({(s, e) for s, e, state, n in found if n == name and state == "back"}) + [(None, None)]:
if chain and s is not None and s <= max(c[1] for c in chain) + day:
chain.append((s, e))
continue
if len({c[0] for c in chain}) >= REPET:
seuls.append({"start": chain[0][0], "end": max(c[1] for c in chain), "sensors": {name: {"back"}},
"flip": len({c[0] for c in chain}) if max(c[1] for c in chain) - chain[0][0] >= BASCULE else 0})
chain = [(s, e)]
return seuls
def _episode(g, total):
"""Un groupe -> épisode du journal ; un seul saut durable (ou trop récent) suffit à ne pas griser ; une cible qui
bascule : « Target flipping » (Target issue, D-074) ; un saut durable de GROS cibles ou plus : « Large shift »
(le gros saut, sous-groupe de « À vérifier »)."""
n = len(g["sensors"])
lasting = sum("lasting" in st for st in g["sensors"].values())
recent = any("recent" in st for st in g["sensors"].values())
who = "One target" if n == 1 else f"{n} targets together (a single event)"
if g.get("flip"):
name = next(iter(g["sensors"]))
return {"start": donnees.iso(g["start"]), "end": donnees.iso(g["end"]), "kind": "Target issue", "label": "Target flipping",
"text": f"{name} jumped and came back {g['flip']} times: its tracking is not reliable, look at the images "
"of the target.", "ignore": True, "sensors": [name], "lasting": []}
if lasting and n >= GROS * total:
label = "Large shift"
text = f"{n} targets jumped together and {lasting} of them stayed shifted: everything moved, please check it."
elif lasting:
label = "Lasting shift"
some = "" if lasting == n else f", {lasting} of them stayed shifted for more than a day"
text = (f"{who} jumped{some}" if some else f"{who} jumped and stayed shifted for more than a day") + \
": this may be a real movement, please check it."
elif recent:
label = "Jump, not back yet"
text = f"{who} jumped less than a day before the last measurement and has not come back yet: check again later."
else:
label = "Sudden jump, back to normal"
text = f"{who} jumped and came back within a day: the cause is not established, look at the images."
end = g["last"] if lasting or recent else g["end"] # pas grisé : le dernier saut, pas les retours
return {"start": donnees.iso(g["start"]), "end": donnees.iso(end), "kind": "Displacement", "label": label,
"text": text, "ignore": not lasting and not recent, "sensors": sorted(g["sensors"]),
"lasting": sorted(s for s, st in g["sensors"].items() if "lasting" in st)} # restées décalées (phrase du journal)
def detect(mesures):
return sorted([e for e in episodes(mesures) if e["kind"] == "Displacement"] + derive(mesures), key=lambda ep: ep["start"])
# --- Dérive lente ---------------------------------------------------------------------------------------------------
# Dérive lente : une cible qui bouge peu à peu, jour après jour.
#
# Reprend la tendance de l'onglet Displacements (D-055, explore.find_trend) sur l'export « advanced » (corr_x, corr_y, px),
# pour que la boucle puisse l'entraîner comme les autres détecteurs. Méthode, par cible (hors références globales) et par
# axe (seuils provisoires, ceux de D-055) :
# 1. Niveau du jour : médiane des mesures de chaque jour UTC d'au moins HEURES heures mesurées sur 24, en part des heures
# que la station mesure (boucle /detector-learner MICHIGAN, modification 1 : à une mesure toutes les 4 h, 5 des 6
# heures ; avant, aucun jour ne comptait) ; au moins JOURS jours.
# 2. Pente de Theil-Sen et tau de Kendall des niveaux journaliers ; amplitude du jour : écart entre ses déciles 9 et 1.
# 3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au
# suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend).
# 4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé.
# 4 bis. Par morceaux (/detector-learner Displacement, modification 1, S1) : une cible sans dérive sur toute la fenêtre
# peut dériver quelques jours, puis se poser ou repartir en arrière. Sur chaque suite d'au moins JOURS jours retenus,
# dérive = niveau du dernier jour moins celui du premier, au moins MORCEAU amplitudes du jour (médiane de la série),
# |tau| ≥ REGULIER du même signe, aucun pas d'un jour retenu au suivant de plus de la moitié de la dérive ; les
# morceaux pris de la plus grande dérive à la plus petite, sans se chevaucher (ils peuvent partager le jour où le
# niveau tourne) : chacun va d'un extrême du niveau à l'autre, un épisode par morceau et par axe. À MORCEAU = 1, les
# cycles thermiques de quelques jours et le bruit des niveaux passent (JUNGFRAU, NORDEND) : 3,5 garde les rangées de
# CLARIDEN (3,8 à 8,3 amplitudes), écarte JUNGFRAU (3,1 au plus). Les morceaux ne remplacent pas l'étape 3 : à leur
# place, la fin des dérives de MICHIGAN et ce que couvraient les tendances de WILDSTRUBEL étaient perdus.
# Un morceau ne franchit pas un trou : deux jours retenus qui se suivent sont à TROU jours au plus l'un de l'autre
# (modification 2, remarque 1 du contrôle : l'écart d'un niveau à travers trois jours sans mesure est un pas, pas une
# pente ; il faisait des morceaux de toute la fenêtre, CLARIDEN 09-28 → 11-01). Un jour manquant ne coupe pas.
# 5. Dérive de la caméra (même modification) : au moins GROS des cibles dérivent du même côté sur corr_x ou corr_y, et au
# moins GROS des capteurs, références comprises, sur leurs positions brutes x ou y : seuls les morceaux du point 4 bis
# sont signalés, pas la tendance de toute la fenêtre (/detector-learner Displacement, modification 1, S2 : la caméra
# mal compensée qui dérive, NEBRASKA, est un Displacement pour les étiquettes ; avant, rien n'était signalé). Les
# cibles d'un pont qui suivent la saison (JUNGFRAU, étiquetées Thermal displacement jour après jour) passent l'étape 3
# mais pas MORCEAU ; NEBRASKA les deux. BREITHORN (5 capteurs sur 16 en x comme en y) et MICHIGAN ne sont pas
# concernées.
HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées sur 24 (comme D-055), en part des heures mesurées
JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055)
TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055)
REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055)
MORCEAU = 3.5 # dérive par morceaux ≥ MORCEAU amplitudes journalières (point 4 bis)
TROU = 2 # un morceau ne passe pas d'un jour retenu au suivant à plus de TROU jours (point 4 bis)
def _decile(vs, q):
vs = sorted(vs)
return vs[min(len(vs) - 1, int(q * len(vs)))]
def _jours(ms, col):
"""-> {jour UTC: ses mesures}, les jours retenus (point 1)."""
jours = {}
for m in ms:
if m[col] is not None:
jours.setdefault(m["t"].date(), []).append(m)
creneaux = len({m["t"].hour for js in jours.values() for m in js}) # heures que la station mesure (6 à 4 h de pas)
return {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux}
def _derive(ms, col):
"""-> (dérive en px, jours, premier instant, dernier) ou None."""
jours = _jours(ms, col)
if len(jours) < JOURS:
return None
niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items())
paires = [(a, b) for k, a in enumerate(niv) for b in niv[k + 1:]]
pente = statistics.median((b[1] - a[1]) / (b[0] - a[0]) for a, b in paires)
tau = sum((b[1] > a[1]) - (b[1] < a[1]) for a, b in paires) / len(paires)
derive = pente * (niv[-1][0] - niv[0][0])
ampl = statistics.median(_decile([m[col] for m in js], 0.9) - _decile([m[col] for m in js], 0.1) for js in jours.values())
pas = max(abs(b[1] - a[1]) for a, b in zip(niv, niv[1:]))
if abs(derive) < TAILLE * ampl or abs(tau) < REGULIER or pas > abs(derive) / 2:
return None
d0, d1 = min(jours), max(jours)
return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1])
def _morceaux(ms, col):
"""-> [(dérive en px, jours, premier instant, dernier)] : les morceaux de dérive (point 4 bis)."""
jours = _jours(ms, col)
if len(jours) < JOURS:
return []
ds = sorted(jours)
niv = [statistics.median(m[col] for m in jours[d]) for d in ds]
ampl = statistics.median(_decile([m[col] for m in js], 0.9) - _decile([m[col] for m in js], 0.1) for js in jours.values())
morceaux = [] # (dérive, i, j)
for i in range(len(ds)):
signes = pas = 0
for j in range(i + 1, len(ds)):
if (ds[j] - ds[j - 1]).days > TROU:
break # un écart à travers un trou est un pas (le détecteur des sauts le prend), pas une pente
signes += sum((niv[j] > niv[k]) - (niv[j] < niv[k]) for k in range(i, j)) # tau de Kendall, pas à pas
pas = max(pas, abs(niv[j] - niv[j - 1]))
n, d = j - i + 1, niv[j] - niv[i]
if n >= JOURS and d and abs(d) >= MORCEAU * ampl and pas <= abs(d) / 2 \
and signes * (1 if d > 0 else -1) >= REGULIER * n * (n - 1) / 2:
morceaux.append((d, i, j))
pris = []
for d, i, j in sorted(morceaux, key=lambda x: (-abs(x[0]), x[2] - x[1])):
if all(j <= a or i >= b for _, a, b in pris):
pris.append((d, i, j))
return [(d, j - i + 1, min(m["t"] for m in jours[ds[i]]), max(m["t"] for m in jours[ds[j]])) for d, i, j in pris]
def _commune(mesures, cols):
"""Au moins GROS des capteurs dérivent du même côté sur un même axe de cols."""
for col in cols:
signes = [x[0] > 0 for ms in mesures.values() if (x := _derive(ms, col))]
if max(signes.count(True), signes.count(False)) >= GROS * len(mesures):
return True
return False
def derive(mesures):
cibles = {s: ms for s, ms in mesures.items() if not donnees.est_reference(ms)}
camera = _commune(cibles, ("corr_x", "corr_y")) and _commune(mesures, ("x", "y")) # point 5 : morceaux seuls
out = []
for s, ms in sorted(mesures.items()):
if donnees.est_reference(ms):
continue
r = [] if camera else [x for col in ("corr_x", "corr_y") if (x := _derive(ms, col))]
r = [max(r, key=lambda x: abs(x[0]))] if r else [x for col in ("corr_x", "corr_y") for x in _morceaux(ms, col)]
out += [{"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift",
"text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.",
"ignore": False, "sensors": [s]} for derive, n, a, b in r]
return out
if __name__ == "__main__":
for ep in detect(donnees.charger(sys.argv[1])):
print(ep["start"], ep["end"], "ignore" if ep["ignore"] else "KEEP ", ep["label"], "|", len(ep["sensors"]),
",".join(ep["sensors"][:6]), "|", ep["text"])
+43
View File
@@ -0,0 +1,43 @@
"""Journal du matin : le détecteur de la famille No data (labeling/familles.md) : moments sans mesure (cadence de l'export « advanced » rompue).
Cadence : écart médian entre deux instants de mesure, tous capteurs confondus. Un trou : plus de 2 pas manquants entre
deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Fin de la fenêtre lue (fin, si
l'appelant la donne : le tri en lot de categories.py) : la même règle entre la dernière mesure et fin, l'épisode allant
jusqu'à fin (boucle CLARIDEN, lot 01 : 44 h sans mesure jusqu'à la fin du lot, non signalées). Pas de mesure dans
l'export ne veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien.
Usage : python3 detectors/no_data.py <dossier de station> (affiche les épisodes)
"""
import os
import statistics
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, iso # noqa: E402
MISSING = 2 # au-delà de 2 pas manquants, c'est un trou (consigne de l'utilisateur, 2026-10-23)
def duration(s):
h, m = divmod(round(s / 60), 60)
return f"{h} h {m:02d} min" if h else f"{m} min"
def detect(mesures, fin=None):
"""fin : fin de la fenêtre lue (datetime, exclue), facultative ; sans elle, un trou final n'est pas vu."""
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
if len(ts) < 3:
return []
gaps = [(b - a).total_seconds() for a, b in zip(ts, ts[1:])]
step = statistics.median(gaps)
out = [(a, b, g, "") for a, b, g in zip(ts, ts[1:], gaps)]
if fin: # fin exclue : la dernière mesure attendue est à fin − 1 pas, l'écart se compte comme entre deux mesures
out.append((ts[-1], fin, (fin - ts[-1]).total_seconds(), ", up to the end of the period"))
return [{"start": iso(a), "end": iso(b), "kind": "No data", "label": "No data",
"text": f"No measurement in the export for {duration(g)}{fin_txt} (usually one every {duration(step)}).",
"ignore": False, "sensors": []}
for a, b, g, fin_txt in out if g > (MISSING + 1) * step]
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e)
+25
View File
@@ -0,0 +1,25 @@
"""Journal du matin : le détecteur de la famille Obstruction (labeling/familles.md) : un objet cache une ou quelques
cibles, un instant ou longtemps. Il reprend deux calculs partagés avec d'autres familles :
- l'error_value de visibility.py : Brief obstruction (un passage, un instant) et Target obscured (une cible rejetée à
répétition quand les autres restent vues, ou une gêne qui ne touche que quelques cibles, sans référence) ;
- les rejets jour après jour de target_issue.py : une cible rejetée moins d'une semaine, Target obscured.
Usage : python3 detectors/obstruction.py <dossier de station> (affiche les épisodes)
"""
import os
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
import target_issue # noqa: E402
import visibility # noqa: E402
from donnees import charger # noqa: E402
def detect(mesures):
return sorted((e for e in visibility.episodes(mesures) + target_issue.episodes(mesures) if e["kind"] == "Obstruction"),
key=lambda e: e["start"])
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e["start"], "→", e["end"], e["label"], f"| {len(e['sensors'])} :", ",".join(e["sensors"][:8]), "|", e["text"])
+165
View File
@@ -0,0 +1,165 @@
"""Journal du matin : le détecteur de la famille Target issue (labeling/familles.md) : une cible constamment
problématique : rejetée la plupart du temps, jour après jour, quand les autres sont vues (cible dégradée), collée (en
fin de fichier), ou qui bascule (les sauts de displacement.py, « Target flipping »). Une cible rejetée moins d'une
semaine est cachée par moments (point 4) : episodes() la rend avec la famille Obstruction, que detect() laisse à
obstruction.py.
Le détecteur visibilite compare chaque capteur à son propre niveau habituel : une cible presque toujours rejetée lui
paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moitié des mesures ou plus, chaque jour).
Méthode (seuils provisoires, Claude, 2026-10-27) :
1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et
la buée, qui touchent tout le monde, sont ainsi mises de côté.
2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_HEURES heures d'instants à la cadence de la
station, écart médian entre deux instants de mesure ; sinon le jour ne compte pas) : jour dégradé si au moins PART
d'entre eux sont rejetés. Cadence (boucle /detector-learner NEBRASKA, lot 01) : 12 instants fixes, « 3 h à 15 min »,
ne comptaient aucun jour à une mesure toutes les 4 h ; REFCOLH22, rejetée sans cesse depuis sa perte, n'était pas vue.
3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première
mesure rejetée de ces jours à la dernière ; ignore = True : la courbe de la cible n'est pas fiable.
4. Gênée tout le temps ou par moments (frontière « Target issue ou Obstruction » de labeling/familles.md ; boucle
/detector-learner NEBRASKA, lot 01) : une suite d'au moins SEMAINE jours est une cible à problème, « Degraded target » ;
plus courte, une cible cachée par moments, « Target obscured » (famille Obstruction), un épisode par suite de
mesures rejetées (les heures où elle est vue n'en sont pas). BREITHORN : véhicules garés
devant COLI24 et POUI22, 2 à 5 jours ; NEBRASKA et MICHIGAN : une référence perdue, 25 jours ; JUNGFRAU : PM_G, 63.
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
Cible collée (E-011, FLORIDA : une cible définie sur le prisme d'une référence) : par jour UTC,
le bruit de ses corr_x et corr_y (médiane des écarts d'une mesure à la suivante) à moins de COLLE fois le bruit médian
des autres cibles, sur les deux axes, un jour suffit (une journée sans bruit n'arrive pas par accident) ; label « Target stuck ». Sur E-011 : C2 à
7e-5 px et C3 à 2e-4 contre 0,013 pour les autres ; FLORIDA : les mêmes, Pont Ernen et Sellette 3.
Usage : python3 detectors/target_issue.py <dossier de station> (affiche les épisodes)
"""
import os
import statistics
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
import displacement # noqa: E402
from donnees import charger, est_reference, iso # noqa: E402
CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
MIN_HEURES = 3 # heures d'instants calmes, à la cadence de la station : en dessous, le jour ne compte pas
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
SEMAINE = 7 # provisoire : jours dégradés de suite pour une cible à problème ; en dessous, une cible cachée par moments
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (E-011 : 0,006 ; NORDEND, E-001 : 0,7 au plus bas)
def rejete(m):
return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"]
def cadence(mesures):
"""Écart médian entre deux instants de mesure, tous capteurs confondus, en heures (comme no_data)."""
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
return statistics.median((b - a).total_seconds() for a, b in zip(ts, ts[1:])) / 3600 if len(ts) > 1 else 1
def episodes(mesures):
"""Cibles rejetées jour après jour : Target issue (une semaine ou plus) et Obstruction (moins), puis les collées."""
min_instants = MIN_HEURES / cadence(mesures)
par_t = {}
for s, ms in mesures.items():
for m in ms:
par_t.setdefault(m["t"], {})[s] = rejete(m)
jours = {} # capteur -> jour -> [rejetés, calmes, première mesure, dernière]
for t in sorted(par_t):
d = par_t[t]
for s, r in d.items():
autres = [v for k, v in d.items() if k != s]
c = jours.setdefault(s, {}).setdefault(t.date(), [0, 0, t, t])
c[3] = t
if autres and sum(autres) / len(autres) <= CALME:
c[0] += r
c[1] += 1
out = []
for s, js in sorted(jours.items()):
suites, cur = [], []
for j in sorted(js):
rej, calmes = js[j][:2]
if calmes < min_instants:
continue
if rej / calmes >= PART:
cur.append(js[j])
elif cur:
suites.append(cur)
cur = []
suites += [cur] if cur else []
for su in suites:
if len(su) < MIN_JOURS:
continue
part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su))
text = f"{s} was rejected in {part} % of the measurements when the other targets were seen, {len(su)} days in a row."
r = _rejets([m for m in mesures[s] if su[0][2] <= m["t"] <= su[-1][3]])
if len(su) >= SEMAINE: # de la première à la dernière mesure rejetée
bornes, label = [(r[0][0], r[-1][1])], "Degraded target"
else: # par moments : un épisode par suite de mesures rejetées
bornes, label = r, "Target obscured"
out += [{"start": iso(a), "end": iso(b), "kind": "Target issue" if label == "Degraded target" else "Obstruction",
"label": label, "text": text, "ignore": True,
"sensors": [s]} for a, b in bornes]
return sorted(out + colles(mesures, min_instants), key=lambda e: e["start"])
def _rejets(ms):
"""Mesures d'un capteur -> [(début, fin)] de ses suites de mesures rejetées."""
out, cur = [], []
for m in ms + [None]:
if m and rejete(m):
cur.append(m["t"])
elif cur:
out.append((cur[0], cur[-1]))
cur = []
return out
def _bruit(v):
return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None
def colles(mesures, min_instants):
"""Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent."""
jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière)
for s, ms in mesures.items():
if est_reference(ms):
continue
par_j = {}
for m in ms:
par_j.setdefault(m["t"].date(), []).append(m)
for d, js in par_j.items():
b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")]
if None not in b and len(js) >= min_instants:
jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"])
suites = {} # cible -> [[jours collés de suite]]
for d in sorted(jours):
cs = jours[d]
for s, (bx, by, a, b) in cs.items():
autres = [v for k, (x, y, *_) in cs.items() if k != s for v in (x, y)]
if len(autres) < 4:
continue
ref = statistics.median(autres)
su = suites.setdefault(s, [[]])
if ref and max(bx, by) <= COLLE * ref:
su[-1].append((a, b))
elif su[-1]:
su.append([])
out = []
for s, su in sorted(suites.items()):
for k in su:
if k:
out.append({"start": iso(k[0][0]), "end": iso(k[-1][1]), "kind": "Target issue", "label": "Target stuck",
"text": f"{s} barely moved while the other targets did ({len(k)} day{'s' if len(k) > 1 else ''}): it may be "
"set on a reference prism.", "ignore": True, "sensors": [s]})
return out
def detect(mesures):
return sorted((e for e in episodes(mesures) + displacement.episodes(mesures) if e["kind"] == "Target issue"),
key=lambda e: e["start"])
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e)
@@ -0,0 +1,260 @@
"""Journal du matin : le détecteur de la famille Thermal displacement (labeling/familles.md) : la vague quotidienne des
déplacements corrigés (dilatation le jour, contraction le soir : l'utilisateur, 2026-10-24 ; point 41 du plan).
Méthode, par cible (hors références globales) et par axe (corr_x, corr_y) :
1. Chaque jour UTC d'au moins 20 h : moyenne de chaque heure moins la médiane du jour (enlève sauts et dérive).
2. Profil = médiane, heure par heure, sur les jours ; « répétabilité » = médiane, sur les jours, de la corrélation
entre le jour et le profil des autres jours. Axe concerné si répétabilité ≥ 0,6.
3. Cycle de la station si au moins la moitié des cibles ont un axe concerné, **et** (seconde méthode, demandée par
l'utilisateur) si une sinusoïde de 24 h, a + b·sin(2πt/24 h) + c·cos(2πt/24 h) par moindres carrés, explique au
moins R2_MIN de la courbe d'un axe pour au moins la moitié des cibles.
4. Heures chaudes : niveau de nuit = médiane des 8 heures consécutives les plus plates du profil ; une heure est
chaude si, en médiane sur les axes concernés, le profil s'en écarte d'au moins 0,3 fois son amplitude.
5. Deux épisodes par jour complet qui ressemble aux autres (corrélation médiane ≥ 0,5 sur les axes concernés) :
« Thermal expansion » de la première heure chaude à l'heure du plus grand écart au niveau de nuit, puis « Thermal
contraction » jusqu'à la fin de la dernière heure chaude. Le sens (une courbe qui monte ou qui descend) dépend de la
direction de la cible : on ne le regarde pas, seulement l'écart au niveau de nuit.
Sinusoïde (2026-10-24), axes des courbes corrigées où elle explique ≥ 30 % : PS des Coudres 14/22, NORDEND d'octobre
0/38, juillet 1/38, WILDSTRUBEL 1/14, CLARIDEN 0/48, NIEDERHORN 14/40 (3 jours, deux nuits de pluie aux mêmes heures,
écarté par la première méthode) ; PS des Coudres seule a son effet périodique, 5 jours, dilatation puis contraction.
Résultats (2026-10-23 ; « cibles » = part des cibles concernées, amplitude = médiane max − min du profil, en px) :
| Jeu | corr (ce que voit le client) | x, y bruts |
|---|---|---|
| PS_DES_COUDRES | 11/11 cibles, 0,17 px, 08-17 h, 5 épisodes | 12/12, 0,55 px, 08-16 h |
| NORDEND (juillet, E-002) | 2/18, rien | 18/19, 1,8 px, 06-18 h |
| WILDSTRUBEL (E-003) | 3/7, rien | 6/7, 3,2 px, 04-08 h |
| CLARIDEN (E-004) | 1/24, rien | 1/24, aucun cycle |
| NIEDERHORN (E-005, horaire) | 3/11, rien | 19/30, 4,6 px, ~12 h |
| cas 2026-10_NORDEND (11 j) | 9/19, 0,02 px, 08-17 h, sous le seuil (PART = 0,4 : 8 épisodes, sans 08 ni 09/10) | 17/19, 0,78 px, 09-17 h |
Lecture : le cycle est presque partout dans les positions brutes (mode commun) et la compensation l'enlève,
sauf à PS des Coudres où il reste dans corr, de même forme que dans les positions brutes.
Effet thermique (D-074, 2026-10-27) : sans cycle dans corr, la même méthode sur les positions brutes x, y donne
« Camera thermal expansion » et « Camera thermal contraction » : la caméra bouge avec la chaleur de son support, la
compensation l'enlève ; mêmes catégories du journal, phrase propre.
Caméra sans sinusoïde (boucle WILDSTRUBEL, lot 01) : sur les positions brutes, la seconde méthode n'est plus demandée ;
la caméra y montait d'un bloc de 3 px au lever, tenait 3 h et retombait en un pas vers 09:30, six jours de suite, que
la sinusoïde n'explique pas (une cible sur sept, les pointés faux de 30 px écrasent l'ajustement) ; la répétition
d'un jour à l'autre (méthode 1, 6 cibles sur 7) suffit. En échange, une seule heure chaude n'est pas un cycle
(CHAUDES_MIN) : NIEDERHORN (E-005, horaire) avait sinon son heure de midi (trains, trous) en contraction de la caméra.
L'épisode de la caméra porte sur tous les capteurs, références comprises : toute l'image bouge.
Glissade commune, sans cycle (boucle /detector-learner MICHIGAN, modification 1) : faute de cycle dans les courbes
corrigées comme dans les positions brutes, un instant est une glissade de la caméra si les positions brutes (x ou y) d'au
moins PART des capteurs, références comprises, **et** les courbes corrigées (corr_x ou corr_y) d'au moins PART des cibles
s'écartent du même côté d'au moins ECART bruits (médiane des pas de la série) de leur médiane du jour d'avant ; les
glissades à moins d'un jour l'une de l'autre font un épisode, « Camera thermal movement », sur tous les capteurs, hôte
des sauts revenus (categories.HOTES). La caméra bouge avec la température sans revenir chaque jour à la même heure (une
mesure toutes les 4 h, refroidissements brefs), et la compensation ne l'enlève pas toute. La condition sur les positions
brutes laisse aux sauts une bascule de la seule pose calculée (positions brutes immobiles). MICHIGAN : 9 épisodes du 09
au 30.10, tous dans la dérive thermique étiquetée ; NEBRASKA : 13 instants, tous justes ; BREITHORN, JUNGFRAU, NORDEND,
WILDSTRUBEL inchangés (cycle trouvé, ou rien) ; ECART = 2 prenait 2 instants Displacement de BREITHORN.
"""
import math
import os
import statistics
import sys
from datetime import datetime, timedelta, timezone
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, iso # noqa: E402
HEURES_MIN = 20 # provisoire : un jour UTC compte s'il a au moins 20 heures mesurées
REPRO = 0.6 # provisoire : un axe a un cycle si chaque jour ressemble aux autres (bruit pur ≈ 0)
PART = 0.5 # provisoire : part des cibles concernées ; 2026-10_NORDEND est juste dessous (9/19)
CHAUD = 0.3 # provisoire : écart au niveau de nuit, en part de l'amplitude du profil
JOUR = 0.5 # provisoire : ressemblance d'un jour aux autres pour lui donner son épisode
NUIT = 8 # heures consécutives du profil les plus plates = niveau de nuit
R2_MIN = 0.3 # provisoire, ébauche du 2026-10-24 : PS des Coudres 14 axes sur 22 au-dessus, CLARIDEN 0 sur 48
CHAUDES_MIN = 2 # provisoire : boucle WILDSTRUBEL, lot 01 ; NIEDERHORN (E-005) n'a qu'une heure chaude (midi)
ECART = 3 # provisoire : glissade commune, en bruits (médiane des pas) d'écart à la médiane du jour d'avant
W = 2 * math.pi / 86400 # pulsation d'un cycle de 24 h, en rad/s
def _corr(a, b):
ma, mb = statistics.mean(a), statistics.mean(b)
num = sum((x - ma) * (y - mb) for x, y in zip(a, b))
den = (sum((x - ma) ** 2 for x in a) * sum((y - mb) ** 2 for y in b)) ** 0.5
return num / den if den else 0.0
def _axe(ms, col):
"""-> (profil sur 24 h, {jour: corrélation au profil des autres jours}) ou None."""
jours = {}
for m in ms:
if m[col] is not None:
jours.setdefault(m["t"].date(), {}).setdefault(m["t"].hour, []).append(m[col])
J = {}
for d, hs in jours.items():
if len(hs) >= HEURES_MIN:
med = statistics.median(v for l in hs.values() for v in l)
J[d] = {h: statistics.mean(l) - med for h, l in hs.items()}
if len(J) < 2:
return None
profil = [statistics.median(q[h] for q in J.values() if h in q) for h in range(24) if any(h in q for q in J.values())]
if len(profil) < 24:
return None
ressemblance = {}
for d, p in J.items():
autres = [q for e, q in J.items() if e != d]
hs = [h for h in p if all(h in q for q in autres)]
ressemblance[d] = _corr([p[h] for h in hs], [statistics.median(q[h] for q in autres) for h in hs])
return profil, ressemblance
def sinus_r2(ms, col):
"""Part de la courbe expliquée par une sinusoïde de 24 h (moindres carrés, 3 inconnues), ou None si trop court."""
pts = [(m["t"].timestamp(), m[col]) for m in ms if m[col] is not None]
if len(pts) <= 48:
return None
rows = [(1.0, math.sin(W * t), math.cos(W * t)) for t, _ in pts]
A = [[sum(r[i] * r[j] for r in rows) for j in range(3)] for i in range(3)]
B = [sum(r[i] * y for r, (_, y) in zip(rows, pts)) for i in range(3)]
for i in range(3): # élimination de Gauss
for k in range(i + 1, 3):
f = A[k][i] / A[i][i]
A[k] = [x - f * y for x, y in zip(A[k], A[i])]
B[k] -= f * B[i]
x = [0.0] * 3
for i in (2, 1, 0):
x[i] = (B[i] - sum(A[i][j] * x[j] for j in range(i + 1, 3))) / A[i][i]
m = statistics.mean(y for _, y in pts)
sst = sum((y - m) ** 2 for _, y in pts)
sse = sum((y - sum(c * v for c, v in zip(x, r))) ** 2 for r, (_, y) in zip(rows, pts))
return 1 - sse / sst if sst else None
def sinus(mesures, cols=("corr_x", "corr_y")):
"""-> (cibles dont un axe suit une sinusoïde de 24 h, cibles évaluées)."""
oui, evaluees = set(), set()
for s, ms in mesures.items():
if ms[0]["pattern_type"] == "global_ref":
continue
for col in cols:
r2 = sinus_r2(ms, col)
if r2 is not None:
evaluees.add(s)
if r2 >= R2_MIN:
oui.add(s)
return oui, evaluees
def cycle(mesures, cols=("corr_x", "corr_y")):
"""-> (axes concernés [(capteur, col, profil, ressemblance)], nombre de cibles évaluées)."""
concernes, cibles = [], set()
for s, ms in mesures.items():
if ms[0]["pattern_type"] == "global_ref":
continue
for col in cols:
r = _axe(ms, col)
if r is None:
continue
cibles.add(s)
if statistics.median(r[1].values()) >= REPRO:
concernes.append((s, col) + r)
return concernes, len(cibles)
def ecarts(concernes):
"""Écart médian (sur les axes concernés) au niveau de nuit, heure par heure, en part de l'amplitude du profil."""
def score(p, h):
debut = min(range(24), key=lambda i: max(p[(i + k) % 24] for k in range(NUIT)) - min(p[(i + k) % 24] for k in range(NUIT)))
nuit = statistics.median(p[(debut + k) % 24] for k in range(NUIT))
return abs(p[h] - nuit) / (max(p) - min(p))
return [statistics.median(score(c[2], h) for c in concernes) for h in range(24)]
def heures_chaudes(concernes):
return [h for h, e in enumerate(ecarts(concernes)) if e >= CHAUD]
def detect(mesures):
"""Cycle des courbes corrigées (l'ouvrage) ; sinon, celui des positions brutes (la caméra qui bouge par dilatation
de son support, compensée : D-074, 2026-10-27)."""
return (_episodes(mesures, ("corr_x", "corr_y"), "Thermal", False) or
_episodes(mesures, ("x", "y"), "Camera thermal", True) or glissades(mesures))
def _signes(ms, col):
"""{instant: +1 ou -1} où la mesure s'écarte d'au moins ECART bruits de la médiane du jour d'avant."""
k = [(m["t"], m[col]) for m in ms if m[col] is not None]
if len(k) < 3:
return {}
bruit = statistics.median(abs(b - a) for (_, a), (_, b) in zip(k, k[1:]))
out, j = {}, 0
for i, (t, v) in enumerate(k):
while k[j][0] < t - timedelta(days=1):
j += 1
avant = [w for _, w in k[j:i]]
if bruit and len(avant) >= 3 and abs(v - statistics.median(avant)) >= ECART * bruit:
out[t] = 1 if v > statistics.median(avant) else -1
return out
def _communs(series):
"""[{instant: signe}] d'un groupe de capteurs -> instants où au moins PART d'entre eux s'écartent du même côté."""
n, compte = len(series), {}
for sg in series:
for t, x in sg.items():
compte.setdefault((t, x), 0)
compte[(t, x)] += 1
return {t for (t, x), c in compte.items() if n and c >= PART * n}
def glissades(mesures):
"""Glissade commune de la caméra, sans cycle de 24 h : les positions brutes de la plupart des capteurs, références
comprises, et les courbes corrigées de la plupart des cibles s'écartent ensemble, du même côté, de leur jour d'avant."""
cibles = [ms for ms in mesures.values() if ms[0]["pattern_type"] != "global_ref"]
brut = set().union(*(_communs([_signes(ms, c) for ms in mesures.values()]) for c in ("x", "y")))
corr = set().union(*(_communs([_signes(ms, c) for ms in cibles]) for c in ("corr_x", "corr_y")))
episodes = []
for t in sorted(brut & corr):
if episodes and t - episodes[-1][1] <= timedelta(days=1): # moins d'un jour entre deux : la même glissade
episodes[-1][1] = t
else:
episodes.append([t, t])
return [{"start": iso(a), "end": iso(b), "kind": "Thermal displacement", "label": "Camera thermal movement",
"text": "The camera moved with a change of temperature and all the curves moved with it; this is not a "
"movement of the structure, nothing to do.", "ignore": False, "sensors": sorted(mesures)}
for a, b in episodes]
def _episodes(mesures, cols, nom, camera):
concernes, n = cycle(mesures, cols)
capteurs = sorted({c[0] for c in concernes})
if not n or len(capteurs) < PART * n:
return []
if not camera: # seconde méthode, pour l'ouvrage seul : la sinusoïde doit le voir aussi
oui, evaluees = sinus(mesures, cols)
if not evaluees or len(oui) < PART * len(evaluees):
return []
chaudes = heures_chaudes(concernes)
if len(chaudes) < CHAUDES_MIN:
return []
e = ecarts(concernes)
pic = max(chaudes, key=lambda h: e[h]) # le plus grand écart au niveau de nuit : fin de la dilatation
jours = sorted({d for c in concernes for d in c[3]})
if camera: # toute l'image bouge, références comprises
capteurs = sorted(mesures)
episodes = []
for d in jours: # ponytail: jours complets seulement, les bouts d'export (22:00 → minuit) n'ont pas d'épisode
if statistics.median(c[3][d] for c in concernes if d in c[3]) < JOUR:
continue
minuit = datetime(d.year, d.month, d.day, tzinfo=timezone.utc)
for label, a, b in ((f"{nom} expansion", chaudes[0], pic), (f"{nom} contraction", pic, chaudes[-1] + 1)):
if b > a:
episodes.append({"start": iso(minuit + timedelta(hours=a)), "end": iso(minuit + timedelta(hours=b)),
"kind": "Thermal displacement", "label": label, "text": "", "ignore": False, "sensors": capteurs})
return episodes
if __name__ == "__main__":
mesures = charger(sys.argv[1])
for e in detect(mesures):
print(e["start"], "→", e["end"], e["label"], len(e["sensors"]), "cibles")
for cols in (("corr_x", "corr_y"), ("x", "y")):
concernes, n = cycle(mesures, cols)
k = len({c[0] for c in concernes})
amp = statistics.median(max(c[2]) - min(c[2]) for c in concernes) if concernes else 0
oui, evaluees = sinus(mesures, cols)
print(f"{cols[0][:-2] or 'brut'} : cibles {k}/{n}, amplitude médiane {amp:.3f} px, heures chaudes (UTC) "
f"{heures_chaudes(concernes) if concernes else '-'} ; sinusoïde : cibles {len(oui)}/{len(evaluees)}")
+324
View File
@@ -0,0 +1,324 @@
"""Journal du matin : le détecteur de la famille Visibility (labeling/familles.md) : on voit moins bien, l'image est faible
ou floue (error_value), ou elle tremble (turbulence, en fin de fichier). Le même calcul de l'error_value trouve aussi les
objets devant quelques cibles (Brief obstruction, Target obscured) : episodes() les rend avec la famille Obstruction, que
detect() laisse à obstruction.py.
Méthode (seuils provisoires ci-dessous) :
1. Mesure « haute » : error_value > médiane + 10 MAD du capteur sur l'export, et > 2 × médiane, ou rejetée (> error_threshold)
et > 1,2 × médiane : un capteur au niveau habituel de 0,6 ne double jamais, et FLORIDA (boucle, lot 01) montrait ses brouillards
en Target obscured.
2. Brief obstruction : un instant où au moins 3 capteurs sont hauts, 3 fois plus qu'aux instants voisins (train, véhicule),
sans référence (global_ref) parmi eux : un pic d'un pas qui touche les références n'est pas un obstacle devant des
cibles (pic de toute l'image, NORDEND le 01.09 11:15, lot 01 de la boucle) ; il n'est pas montré. Sauf si au moins
BREF_MIN cibles sont rejetées (> error_threshold) à cet instant et ni à l'instant d'avant ni à celui d'après : un
passage devant elles, une référence touchée en plus (/detector-learner Displacement, modification 1, S5 : trains de
NIEDERHORN, 12 et 13 cibles rejetées ; NORDEND le 01.09 11:15 n'a aucun rejet).
3. Poor visibility : suites d'au moins 3 mesures hautes par capteur, réunies entre capteurs (au moins 2), réduites aux instants
où au moins 15 % du pic de l'épisode est haut ; le texte dit si des références (global_ref) sont touchées.
4. Target obscured : une cible (pas une global_ref) rejetée (> error_threshold) et à plus de 5 MAD, au moins 3 fois à moins de 6 h
d'écart, la plupart hors des épisodes 2 et 3 (feuilles, neige, reflet sur une cible). Tous les épisodes : ignore = True.
5. Niveau d'une Poor visibility (point 38 du plan, validé le 2026-10-24), mesure par mesure : « none » (on ne voit rien) quand
au moins MOITIE des cibles habituellement vues (sous leur seuil la moitié du temps au moins) sont rejetées, « reduced »
(données moyennes) sinon ; un épisode par période de même niveau, avec le champ level. Sur les cas : NORDEND le 09.10
08:45 → 10:30 et 21:30 → 23:15, le 14.10 05:15 → 06:00 en none ; buées de NORDEND et de E-001, toile de E-002, pluie
de E-005 en reduced.
6. Bornes d'une Poor visibility (boucle WILDSTRUBEL, lot 01) : de la première à la dernière mesure où une cible est
rejetée (> error_threshold), et pas d'épisode sans cible rejetée. Sur une chaussée en plein soleil, l'error_value de
jour (×1,5 à ×3, la turbulence) faisait durer la visibilité réduite des heures sans aucun rejet (28.09 10:00 → 12:15,
29.09 jusqu'à 14:15) ; les références ne comptent pas : R3 y passe son seuil presque toute la journée. Benchmark :
le seul épisode perdu est celui, faux, de E-010.
7. Poor visibility ou objet (frontière « Visibility ou Obstruction » de labeling/familles.md ; boucle /detector-learner
BREITHORN, lot 01) : une gêne qui ne touche qu'au plus QUELQUES cibles, et aucune référence, n'est pas diffuse : c'est
un objet devant elles (un véhicule stationné), un épisode « Target obscured » de toute sa durée, sans niveau.
Résultats (2026-10-23) :
- PS_DES_COUDRES (E-001, buée 13.10 23:45 → 14.10 05:15, 2 références sur 3) : Poor visibility 13.10 23:45 → 14.10 04:45, REF_G et
REF_D ; aussi la nuit d'avant, 13.10 01:15 → 03:30, mêmes références (hors vérité, pas d'image : sans doute la même buée).
- NORDEND juillet (E-002, toile 28.07 20:45 → 31.07 03:00, reprise 31.07 20:30) : Poor visibility 28.07 20:45 → 31.07 02:45 (20 capteurs)
et 31.07 20:30 → fin (18), références comprises.
- WILDSTRUBEL (E-003, turbulence de jour) : pas de Poor visibility (error_value ×1,5 à ×3 seulement : laissé au détecteur turbulence) ;
3 Brief obstruction de jour (02.09 12:00, 03.09 08:15, 04.09 14:00 : un véhicule sur la route à 14:00, image ; les deux
premières touchent des références et ne sont plus montrées depuis le lot 01 de la boucle NORDEND) ; PA_9 en
Target obscured chaque matin dès 04:30, jusqu'à 06:45, 08:15 ou 12:00 (soleil sur la cible, probable).
- CLARIDEN (E-004, mouvement réel) : rien sur le groupe à error_value durablement haute (bon) ; Brief obstruction 18.09 13:40
et 20.09 06:20 (tunnel : taches assombries, non établi ; références touchées, plus montrées depuis le lot 01) ;
Target obscured PR-284 19.09 18:30 → 18:50.
- NIEDERHORN (E-005) : trains 30.09 22:00, 01.10 12:00 et 21:00, 02.10 21:00 (celui du 03.10 10:00, 2 cibles, manqué) ;
pluie 01.10 06:00 → 11:00 et 02.10 03:00 → 11:00 (vérité 05:00 et 03:00 → 11:00), références intactes ; feuilles 02.10 10:00 → 22:00.
- NORDEND octobre (cas/2026-10_NORDEND) : Poor visibility 07.10 17:15 → 08.10 12:15 (buée du 08.10 02:30), 09.10 07:45 → 14:00
(parois ruisselantes), 09.10 20:45 → 23:45 (17 rejets à 23:00, retour à 00:00), 13.10 09:45 → 10:30, 14.10 05:15 → 06:30
(taches pâles à l'aube) ; Brief obstruction 12.10 14:15 (09.10 18:45 touche CTR04 : plus montrée depuis le lot 01) ;
Target obscured surtout CTR01, PR04, PR09 (souvent rejetées) : à vérifier.
- FLORIDA (boucle, lot 01 ; cibles au niveau 0,6 pour un seuil de 0,7) : les brouillards du 18.10, du 20-21.10, du 23.10 et
du 24-25.10, avant en Target obscured, en Poor visibility (none et reduced en alternance, cœur seul : à 10 MAD) ; la référence
r1_r au-dessus de son seuil du 22.10 au 24.10 reste manquée (son MAD de 0,15 rend 10 MAD hors d'atteinte).
Version simple essayée le 2026-10-24 (point 11 du plan), à la demande de l'utilisateur : part des cibles rejetées au-dessus
de leur seuil, sans comparer chaque capteur à son propre niveau. Moins bonne sur cinq jeux sur six (buée de E-001 manquée,
toile de E-002 morcelée, turbulence de E-003 prise pour une perte de visibilité) et grisait le vrai mouvement de E-004 :
l'utilisateur a remis cette version en service ; la simple est gardée dans archive/visibilite_simple.py.
"""
import os
import statistics
import sys
from datetime import timedelta
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, iso # noqa: E402
K_MAD = 10 # provisoire, réglé sur E-001 (buée : 11 à 57 MAD) et E-005 (pluie, trains : 10 à 70 MAD)
FACTEUR = 2 # provisoire : écarte les capteurs à MAD quasi nulle (E-004 : PWD_REF10 ×1,6 à 14 MAD, E-005)
SUITE_MIN = 3 # provisoire : mesures hautes d'affilée pour une mauvaise visibilité (E-001, E-005 pluie)
BREF_MIN = 3 # provisoire, réglé sur E-005 (trains : 5 à 17 capteurs ; celui de 2 cibles est manqué)
K_CIBLE = 5 # provisoire, réglé sur E-005 (feuilles : 6 à 25 MAD, rejetées)
CIBLE_MIN = 3 # provisoire : rejets répétés d'une cible
FRAC = 0.15 # provisoire : coupe les queues de PR09 + CTR01 (NORDEND octobre) sans couper la toile (E-002)
ECART = 2.5 # provisoire : pas tolérés entre deux mesures hautes d'une même suite (un pas manquant, horloge à la seconde près)
COUPURE = timedelta(hours=2) # provisoire : accalmie qui sépare deux épisodes (NORDEND octobre, nuit du 13 au 14.10)
SAILLIE = 3 # provisoire : un train ressort d'au moins 3 fois les instants voisins (E-005 : 5 à 17 contre 0 à 2 ;
# la toile de E-002 varie de 2 à 9 d'un pas à l'autre)
CIBLE_ECART = timedelta(hours=6) # provisoire, réglé sur E-005 (feuilles : 7 rejets en 12 h, jusqu'à 5 h d'écart)
FACTEUR_REJET = 1.2 # provisoire : un rejet à 10 MAD compte aussi (boucle FLORIDA, lot 01 : niveaux de 0,6, ×2 hors d'atteinte) ;
# écarte C24 de E-009 (niveau 0,68 au ras du seuil 0,7, rejeté à ×1,04)
MOITIE = 0.5 # provisoire : « on ne voit rien » ; réglé sur NORDEND (09.10 23:00 : 68 % rejetées) et E-005 (pluie : 24 à 33 %)
QUELQUES = 3 # provisoire : Poor visibility sur au plus 3 cibles, sans référence : un objet, Target obscured (7) ;
# boucle /detector-learner BREITHORN, lot 01 (véhicules stationnés devant 2 ou 3 cibles sur 12)
def _pas(mesures):
ts = sorted({m["t"] for v in mesures.values() for m in v})
return statistics.median(b - a for a, b in zip(ts, ts[1:]))
def _grouper(points, ecart):
"""[(t, capteur)] triés par t -> groupes [(début, fin, {capteurs}, [t])] dont les points sont à ≤ ecart les uns des autres."""
groupes = []
for t, s in points:
if groupes and t - groupes[-1][1] <= ecart:
g = groupes[-1]
groupes[-1] = (g[0], t, g[2] | {s}, g[3] + [t])
else:
groupes.append((t, t, {s}, [t]))
return groupes
def _episode(debut, fin, label, text, capteurs, level=None):
e = {"start": iso(debut), "end": iso(fin), "kind": "Visibility" if label == "Poor visibility" else "Obstruction",
"label": label, "text": text,
"ignore": level != "reduced", "sensors": sorted(capteurs)} # visibilité réduite : données moyennes, pas grisées
return {**e, "level": level} if level else e
def _niveaux(mesures, instants):
"""t -> "none" si au moins MOITIE des cibles habituellement vues sont rejetées à t, "reduced" sinon."""
ratios = []
for v in mesures.values():
r = {m["t"]: m["error_value"] / m["error_threshold"] for m in v if m["error_value"] is not None and m["error_threshold"]}
if r and statistics.median(r.values()) < 1:
ratios.append(r)
return {t: "none" if sum(r.get(t, 0) > 1 for r in ratios) >= MOITIE * max(1, sum(t in r for r in ratios)) else "reduced"
for t in instants}
def episodes(mesures):
"""Tous les épisodes de l'error_value : Visibility (Poor visibility), Obstruction (Brief obstruction, Target obscured)."""
ecart = ECART * _pas(mesures)
refs = {s for s, v in mesures.items() if v[0]["pattern_type"] == "global_ref"}
instants = sorted({m["t"] for v in mesures.values() for m in v})
hautes, rejets = {}, {} # capteur -> [t]
refuses = set() # instants où une cible (pas une global_ref) est au-dessus de son seuil
rejetees = {} # t -> {cibles au-dessus de leur seuil}
for s, v in mesures.items():
e = [m["error_value"] for m in v if m["error_value"] is not None]
if len(e) < 10:
continue
med = statistics.median(e)
mad = statistics.median(abs(x - med) for x in e) or 1e-9
for m in v:
x = m["error_value"]
if x is None:
continue
rejete = m["error_threshold"] and x > m["error_threshold"]
if rejete and s not in refs:
refuses.add(m["t"])
rejetees.setdefault(m["t"], set()).add(s)
if x > med + K_MAD * mad and (x > FACTEUR * med or rejete and x > FACTEUR_REJET * med):
hautes.setdefault(s, []).append(m["t"])
if s not in refs and rejete and x > med + K_CIBLE * mad:
rejets.setdefault(s, []).append(m["t"])
par_t = {} # t -> {capteurs hauts}
for s, ts in hautes.items():
for t in ts:
par_t.setdefault(t, set()).add(s)
n = lambda t: len(par_t.get(t, ())) # noqa: E731
out = []
# 2. Brief obstruction : un instant où beaucoup de capteurs sont hauts, au moins SAILLIE fois plus qu'aux instants voisins.
brefs = set()
for i, t in enumerate(instants):
voisins = [n(instants[j]) for j in (i - 1, i + 1) if 0 <= j < len(instants)]
if n(t) >= BREF_MIN and n(t) >= SAILLIE * max(voisins):
brefs.add(t)
seules = rejetees.get(t, set()).difference(*(rejetees.get(instants[j], set()) for j in (i - 1, i + 1)
if 0 <= j < len(instants)))
if par_t[t] & refs and len(seules) < BREF_MIN: # références touchées sans cibles rejetées à ce seul instant :
continue # pas un obstacle devant des cibles, l'image entière
out.append(_episode(t, t, "Brief obstruction", f"{n(t)} points were poorly seen for a single measurement, then came "
"back: probably a train, a vehicle or an animal passing; ignore this point on the curves.", par_t[t]))
# 3. Poor visibility : suites longues par capteur (sans les instants brefs), réunies entre capteurs,
# puis réduites aux instants où au moins FRAC du pic de l'épisode est haut (coupe les queues d'un ou deux capteurs
# et les longues accalmies, plus de COUPURE).
suites = []
for s, ts in hautes.items():
pts = [(t, s) for t in ts if t not in brefs]
suites += [(a, b, s) for a, b, _, l in _grouper(pts, ecart) if len(l) >= SUITE_MIN]
zones = [z for z in _grouper_intervalles(sorted(suites), ecart) if len(z[2]) >= 2]
gardees = []
for a, b, _ in zones:
dans = [t for t in instants if a <= t <= b and t not in brefs]
pic = max(n(t) for t in dans)
pts = [(t, s) for t in dans if n(t) >= max(1, FRAC * pic) for s in par_t[t]]
gardees += [(d, f, cs) for d, f, cs, l in _grouper(pts, max(ecart, COUPURE)) if len(cs) >= 2 and len(set(l)) >= SUITE_MIN]
# Bornes : de la première à la dernière cible rejetée ; sans rejet, pas d'épisode (6).
gardees = [(r[0], r[-1], cs) for a, b, cs in gardees if (r := [t for t in instants if a <= t <= b and t in refuses])]
niveau = _niveaux(mesures, instants)
for a, b, cs in gardees: # un épisode par période de même niveau (5) ; le texte vient de categories.py
if len(cs) <= QUELQUES and not cs & refs: # un objet devant quelques cibles, pas une gêne diffuse (7)
out.append(_episode(a, b, "Target obscured", "", cs))
continue
seg = []
for t in [t for t in instants if a <= t <= b] + [None]:
if seg and (t is None or niveau[t] != niveau[seg[0]]):
qui = cs & set().union(*(par_t.get(u, set()) for u in seg)) or cs
out.append(_episode(seg[0], seg[-1], "Poor visibility", "", qui, niveau[seg[0]]))
seg = []
if t is not None:
seg.append(t)
dedans = lambda t: t in brefs or any(a <= t <= b for a, b, _ in gardees) # noqa: E731
# 4. Target obscured : une cible rejetée à répétition, surtout hors des épisodes ci-dessus.
cibles = []
for s, ts in rejets.items():
for a, b, _, l in _grouper([(t, s) for t in ts], CIBLE_ECART):
if len(l) >= CIBLE_MIN and sum(map(dedans, l)) * 2 < len(l):
cibles.append((a, b, s))
for a, b, cs in _grouper_intervalles(sorted(cibles), timedelta(0)):
qui, it, its = ("One target was", "it", "its") if len(cs) == 1 else (f"{len(cs)} targets were", "them", "their")
out.append(_episode(a, b, "Target obscured", f"{qui} repeatedly lost while the targets around stayed clear: probably "
f"something in front of {it} (leaves, snow) or glare; {its} displacements in this period are unreliable.", cs))
return sorted(out, key=lambda e: e["start"])
def _grouper_intervalles(intervalles, ecart):
"""[(début, fin, capteur)] triés -> [(début, fin, {capteurs})] des intervalles qui se chevauchent (à ecart près)."""
out = []
for a, b, s in intervalles:
if out and a - out[-1][1] <= ecart:
out[-1] = (out[-1][0], max(out[-1][1], b), out[-1][2] | {s})
else:
out.append((a, b, {s}))
return out
def detect(mesures):
return [e for e in episodes(mesures) if e["kind"] == "Visibility"] + turbulence(mesures)
# --- Turbulence ----------------------------------------------------------------------------------------------------
# Turbulence atmosphérique (bruit rapide sur les déplacements corrigés).
#
# Méthode :
# 1. Par capteur et par heure H, sur les mesures de [H − 1 h, H + 2 h) : agitation = médiane de |Δcorr_x| + |Δcorr_y|
# entre mesures successives (robuste aux sauts d'un seul pas), et médiane de l'error_value.
# 2. Chacune est rapportée au calme du capteur : le quartile bas de ses valeurs horaires sur l'export (souvent la nuit).
# 3. Heure turbulente : au moins la moitié des capteurs à ≥ 1,5 fois leur agitation calme, et error_value médiane
# des capteurs à ≥ 1,5 fois la calme (l'air chaud brouille les taches : E-003, critère 1).
# 4. Heures voisines fusionnées (trou d'une heure toléré), épisode d'au moins 3 h, écarté si plus de 15 % des mesures
# sont rejetées (c'est alors de la mauvaise visibilité, autre détecteur). Grisé si l'agitation médiane ≥ 2×.
#
# Résultats (2026-10-23, seuils ci-dessous) :
# - WILDSTRUBEL (E-003, vérité : chaque jour ~03:30 → 16:00) : 3 épisodes, 02.09 04:00-15:00, 03.09 05:00-15:00,
# 04.09 04:00-15:00, les 13 capteurs, ×2,3 à ×2,6, tous grisés.
# - PS_DES_COUDRES (sain, buée une nuit), NORDEND juillet (toile d'araignée), CLARIDEN (mouvement réel),
# NIEDERHORN (trains, pluie), NORDEND octobre (11 jours) : aucun épisode. Écartés en route : midis agités sans
# error_value en hausse (PS des Coudres, NORDEND octobre), toile et pluie par les rejets (18 à 43 %), le matin du
# mouvement de CLARIDEN (06:00-08:00) par la durée.
RATIO = 1.5 # provisoire, réglé sur E-003 (WILDSTRUBEL : de jour, corr ×1,7 à ×3 la nuit)
PART = 0.5 # provisoire : part des capteurs agités en même temps
RATIO_ERR = 1.5 # provisoire, réglé sur E-003 (error_value ×1,7 à ×3,2 la nuit ; ≈ ×1 à midi ailleurs)
REJET_MAX = 0.15 # provisoire : E-003 ≤ 7 % ; toile d'araignée (E-002) et pluie (E-005) ≥ 18 %
FORT = 2.0 # provisoire : E-003 (×2,3 à ×2,6) est fort ; un épisode entre ×1,5 et ×2 reste visible
DUREE_MIN = timedelta(hours=3) # provisoire : E-003 dure 10-11 h ; écarte le matin du mouvement réel de E-004 (2 h),
# que le classement écarte aussi, quelle que soit la durée (point 14 du plan)
HEURE = timedelta(hours=1)
def _heure(t):
return t.replace(minute=0, second=0, microsecond=0)
def _rapports(points):
"""[(t, valeur)] -> {heure H: médiane sur [H − 1 h, H + 2 h) / quartile bas de ces médianes}."""
par = {}
for t, v in points:
for k in (-1, 0, 1):
par.setdefault(_heure(t) + k * HEURE, []).append(v)
med = {h: statistics.median(v) for h, v in par.items() if len(v) >= 3}
if len(med) < 8:
return {}
calme = statistics.quantiles(med.values(), n=4)[0]
return {h: v / calme for h, v in med.items()} if calme > 0 else {}
def heures(mesures):
"""-> {heure: {capteur: (agitation / calme, error_value / calme)}}."""
out = {}
for s, ms in mesures.items():
ag = _rapports([(b["t"], abs(b["corr_x"] - a["corr_x"]) + abs(b["corr_y"] - a["corr_y"]))
for a, b in zip(ms, ms[1:]) if a["corr_x"] is not None and b["corr_x"] is not None])
er = _rapports([(m["t"], m["error_value"]) for m in ms if m["error_value"] is not None])
for h, r in ag.items():
if h in er:
out.setdefault(h, {})[s] = (r, er[h])
return out
def _turbulente(r):
return (sum(a >= RATIO for a, _ in r.values()) >= PART * len(r)
and statistics.median(e for _, e in r.values()) >= RATIO_ERR)
def turbulence(mesures):
H = heures(mesures)
blocs = []
for h in sorted(h for h, r in H.items() if _turbulente(r)):
if blocs and h - blocs[-1][-1] <= 2 * HEURE:
blocs[-1].append(h)
else:
blocs.append([h])
episodes = []
for b in blocs:
debut, fin = b[0], b[-1] + HEURE
dedans = [m for ms in mesures.values() for m in ms if debut <= m["t"] < fin]
if fin - debut < DUREE_MIN or sum(m["corr_x"] is None for m in dedans) > REJET_MAX * len(dedans):
continue
par_capteur = {}
for h in b:
for s, (a, _) in H[h].items():
par_capteur.setdefault(s, []).append(a)
agit = {s: statistics.median(v) for s, v in par_capteur.items()}
fort = statistics.median(agit.values())
episodes.append({
"start": iso(debut), "end": iso(fin), "kind": "Visibility",
"label": "Heat shimmer",
"text": f"Readings were about {fort:.1f}× noisier than in calm hours because of heat shimmer "
"(warm air trembling in the line of sight); the small fast wiggles are not movement.",
"ignore": fort >= FORT,
"sensors": sorted(s for s, v in agit.items() if v >= RATIO),
})
return episodes
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e["start"], "→", e["end"], e["label"], f"| {len(e['sensors'])} :", ",".join(e["sensors"][:8]), "|", e["text"])
+80
View File
@@ -0,0 +1,80 @@
"""Figure de présentation : panneaux caméra (tilt, pan, rotation), température, puis corr_y des cibles.
Usage : .venv/bin/python .claude/skills/presentation/figure-y.py data/STATION sortie.png DEBUT FIN --cam tilt,pan --temp --cibles A,B
[--zone D/F ...] [--ligne T] [--toutes] (--toutes : corr_y de toutes les cibles, pour explorer)
"""
import argparse
import os
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, charger_camera, charger_temperature, est_reference, filtrer, instant # noqa: E402
NOMS = {"tilt": "Tilt de la caméra (°)", "pan": "Pan de la caméra (°)", "rotation": "Rotation de la caméra (°)"}
def coupee(points, trou_h=6):
"""[(t, v)] -> listes x, y avec None aux trous de plus de trou_h heures (le trait ne relie pas le trou)."""
xs, ys, prec = [], [], None
for t, v in points:
if prec and (t - prec).total_seconds() > trou_h * 3600:
xs.append(prec)
ys.append(None)
xs.append(t)
ys.append(v)
prec = t
return xs, [float("nan") if v is None else v for v in ys]
a = argparse.ArgumentParser()
a.add_argument("dossier")
a.add_argument("sortie")
a.add_argument("debut", type=instant)
a.add_argument("fin", type=instant)
a.add_argument("--cam", default="")
a.add_argument("--temp", action="store_true")
a.add_argument("--cibles", default="")
a.add_argument("--toutes", action="store_true")
a.add_argument("--zone", action="append", default=[])
a.add_argument("--ligne", action="append", default=[])
a.add_argument("--hauteur", type=float, default=6.4)
o = a.parse_args()
mes = charger(o.dossier)
cibles = [c for c in mes if not est_reference(mes[c])] if o.toutes else [c for c in o.cibles.split(",") if c]
panneaux = [c for c in o.cam.split(",") if c] + (["temp"] if o.temp else []) + (["y"] if cibles else [])
fig, axes = plt.subplots(len(panneaux), 1, figsize=(12.5, o.hauteur), sharex=True, squeeze=False,
gridspec_kw={"height_ratios": [1] * (len(panneaux) - 1) + [2 if cibles else 1]})
axes = axes[:, 0]
cam = [p for p in charger_camera(o.dossier) if o.debut <= p["t"] <= o.fin]
for ax, p in zip(axes, panneaux):
if p in NOMS:
ax.plot(*coupee([(q["t"], q[p]) for q in cam if q[p] is not None]), color="#444", lw=1.2)
ax.set_ylabel(NOMS[p].replace(" (", "\n("), fontsize=10)
elif p == "temp":
ax.plot(*coupee([(t, v) for t, v in charger_temperature(o.dossier) if o.debut <= t <= o.fin]), color="#c0392b", lw=1.2)
ax.set_ylabel("Température de\nla station (°C)", fontsize=10)
else:
for c in cibles:
pts = [(m["t"], m["corr_y"]) for m in filtrer(mes[c], o.debut, o.fin) if m["corr_y"] is not None]
ax.plot(*coupee(pts), lw=1.3, label=f"{c} (corr_y)")
ax.set_ylabel("Déplacement vertical\ncorr_y (px)", fontsize=10)
ax.legend(fontsize=8 if o.toutes else 10, ncol=4 if o.toutes else len(cibles), loc="best")
for z in o.zone:
d, f = z.split("/")
ax.axvspan(instant(d), instant(f), color="#bbb", alpha=0.45, lw=0)
for t in o.ligne:
ax.axvline(instant(t), color="#333", ls="--", lw=1)
ax.grid(alpha=0.3)
axes[-1].set_xlim(o.debut, o.fin)
axes[-1].xaxis.set_major_locator(mdates.DayLocator(interval=max(1, (o.fin - o.debut).days // 8)))
axes[-1].xaxis.set_major_formatter(mdates.DateFormatter("%d.%m"))
fig.tight_layout()
fig.savefig(o.sortie, dpi=110)
print(o.sortie)
+54
View File
@@ -0,0 +1,54 @@
"""Montrer la cause qui se voit dans l'image (véhicule, obstacle, phares) : recadrages côte à côte,
éclaircis, autour d'une cible marquée d'un cercle rouge.
.venv/bin/python .claude/skills/presentation/image-de-la-cause.py data/<STATION> <x> <y> <sortie.png> \
<AAAAMMJJTHHMMZ>="<légende>" [<AAAAMMJJTHHMMZ>="<légende>" ...] [--demi 350]
x, y : pixel de la cible dans l'image entière (« centre du cadre » d'une vignette de vignettes.py).
Une image par instant, prise dans <dossier>/images/<instant>_*.jpg ; mettre d'abord un instant sans la cause.
"""
import glob, os, sys
from datetime import datetime, timedelta, timezone
import matplotlib; matplotlib.use("Agg")
import matplotlib.pyplot as plt, matplotlib.image as mi
args = sys.argv[1:]
nommees = None # --cibles A,B : seulement ces noms écrits (les autres encombrent l'image) ; sans : tous
if "--cibles" in args:
i = args.index("--cibles"); nommees = set(args[i + 1].split(",")); del args[i:i + 2]
demi = 350
if "--demi" in args:
i = args.index("--demi"); demi = int(args[i + 1]); del args[i:i + 2]
dossier, x, y, sortie, *instants = args
x, y = int(x), int(y)
station = dossier.rstrip("/").split("/")[-1]
# le nom de chaque cible à sa position dans l'image (x, y de l'export, à la mesure la plus proche du premier instant)
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger # noqa: E402
t0 = datetime.strptime(instants[0].partition("=")[0], "%Y%m%dT%H%MZ").replace(tzinfo=timezone.utc)
positions = {}
for capteur, ms in charger(dossier).items():
if nommees is not None and capteur not in nommees:
continue
proches = [m for m in ms if m.get("x") is not None and m.get("y") is not None and abs(m["t"] - t0) <= timedelta(hours=2)]
if proches:
m = min(proches, key=lambda m: abs(m["t"] - t0))
positions[capteur] = (m["x"], m["y"])
fig, axs = plt.subplots(1, len(instants), figsize=(4 * len(instants), 4.3), squeeze=False)
for ax, inst in zip(axs[0], instants):
k, _, lab = inst.partition("=")
img = mi.imread(glob.glob(f"{dossier}/images/{k}_*.jpg")[0]).astype(float)
y0, x0 = max(y - demi, 0), max(x - demi, 0)
img = img[y0:y + demi, x0:x + demi]
img = (img / img.max()) ** 0.45 # éclaircir les ombres, les scènes de nuit sont sombres
ax.imshow(img, cmap="gray", vmin=0, vmax=1)
ax.add_patch(plt.Circle((x - x0, y - y0), 28, fill=False, color="red", lw=1.5))
for capteur, (cx, cy) in positions.items():
if x0 <= cx < x0 + img.shape[1] and y0 <= cy < y0 + img.shape[0]:
ax.text(cx - x0, cy - y0 - 22, capteur, color="yellow", fontsize=8, ha="center", va="bottom",
bbox={"facecolor": "black", "alpha": 0.5, "pad": 1, "edgecolor": "none"})
ax.set_title(lab, fontsize=11); ax.axis("off")
fig.suptitle("Image éclaircie ; en jaune, le nom des cibles", fontsize=12) # pas de nom de station : il va au client
fig.tight_layout(); fig.savefig(sortie, dpi=100); print(sortie)
+38
View File
@@ -0,0 +1,38 @@
"""Les événements des détecteurs sur une plage, pour l'analyste : comme `detectors/categories.py`, mais chaque événement
avec ses capteurs et sa phrase (la ligne de categories.py n'en donne que le nombre).
Usage : python tools/journal.py <dossier de station> --du AAAA-MM-JJ --au AAAA-MM-JJ (--au : jour exclu)
"""
import argparse
import os
import sys
from datetime import datetime, timedelta, timezone
ICI = os.path.dirname(os.path.abspath(__file__))
sys.path[:0] = [os.path.join(ICI, "detectors"), os.path.join(ICI, "agent-tools")]
from categories import evenements # noqa: E402
from donnees import charger, iso # noqa: E402
HISTORIQUE = timedelta(days=3) # jours d'avant donnés aux détecteurs, comme categories.py (règle du 2026-10-24)
p = argparse.ArgumentParser()
p.add_argument("dossier")
p.add_argument("--du", required=True)
p.add_argument("--au", required=True)
a = p.parse_args()
if not os.path.isdir(a.dossier):
sys.exit(f"Pas de dossier de données : {a.dossier}")
jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
debut, fin = jour(a.du), jour(a.au)
mesures = {s: k for s, ms in charger(a.dossier).items() if (k := [m for m in ms if debut - HISTORIQUE <= m["t"] < fin])}
if not mesures:
sys.exit(f"Aucune mesure de déplacement du {a.du} au {a.au} (exclu) dans {a.dossier}")
evs = [v for v in evenements(mesures, fin, a.dossier) if v["end"] >= iso(debut)]
print(f"{len(evs)} événement(s) du {a.du} au {a.au} (exclu), UTC" + ("" if evs else " : rien"))
for v in evs:
print(f"\n- {v['start']} → {v['end']} | {v['category']} | {v['episodes'][0]['label']}"
f" | {'grisé' if v['ignore'] else 'gardé'}")
print(f" capteurs : {', '.join(v['sensors']) or 'tous'}")
print(f" phrase : {v['text']}")
if len(v["episodes"]) > 1:
print(" absorbés : " + ", ".join(f"{e['label']} {e['start'][5:16]}" for e in v["episodes"][1:]))
+59
View File
@@ -0,0 +1,59 @@
"""La stabilité verticale chiffrée de chaque cible : la médiane de corr_y jour par jour, et l'étendue de ces médianes.
Ce qui sert à dire au client « vos cibles sont restées à ±k px sur la période ». Mesures rejetées écartées
(donnees.rejetee), plages --hors écartées (les nuits de visibilité réduite, un trou) ; un jour garde sa médiane s'il a
au moins MIN mesures. Les références (global_ref) sont listées à part : elles ne mesurent pas l'ouvrage. Pas de verdict.
Usage : python tools/stabilite.py <dossier de station> --du AAAA-MM-JJ --au AAAA-MM-JJ [--hors D/F ...] (--au exclu)
"""
import argparse
import os
import statistics
import sys
from datetime import datetime, timedelta, timezone
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "agent-tools"))
from donnees import charger, instant, rejetee # noqa: E402
MIN = 12 # mesures par jour : en dessous, la médiane du jour n'est pas gardée (une heure à 5 min)
p = argparse.ArgumentParser()
p.add_argument("dossier")
p.add_argument("--du", required=True)
p.add_argument("--au", required=True)
p.add_argument("--hors", nargs="*", default=[], help="plages écartées, D/F en AAAA-MM-JJTHH:MMZ")
a = p.parse_args()
if not os.path.isdir(a.dossier):
sys.exit(f"Pas de dossier de données : {a.dossier}")
jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
debut, fin = jour(a.du), jour(a.au)
hors = [tuple(instant(x) for x in h.split("/")) for h in a.hors]
lignes, refs = [], []
for capteur, ms in sorted(charger(a.dossier).items()):
par_jour = {}
for m in ms:
if debut <= m["t"] < fin and m.get("corr_y") is not None and not rejetee(m) \
and not any(d <= m["t"] < f for d, f in hors):
par_jour.setdefault(m["t"].date(), []).append(m["corr_y"])
medianes = [statistics.median(v) for v in par_jour.values() if len(v) >= MIN]
if not medianes:
continue
ligne = (capteur, len(medianes), statistics.median(medianes), max(medianes) - min(medianes))
(refs if ms[0].get("pattern_type") == "global_ref" else lignes).append(ligne)
if not lignes and not refs:
sys.exit(f"Aucune mesure gardée du {a.du} au {a.au} (exclu) dans {a.dossier}")
print(f"corr_y, médiane jour par jour, du {a.du} au {a.au} (exclu), UTC ; mesures rejetées"
+ (f" et {len(hors)} plage(s) écartées" if hors else " écartées") + f" ; un jour compte s'il a ≥ {MIN} mesures")
print("étendue = la plus haute médiane journalière moins la plus basse : de combien la cible a varié d'un jour à l'autre")
for titre, groupe in (("Cibles", lignes), ("Références (ne mesurent pas l'ouvrage)", refs)):
if groupe:
print(f"\n{titre}\ncapteur jours médiane(px) étendue(px)")
for c, n, med, et in groupe:
print(f"{c} {n} {med:+.3f} {et:.3f}")
if lignes:
etendues = sorted(et for *_, et in lignes)
print(f"\nCibles : étendue médiane {statistics.median(etendues):.3f} px, la plus grande {etendues[-1]:.3f} px "
f"({max(lignes, key=lambda l: l[3])[0]}) ; {sum(e <= 0.05 for e in etendues)} cibles sur {len(etendues)} "
f"à 0,05 px ou moins, {sum(e <= 0.1 for e in etendues)} à 0,1 px ou moins")
+3
View File
@@ -0,0 +1,3 @@
anthropic
langsmith
matplotlib