Lecture : la pose de la caméra se lit avant les capteurs (D-073)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
9392f2ed8d
commit
b30b781b3b
9 files changed
+118
-24
No files matched your search
@@ -5,7 +5,7 @@ description: Lire un dossier de données de déplacement d'une station AIMsight,
|
||||
|
||||
# Lire les données
|
||||
|
||||
Une caméra suit des cibles (réflecteurs) fixées sur un ouvrage ; son propre mouvement est compensé grâce à des cibles de référence, supposées fixes. Ce skill dit comment lire les données d'une station : ce que montrent les courbes et les images, moment par moment. Il ne dit pas ce qu'elles veulent dire : catégorie, cas connu, hypothèse et verdict sont l'affaire de celui qui t'appelle.
|
||||
Une caméra suit des cibles (réflecteurs) fixées sur un ouvrage ; son propre mouvement est compensé grâce à des cibles de référence, supposées fixes. Ce mouvement, la **pose de la caméra** (`pan`, `tilt`, `rotation` en degrés, `scale`, `sigma0` du recalage, dans `camera/`), se lit avant les capteurs : il explique une grande part de ce qui bouge sur les courbes (D-073). Ce skill dit comment lire les données d'une station : ce que montrent les courbes et les images, moment par moment. Il ne dit pas ce qu'elles veulent dire : catégorie, cas connu, hypothèse et verdict sont l'affaire de celui qui t'appelle.
|
||||
|
||||
## À lire d'abord
|
||||
|
||||
@@ -18,10 +18,10 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
|
||||
|
||||
| Commande | Ce qu'elle rend |
|
||||
|---|---|
|
||||
| `python3 agents/diagnostic/outils/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), images (heures couvertes), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent) et, par capteur, les mesures rejetées datées (suites de pas consécutifs) |
|
||||
| `python3 agents/diagnostic/outils/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), images (heures couvertes), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent) et, par capteur, les mesures rejetées datées (suites de pas consécutifs) |
|
||||
| `python3 agents/diagnostic/outils/resume.py <dossier> [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` |
|
||||
| `.venv/bin/python agents/diagnostic/outils/graphique.py <dossier> [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau |
|
||||
| `.venv/bin/python agents/diagnostic/outils/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`) avec le minimum et le maximum de chaque colonne et leur instant, puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** |
|
||||
| `.venv/bin/python agents/diagnostic/outils/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** |
|
||||
| `python3 agents/diagnostic/outils/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--hors T1/T2] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord |
|
||||
| `.venv/bin/python agents/diagnostic/outils/vignettes.py <dossier> --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible |
|
||||
| `ls <dossier>/images/ \| grep <AAAAMMJJ>T<HHMM>Z`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) |
|
||||
@@ -36,8 +36,8 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
|
||||
|
||||
## La méthode
|
||||
|
||||
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot.
|
||||
2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d).
|
||||
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, poses de la caméra, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot.
|
||||
2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; **la pose de la caméra en premier** (panneaux du haut, colonnes `cam_` de la table) : quand la caméra tourne (`pan`, `tilt`, `rotation`), change d'échelle (`scale`), quand son recalage se dégrade (`sigma0`) et quand elle n'est pas recalée (trait coupé, instants sans pose), datés au pas natif ; chaque moment des capteurs se lit ensuite face à elle : pendant un mouvement ou un trou de recalage, ou caméra immobile. Puis la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d).
|
||||
3. **Puis zoome** : `resume.py` à 15min (`--stat max` pour le pic réel d'un capteur), et `graphique.py` sur les fenêtres et les capteurs qui bougent.
|
||||
4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière.
|
||||
5. **Chaque moment retenu se date et se mesure au pas natif de 15 min** : début, fin et maximum lus sur la table à 15 min (`ensemble.py` par défaut, `resume.py --pas 15min`), jamais sur un tableau à l'heure ; lis aussi `ensemble.py --min 1` pour les capteurs seuls, et `plages.py` sur le lot pour avoir, par capteur, début, fin, extrême et plus grand saut au pas natif (relance-le avec `--hors` autour d'un épisode long pour dater son retour au niveau, ne conclus pas « ne revient pas » sans l'avoir lu), et les tables de `x`, `y` sur les fenêtres où ils s'agitent.
|
||||
@@ -51,7 +51,7 @@ Une ligne par moment. Un moment : un capteur ou un groupe de capteurs qui sort d
|
||||
|---|---|---|---|---|---|
|
||||
|
||||
- **Capteurs** : références ou cibles, combien, lesquels.
|
||||
- **Ce que je vois** : la forme (pic d'un pas, palier, montée lente, agitation), l'ampleur face au niveau habituel (en MAD ou en fois la médiane), le retour à la normale ou non, ce que font les autres capteurs.
|
||||
- **Ce que je vois** : la forme (pic d'un pas, palier, montée lente, agitation), l'ampleur face au niveau habituel (en MAD ou en fois la médiane), le retour à la normale ou non, ce que font les autres capteurs, **ce que fait la caméra** au même moment (pose qui bouge, de combien, ou immobile ; recalage absent ; « pas de `camera/` » si le dossier n'en a pas).
|
||||
- **Images** : ce que montrent les vignettes et l'image entière à ce moment, ou « pas d'image ».
|
||||
|
||||
Heures en UTC.
|
||||
@@ -108,7 +108,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
|
||||
|
||||
- `Handoff.md` (~150 l) : cadrage du product owner (reçu le 2026-10-25) : sous-projet G, santé des sites et notifications au client (domaines de mesure, étiquette de responsabilité, « consistent with », traductions, sécurité de production). À lire avant de concevoir côté client ou notifications, **par section** ; sa dernière section liste les écarts constatés avec ce dépôt, à arbitrer par l'utilisateur.
|
||||
- `README.md` (40 l) : point d'entrée pour un humain. `run.md` : les commandes génériques, pompage (dans le dev container de l'appli), `/aiguiser` et `/boucle`.
|
||||
- `docs/decisions.md` (780 l, D-001 à D-071) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée.
|
||||
- `docs/decisions.md` (790 l, D-001 à D-073) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée.
|
||||
- `docs/domaine/` : savoir métier commun, une note courte (< 50 l) par question.
|
||||
- `ce-que-mesure-la-station.md` : format CSV, métriques et unités, consommation mesurée mais pas l'apport.
|
||||
- `pieges-des-donnees.md` : trou ≠ coupure, signatures d'une coupure, seuils absolus, cycle jour/nuit.
|
||||
|
||||
@@ -11,6 +11,8 @@ from datetime import datetime, timezone
|
||||
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
|
||||
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
|
||||
"corr_x", "corr_y", "reproj_err", "sigma0")
|
||||
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
|
||||
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
|
||||
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
|
||||
|
||||
|
||||
@@ -20,8 +22,8 @@ def _entete(chemin):
|
||||
|
||||
|
||||
def trouver(dossier):
|
||||
"""Dossier de station -> {'advanced', 'horaire', 'images', 'autres'} : chemins triés, sous-dossiers compris."""
|
||||
out = {"advanced": [], "horaire": [], "images": [], "autres": []}
|
||||
"""Dossier de station -> {'advanced', 'horaire', 'camera', 'images', 'autres'} : chemins triés, sous-dossiers compris."""
|
||||
out = {"advanced": [], "horaire": [], "camera": [], "images": [], "autres": []}
|
||||
for p in sorted(glob.glob(os.path.join(dossier, "**", "*"), recursive=True)):
|
||||
if os.path.isdir(p) or "images_diff" in p.split(os.sep): # images différentielles du pompage (--diff) : pas des vues de la caméra
|
||||
continue
|
||||
@@ -32,6 +34,8 @@ def trouver(dossier):
|
||||
out["advanced"].append(p)
|
||||
elif "timestamp" in entete:
|
||||
out["horaire"].append(p)
|
||||
elif "median_pan" in entete:
|
||||
out["camera"].append(p)
|
||||
else:
|
||||
out["autres"].append(p)
|
||||
return out
|
||||
@@ -58,6 +62,22 @@ def charger(dossier):
|
||||
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
|
||||
|
||||
|
||||
def charger_camera(dossier):
|
||||
"""Mouvements de la caméra du dossier -> [pose] triées par t ; pose : t et les colonnes de POSE (float ou None).
|
||||
|
||||
Une ligne par recalage de la caméra ; on lit les médianes (min = max dans les fichiers reçus : une mesure par minute).
|
||||
Un instant de mesure sans pose : la caméra n'a pas été recalée.
|
||||
"""
|
||||
par = {}
|
||||
for chemin in trouver(dossier)["camera"]:
|
||||
with open(chemin, newline="") as f:
|
||||
for r in csv.DictReader(f):
|
||||
p = {c: _nombre(r.get("median_" + c, "")) for c in POSE}
|
||||
p["t"] = instant(r["time_utc"])
|
||||
par[p["t"]] = p
|
||||
return [par[t] for t in sorted(par)]
|
||||
|
||||
|
||||
def est_reference(mesures):
|
||||
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible."""
|
||||
return mesures[0]["pattern_type"] == "global_ref"
|
||||
|
||||
@@ -6,7 +6,8 @@ Usage : .venv/bin/python agents/diagnostic/outils/ensemble.py data/PS_DES_COUDRE
|
||||
|
||||
Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre).
|
||||
Deux PNG, dont les chemins sont imprimés :
|
||||
1. « commun » : un panneau par colonne de --colonnes (défaut x,y,sigma0 : position brute et sigma0 de la
|
||||
1. « commun » : d'abord, si le dossier a des mouvements de la caméra (camera/), un panneau par grandeur de la pose
|
||||
(pan, tilt, rotation [deg], scale, sigma0 du recalage), valeurs brutes, un point par recalage ; puis un panneau par colonne de --colonnes (défaut x,y,sigma0 : position brute et sigma0 de la
|
||||
caméra) : médiane, sur les capteurs, de l'écart de chaque capteur à sa médiane ; bande grise = 10e à 90e
|
||||
centile entre capteurs (la dispersion) ; dernier panneau : nombre de capteurs dont --colonne
|
||||
(défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas.
|
||||
@@ -25,11 +26,12 @@ Deux PNG, dont les chemins sont imprimés :
|
||||
colonne de --colonnes (médiane commune, ex. y) et la corrélation r : un résidu proportionnel au mouvement commun
|
||||
(même s'il n'est pas partagé par tous) a une pente non nulle et un r élevé.
|
||||
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
|
||||
pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
|
||||
pour chaque colonne de --colonnes, puis la pose brute de la caméra, vide sans recalage) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater
|
||||
un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large,
|
||||
1h par ex., aplatit un pic d'un à quatre pas et date à l'heure).
|
||||
Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD,
|
||||
le nombre et les capteurs (--min 1 : aussi les instants où un seul capteur sort de son niveau). Rend des valeurs, pas de verdict.
|
||||
le nombre et les capteurs (--min 1 : aussi les instants où un seul capteur sort de son niveau), et les instants de
|
||||
mesure sans pose de la caméra (pas de recalage). Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import math
|
||||
@@ -43,7 +45,7 @@ matplotlib.use("Agg")
|
||||
import matplotlib.dates as mdates # noqa: E402
|
||||
import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
from donnees import charger, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from graphique import COLONNES, RACINE, borne # noqa: E402
|
||||
from resume import duree # noqa: E402
|
||||
|
||||
@@ -91,6 +93,8 @@ def main():
|
||||
if not any(series.values()):
|
||||
sys.exit("Aucune mesure dans la fenêtre demandée.")
|
||||
temps = sorted({m["t"] for s in noms for m in series[s]})
|
||||
poses = filtrer(charger_camera(o.dossier), temps[0].replace(second=0, microsecond=0), temps[-1]) # poses à la minute, mesures à la seconde
|
||||
pose_cols = POSE if poses else ()
|
||||
station = os.path.basename(os.path.normpath(o.dossier))
|
||||
os.makedirs(o.sortie, exist_ok=True)
|
||||
base = os.path.join(o.sortie, f"{station}_{{}}_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
|
||||
@@ -106,9 +110,17 @@ def main():
|
||||
return e, mad
|
||||
|
||||
# 1. commun
|
||||
fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 3 * (len(colonnes) + 1)), squeeze=False)
|
||||
n_ax = len(pose_cols) + len(colonnes) + 1
|
||||
fig, axes = plt.subplots(n_ax, 1, sharex=True, figsize=(14, 3 * n_ax), squeeze=False)
|
||||
for ax, col in zip(axes[:, 0], pose_cols):
|
||||
pose_t = {p["t"].replace(second=0, microsecond=0): p[col] for p in poses if p[col] is not None}
|
||||
cam_t = sorted(set(pose_t) | {t.replace(second=0, microsecond=0) for t in temps})
|
||||
# trait coupé aux instants de mesure sans recalage : il ne relie pas deux poses par-dessus un trou
|
||||
ax.plot(cam_t, [pose_t.get(t, math.nan) for t in cam_t], ".-", ms=3, lw=0.5, color="C2", label="pose de la caméra (un point par recalage)")
|
||||
ax.set_ylabel(f"caméra : {col}" + (" [deg]" if col in ("pan", "tilt", "rotation") else ""))
|
||||
ax.legend(loc="upper left", fontsize=8)
|
||||
communes = {}
|
||||
for ax, col in zip(axes[:, 0], colonnes):
|
||||
for ax, col in zip(axes[len(pose_cols):, 0], colonnes):
|
||||
e, _ = ecarts(col)
|
||||
med, bas, haut, tt = [], [], [], []
|
||||
for t in temps:
|
||||
@@ -139,6 +151,7 @@ def main():
|
||||
for ax in axes[:, 0]:
|
||||
ax.grid(alpha=0.5, which="major")
|
||||
fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)")
|
||||
fig.tight_layout(rect=(0, 0, 1, 1 - 0.4 / fig.get_figheight())) # place du titre
|
||||
commun = base.format("commun")
|
||||
fig.savefig(commun, dpi=100, bbox_inches="tight")
|
||||
plt.close(fig)
|
||||
@@ -151,14 +164,36 @@ def main():
|
||||
for col in colonnes:
|
||||
for t, v in communes[col].items():
|
||||
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col, []).append(v)
|
||||
print(f"\nMédiane commune (écart à la médiane de la fenêtre), médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
|
||||
print(f"{'instant':17}" + "".join(f"{c:>12}" for c in colonnes))
|
||||
for col in pose_cols:
|
||||
communes["cam_" + col] = {p["t"]: p[col] for p in poses if p[col] is not None}
|
||||
for t, v in communes["cam_" + col].items():
|
||||
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault("cam_" + col, []).append(v)
|
||||
cols_t = colonnes + ["cam_" + c for c in pose_cols]
|
||||
print(f"\nMédiane commune (écart à la médiane de la fenêtre){' et pose brute de la caméra (cam_, vide sans recalage)' if pose_cols else ''}, "
|
||||
f"médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
|
||||
print(f"{'instant':17}" + "".join(f"{c:>13}" for c in cols_t))
|
||||
for t in sorted(lignes_t):
|
||||
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):12.4g}" if c in lignes_t[t] else " " * 12 for c in colonnes))
|
||||
for col in colonnes:
|
||||
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):13.{6 if c.startswith('cam_') else 4}g}" if c in lignes_t[t] else " " * 13 for c in cols_t))
|
||||
for col in cols_t:
|
||||
if communes[col]:
|
||||
lo, hi = min(communes[col].items(), key=lambda x: x[1]), max(communes[col].items(), key=lambda x: x[1])
|
||||
print(f"{col} (mesures) : min {lo[1]:.4g} à {iso(lo[0])}, max {hi[1]:.4g} à {iso(hi[0])}")
|
||||
g = 6 if col.startswith("cam_") else 4
|
||||
print(f"{col} (mesures) : min {lo[1]:.{g}g} à {iso(lo[0])}, max {hi[1]:.{g}g} à {iso(hi[0])}")
|
||||
|
||||
if not pose_cols:
|
||||
print("Pose de la caméra : aucune dans la fenêtre (pas de camera/ dans le dossier, ou pas de recalage).")
|
||||
else:
|
||||
avec = {p["t"].replace(second=0, microsecond=0) for p in poses}
|
||||
suites = [] # suites d'instants de mesure consécutifs sans pose : [début, fin, nombre]
|
||||
for i, t in enumerate(temps):
|
||||
if t.replace(second=0, microsecond=0) in avec:
|
||||
continue
|
||||
if suites and suites[-1][3] == i - 1:
|
||||
suites[-1][1], suites[-1][2], suites[-1][3] = t, suites[-1][2] + 1, i
|
||||
else:
|
||||
suites.append([t, t, 1, i])
|
||||
print(f"Instants de mesure sans pose de la caméra (pas de recalage) : {sum(x[2] for x in suites)} sur {len(temps)}"
|
||||
+ (" : " + "; ".join(iso(a) if n == 1 else f"{iso(a)} → {iso(b)} ({n})" for a, b, n, _ in suites) if suites else ""))
|
||||
|
||||
# 2. petits multiples
|
||||
col = o.colonne
|
||||
|
||||
@@ -3,13 +3,14 @@
|
||||
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] [--fichiers]
|
||||
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
|
||||
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
|
||||
en suites de pas consécutifs). Rend des valeurs, pas de verdict.
|
||||
en suites de pas consécutifs). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import statistics
|
||||
from datetime import timedelta
|
||||
|
||||
from donnees import charger, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
|
||||
from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
|
||||
|
||||
|
||||
def liste(chemins, tout):
|
||||
@@ -29,6 +30,8 @@ def fichiers(f, tout=False):
|
||||
print(f"Exports horaires : {len(f['horaire'])} (non lus par les outils : moyennes horaires, "
|
||||
"heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)")
|
||||
liste(f["horaire"], tout)
|
||||
print(f"Mouvements de la caméra (pose à chaque recalage) : {len(f['camera'])}")
|
||||
liste(f["camera"], tout)
|
||||
print(f"Autres fichiers : {len(f['autres'])}")
|
||||
liste(f["autres"], tout)
|
||||
|
||||
@@ -73,6 +76,30 @@ def mesures(par):
|
||||
f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}")
|
||||
|
||||
|
||||
def camera(dossier, par, debut=None, fin=None):
|
||||
"""Poses de la caméra, et les instants de mesure sans pose (la caméra n'a pas été recalée)."""
|
||||
poses = filtrer(charger_camera(dossier), debut, fin)
|
||||
instants = sorted({m["t"] for ms in par.values() for m in filtrer(ms, debut, fin)})
|
||||
quoi = "dans la fenêtre" if debut or fin else "sur toute la période"
|
||||
if not poses:
|
||||
print(f"\nPose de la caméra {quoi} : aucune")
|
||||
return
|
||||
avec = {p["t"].replace(second=0, microsecond=0) for p in poses}
|
||||
print(f"\nPose de la caméra {quoi} : {len(poses)} recalages, {iso(poses[0]['t'])} → {iso(poses[-1]['t'])}")
|
||||
suites = [] # [début, fin, nombre, rang] des instants de mesure consécutifs sans pose
|
||||
for i, t in enumerate(instants):
|
||||
if t.replace(second=0, microsecond=0) in avec:
|
||||
continue
|
||||
if suites and suites[-1][3] == i - 1:
|
||||
suites[-1][1], suites[-1][2], suites[-1][3] = t, suites[-1][2] + 1, i
|
||||
else:
|
||||
suites.append([t, t, 1, i])
|
||||
print(f"Instants de mesure sans pose (pas de recalage) : {sum(x[2] for x in suites)} sur {len(instants)}")
|
||||
if debut or fin:
|
||||
for a, b, n, _ in suites:
|
||||
print(f" {iso(a)}" + ("" if n == 1 else f" → {iso(b)} ({n})"))
|
||||
|
||||
|
||||
def fenetre(par, debut, fin):
|
||||
"""Pas absents et rejets datés sur la fenêtre debut/fin."""
|
||||
instants = sorted({m["t"] for ms in par.values() for m in ms})
|
||||
@@ -117,8 +144,11 @@ def main(dossier, debut=None, fin=None, tout=False):
|
||||
images(f["images"])
|
||||
par = charger(dossier)
|
||||
mesures(par)
|
||||
if par:
|
||||
camera(dossier, par)
|
||||
if par and (debut or fin):
|
||||
fenetre(par, debut, fin)
|
||||
camera(dossier, par, debut, fin)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -776,3 +776,10 @@ Règles du journal :
|
||||
- **Pourquoi** : demande de l'utilisateur : il choisit lui-même la longueur du lot par ses dates (4 jours ou plus long).
|
||||
- **Options écartées** : garder `--lot` avec un autre défaut (l'utilisateur ne veut plus de découpe implicite).
|
||||
- **Conséquence** : une séance = un lot ; plusieurs lots = plusieurs séances. Les scripts (`score.py`, `comparaison.py`) lisent toujours `lot-*/`, rien à y changer.
|
||||
|
||||
## D-073 — 2026-10-26 — Lecture : la pose de la caméra se lit avant les capteurs
|
||||
- **Statut** : active ; complète D-059.
|
||||
- **Décision** : les outils de lecture lisent les mouvements de la caméra pompés dans `camera/` (`pan`, `tilt`, `rotation`, `scale`, `sigma0`, à chaque recalage) : `donnees.py` les charge (`charger_camera`), `ensemble.py` les trace en tête du PNG « commun » (valeurs brutes, trait coupé aux instants de mesure sans recalage) et les ajoute à sa table (colonnes `cam_`), avec les instants sans pose ; `inventaire.py` compte les poses et date les instants sans recalage. Le skill `lire-les-donnees` lit la pose en premier, et chaque moment de la lecture dit ce que fait la caméra.
|
||||
- **Pourquoi** : demande de l'utilisateur : les mouvements de la caméra sont essentiels à la lecture des données ; jusqu'ici les outils ne les lisaient pas, et devinaient le mouvement de la caméra par la médiane des `x`, `y` des capteurs. Sur NORDEND, le 29/07, le `tilt` passe de −0,08° à −0,02° pendant la montée commune de `y` (vers 06:00), sans recalage de 05:45 à 07:15.
|
||||
- **Options écartées** : un outil à part pour la caméra (la pose doit se lire sur le même axe que les capteurs, à l'étape « large d'abord ») ; la pose dans `graphique.py` (`ensemble.py --capteurs --debut --fin` suffit pour zoomer, à ajouter si un lecteur en a besoin) ; une colonne « caméra » dans la table de la lecture (elle changerait le format que lisent l'analyste et le correcteur : la caméra entre dans « Ce que je vois »).
|
||||
- **Conséquence** : les détecteurs du journal (`vues-deplacements/detectors/`) ne lisent toujours pas la pose ; le correcteur de `/aiguiser` lit `camera/` avec ses propres scripts s'il le veut, rien ne le lui impose.
|
||||
@@ -18,6 +18,7 @@ Deux autres formats, observés sur les données (pas documentés dans la FAQ) :
|
||||
- `relative_x` / `relative_y` (vraisemblablement `rx` / `ry`), `corr_x` / `corr_y` (vraisemblablement `rch` / `rcv`, mais pas en mm, voir plus bas) ;
|
||||
- `reproj_err` et `inlier` : références seulement ; `sigma0` : une valeur par mesure, répétée sur chaque ligne ; pas de `camera_pan|tilt|rotation|scale`.
|
||||
- Une mesure rejetée (`error_value` > `error_threshold`) garde sa ligne et son `error_value` ; `corr_x` / `corr_y` sont vides, pas interpolés.
|
||||
- **Mouvements de la caméra** (`camera/<Station>_camera_<AAAAMMJJ>.csv`, pompage seulement, absent des exports reçus) : la pose de la caméra à chaque recalage, `time_utc` en UTC, `median_|min_|max_` de `pan`, `tilt`, `rotation` [deg], `scale`, `sigma0` à la minute ; une ligne par mesure (min = max), aux instants des déplacements. Un instant de mesure sans ligne : la caméra n'a pas été recalée (NORDEND : 101 instants sur 6 071, dont 49 les 29 et 30/07). Ordres de grandeur : `pan`, `tilt` de quelques centièmes de degré, `scale` à 10⁻³ près de 1 ; des écarts de plusieurs degrés sur NORDEND (`pan` jusqu'à 3,1°, `tilt` −2,8 à 4,0°), non expliqués. Lus par `ensemble.py` et `inventaire.py` (D-073).
|
||||
- **Horaire** (`<Station>_<début>_to_<fin>_1hour.csv`) : une ligne par heure, cibles seulement. Par cible : `horizontal_displacement`, `vertical_displacement`, leurs `_min` / `_max`, `_error`, `_count_val`.
|
||||
- `timestamp` **sans fuseau** : heure suisse (UTC+2 en octobre), au début de l'heure. Vérifié : `_error` = moyenne des `error_value` de l'heure, à 0,0006 près (médiane).
|
||||
- `count_val` compte les mesures de l'heure, rejetées comprises.
|
||||
|
||||
@@ -889,7 +889,7 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
|
||||
- [x] L'utilisateur choisit d'étendre le script avant le premier essai (2026-10-24).
|
||||
- [x] Métriques système, un fichier par jour, défaut des images corrigé.
|
||||
- [ ] Liste des types de mesure d'une station : non demandée, au point 33.
|
||||
- [ ] Mouvements de la caméra (demande de l'utilisateur, 2026-10-26) : `pan`, `tilt`, `scale`, `rotation`, `sigma0` à la minute, médiane et bornes, par la lecture du visualiseur de la plateforme (`get_shifts_aggregate(..., "cam_movements_1min")`, comme `fetch_cam_movements_frame`), un CSV par jour dans `camera/` ; aucun outil du projet ne les lit encore. Essayé le 2026-10-26 sur le 30/07 de NORDEND (C-002) : 2 s, 70 lignes, une par mesure (toutes les 15 min, min = max) ; sur les 95 instants des déplacements, 70 ont une pose de la caméra (pan de −0,059 à −0,010, tilt de −0,089 à −0,020), dont 7 seulement un `sigma0`, les mêmes que l'export « advanced » ; les 25 autres, surtout de 15:15 à 22:45, n'ont ni pose ni `sigma0` : pas de recalage de la caméra. La pose existe donc là où l'export n'a pas de `sigma0`. Reste le 29/07.
|
||||
- [ ] Mouvements de la caméra (demande de l'utilisateur, 2026-10-26) : `pan`, `tilt`, `scale`, `rotation`, `sigma0` à la minute, médiane et bornes, par la lecture du visualiseur de la plateforme (`get_shifts_aggregate(..., "cam_movements_1min")`, comme `fetch_cam_movements_frame`), un CSV par jour dans `camera/` ; lus par `ensemble.py` et `inventaire.py`, pose lue en premier par le skill `lire-les-donnees` (2026-10-26, D-073). Essayé le 2026-10-26 sur le 30/07 de NORDEND (C-002) : 2 s, 70 lignes, une par mesure (toutes les 15 min, min = max) ; sur les 95 instants des déplacements, 70 ont une pose de la caméra (pan de −0,059 à −0,010, tilt de −0,089 à −0,020), dont 7 seulement un `sigma0`, les mêmes que l'export « advanced » ; les 25 autres, surtout de 15:15 à 22:45, n'ont ni pose ni `sigma0` : pas de recalage de la caméra. La pose existe donc là où l'export n'a pas de `sigma0`. Reste le 29/07.
|
||||
- [x] Premier lancement par l'utilisateur, avec le point 27 (2026-10-26, les métriques identiques à l'export de la page System) ; comparer aussi une métrique pompée à un export reçu de la page System (WEISSHORN ou NORDEND, même plage).
|
||||
- [x] `data/` hors de git, seule sortie du pompage (l'utilisateur, 2026-10-26, D-065) : `.gitignore`, `run.md`, `extraction/README.md`, `/aiguiser`, `/boucle` et `/nouveau-cas` sur `data/<SERIE>` ; plus de `out/pompage/`.
|
||||
- [ ] L'utilisateur vide `data/` et repompe les plages des exports reçus, élargies (commandes données le 2026-10-26) ; `out/pompage/NORDEND/` copié dans `data/NORDEND/` à la fin de la séance `/boucle` en cours ; numéro de série de PS des Coudres à trouver (URL de sa page System). Puis Claude vérifie : `inventaire.py`, `categories.py`, les scripts des domaines sur VERMONT, WEISSHORN et NORDEND.
|
||||
@@ -1192,3 +1192,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
|
||||
- 2026-10-26 : point 48 : tout au même endroit (l'utilisateur) : le rendu d'étiquetage de chaque cas devient `etiquetage.md` dans son dossier (C-001 à C-005 déplacés, C-006 à C-008 écrits par `anonymiser.py`, qui l'écrit désormais avec `--etiquettes`) ; `vues-deplacements/benchmark/` ne garde que l'historique.
|
||||
- 2026-10-26 : point 31 : `/boucle` commite directement sur `master` (demande de l'utilisateur, D-070) ; branches des séances NORDEND et CLARIDEN fusionnées dans `master` et supprimées.
|
||||
- 2026-10-26 : point 31 : `/boucle --ameliorer` (demande de l'utilisateur, D-071) : après le releveur, l'agent `ameliorateur` corrige le skill et ses agents d'après les entrées de la séance ; sans séance d'essai.
|
||||
- 2026-10-26 : point 43 : la pose de la caméra entre dans la lecture (demande de l'utilisateur, D-073) : `charger_camera` dans `donnees.py`, panneaux et colonnes `cam_` dans `ensemble.py`, instants sans recalage dans `inventaire.py`, pose lue en premier par `lire-les-donnees`.
|
||||
@@ -3,7 +3,7 @@
|
||||
`pomper.py` récupère, pour chaque station (numéro de série du système) et chaque jour UTC demandé, dans le format que lit déjà Support-Agent :
|
||||
- les **métriques système** (énergie, disque, 4G, températures et toutes les autres de la station), moyennes horaires, un CSV par métrique et par jour dans `metrics/` : ce que lisent `src/<domaine>/` et les maquettes ;
|
||||
- les **déplacements** (export « advanced »), un CSV par jour dans `displacement/` : ce que lisent le journal, `/boucle`, `/aiguiser` et l'agent de diagnostic ;
|
||||
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; aucun outil du projet ne les lit encore ;
|
||||
- les **mouvements de la caméra** (`pan`, `tilt`, `scale`, `rotation`, `sigma0`), en médiane et bornes (`median_`, `min_`, `max_`) par minute, donc une ligne par mesure de la caméra (toutes les 15 min à NORDEND), seulement aux instants où la caméra a été recalée, un CSV par jour dans `camera/` : ce que trace le visualiseur de la plateforme, absent des exports reçus ; lus par les outils de lecture `ensemble.py` et `inventaire.py` (D-073) ;
|
||||
- les **images** IRON (`--images`, une par heure par défaut, `--every 10` ou `--every 0` pour plus) dans `images/`, et différentielles (`--diff`) dans `images_diff/`.
|
||||
|
||||
Reprise : un fichier déjà dans `data/<SERIE>/` n'est pas redemandé ; relancer sur une plage plus large ne lit que les jours et les images qui manquent. Le jour en cours n'est jamais pompé.
|
||||
|
||||
Reference in new issue
Block a user