Sharpen WILDSTRUBEL lot 01: modification 1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
ab5bda355e
commit
a55280056d
11 files changed
+106
-18
No files matched your search
@@ -18,11 +18,11 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
|
||||
|
||||
| Commande | Ce qu'elle rend |
|
||||
|---|---|
|
||||
| `python3 agents/diagnostic/outils/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), images (heures couvertes), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent) et, par capteur, les mesures rejetées datées (suites de pas consécutifs) |
|
||||
| `python3 agents/diagnostic/outils/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), images (heures couvertes), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent), par capteur, les mesures rejetées datées (suites de pas consécutifs), puis le **nombre de références retenues par la compensation** (`inlier` = 1) à chaque instant et les suites datées où des références ne le sont pas, lesquelles et pourquoi (`r` rejetée, `0` écartée par la compensation, `vide`). Une mesure est rejetée quand son `error_value` dépasse le seuil du capteur, **références comprises** |
|
||||
| `python3 agents/diagnostic/outils/resume.py <dossier> [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` |
|
||||
| `.venv/bin/python agents/diagnostic/outils/graphique.py <dossier> [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau |
|
||||
| `.venv/bin/python agents/diagnostic/outils/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B]] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : avec la dispersion entre capteurs en bande grise ; sur les panneaux `x`, `y`, en plus, **chaque référence globale à part** (un trait chacune) et la **médiane des cibles seules** (trait noir) ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis `x_cibles`, `y_cibles` (médiane des cibles seules), puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis ceux de `x`, `y` de chaque référence globale, puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Avec `--rigide BASE`, un PNG **rigide** de plus : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant `BASE` (translation, rotation, échelle, estimé par médianes : une cible qui saute seule ne le tire pas ; `--sans A,B` en retire des cibles), et, pour chaque capteur, le **résidu** `dx`, `dy` (position brute moins sa position à `BASE` transportée par ce mouvement, en px) ; panneaux : `dx`, `dy` de chaque référence globale face à la médiane et au 10e-90e centile des cibles, `|résidu|` des cibles (médiane, 90e centile), rotation et échelle ajustées, `reproj_err` des références ; imprime la table au pas (`rot_deg`, `echelle`, `tx`, `ty`, `cib_med`, `cib_max`, `dx`, `dy` de chaque référence) et, par capteur, min, max et valeur au dernier instant de `dx`, `dy`. Contrairement à l'écart à la médiane, ce résidu ne dépend pas de la place du capteur dans l'image quand la scène tourne ou change d'échelle. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** |
|
||||
| `python3 agents/diagnostic/outils/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--hors T1/T2] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord |
|
||||
| `.venv/bin/python agents/diagnostic/outils/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B]] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : avec la dispersion entre capteurs en bande grise ; sur les panneaux `x`, `y`, en plus, **chaque référence globale à part** (un trait chacune) et la **médiane des cibles seules** (trait noir) ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis `x_cibles`, `y_cibles` (médiane des cibles seules), puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis ceux de `x`, `y` de chaque référence globale (marqués `(rejetée)` quand la mesure l'est, avec le nombre de mesures rejetées de la référence), puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Avec `--rigide BASE`, un PNG **rigide** de plus : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant `BASE` (translation, rotation, échelle, estimé par médianes : une cible qui saute seule ne le tire pas ; `--sans A,B` en retire des cibles), et, pour chaque capteur, le **résidu** `dx`, `dy` (position brute moins sa position à `BASE` transportée par ce mouvement, en px) ; panneaux : `dx`, `dy` de chaque référence globale face à la médiane et au 10e-90e centile des cibles, `|résidu|` des cibles (médiane, 90e centile), rotation et échelle ajustées, `reproj_err` des références ; imprime la table au pas (`rot_deg`, `echelle`, `tx`, `ty`, `cib_med`, `cib_max`, `dx`, `dy` de chaque référence) et, par capteur, min, max et valeur au dernier instant de `dx`, `dy`. Contrairement à l'écart à la médiane, ce résidu ne dépend pas de la place du capteur dans l'image quand la scène tourne ou change d'échelle. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** |
|
||||
| `python3 agents/diagnostic/outils/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--hors T1/T2] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage ; colonne `rejetées` : combien des mesures de la plage le sont (et `extrême rejetée`), `(rejetée : …)` après un plus grand saut dont un bout l'est. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord |
|
||||
| `.venv/bin/python agents/diagnostic/outils/vignettes.py <dossier> --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--fixe] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur à chaque heure (le centre du cadre est écrit sous chaque vignette : quand `x`, `y` sautent, le cadre se déplace d'autant, et une tache qui entre dans le cadre semble apparaître) ; `--fixe` garde pour chaque capteur le cadre de la première heure et marque d'une croix rouge les `x`, `y` de chaque heure ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible |
|
||||
| `ls <dossier>/images/ \| grep <AAAAMMJJ>T<HHMM>Z`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) |
|
||||
|
||||
@@ -33,10 +33,11 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
|
||||
- Instants : `2026-01-01T00:00Z` ; une heure sans fuseau est lue en UTC ; `--fin` inclut la minute indiquée. Sur un lot, `--debut` et `--fin` du lot.
|
||||
- Bash ne sert qu'à lancer ces outils, `ls`, `grep` et `date`, une commande par appel, sans boucle `for` (un tube vers `grep` est permis) : les permissions sont accordées commande par commande. Si le répertoire courant n'est pas la racine du dépôt, `cd <racine> && <commande>` compte pour une commande. N'écris aucun autre script. Celui qui t'appelle peut ajouter des commandes à cette liste.
|
||||
- Chaque PNG se regarde avec Read : un PNG que tu n'as pas regardé n'a rien montré.
|
||||
- Une mesure rejetée (`error_value` au-dessus du seuil) n'est pas une mesure : la station vide les `corr` d'une cible rejetée, mais laisse ceux d'une **référence** rejetée, souvent absurdes ; les outils les vident (`corr`, plages, résidus, sauts ne portent que sur les mesures acceptées). Ses `x`, `y` restent : avant de citer un saut de `x`, `y`, regarde s'il est marqué `(rejetée)` ; une mesure rejetée ne se cite pas comme un mouvement.
|
||||
|
||||
## La méthode
|
||||
|
||||
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, poses de la caméra, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot.
|
||||
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, poses de la caméra, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. Lis les rejets des **références** autant que ceux des cibles : un capteur rejeté aux mêmes heures chaque jour fait un moment à lui seul (dis sa part de mesures rejetées et ses heures, jour par jour) ; quand c'est une référence, dis avec combien de références la compensation tourne alors (la liste des références retenues). Quand plusieurs cibles sautent ensemble d'un pas, ou que la compensation tombe (pas de pose), regarde d'abord dans cette liste quelles références ont été perdues à cet instant.
|
||||
2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; **la pose de la caméra en premier** (panneaux du haut, colonnes `cam_` de la table) : quand la caméra tourne (`pan`, `tilt`, `rotation`), change d'échelle (`scale`), quand son recalage se dégrade (`sigma0`) et quand elle n'est pas recalée (trait coupé, instants sans pose), datés au pas natif ; chaque moment des capteurs se lit ensuite face à elle : pendant un mouvement ou un trou de recalage, ou caméra immobile. La pose est calculée à partir des références globales : un changement de pose (ou une montée de `sigma0`) ne se lit comme un mouvement de la caméra que si **les cibles bougent aussi dans l'image** ; regarde, sur les panneaux `x`, `y`, les traits des références face au trait noir des cibles seules (et la colonne `x_cibles`, `y_cibles` de la table). Si seules des références bougent dans l'image et que les cibles restent immobiles, ce sont ces références qui ont bougé : la pose et les `corr` de toutes les cibles en sont faussés, sans mouvement brut des cibles ; dis quelles références et de combien. Si tout bouge ensemble, références et cibles, c'est la caméra ou la scène ; regarde alors si les `corr` reviennent. Dès que la pose tourne ou change d'échelle, l'écart à la médiane ne dit plus qui bouge seul (chaque capteur s'en écarte selon sa place dans l'image) : avant d'écrire « tout bouge ensemble », relance avec `--rigide BASE`, `BASE` un instant calme avant le premier mouvement, et lis le PNG **rigide** et sa table : une référence dont le résidu reste loin du 10e-90e centile des cibles, ou un `reproj_err` des références qui ne revient pas, veut dire que la compensation reste faussée par ces références et que les paliers de `corr` en viennent en partie ; dis lesquelles, de combien, jusqu'à quand ; un `|résidu|` des cibles qui monte dit qu'elles ne bougent pas comme un bloc. Puis la médiane de `x`, `y` (position brute, références comprises), les références une à une, les cibles seules et `sigma0` disent ce qui bouge dans l'image, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d).
|
||||
3. **Puis zoome** : `resume.py` à 15min (`--stat max` pour le pic réel d'un capteur), et `graphique.py` sur les fenêtres et les capteurs qui bougent.
|
||||
4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière.
|
||||
|
||||
@@ -10,7 +10,7 @@ from datetime import datetime, timezone
|
||||
|
||||
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
|
||||
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
|
||||
"corr_x", "corr_y", "reproj_err", "sigma0")
|
||||
"corr_x", "corr_y", "reproj_err", "inlier", "sigma0")
|
||||
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
|
||||
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
|
||||
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
|
||||
@@ -50,14 +50,18 @@ def charger(dossier):
|
||||
"""Exports « advanced » du dossier -> {capteur: [mesure]}, triées par t, un seul relevé par instant.
|
||||
|
||||
Mesure : dict avec t (datetime UTC), pattern_type, et les colonnes de NUM (float ou None).
|
||||
Une mesure rejetée (voir rejetee) a corr_x, corr_y vides, comme le dit la doc des colonnes : la station
|
||||
les vide pour une cible, mais en laisse de remplis (souvent absurdes) pour une référence ; on les vide ici.
|
||||
"""
|
||||
par = {}
|
||||
for chemin in trouver(dossier)["advanced"]:
|
||||
with open(chemin, newline="") as f:
|
||||
for r in csv.DictReader(f):
|
||||
m = {c: _nombre(r[c]) for c in NUM}
|
||||
m = {c: _nombre(r.get(c) or "") for c in NUM} # inlier manque dans les exports anciens
|
||||
m["t"] = instant(r["time_utc"])
|
||||
m["pattern_type"] = r["pattern_type"]
|
||||
if rejetee(m):
|
||||
m["corr_x"] = m["corr_y"] = None
|
||||
par.setdefault(r["sensor_name"].strip(), {})[m["t"]] = m # certains exports finissent le nom par un saut de ligne
|
||||
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
|
||||
|
||||
@@ -84,7 +88,9 @@ def est_reference(mesures):
|
||||
|
||||
|
||||
def rejetee(m):
|
||||
"""Mesure rejetée par la station (error_value au-dessus du seuil du capteur) : corr_x et corr_y vides."""
|
||||
"""Mesure rejetée par la station : error_value au-dessus du seuil du capteur (error_threshold) ; sans ces deux valeurs, corr_x vide."""
|
||||
if m["error_value"] is not None and m["error_threshold"] is not None:
|
||||
return m["error_value"] > m["error_threshold"]
|
||||
return m["corr_x"] is None
|
||||
|
||||
|
||||
|
||||
@@ -54,7 +54,7 @@ matplotlib.use("Agg")
|
||||
import matplotlib.dates as mdates # noqa: E402
|
||||
import matplotlib.pyplot as plt # noqa: E402
|
||||
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso # noqa: E402
|
||||
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
|
||||
from graphique import COLONNES, RACINE, borne # noqa: E402
|
||||
from resume import duree # noqa: E402
|
||||
|
||||
@@ -315,7 +315,10 @@ def main():
|
||||
for s in refs:
|
||||
d = ref_ecarts[col][s]
|
||||
lo, hi = min(d.items(), key=lambda x: x[1]), max(d.items(), key=lambda x: x[1])
|
||||
print(f"{s:9} min {lo[1]:+.3g} à {iso(lo[0])}, max {hi[1]:+.3g} à {iso(hi[0])}")
|
||||
rej = {m["t"] for m in series[s] if rejetee(m)}
|
||||
r = lambda t: " (rejetée)" if t in rej else ""
|
||||
print(f"{s:9} min {lo[1]:+.3g} à {iso(lo[0])}{r(lo[0])}, max {hi[1]:+.3g} à {iso(hi[0])}{r(hi[0])}"
|
||||
+ (f" ; {len(rej)} mesures rejetées dans la fenêtre" if rej else ""))
|
||||
if not pose_cols:
|
||||
print("Pose de la caméra : aucune dans la fenêtre (pas de camera/ dans le dossier, ou pas de recalage).")
|
||||
else:
|
||||
|
||||
@@ -3,10 +3,13 @@
|
||||
Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] [--fichiers]
|
||||
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
|
||||
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
|
||||
en suites de pas consécutifs). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
|
||||
références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des
|
||||
références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import collections
|
||||
import statistics
|
||||
from datetime import timedelta
|
||||
|
||||
@@ -135,6 +138,30 @@ def fenetre(par, debut, fin):
|
||||
print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites))
|
||||
if not any(rejetee(m) for d in series.values() for m in d.values()):
|
||||
print(" (aucune)")
|
||||
refs = [s for s in noms if est_reference(par[s])]
|
||||
if not any(m["inlier"] is not None for s in refs for m in series[s].values()):
|
||||
print("Références retenues par la compensation : colonne inlier absente ou vide.")
|
||||
return
|
||||
def marque(s, t):
|
||||
m = series[s].get(t)
|
||||
return "absente" if m is None else "r" if rejetee(m) else "0" if m["inlier"] == 0 else "vide"
|
||||
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or series[s][t]["inlier"] != 1)) for t in dans]
|
||||
compte = collections.Counter(len(refs) - len(h) for _, h in hors)
|
||||
print(f"Références retenues par la compensation (inlier = 1) sur {len(refs)}, nombre d'instants : "
|
||||
+ ", ".join(f"{k} : {compte[k]}" for k in sorted(compte, reverse=True)))
|
||||
print("Instants où des références ne sont pas retenues (suites de pas consécutifs avec les mêmes références hors ; "
|
||||
"r = rejetée, 0 = inlier 0, vide = inlier vide) :")
|
||||
suites = []
|
||||
for i, (t, h) in enumerate(hors):
|
||||
if h and suites and suites[-1][3] == h and suites[-1][4] == i - 1:
|
||||
suites[-1][1], suites[-1][2], suites[-1][4] = t, suites[-1][2] + 1, i
|
||||
elif h:
|
||||
suites.append([t, t, 1, h, i])
|
||||
for a, b, n, h, _ in suites:
|
||||
print(f" {iso(a) if n == 1 else f'{iso(a)} → {iso(b)} ({n})'} : {len(refs) - len(h)} retenues ; hors : "
|
||||
+ ", ".join(f"{s} ({q})" for s, q in h))
|
||||
if not suites:
|
||||
print(" (aucun)")
|
||||
|
||||
|
||||
def main(dossier, debut=None, fin=None, tout=False):
|
||||
|
||||
@@ -12,7 +12,9 @@ long fausse la médiane) et à son bruit propre (médiane des écarts entre deux
|
||||
mesure hors niveau), nombre de mesures hors niveau, valeur extrême (écart signé au niveau, en unités et en
|
||||
bruits) et son instant. Deux plages du même sens séparées de moins de --fusion (défaut 1h) n'en font qu'une
|
||||
(un écart vers le bas puis vers le haut font deux plages) ; les mesures rejetées (colonne vide) ne coupent pas
|
||||
une plage. Une plage qui touche le bord de la fenêtre est datée au
|
||||
une plage. Colonne « rejetées » : combien des mesures de la plage sont rejetées par la station (error_value
|
||||
au-dessus du seuil), et « extrême rejetée » si l'extrême l'est ; un saut dont un bout est rejeté le dit.
|
||||
corr_x, corr_y d'une mesure rejetée sont vides, références comprises (donnees.charger). Une plage qui touche le bord de la fenêtre est datée au
|
||||
bord (le niveau est celui de la fenêtre : un palier durable peut faire de l'autre moitié la « plage »).
|
||||
Chaque colonne est lue aux mesures, jamais moyennée par pas. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
@@ -20,7 +22,7 @@ import argparse
|
||||
import statistics
|
||||
import sys
|
||||
|
||||
from donnees import charger, est_reference, filtrer, instant, iso
|
||||
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
|
||||
from resume import COLONNES, duree
|
||||
|
||||
|
||||
@@ -58,6 +60,7 @@ def main():
|
||||
plages = []
|
||||
for s in noms:
|
||||
ms = [(m["t"], m[col]) for m in series[s] if m[col] is not None]
|
||||
rej = {m["t"] for m in series[s] if rejetee(m)}
|
||||
if len(ms) < 2:
|
||||
print(f"{s:9}{len(ms):5} (moins de 2 valeurs)")
|
||||
continue
|
||||
@@ -70,23 +73,26 @@ def main():
|
||||
bruit = statistics.median(abs(b[1] - a_[1]) for a_, b in zip(ref, ref[1:]))
|
||||
d, t1, t2 = max(sauts, key=lambda x: abs(x[0]))
|
||||
bru = f"{d / bruit:9.1f}" if bruit else f"{'-':>9}"
|
||||
print(f"{s:9}{len(ms):5}{niv:10.4g}{bruit:10.3g}{d:+10.4g}{bru} {iso(t1)} et {iso(t2)}")
|
||||
marque = [iso(x) for x in (t1, t2) if x in rej]
|
||||
print(f"{s:9}{len(ms):5}{niv:10.4g}{bruit:10.3g}{d:+10.4g}{bru} {iso(t1)} et {iso(t2)}"
|
||||
+ (f" (rejetée : {', '.join(marque)})" if marque else ""))
|
||||
if not bruit:
|
||||
continue
|
||||
groupe = []
|
||||
for t, v in ms + [(None, 0)]:
|
||||
if t is not None and abs(v - niv) > o.k * bruit:
|
||||
if groupe and (t - groupe[-1][0] > o.fusion or (v > niv) != (groupe[-1][1] > niv)): # même sens seul
|
||||
plages.append((s, groupe, niv, bruit))
|
||||
plages.append((s, groupe, niv, bruit, rej))
|
||||
groupe = []
|
||||
groupe.append((t, v))
|
||||
elif t is None and groupe:
|
||||
plages.append((s, groupe, niv, bruit))
|
||||
plages.append((s, groupe, niv, bruit, rej))
|
||||
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' (niveau hors ' + o.hors + ')' if hors else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)")
|
||||
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} à")
|
||||
for s, g, niv, bruit in plages:
|
||||
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} {'à':<17}{'rejetées':>9}")
|
||||
for s, g, niv, bruit, rej in plages:
|
||||
t, v = max(g, key=lambda x: abs(x[1] - niv))
|
||||
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{v - niv:+10.4g}{(v - niv) / bruit:9.1f} {iso(t)}")
|
||||
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{v - niv:+10.4g}{(v - niv) / bruit:9.1f} {iso(t):<17}"
|
||||
f"{sum(x[0] in rej for x in g):9}{' extrême rejetée' if t in rej else ''}")
|
||||
if not plages:
|
||||
print("(aucune)")
|
||||
|
||||
|
||||
@@ -0,0 +1,45 @@
|
||||
# Modification 1 : lot 01, WILDSTRUBEL
|
||||
|
||||
## Défaut traité
|
||||
D1 (une mesure rejetée n'est pas marquée, et celle d'une référence garde ses `corr`) et D2 (un capteur rejeté chaque jour, surtout une référence, n'est pas lu comme un moment).
|
||||
|
||||
Cause commune, dans les outils : `donnees.rejetee()` disait « rejetée = `corr_x` vide ». C'est vrai pour une cible, faux pour une référence : l'inventaire comptait **0 rejet** pour R3 (147 en réalité sur le lot). Le lecteur ne pouvait donc pas le lire, malgré la faute « mode d'emploi » donnée à D2.
|
||||
|
||||
## Ce qui a changé
|
||||
- `agents/diagnostic/outils/donnees.py` : `rejetee()` = `error_value > error_threshold` (et `corr_x` vide seulement si ces valeurs manquent). `charger()` vide `corr_x`, `corr_y` d'une mesure rejetée, comme le dit la doc des colonnes. Les plages, les sauts, les résidus et les tables de `corr` de tous les outils ne portent donc plus que sur les mesures acceptées. La colonne `inlier` est lue (`r.get` : un export sans elle passe).
|
||||
- `agents/diagnostic/outils/inventaire.py` : les rejets des références sont comptés et datés. Dans la section fenêtre, il y a en plus le nombre de références retenues par la compensation (`inlier` = 1) par instant, puis les suites datées où des références ne le sont pas, avec lesquelles et pourquoi (`r` rejetée, `0` inlier 0, `vide`). Docstring à jour.
|
||||
- `agents/diagnostic/outils/plages.py` : nouvelle colonne `rejetées` par plage, `extrême rejetée`, et `(rejetée : …)` après un plus grand saut dont un bout est rejeté. Utile pour `x`, `y` et `error_value`, qui gardent leurs valeurs rejetées. Docstring à jour.
|
||||
- `agents/diagnostic/outils/ensemble.py` : dans les lignes min/max de `x`, `y` brut de chaque référence, `(rejetée)` après l'instant d'un extrême rejeté, et le nombre de mesures rejetées de la référence.
|
||||
- `.claude/skills/lire-les-donnees/SKILL.md` : le tableau (inventaire, ensemble, plages) décrit ces sorties. Une convention dit qu'une mesure rejetée ne se cite pas comme un mouvement, que les `corr` rejetés sont vidés et que les `x`, `y` rejetés sont marqués. L'étape 1 de la méthode demande de lire les rejets des références, de faire un moment d'un capteur rejeté aux mêmes heures chaque jour (en disant avec combien de références la compensation tourne) et, devant un pas commun des cibles ou une compensation qui tombe, de regarder d'abord quelles références ont été perdues.
|
||||
|
||||
## Essai
|
||||
`python3 agents/diagnostic/outils/inventaire.py data/WILDSTRUBEL --debut 2026-09-24T00:00Z --fin 2026-09-28T00:00Z`
|
||||
- Rejets sur la fenêtre : R3 147 (24/09 05:00 → 13:45 (36), 25/09 09:15 → 13:45 (19), 26/09 07:00 → 13:30 (27), 27/09 06:30 → 13:30 (29)…), R2 21, PA_8 12, PB3_2 14, R1 5, PA1_2 3. Ces comptes correspondent à ceux de l'écart.
|
||||
- Références retenues sur 6, en nombre d'instants : 6 : 231, 5 : 118, 4 : 25, 3 : 10, 0 : 1. Exemples :
|
||||
- `2026-09-25T09:00Z : 5 retenues ; hors : R3 (0)` : mesure acceptée, écartée par la compensation ;
|
||||
- `2026-09-25T12:15Z : 3 retenues ; hors : R1 (r), R2 (r), R3 (r)` ;
|
||||
- `2026-09-26T05:15Z : 0 retenues ; hors : PA1_2 (vide), PA_8 (r), PB3_2 (r), R1 (r), R2 (r), R3 (r)` ;
|
||||
- `2026-09-24T09:15Z` et `2026-09-27T07:00Z` : R1, R2, R3 rejetés.
|
||||
|
||||
`plages.py … --colonnes corr_x,x --k 8` sur le lot :
|
||||
- R3 `corr_x` ne garde que 238 mesures acceptées. Sa seule plage est celle du 25/09 09:00 (+0,46, la mesure acceptée à +8 px).
|
||||
- PA_8 n'a plus de « +0,29 » au 25/09 04:30.
|
||||
- Sur `x`, les plus grands sauts de R2 (−26,5), R3 et PB3_2 portent `(rejetée : …)`. PB2_2 (−31,9) et PB_5 ne le portent pas : ce sont des mesures acceptées.
|
||||
|
||||
`ensemble.py … --sortie lot-01/modification-1/` : `R3 min -26.9 à 2026-09-24T09:15Z (rejetée), max +27.8 à 2026-09-25T08:00Z (rejetée) ; 147 mesures rejetées dans la fenêtre`.
|
||||
|
||||
Figures de `lot-01/modification-1/`, toutes regardées :
|
||||
- `residus-corr_x` : R3 n'a plus que le pic accepté du 25/09 09:00. Le pas du 25/09 12:15 de PB4 (+0,29), PB_5 et PB3_2 reste.
|
||||
- `residus-corr_y` : même effet.
|
||||
- `commun`, `multiples-error_value`, `residus-error_value` : inchangées.
|
||||
|
||||
## Commandes des fiches relancées
|
||||
76 (inventaire 6, ensemble 1, plages 6, resume 51, vignettes 12, graphique 0) : aucun échec. `donnees.py` est commun à tous les outils, d'où la relance de toutes les fiches.
|
||||
|
||||
## Pas fait
|
||||
- Les panneaux `x`, `y` du PNG `commun` d'`ensemble.py` tracent toujours les `x`, `y` rejetés des références sans les marquer (R3 ±27 px). Seule la table les marque. Je m'en suis tenu à deux défauts.
|
||||
- Pas de colonne « références retenues » dans la table à 15 min d'`ensemble.py` : la liste datée de l'inventaire le dit déjà, et la table est déjà longue (642 lignes, relevé par le lecteur).
|
||||
|
||||
## Difficultés
|
||||
- `vues-deplacements/CLAUDE.md` a été injecté dans mon contexte après la lecture d'un PNG, alors que la consigne exclut `CLAUDE.md` ; je ne m'en suis pas servi.
|
||||
- L'écart range D2 en faute « mode d'emploi » (« l'inventaire donnait ces comptes »). L'inventaire comptait en fait 0 rejet pour toutes les références : j'ai traité la cause dans l'outil.
|
||||
BIN
Binary file not shown.
|
After Width: | Height: | Size: 542 KiB |
BIN
Binary file not shown.
|
After Width: | Height: | Size: 246 KiB |
BIN
Binary file not shown.
|
After Width: | Height: | Size: 284 KiB |
BIN
Binary file not shown.
|
After Width: | Height: | Size: 293 KiB |
BIN
Binary file not shown.
|
After Width: | Height: | Size: 252 KiB |
Reference in new issue
Block a user