diff --git a/.claude/skills/lire-les-donnees/SKILL.md b/.claude/skills/lire-les-donnees/SKILL.md index d6e1150..f96760e 100644 --- a/.claude/skills/lire-les-donnees/SKILL.md +++ b/.claude/skills/lire-les-donnees/SKILL.md @@ -21,8 +21,9 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi | `python3 agents/diagnostic/outils/inventaire.py [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), images (heures couvertes), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent) et, par capteur, les mesures rejetées datées (suites de pas consécutifs) | | `python3 agents/diagnostic/outils/resume.py [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` | | `.venv/bin/python agents/diagnostic/outils/graphique.py [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau | -| `.venv/bin/python agents/diagnostic/outils/ensemble.py [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`) avec le minimum et le maximum de chaque colonne et leur instant, puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** | -| `.venv/bin/python agents/diagnostic/outils/vignettes.py --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible | +| `.venv/bin/python agents/diagnostic/outils/ensemble.py [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`) avec le minimum et le maximum de chaque colonne et leur instant, puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** | +| `python3 agents/diagnostic/outils/plages.py [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--hors T1/T2] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord | +| `.venv/bin/python agents/diagnostic/outils/vignettes.py --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible | | `ls /images/ \| grep TZ`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) | `--sortie ` : là où celui qui t'appelle range tes figures ; il te le donne. @@ -36,10 +37,10 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi ## La méthode 1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. -2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). +2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). 3. **Puis zoome** : `resume.py` à 15min (`--stat max` pour le pic réel d'un capteur), et `graphique.py` sur les fenêtres et les capteurs qui bougent. 4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière. -5. **Chaque moment retenu se date et se mesure au pas natif de 15 min** : début, fin et maximum lus sur la table à 15 min (`ensemble.py` par défaut, `resume.py --pas 15min`), jamais sur un tableau à l'heure ; lis aussi `ensemble.py --min 1` pour les capteurs seuls, et les tables de `x`, `y` sur les fenêtres où ils s'agitent. +5. **Chaque moment retenu se date et se mesure au pas natif de 15 min** : début, fin et maximum lus sur la table à 15 min (`ensemble.py` par défaut, `resume.py --pas 15min`), jamais sur un tableau à l'heure ; lis aussi `ensemble.py --min 1` pour les capteurs seuls, et `plages.py` sur le lot pour avoir, par capteur, début, fin, extrême et plus grand saut au pas natif (relance-le avec `--hors` autour d'un épisode long pour dater son retour au niveau, ne conclus pas « ne revient pas » sans l'avoir lu), et les tables de `x`, `y` sur les fenêtres où ils s'agitent. 6. **Les images** : vignettes (avec `--contraste` pour une cible faible) espacées, une toutes les 2 à 3 h, plus serrées là où les courbes bougent, toujours avec un capteur témoin non touché, à une heure avant, pendant et après (à la même heure de la journée si possible) ; l'image entière pour la scène (occultation, éclairage, météo). ## Ce que la lecture rend diff --git a/agents/diagnostic/outils/ensemble.py b/agents/diagnostic/outils/ensemble.py index f10a691..01adea7 100644 --- a/agents/diagnostic/outils/ensemble.py +++ b/agents/diagnostic/outils/ensemble.py @@ -2,7 +2,7 @@ Usage : .venv/bin/python agents/diagnostic/outils/ensemble.py data/PS_DES_COUDRES/ [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] - [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER] + [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER] Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre). Deux PNG, dont les chemins sont imprimés : @@ -18,6 +18,12 @@ Deux PNG, dont les chemins sont imprimés : pointillé ; un écart de quelques centièmes sur une colonne `corr` que les bandes parallèles de `graphique.py` cachent s'y voit. Imprime, par capteur, le niveau, le bruit propre (médiane des écarts entre deux mesures consécutives) et l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits. + Avec --autres, chaque capteur est de plus ramené à l'écart à la médiane des AUTRES capteurs au même instant (on + retranche, à chaque mesure, la médiane des autres capteurs de la même colonne moins leur niveau propre) : ce qui est + partagé par tous (le reste de la compensation d'un mouvement commun) s'annule, ce qui est propre au capteur reste. + PNG « residus--autres » ; la table imprime en plus, par capteur, la pente de ce résidu sur chaque + colonne de --colonnes (médiane commune, ex. y) et la corrélation r : un résidu proportionnel au mouvement commun + (même s'il n'est pas partagé par tous) a une pente non nulle et un r élevé. Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large, @@ -61,6 +67,7 @@ def main(): a.add_argument("--min", type=int, default=5, help="nombre de capteurs à partir duquel un instant est imprimé") a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur ('' : aucune)") a.add_argument("--hors", help="T1/T2 : le niveau propre des résidus se calcule hors de ce moment") + a.add_argument("--autres", action="store_true", help="résidus de plus ramenés à la médiane des autres capteurs au même instant, avec pente et corrélation sur le mouvement commun") a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)") a.add_argument("--debut", type=instant) a.add_argument("--fin", type=instant) @@ -182,10 +189,19 @@ def main(): print(multiples) # 3. résidus : chaque capteur moins son propre niveau - for col in residus: + for col, autres in [(c, False) for c in residus] + [(c, True) for c in residus if o.autres]: fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False) - print(f"\n{col} moins le niveau propre ({'hors ' + o.hors if hors else 'médiane de la fenêtre'}), médiane par pas de " + dev = {} + if autres: # {capteur: {t: valeur - niveau propre}} pour la médiane des autres + for q in noms: + mq = [m for m in series[q] if m[col] is not None] + rq = [m for m in mq if not hors or not hors[0] <= m["t"] <= hors[1]] or mq + nq = niveau(rq, col) + if nq: + dev[q] = {m["t"]: m[col] - nq[0] for m in mq} + print(f"\n{col} moins le niveau propre{' et moins la médiane des autres capteurs au même instant' if autres else ''} ({'hors ' + o.hors if hors else 'médiane de la fenêtre'}), médiane par pas de " f"{int(o.pas.total_seconds() // 60)} min :") + pentes = [] print(f"{'capteur':9}{'niveau':>10}{'bruit':>10}{'écart min':>11} {'à':<17}{'(bruits)':>9}{'écart max':>11} {'à':<17}{'(bruits)':>9}") for ax, s in zip(axes.flat, noms): ms = [m for m in series[s] if m[col] is not None] @@ -196,11 +212,22 @@ def main(): continue d = [abs(b[col] - a_[col]) for a_, b in zip(ms, ms[1:])] bruit = statistics.median(d) if d else 0 + if autres: + res = {} + for m in ms: + v = [dev[q][m["t"]] for q in dev if q != s and m["t"] in dev[q]] + if len(v) >= 2: + res[m["t"]] = m[col] - lv[0] - statistics.median(v) + if len(res) < 2: + ax.axis("off") + continue + else: + res = {m["t"]: m[col] - lv[0] for m in ms} pas = {} - for m in ms: - pas.setdefault(t0 + ((m["t"] - t0) // o.pas) * o.pas, []).append(m[col] - lv[0]) + for t, v in res.items(): + pas.setdefault(t0 + ((t - t0) // o.pas) * o.pas, []).append(v) pm = {t: statistics.median(v) for t, v in pas.items()} - ax.plot([m["t"] for m in ms], [m[col] - lv[0] for m in ms], "-", lw=0.4, color="0.7") + ax.plot(list(res), list(res.values()), "-", lw=0.4, color="0.7") ax.plot(list(pm), list(pm.values()), "-", lw=1.1, color="C0") ax.axhline(0, color="C3", ls=":", lw=0.8) ax.set_title(s + (" (réf.)" if est_reference(ms) else "") + f" bruit {bruit:.2g}", fontsize=9) @@ -211,12 +238,21 @@ def main(): lo, hi = min(pm.items(), key=lambda x: x[1]), max(pm.items(), key=lambda x: x[1]) f = lambda v: f"{v / bruit:9.1f}" if bruit else f"{'-':>9}" print(f"{s:9}{lv[0]:10.4g}{bruit:10.3g}{lo[1]:11.3g} {iso(lo[0]):<17}{f(lo[1])}{hi[1]:11.3g} {iso(hi[0]):<17}{f(hi[1])}") + if autres: + for c in colonnes: + tt = [t for t in res if t in communes[c]] + if len(tt) > 2 and len({communes[c][t] for t in tt}) > 1: + xs, ys = [communes[c][t] for t in tt], [res[t] for t in tt] + pente = statistics.linear_regression(xs, ys).slope + pentes.append(f"{s:9}pente sur {c} commun {pente:+.4g} par unité, r = {statistics.correlation(xs, ys):+.2f}") for ax in list(axes.flat)[n:]: ax.axis("off") - fig.suptitle(f"{station} : {col} moins le niveau propre de chaque capteur, médiane par pas de " + if pentes: + print("\n".join(pentes)) + fig.suptitle(f"{station} : {col} moins le niveau propre{' et la médiane des autres' if autres else ''} de chaque capteur, médiane par pas de " f"{int(o.pas.total_seconds() // 60)} min (bleu), mesures (gris) ; une échelle par capteur (heures UTC)") fig.tight_layout() - chemin = base.format(f"residus-{col}") + chemin = base.format(f"residus-{col}" + ("-autres" if autres else "")) fig.savefig(chemin, dpi=100, bbox_inches="tight") plt.close(fig) print(chemin) diff --git a/agents/diagnostic/outils/plages.py b/agents/diagnostic/outils/plages.py new file mode 100644 index 0000000..19a883b --- /dev/null +++ b/agents/diagnostic/outils/plages.py @@ -0,0 +1,94 @@ +"""Plages datées par capteur et par colonne, au pas natif des mesures, pour l'agent de diagnostic. + +Usage : python3 agents/diagnostic/outils/plages.py data/PS_DES_COUDRES/ [--colonnes error_value,corr_x,corr_y] + [--k 5] [--fusion 1h] [--hors T1/T2] [--capteurs A,B] [--debut ...] [--fin ...] + +Pour chaque colonne, chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane des +valeurs non vides ; avec --hors T1/T2, celle du reste de la fenêtre, hors du moment lu : utile quand un épisode +long fausse la médiane) et à son bruit propre (médiane des écarts entre deux mesures consécutives non vides, hors --hors). +1. Un tableau par colonne : niveau, bruit, et le plus grand saut d'une mesure à la suivante (valeur, en bruits, + les deux instants). +2. Les plages où la colonne s'écarte de son niveau de plus de --k bruits : début et fin (première et dernière + mesure hors niveau), nombre de mesures hors niveau, valeur extrême (écart signé au niveau, en unités et en + bruits) et son instant. Deux plages séparées de moins de --fusion (défaut 1h) n'en font qu'une ; les mesures + rejetées (colonne vide) ne coupent pas une plage. Une plage qui touche le bord de la fenêtre est datée au + bord (le niveau est celui de la fenêtre : un palier durable peut faire de l'autre moitié la « plage »). +Chaque colonne est lue aux mesures, jamais moyennée par pas. Rend des valeurs, pas de verdict. +""" +import argparse +import statistics +import sys + +from donnees import charger, est_reference, filtrer, instant, iso +from resume import COLONNES, duree + + +def main(): + a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) + a.add_argument("dossier") + a.add_argument("--colonnes", default="error_value,corr_x,corr_y") + a.add_argument("--k", type=float, default=5, help="écart au niveau compté, en bruits propres du capteur") + a.add_argument("--fusion", default="1h", type=duree, help="deux plages séparées de moins que cela n'en font qu'une") + a.add_argument("--hors", help="T1/T2 : niveau et bruit se calculent hors de ce moment (les plages se cherchent partout)") + a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)") + a.add_argument("--debut", type=instant) + a.add_argument("--fin", type=instant) + o = a.parse_args() + + par = charger(o.dossier) + if not par: + sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).") + noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s)) + colonnes = o.colonnes.split(",") + hors = tuple(instant(x) for x in o.hors.split("/")) if o.hors else None + if hors and len(hors) != 2: + sys.exit("--hors attend T1/T2.") + for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES, "Colonnes")): + absents = [x for x in demandes if x not in connus] + if absents: + sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.") + series = {s: filtrer(par[s], o.debut, o.fin) for s in noms} + if not any(series.values()): + sys.exit("Aucune mesure dans la fenêtre demandée.") + + for col in colonnes: + print(f"\n== {col} : niveau, bruit, plus grand saut d'une mesure à la suivante ==") + print(f"{'capteur':9}{'n':>5}{'niveau':>10}{'bruit':>10}{'saut':>10}{'(bruits)':>9} entre") + plages = [] + for s in noms: + ms = [(m["t"], m[col]) for m in series[s] if m[col] is not None] + if len(ms) < 2: + print(f"{s:9}{len(ms):5} (moins de 2 valeurs)") + continue + ref = [x for x in ms if not hors or not hors[0] <= x[0] <= hors[1]] + if len(ref) < 2: + print(f"{s:9}{len(ms):5} (moins de 2 valeurs hors --hors)") + continue + niv = statistics.median(v for _, v in ref) + sauts = [(b[1] - a_[1], a_[0], b[0]) for a_, b in zip(ms, ms[1:])] + bruit = statistics.median(abs(b[1] - a_[1]) for a_, b in zip(ref, ref[1:])) + d, t1, t2 = max(sauts, key=lambda x: abs(x[0])) + bru = f"{d / bruit:9.1f}" if bruit else f"{'-':>9}" + print(f"{s:9}{len(ms):5}{niv:10.4g}{bruit:10.3g}{d:+10.4g}{bru} {iso(t1)} et {iso(t2)}") + if not bruit: + continue + groupe = [] + for t, v in ms + [(None, 0)]: + if t is not None and abs(v - niv) > o.k * bruit: + if groupe and t - groupe[-1][0] > o.fusion: + plages.append((s, groupe, niv, bruit)) + groupe = [] + groupe.append((t, v)) + elif t is None and groupe: + plages.append((s, groupe, niv, bruit)) + print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' (niveau hors ' + o.hors + ')' if hors else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)") + print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} à") + for s, g, niv, bruit in plages: + t, v = max(g, key=lambda x: abs(x[1] - niv)) + print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{v - niv:+10.4g}{(v - niv) / bruit:9.1f} {iso(t)}") + if not plages: + print("(aucune)") + + +if __name__ == "__main__": + main() diff --git a/agents/diagnostic/outils/vignettes.py b/agents/diagnostic/outils/vignettes.py index 4e2be43..b0d882e 100644 --- a/agents/diagnostic/outils/vignettes.py +++ b/agents/diagnostic/outils/vignettes.py @@ -2,7 +2,8 @@ Usage : .venv/bin/python agents/diagnostic/outils/vignettes.py data/PS_DES_COUDRES/ --capteurs REF_G,REF_D --heures 2026-10-13T22:00Z,2026-10-14T02:00Z [--rayon 100] [--contraste [MIN,MAX]] [--sortie DOSSIER] -Une ligne par capteur, une colonne par heure. Chaque vignette est centrée sur la position brute (x, y) du capteur +Une ligne par capteur, une colonne par heure. Quand il n'y a pas d'image à l'heure demandée, la plus proche est +prise : l'écart est imprimé et l'heure réelle de l'image est dans le titre de la vignette. Chaque vignette est centrée sur la position brute (x, y) du capteur dans l'export « advanced », lue à la mesure la plus proche de l'image ; les pixels ne sont pas retouchés, l'éclat se compare donc d'une vignette à l'autre. Imprime les positions utilisées, le fond (médiane des pixels de la vignette), le 99e centile et le pic (maximum) du niveau de gris de chaque vignette (0 à 255), puis le chemin du PNG. @@ -49,24 +50,26 @@ def main(): absents = [s for s in noms if s not in par] if absents: sys.exit(f"Capteurs inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(par))}.") - sans_image = [iso(h) for h in heures if h not in images] - if sans_image: - connues = sorted(h for h in images if h) - sys.exit(f"Pas d'image à {', '.join(sans_image)}. Images : {len(connues)}, " - f"de {iso(connues[0])} à {iso(connues[-1])}." if connues else f"Aucune image dans {o.dossier}.") + connues = sorted(h for h in images if h) + if not connues: + sys.exit(f"Aucune image dans {o.dossier}.") + proche = {h: min(connues, key=lambda i: abs(i - h)) for h in heures} # image à l'heure demandée, sinon la plus proche + for h in heures: + if proche[h] != h: + print(f"Pas d'image à {iso(h)} : la plus proche est celle de {iso(proche[h])} (écart {abs(proche[h] - h)}).") r = o.rayon coupes = {} for j, h in enumerate(heures): - img = plt.imread(images[h]) + img = plt.imread(images[proche[h]]) for i, s in enumerate(noms): - m = min((m for m in par[s] if m["x"] is not None), key=lambda m: abs(m["t"] - h)) + m = min((m for m in par[s] if m["x"] is not None), key=lambda m: abs(m["t"] - proche[h])) x, y = round(m["x"]), round(m["y"]) c = img[max(y - r, 0):y + r, max(x - r, 0):x + r] gris = c[..., :3].mean(axis=-1) if c.ndim == 3 else c gris = gris * 255 if gris.max() <= 1 and c.dtype.kind == "f" else gris coupes[i, j] = (c, gris) - print(f"{s} {iso(h)} : x={m['x']:.1f} y={m['y']:.1f} (mesure de {iso(m['t'])}), {os.path.basename(images[h])}, " + print(f"{s} {iso(h)} : x={m['x']:.1f} y={m['y']:.1f} (mesure de {iso(m['t'])}), {os.path.basename(images[proche[h]])}, " f"fond {centile(gris, 50):.0f}, p99 {centile(gris, 99):.0f}, pic {gris.max():.0f}") bornes = {} if o.contraste: @@ -82,7 +85,7 @@ def main(): ax.imshow(gris, cmap="gray", interpolation="nearest", **bornes) else: ax.imshow(c, interpolation="nearest") - ax.set_title(f"{noms[i]} {heures[j].strftime('%d/%m %H:%MZ')}", fontsize=9) + ax.set_title(f"{noms[i]} {proche[heures[j]].strftime('%d/%m %H:%MZ')}" + ("" if proche[heures[j]] == heures[j] else " (demandée " + heures[j].strftime('%H:%MZ') + ")"), fontsize=9) ax.set_xticks([]) ax.set_yticks([]) station = os.path.basename(os.path.normpath(o.dossier)) diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2.md b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2.md new file mode 100644 index 0000000..3c4e3ff --- /dev/null +++ b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2.md @@ -0,0 +1,27 @@ +# Modification 2 : lot 01, NORDEND + +## Défaut traité +D1 (rien ne sépare un résidu de compensation d'un mouvement propre) et D2 (pas de plages datées par capteur au pas natif, ni plus grand saut, ni image la plus proche). + +## Ce qui a changé +- `agents/diagnostic/outils/ensemble.py` : option `--autres`. En plus des PNG residus existants (inchangés), des PNG `residus--autres` : chaque capteur moins sa médiane propre et moins la médiane des autres capteurs au même instant (le reste partagé s'annule, le propre reste). La table imprime en plus, par capteur, la pente et la corrélation r du résidu sur la médiane commune de `x`, `y`, `sigma0` (le mouvement commun en regard). Docstring à jour. +- `agents/diagnostic/outils/plages.py` (nouveau, stdlib) : par colonne et capteur, aux mesures : niveau, bruit, plus grand saut d'une mesure à la suivante (valeur, bruits, deux instants) ; puis les plages hors de `--k` bruits du niveau (début, fin, nombre de mesures, extrême signé et son instant), fusionnées sous `--fusion` (1h), rejets ignorés ; `--hors T1/T2` calcule niveau et bruit hors d'un épisode long. Aucun seuil de verdict : `--k` est un réglage de l'appelant. +- `agents/diagnostic/outils/vignettes.py` : sans image à l'heure demandée, prend la plus proche, imprime l'écart et met l'heure réelle dans le titre (avant : sortie en erreur). Sortie inchangée quand l'image existe. +- `.claude/skills/lire-les-donnees/SKILL.md` : ligne `plages.py` et `--autres` dans le tableau, vignettes (image la plus proche) ; méthode : `--autres` pour séparer reste de compensation et mouvement propre, `plages.py` (et `--hors`) à l'étape 5 pour dater début, fin et retour d'un épisode. + +## Essai +- `ensemble.py out/pompage/NORDEND --debut 2026-09-05T00:00Z --fin 2026-09-09T00:00Z --autres --sortie /modification-2/` : trois PNG `-autres` ; regardé `residus-corr_x-autres`. Après retrait de la médiane des autres, PR18, PR16, PR15, PR14, PR17 gardent des creux les 06 et 07/09 (PR18 −0,09 le 07/09 09:00, −12,6 bruits) ; pentes de `corr_x` sur `y` commun : PR18 −0,037 (r −0,95), PR16 −0,018 (−0,90), PR15 −0,014 (−0,87), PR14 −0,011 (−0,72), PR17 −0,009 (−0,64), CTR01 +0,002 (+0,11) : un résidu proportionnel au mouvement commun avec un gain propre à chaque capteur, croissant vers PR18, plutôt qu'un creux indépendant (PR07 : creux net le 08/09 vers 07:00 sans lien avec le commun, repéré tout de suite). +- `plages.py out/pompage/NORDEND --debut … --fin …` : PR17 `corr_y` saut +0,14 (21,6 bruits) entre 05/09 12:00 et 12:15 (le minimum donnait 07:30) ; CTR01 `error_value`, les 4 bosses quotidiennes en une plage chacune (06/09 11:30-16:30, 07/09 11:30-16:30, 08/09 09:45-15:15, 05/09 06:45-16:30) au lieu de 20 lignes ; PR04 avec `--hors 2026-09-06T08:00Z/2026-09-08T20:00Z` : niveau 0,083, plage principale 06/09 08:45 → 08/09 13:15, puis 14:15-18:15, 19:30-19:45, sans `--hors` la médiane de fenêtre tombe dans l'épisode (0,33), limite dite dans le skill. +- `vignettes.py … --capteurs PR07,PR08 --heures 2026-09-08T02:00Z,2026-09-08T02:10Z` : « Pas d'image à 02:10 : la plus proche est celle de 02:00 (écart 0:10:00) » ; planche `modification-2/NORDEND_vignettes_PR07-PR08_080200-080210_contraste.png`, regardée, titre avec « (demandée 02:10Z) ». +- Figures de `/modification-2/` : les trois `residus-*-autres` et la planche de vignettes. + +## Commandes des fiches relancées +6 commandes de `vignettes.py` : aucun échec. `ensemble.py` et `plages.py` : aucune commande dans les fiches ; `ensemble.py` sans option relancé sur le lot : ok. + +## Pas fait +- Pas de superposition du mouvement commun sur les PNG `-autres` (seulement pente et r imprimés) ; pas de détection automatique de la fin d'épisode (c'est `--hors` à choisir par le lecteur) : trop gros pour ce passage. +- Le corrigé n'a pas été comparé de nouveau : c'est le travail du prochain lecteur. + +## Difficultés +- La consigne dit que les fiches citent les commandes des outils ; seul `vignettes.py` en a, `ensemble.py` (modifié) et `plages.py` (nouveau) n'en ont pas, donc la vérification n'a porté que sur l'un. +- `vignettes.py` : changer l'erreur « pas d'image » en choix de l'image la plus proche modifie un comportement existant (une erreur) ; j'ai jugé que ce n'est pas une « sortie existante » à garder. diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_commun_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_commun_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..3d5b80f Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_commun_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_multiples-error_value_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_multiples-error_value_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..2622084 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_multiples-error_value_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_x-autres_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_x-autres_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..a24a58d Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_x-autres_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_x_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_x_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..8bb079a Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_x_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_y-autres_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_y-autres_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..9ff4581 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_y-autres_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_y_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_y_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..03c8847 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-corr_y_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-error_value-autres_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-error_value-autres_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..e109c73 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-error_value-autres_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-error_value_20260905T0000Z_20260909T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-error_value_20260905T0000Z_20260909T0000Z.png new file mode 100644 index 0000000..6d7cd1c Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_residus-error_value_20260905T0000Z_20260909T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_vignettes_PR07-PR08_080200-080210_contraste.png b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_vignettes_PR07-PR08_080200-080210_contraste.png new file mode 100644 index 0000000..721c89c Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/modification-2/NORDEND_vignettes_PR07-PR08_080200-080210_contraste.png differ