diff --git a/.claude/skills/lire-les-donnees/SKILL.md b/.claude/skills/lire-les-donnees/SKILL.md index cf7ed6e..d422fa5 100644 --- a/.claude/skills/lire-les-donnees/SKILL.md +++ b/.claude/skills/lire-les-donnees/SKILL.md @@ -19,8 +19,9 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi | Commande | Ce qu'elle rend | |---|---| | `python3 agents/diagnostic/outils/inventaire.py ` | Fichiers par type, images (heures couvertes), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) | -| `python3 agents/diagnostic/outils/resume.py [--colonne C] [--stat median\|min\|max] [--pas 1h] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur sur toute la période (médiane, MAD, min, max), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` | +| `python3 agents/diagnostic/outils/resume.py [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` | | `.venv/bin/python agents/diagnostic/outils/graphique.py [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau | +| `.venv/bin/python agents/diagnostic/outils/ensemble.py [--colonnes x,y,sigma0] [--colonne error_value] [--pas 1h] [--k 5] [--min 5] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. **Regarde les deux avec Read** | | `.venv/bin/python agents/diagnostic/outils/vignettes.py --capteurs A,B --heures T1,T2 [--rayon 100] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible | | `ls /images/ \| grep TZ`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) | @@ -35,9 +36,9 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi ## La méthode 1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, période, cadence, capteurs). -2. **Large d'abord** : `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). +2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). 3. **Puis zoome** : `resume.py` à 1h ou 15min, et `graphique.py` sur les fenêtres et les capteurs qui bougent. -4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu. +4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière. 5. **Les images** : vignettes espacées, une toutes les 2 à 3 h, plus serrées là où les courbes bougent, toujours avec un capteur témoin non touché, à une heure avant, pendant et après (à la même heure de la journée si possible) ; l'image entière pour la scène (occultation, éclairage, météo). ## Ce que la lecture rend diff --git a/agents/diagnostic/outils/ensemble.py b/agents/diagnostic/outils/ensemble.py new file mode 100644 index 0000000..a2b8112 --- /dev/null +++ b/agents/diagnostic/outils/ensemble.py @@ -0,0 +1,155 @@ +"""Vue d'ensemble de tous les capteurs d'un export « advanced » : ce que font les capteurs ensemble. + +Usage : .venv/bin/python agents/diagnostic/outils/ensemble.py data/PS_DES_COUDRES/ + [--colonnes x,y,sigma0] [--colonne error_value] [--pas 1h] [--k 5] [--min 5] + [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER] + +Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre). +Deux PNG, dont les chemins sont imprimés : +1. « commun » : un panneau par colonne de --colonnes (défaut x,y,sigma0 : position brute et sigma0 de la + caméra) : médiane, sur les capteurs, de l'écart de chaque capteur à sa médiane ; bande grise = 10e à 90e + centile entre capteurs (la dispersion) ; dernier panneau : nombre de capteurs dont --colonne + (défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas. +2. « multiples » : un petit graphique par capteur (références d'abord) de --colonne, médiane par pas de --pas, + trait pointillé = médiane de la fenêtre ; chaque graphique a son échelle, un palier se voit. +Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD, +le nombre et les capteurs. Rend des valeurs, pas de verdict. +""" +import argparse +import math +import os +import statistics +import sys + +import matplotlib + +matplotlib.use("Agg") +import matplotlib.dates as mdates # noqa: E402 +import matplotlib.pyplot as plt # noqa: E402 + +from donnees import charger, est_reference, filtrer, instant, iso # noqa: E402 +from graphique import COLONNES, RACINE, borne # noqa: E402 +from resume import duree # noqa: E402 + + +def niveau(ms, col): + """(médiane, MAD) des valeurs non vides ; None si aucune.""" + v = [m[col] for m in ms if m[col] is not None] + if not v: + return None + med = statistics.median(v) + return med, statistics.median(abs(x - med) for x in v) + + +def main(): + a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) + a.add_argument("dossier") + a.add_argument("--colonnes", default="x,y,sigma0") + a.add_argument("--colonne", default="error_value", choices=COLONNES) + a.add_argument("--pas", default="1h", type=duree) + a.add_argument("--k", type=float, default=5, help="écart compté, en MAD de la fenêtre") + a.add_argument("--min", type=int, default=5, help="nombre de capteurs à partir duquel un instant est imprimé") + a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)") + a.add_argument("--debut", type=instant) + a.add_argument("--fin", type=instant) + a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG") + o = a.parse_args() + + par = charger(o.dossier) + if not par: + sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).") + noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s)) + colonnes = o.colonnes.split(",") + for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes + [o.colonne], COLONNES, "Colonnes")): + absents = [x for x in demandes if x not in connus] + if absents: + sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.") + series = {s: filtrer(par[s], o.debut, o.fin) for s in noms} + if not any(series.values()): + sys.exit("Aucune mesure dans la fenêtre demandée.") + temps = sorted({m["t"] for s in noms for m in series[s]}) + station = os.path.basename(os.path.normpath(o.dossier)) + os.makedirs(o.sortie, exist_ok=True) + base = os.path.join(o.sortie, f"{station}_{{}}_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png") + + def ecarts(col): + """{capteur: {t: valeur - médiane de la fenêtre}}, et les MAD.""" + e, mad = {}, {} + for s in noms: + n = niveau(series[s], col) + if n: + e[s] = {m["t"]: m[col] - n[0] for m in series[s] if m[col] is not None} + mad[s] = n[1] + return e, mad + + # 1. commun + fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 3 * (len(colonnes) + 1)), squeeze=False) + for ax, col in zip(axes[:, 0], colonnes): + e, _ = ecarts(col) + med, bas, haut, tt = [], [], [], [] + for t in temps: + v = sorted(e[s][t] for s in e if t in e[s]) + if len(v) >= 2: + q = statistics.quantiles(v, n=10, method="inclusive") + tt.append(t), med.append(statistics.median(v)), bas.append(q[0]), haut.append(q[-1]) + ax.fill_between(tt, bas, haut, color="0.85", label="10e-90e centile entre capteurs") + ax.plot(tt, med, ".-", ms=2, lw=0.8, label="médiane des capteurs") + ax.set_ylabel(f"{col}\nécart à sa médiane") + ax.grid(alpha=0.3) + ax.legend(loc="upper left", fontsize=8) + e, mad = ecarts(o.colonne) + compte, qui = [], {} + for t in temps: + hauts = [s for s in e if t in e[s] and mad[s] > 0 and e[s][t] > o.k * mad[s]] + compte.append(len(hauts)) + if len(hauts) >= o.min: + qui[t] = hauts + axes[-1, 0].step(temps, compte, where="mid", lw=0.8) + axes[-1, 0].set_ylabel(f"capteurs au-dessus\nde médiane + {o.k:g} MAD\n({o.colonne})") + axes[-1, 0].grid(alpha=0.3) + axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ")) + fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)") + commun = base.format("commun") + fig.savefig(commun, dpi=100, bbox_inches="tight") + plt.close(fig) + print(commun) + + # 2. petits multiples + col = o.colonne + n = len(noms) + lignes = math.ceil(n / 5) + fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False) + t0 = temps[0] + for ax, s in zip(axes.flat, noms): + ms = [m for m in series[s] if m[col] is not None] + ax.plot([m["t"] for m in ms], [m[col] for m in ms], "-", lw=0.4, color="0.7") + pas = {} + for m in ms: + pas.setdefault(t0 + ((m["t"] - t0) // o.pas) * o.pas, []).append(m[col]) + ax.plot(list(pas), [statistics.median(v) for v in pas.values()], "-", lw=1.1, color="C0") + lv = niveau(series[s], col) + if lv: + ax.axhline(lv[0], color="C3", ls=":", lw=0.8) + ax.set_title(s + (" (réf.)" if series[s] and est_reference(series[s]) else ""), fontsize=9) + ax.grid(alpha=0.3) + ax.tick_params(labelsize=7) + ax.xaxis.set_major_locator(mdates.AutoDateLocator(minticks=2, maxticks=5)) + ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%Hh")) + for ax in list(axes.flat)[n:]: + ax.axis("off") + fig.suptitle(f"{station} : {col}, médiane par pas de {int(o.pas.total_seconds() // 60)} min (bleu), mesures (gris), " + f"médiane de la fenêtre (pointillé) ; une échelle par capteur (heures UTC)") + fig.tight_layout() + multiples = base.format(f"multiples-{col}") + fig.savefig(multiples, dpi=100, bbox_inches="tight") + print(multiples) + + print(f"\nInstants où au moins {o.min} capteurs ont {col} > médiane de la fenêtre + {o.k:g} MAD :") + for t, hauts in qui.items(): + print(f"{iso(t)} {len(hauts):3} {','.join(hauts)}") + if not qui: + print("(aucun)") + + +if __name__ == "__main__": + main() diff --git a/agents/diagnostic/outils/resume.py b/agents/diagnostic/outils/resume.py index 256a8f6..8719c7c 100644 --- a/agents/diagnostic/outils/resume.py +++ b/agents/diagnostic/outils/resume.py @@ -1,9 +1,11 @@ """Résumé chiffré compact des séries d'un export « advanced », pour l'agent de diagnostic. Usage : python3 agents/diagnostic/outils/resume.py data/PS_DES_COUDRES/ [--colonne error_value] - [--stat median|min|max] [--pas 1h] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...] + [--stat median|min|max] [--pas 1h] [--niveau periode|fenetre] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...] -1. Niveau habituel de chaque capteur sur toute la période : médiane, MAD (écart absolu médian), min, max. +1. Niveau habituel de chaque capteur : médiane, MAD (écart absolu médian), min, max, sur toute la période + (défaut) ou, avec --niveau fenetre, sur la fenêtre --debut/--fin seulement (un changement de niveau + dans la fenêtre ne se compare pas à des semaines d'autres mesures). 2. Tableau : une ligne par pas de temps (début du pas, UTC), une colonne par capteur, la statistique choisie sur les mesures du pas. « rej » : toutes les mesures du pas sont rejetées ; « vide » : des mesures, mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure. @@ -40,6 +42,8 @@ def main(): a.add_argument("--colonne", default="error_value", choices=COLONNES) a.add_argument("--stat", default="median", choices=STATS) a.add_argument("--pas", default="1h", type=duree) + a.add_argument("--niveau", default="periode", choices=("periode", "fenetre"), + help="période sur laquelle médiane et MAD sont calculées (défaut : toutes les mesures)") a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)") a.add_argument("--debut", type=instant) a.add_argument("--fin", type=instant) @@ -62,10 +66,11 @@ def main(): if not cases: sys.exit("Aucune mesure dans la fenêtre demandée.") - print(f"Colonne : {o.colonne}. Niveau habituel sur toute la période (mesures non vides) :") + sur = "la fenêtre --debut/--fin" if o.niveau == "fenetre" else "toute la période" + print(f"Colonne : {o.colonne}. Niveau habituel sur {sur} (mesures non vides) :") print(f"{'capteur':10} {'n':>5} {'médiane':>10} {'MAD':>10} {'min':>10} {'max':>10}") for s in noms: - v = valeurs(par[s], o.colonne) + v = valeurs(filtrer(par[s], o.debut, o.fin) if o.niveau == "fenetre" else par[s], o.colonne) if not v: print(f"{s:10} {0:5} (aucune valeur)") continue diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1.md b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1.md new file mode 100644 index 0000000..f2c8baf --- /dev/null +++ b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1.md @@ -0,0 +1,26 @@ +# Modification 1 : lot 01, NORDEND + +## Défaut traité +D1 (erreur de tous les capteurs ensemble, chacun face à son niveau par fenêtre) et D2 (positions brutes, dispersion et `sigma0` de tous les capteurs avant `corr`). + +## Ce qui a changé +- `agents/diagnostic/outils/ensemble.py` (nouveau, avec docstring) : deux PNG et une liste imprimée. « commun » : médiane entre capteurs de `x`, `y`, `sigma0` (écart de chaque capteur à sa médiane sur la fenêtre), bande 10e-90e centile entre capteurs, et nombre de capteurs au-dessus de médiane + `--k` MAD pour `--colonne` (défaut `error_value`). « multiples » : un petit graphique par capteur, une échelle chacun, médiane par pas et médiane de la fenêtre en pointillé. Imprime les instants où au moins `--min` capteurs montent ensemble, avec leurs noms. Aucun verdict ; `--k` et `--min` sont des réglages du lecteur. +- `agents/diagnostic/outils/resume.py` : option `--niveau periode|fenetre` (défaut `periode`, comportement inchangé) ; `fenetre` calcule médiane et MAD sur `--debut`/`--fin` seulement. +- `.claude/skills/lire-les-donnees/SKILL.md` : ligne du tableau pour `ensemble.py`, option `--niveau` dans la ligne de `resume.py`, étape 2 de la méthode (regarder d'abord médiane brute `x`/`y`/`sigma0` avant `corr`, petits multiples d'`error_value`), étape 4 (sur un lot, niveau calculé sur le lot). + +## Essai +`.venv/bin/python agents/diagnostic/outils/ensemble.py out/pompage/NORDEND --debut 2026-09-01T00:00Z --fin 2026-09-04T00:00Z --sortie vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/` +- `NORDEND_commun_…png` : `y` brut médian +1,5 à +2 px le 1er vers 07:45-17:00 et le 2 vers 06:30-17:00 (le pic de bande étroite : tous les capteurs bougent ensemble), `sigma0` qui plonge aux mêmes heures, compte d'`error_value` à 7 (09-01 05:00), 14 (09-01 11:15), 6 (09-03 06:45). +- `NORDEND_multiples-error_value_…png` : paliers de PR08 (×3 le 09-03 vers 06:00, sans retour) et CTR04 (×2) visibles d'un coup, PR04/PR07 à la fin, CTR01 en montées de jour. +- Impression : 4 instants (09-01 05:00, 11:15 ; 09-03 06:45, 23:00) avec les capteurs. +- `resume.py … --niveau fenetre --pas 1d` : médiane et MAD du lot (ex. CTR01 0,125 / 0,025). + +## Commandes des fiches relancées +44 commandes d'outils citées par les fiches (35 pour `resume.py`) relancées : aucun échec. + +## Pas fait +- Les paliers communs à presque tous (09-01 22:00, 09-02 18:00) ne sont pas comptés à part : ils se voient dans les petits multiples (paliers synchrones), pas dans le compte (qui ne retient que les pointes d'un pas). +- Les images (éclairement, exposition, écart « image presque noire ») : hors des défauts D1 et D2. + +## Difficultés +aucune diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/NORDEND_commun_20260901T0000Z_20260904T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/NORDEND_commun_20260901T0000Z_20260904T0000Z.png new file mode 100644 index 0000000..912cecf Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/NORDEND_commun_20260901T0000Z_20260904T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png new file mode 100644 index 0000000..58efd54 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-1/NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png differ