diff --git a/.claude/skills/lire-les-donnees/SKILL.md b/.claude/skills/lire-les-donnees/SKILL.md index d422fa5..af425c1 100644 --- a/.claude/skills/lire-les-donnees/SKILL.md +++ b/.claude/skills/lire-les-donnees/SKILL.md @@ -18,10 +18,10 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi | Commande | Ce qu'elle rend | |---|---| -| `python3 agents/diagnostic/outils/inventaire.py ` | Fichiers par type, images (heures couvertes), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) | +| `python3 agents/diagnostic/outils/inventaire.py [--debut T] [--fin T]` | Fichiers par type, images (heures couvertes), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent) et, par capteur, les mesures rejetées datées (suites de pas consécutifs) | | `python3 agents/diagnostic/outils/resume.py [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` | | `.venv/bin/python agents/diagnostic/outils/graphique.py [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau | -| `.venv/bin/python agents/diagnostic/outils/ensemble.py [--colonnes x,y,sigma0] [--colonne error_value] [--pas 1h] [--k 5] [--min 5] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. **Regarde les deux avec Read** | +| `.venv/bin/python agents/diagnostic/outils/ensemble.py [--colonnes x,y,sigma0] [--colonne error_value] [--pas 1h] [--k 5] [--min 5] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : ce que fait la caméra, avec la dispersion entre capteurs en bande grise ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`) avec le minimum et le maximum de chaque colonne et leur instant, puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Pour dater un début, une fin ou un retour à 15 min près, relance sur la fenêtre utile avec `--pas 15min`. **Regarde les deux PNG avec Read** | | `.venv/bin/python agents/diagnostic/outils/vignettes.py --capteurs A,B --heures T1,T2 [--rayon 100] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible | | `ls /images/ \| grep TZ`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) | @@ -35,8 +35,8 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi ## La méthode -1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, période, cadence, capteurs). -2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). +1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, images, période, cadence, capteurs). Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. +2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; la médiane de `x`, `y` (position brute, références comprises) et `sigma0` dit ce que la caméra fait, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d). 3. **Puis zoome** : `resume.py` à 1h ou 15min, et `graphique.py` sur les fenêtres et les capteurs qui bougent. 4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière. 5. **Les images** : vignettes espacées, une toutes les 2 à 3 h, plus serrées là où les courbes bougent, toujours avec un capteur témoin non touché, à une heure avant, pendant et après (à la même heure de la journée si possible) ; l'image entière pour la scène (occultation, éclairage, météo). diff --git a/agents/diagnostic/outils/ensemble.py b/agents/diagnostic/outils/ensemble.py index a2b8112..3aba439 100644 --- a/agents/diagnostic/outils/ensemble.py +++ b/agents/diagnostic/outils/ensemble.py @@ -12,6 +12,9 @@ Deux PNG, dont les chemins sont imprimés : (défaut error_value) dépasse sa médiane de plus de --k MAD à chaque pas. 2. « multiples » : un petit graphique par capteur (références d'abord) de --colonne, médiane par pas de --pas, trait pointillé = médiane de la fenêtre ; chaque graphique a son échelle, un palier se voit. +Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre +pour chaque colonne de --colonnes) puis le minimum et le maximum de chaque colonne avec leur instant ; pour dater +un début ou une fin à 15 min, relancer sur la fenêtre utile avec --pas 15min. Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD, le nombre et les capteurs. Rend des valeurs, pas de verdict. """ @@ -84,6 +87,7 @@ def main(): # 1. commun fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 3 * (len(colonnes) + 1)), squeeze=False) + communes = {} for ax, col in zip(axes[:, 0], colonnes): e, _ = ecarts(col) med, bas, haut, tt = [], [], [], [] @@ -92,6 +96,7 @@ def main(): if len(v) >= 2: q = statistics.quantiles(v, n=10, method="inclusive") tt.append(t), med.append(statistics.median(v)), bas.append(q[0]), haut.append(q[-1]) + communes[col] = dict(zip(tt, med)) ax.fill_between(tt, bas, haut, color="0.85", label="10e-90e centile entre capteurs") ax.plot(tt, med, ".-", ms=2, lw=0.8, label="médiane des capteurs") ax.set_ylabel(f"{col}\nécart à sa médiane") @@ -107,19 +112,38 @@ def main(): axes[-1, 0].step(temps, compte, where="mid", lw=0.8) axes[-1, 0].set_ylabel(f"capteurs au-dessus\nde médiane + {o.k:g} MAD\n({o.colonne})") axes[-1, 0].grid(alpha=0.3) + h = next((h for h in (1, 2, 3, 6, 12) if (temps[-1] - temps[0]).total_seconds() / 3600 / h <= 20), 24) + axes[-1, 0].xaxis.set_major_locator(mdates.HourLocator(byhour=range(0, 24, h))) + axes[-1, 0].set_xlim(temps[0], temps[-1]) axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ")) + for ax in axes[:, 0]: + ax.grid(alpha=0.5, which="major") fig.suptitle(f"{station} : {len(e)} capteurs ensemble, chacun face à son niveau sur la fenêtre (heures UTC)") commun = base.format("commun") fig.savefig(commun, dpi=100, bbox_inches="tight") plt.close(fig) print(commun) + # table de la médiane commune, par pas + t0 = temps[0] + lignes_t = {} + for col in colonnes: + for t, v in communes[col].items(): + lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col, []).append(v) + print(f"\nMédiane commune (écart à la médiane de la fenêtre), médiane par pas de {int(o.pas.total_seconds() // 60)} min :") + print(f"{'instant':17}" + "".join(f"{c:>12}" for c in colonnes)) + for t in sorted(lignes_t): + print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):12.4g}" if c in lignes_t[t] else " " * 12 for c in colonnes)) + for col in colonnes: + if communes[col]: + lo, hi = min(communes[col].items(), key=lambda x: x[1]), max(communes[col].items(), key=lambda x: x[1]) + print(f"{col} (mesures) : min {lo[1]:.4g} à {iso(lo[0])}, max {hi[1]:.4g} à {iso(hi[0])}") + # 2. petits multiples col = o.colonne n = len(noms) lignes = math.ceil(n / 5) fig, axes = plt.subplots(lignes, 5, sharex=True, figsize=(18, 2.5 * lignes), squeeze=False) - t0 = temps[0] for ax, s in zip(axes.flat, noms): ms = [m for m in series[s] if m[col] is not None] ax.plot([m["t"] for m in ms], [m[col] for m in ms], "-", lw=0.4, color="0.7") diff --git a/agents/diagnostic/outils/inventaire.py b/agents/diagnostic/outils/inventaire.py index e69bda9..0ebe19a 100644 --- a/agents/diagnostic/outils/inventaire.py +++ b/agents/diagnostic/outils/inventaire.py @@ -1,13 +1,15 @@ """Inventaire d'un dossier de station : ce qui est disponible, ce qui manque. -Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ -Rend des valeurs, pas de verdict. +Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] +Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre, +les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées, +en suites de pas consécutifs). Rend des valeurs, pas de verdict. """ +import argparse import statistics -import sys from datetime import timedelta -from donnees import charger, est_reference, heure_image, iso, rejetee, trouver +from donnees import charger, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver def fichiers(f): @@ -63,15 +65,58 @@ def mesures(par): f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}") -def main(dossier): +def fenetre(par, debut, fin): + """Pas absents et rejets datés sur la fenêtre debut/fin.""" + instants = sorted({m["t"] for ms in par.values() for m in ms}) + cadence = statistics.median(b - a for a, b in zip(instants, instants[1:])) + series = {s: {m["t"]: m for m in filtrer(ms, debut, fin)} for s, ms in par.items()} + dans = sorted({t for d in series.values() for t in d}) + print(f"\nFenêtre {iso(dans[0])} → {iso(dans[-1])} : {len(dans)} instants présents") + noms = sorted(par, key=lambda s: (not est_reference(par[s]), s)) + print(f"Pas absents pour tous les capteurs, entre deux instants présents (cadence de {cadence.total_seconds() / 60:.0f} min) :") + trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(dans, dans[1:])] + trous = [x for x in trous if x[2] > 0] + for a, b, n in trous: + print(f" entre {iso(a)} et {iso(b)} : {n}") + if not trous: + print(" (aucun)") + print("Instants présents où des capteurs n'ont pas de mesure :") + partiels = [(t, [s for s in noms if t not in series[s]]) for t in dans] + for t, manque in partiels: + if manque: + print(f" {iso(t)} : {len(manque)} capteurs : {','.join(manque)}") + if not any(m for _, m in partiels): + print(" (aucun)") + print("Mesures rejetées dans la fenêtre, par capteur (début → fin de chaque suite de pas consécutifs, nombre) :") + for s in noms: + rej = [t for t in sorted(series[s]) if rejetee(series[s][t])] + suites = [] + for t in rej: + if suites and t - suites[-1][1] <= cadence * 1.5: + suites[-1][1], suites[-1][2] = t, suites[-1][2] + 1 + else: + suites.append([t, t, 1]) + if rej: + print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites)) + if not any(rejetee(m) for d in series.values() for m in d.values()): + print(" (aucune)") + + +def main(dossier, debut=None, fin=None): print(f"Dossier : {dossier}") f = trouver(dossier) fichiers(f) images(f["images"]) - mesures(charger(dossier)) + par = charger(dossier) + mesures(par) + if par and (debut or fin): + fenetre(par, debut, fin) if __name__ == "__main__": - if len(sys.argv) != 2: - sys.exit(__doc__) - main(sys.argv[1]) + a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) + a.add_argument("dossier") + a.add_argument("--debut", type=instant) + a.add_argument("--fin", type=instant) + o = a.parse_args() + main(o.dossier, o.debut, o.fin) diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2.md b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2.md new file mode 100644 index 0000000..678a122 --- /dev/null +++ b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2.md @@ -0,0 +1,23 @@ +# Modification 2 : lot 01, NORDEND + +## Défaut traité +D1 (pas absents et rejets datés sur la fenêtre du lot) et D2 (médiane commune de `x`, `y`, `sigma0` en table avec l'heure, extrema, graduation plus fine). + +## Ce qui a changé +- `agents/diagnostic/outils/inventaire.py` : options `--debut` / `--fin`. Sans elles, la sortie est identique (vérifié). Avec elles, une section de plus pour la fenêtre : pas absents pour tous les capteurs (datés, entre deux instants présents), instants où certains capteurs seulement n'ont pas de mesure (avec leurs noms), mesures rejetées par capteur, datées en suites de pas consécutifs. La ligne `python3 inventaire.py ` des fiches marche toujours. +- `agents/diagnostic/outils/ensemble.py` : imprime la table de la médiane commune (une ligne par pas de `--pas`, écart à la médiane de la fenêtre de chaque colonne de `--colonnes`) et le min/max de chaque colonne avec leur instant ; graduations du PNG « commun » à heure fixe toutes les 1 à 12 h selon la fenêtre (avant : toutes les 12 h), grille plus marquée, axe limité aux mesures. Les options et PNG existants restent. +- `.claude/skills/lire-les-donnees/SKILL.md` : tableau (`inventaire.py` avec ses options, `ensemble.py` avec la table et `--pas 15min` pour dater) ; étape 1 (inventaire du lot avec `--debut`/`--fin`) ; étape 2 (lire la table pour dater début, fin, retour, ne pas deviner sur l'axe). + +## Essai +- `python3 agents/diagnostic/outils/inventaire.py out/pompage/NORDEND --debut 2026-09-01T00:00Z --fin 2026-09-04T00:00Z` : 286 instants ; trous entre 09-01 00:45 et 01:15 (1 pas) et entre 09-03 01:15 et 02:00 (2 pas), tous capteurs ; aucun trou partiel ; rejets : CTR01 15:00-15:15 le 09-01, PR07 09-03 13:30 puis 23:00-23:30, PR04 09-03 23:00-23:30. +- `.venv/bin/python agents/diagnostic/outils/ensemble.py out/pompage/NORDEND --debut 2026-09-01T00:00Z --fin 2026-09-04T00:00Z --sortie /modification-2/` : table horaire de `y` (ex. 09-01 07:00 −0,13 → 08:00 +1,40 ; 09-02 08:00 +1,62 ; 09-03 de 08:00 à 23:00 entre +0,2 et +0,5 sans retour), min/max avec instants (`y` max +1,74 à 09-02 08:30). Avec `--pas 15min` et la fenêtre 09-01 06:00-10:00 (`modification-2/zoom/`) : saut de `y` de +0,005 (07:45) à +1,42 (08:00 → 08:15) et creux de `sigma0` à 08:15. Trois PNG regardés avec Read : `modification-2/NORDEND_commun_…png` (graduations 6 h lisibles), `modification-2/zoom/NORDEND_commun_…png`, `modification-2/NORDEND_multiples-error_value_…png` (inchangé). + +## Commandes des fiches relancées +3 commandes citant `inventaire.py` : aucun échec. Aucune fiche ne cite `ensemble.py`. + +## Pas fait +- Pas de comparaison à « la nuit précédente » : la table est face à la médiane de la fenêtre (la nuit, sur un lot de quelques jours, s'y lit directement dans les lignes de la table). Un niveau de référence choisi par fenêtre demanderait une option de plus, pas ajoutée. +- Images (luminosité, image noire du 09-02 06:00) : hors des défauts D1 et D2. + +## Difficultés +aucune diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/NORDEND_commun_20260901T0000Z_20260904T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/NORDEND_commun_20260901T0000Z_20260904T0000Z.png new file mode 100644 index 0000000..93ace2f Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/NORDEND_commun_20260901T0000Z_20260904T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png new file mode 100644 index 0000000..58efd54 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/zoom/NORDEND_commun_20260901T0600Z_20260901T1000Z.png b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/zoom/NORDEND_commun_20260901T0600Z_20260901T1000Z.png new file mode 100644 index 0000000..3bf8bb4 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/zoom/NORDEND_commun_20260901T0600Z_20260901T1000Z.png differ diff --git a/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/zoom/NORDEND_multiples-error_value_20260901T0600Z_20260901T1000Z.png b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/zoom/NORDEND_multiples-error_value_20260901T0600Z_20260901T1000Z.png new file mode 100644 index 0000000..b2b50b8 Binary files /dev/null and b/vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/modification-2/zoom/NORDEND_multiples-error_value_20260901T0600Z_20260901T1000Z.png differ