From f8a81c0990b22c9931a4d9e4b388cb60e523f177 Mon Sep 17 00:00:00 2001 From: maxime Date: Tue, 13 Oct 2026 10:48:34 +0200 Subject: [PATCH] Load text metrics as lists of the hour's samples Co-Authored-By: Claude Opus 5.5 --- .claude/skills/nouveau-domaine/SKILL.md | 4 ++-- src/common/stations.py | 14 +++++++++++--- 2 files changed, 13 insertions(+), 5 deletions(-) diff --git a/.claude/skills/nouveau-domaine/SKILL.md b/.claude/skills/nouveau-domaine/SKILL.md index 903eb53..7f41ee3 100644 --- a/.claude/skills/nouveau-domaine/SKILL.md +++ b/.claude/skills/nouveau-domaine/SKILL.md @@ -17,8 +17,8 @@ Un domaine reprend le travail fait pour Energy : des analyses sans LLM, un verdi - Les CSV vont dans `data//` (D-029). Le jeu de travail du domaine est noté dans `CLAUDE.md` et dans sa décision (VERMONT pour Energy, WEISSHORN pour `storage` et `cellular`). - Copies de téléchargement `… (1).csv` : les comparer à l'original (`cmp`) ; identiques, les supprimer ; différentes, demander à l'utilisateur. Supprimer les `*:Zone.Identifier` (ignorés par git). -- Vérifier le chargement par `common.stations.load_stations`, **stderr redirigé** : le chargeur imprime les valeurs illisibles, dont des identifiants (`ip`). `SIM_CCID`, lui, se charge comme un nombre : ne jamais afficher ses valeurs. -- Les métriques texte (listes d'échantillons par heure, ex. `link`) sont ignorées par le chargeur. L'adapter seulement si une analyse en a besoin. +- Vérifier le chargement par `common.stations.load_stations`, **stderr redirigé** : le chargeur imprime les valeurs illisibles, qui peuvent être des identifiants. `SIM_CCID`, lui, se charge comme un nombre : ne jamais afficher ses valeurs. +- Les métriques texte (ex. `link`, `ip`) se chargent comme la liste des échantillons de l'heure (D-031). Une page ne trace que des séries choisies, jamais `SIM_CCID` ni `ip`. - Relever la couverture, le pas de temps et les trous ; versionner `data//`. ## 3. Explorer diff --git a/src/common/stations.py b/src/common/stations.py index 78582cd..a4e06e0 100644 --- a/src/common/stations.py +++ b/src/common/stations.py @@ -2,6 +2,7 @@ Format des CSV : docs/domaine/ce-que-mesure-la-station.md. Bibliothèque standard uniquement. """ +import ast import csv import glob import os @@ -18,14 +19,21 @@ def parse_name(path): return (m["station"], m["metric"]) if m else None +def parse_value(x): + """'' -> None (pas de mesure) ; "['up', 'up']" -> liste des échantillons de l'heure (métriques texte) ; sinon float.""" + if not x: + return None + return ast.literal_eval(x) if x.startswith("[") else float(x) + + def load_csv(path): - """CSV ',time_utc,metric' -> {datetime UTC: float ou None (pas de mesure)}.""" + """CSV ',time_utc,metric' -> {datetime UTC: float, liste (métrique texte) ou None (pas de mesure)}.""" try: with open(path, newline="") as f: rows = csv.reader(f) next(rows) - return {datetime.fromisoformat(r[1]): float(r[2]) if r[2] else None for r in rows} - except (StopIteration, IndexError, ValueError) as e: + return {datetime.fromisoformat(r[1]): parse_value(r[2]) for r in rows} + except (StopIteration, IndexError, ValueError, SyntaxError) as e: raise ValueError(f"{path} : CSV illisible ({e!r})") from e