Pompage : métriques système dans metrics/, images absentes de S3 sautées
pomper.py écrit les métriques dans data/<SERIE>/metrics/ ; load_stations les y lit aussi. Les images dont measurement_uuid est vide (jamais arrivées sur S3) sont écartées de la requête : plus d'erreur de l'appli, la tranche prend l'image suivante. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c1ba46f2bb
commit
6b3d058a67
5 files changed
+20
-13
No files matched your search
@@ -41,11 +41,13 @@ def load_stations(paths):
|
||||
"""Fichiers et/ou dossiers -> {station: {metric: série}}.
|
||||
|
||||
Plusieurs fichiers d'une même métrique (un par jour du pompage, exports qui se chevauchent, copies « (1) ») sont
|
||||
fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte.
|
||||
fusionnés en une série triée ; à heure égale, le dernier fichier par ordre de nom l'emporte. Dans un dossier de
|
||||
station, les CSV sont lus à sa racine et dans `metrics/` (sortie du pompage).
|
||||
"""
|
||||
files = []
|
||||
for p in paths:
|
||||
files += sorted(glob.glob(os.path.join(p, "*.csv"))) if os.path.isdir(p) else [p]
|
||||
files += sorted(glob.glob(os.path.join(p, "*.csv")) + glob.glob(os.path.join(p, "metrics", "*.csv"))) \
|
||||
if os.path.isdir(p) else [p]
|
||||
stations, seen = {}, set()
|
||||
for path in files:
|
||||
real = os.path.realpath(path)
|
||||
|
||||
Reference in new issue
Block a user