"""Inventaire d'un dossier de station : ce qui est disponible, ce qui manque. Usage : python3 agents/diagnostic/outils/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fin T] [--fichiers] Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre, les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées, en suites de pas consécutifs). Rend des valeurs, pas de verdict. """ import argparse import statistics from datetime import timedelta from donnees import charger, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver def liste(chemins, tout): """Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement.""" if tout or len(chemins) <= 5: shown = chemins else: shown = [chemins[0], chemins[-1]] print(f" {len(chemins)} fichiers, du premier au dernier (--fichiers pour la liste complète) :") for p in shown: print(f" {p}") def fichiers(f, tout=False): print(f"Exports « advanced » (source des mesures) : {len(f['advanced'])}") liste(f["advanced"], tout) print(f"Exports horaires : {len(f['horaire'])} (non lus par les outils : moyennes horaires, " "heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)") liste(f["horaire"], tout) print(f"Autres fichiers : {len(f['autres'])}") liste(f["autres"], tout) def images(chemins): heures = sorted(h for h in map(heure_image, chemins) if h) print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else "")) inconnues = [p for p in chemins if heure_image(p) is None] if inconnues: print(f" noms sans heure reconnue : {len(inconnues)}") if heures: manquantes = [] for a, b in zip(heures, heures[1:]): h = a + timedelta(hours=1) while h < b: manquantes.append(iso(h)) h += timedelta(hours=1) print(f" heures pleines sans image entre la première et la dernière : {', '.join(manquantes) or 'aucune'}") def mesures(par): if not par: print("\nAucune mesure : pas d'export « advanced » dans ce dossier.") return instants = sorted({m["t"] for ms in par.values() for m in ms}) cadence = statistics.median(b - a for a, b in zip(instants, instants[1:])) print(f"\nPériode des mesures : {iso(instants[0])} → {iso(instants[-1])}, {len(instants)} instants") print(f"Cadence (pas médian) : {cadence.total_seconds() / 60:.0f} min") trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(instants, instants[1:])] trous = [x for x in trous if x[2] > 0] print(f"Mesures manquantes (instants absents de la cadence) : {sum(n for *_, n in trous)}") for a, b, n in trous: print(f" entre {iso(a)} et {iso(b)} : {n}") noms = sorted(par, key=lambda s: (not est_reference(par[s]), s)) refs = [s for s in noms if est_reference(par[s])] print(f"\nCapteurs : {len(par)} ({len(refs)} références, {len(par) - len(refs)} cibles)") print(f"{'capteur':10} {'type':10} {'motif':11} {'seuil':>5} {'mesures':>7} {'rejetées':>8}") for s in noms: ms = par[s] seuil = "/".join(f"{x:g}" for x in sorted({m['error_threshold'] for m in ms})) print(f"{s:10} {'référence' if est_reference(ms) else 'cible':10} {ms[0]['pattern_type']:11} " f"{seuil:>5} {len(ms):7} {sum(map(rejetee, ms)):8}") def fenetre(par, debut, fin): """Pas absents et rejets datés sur la fenêtre debut/fin.""" instants = sorted({m["t"] for ms in par.values() for m in ms}) cadence = statistics.median(b - a for a, b in zip(instants, instants[1:])) series = {s: {m["t"]: m for m in filtrer(ms, debut, fin)} for s, ms in par.items()} dans = sorted({t for d in series.values() for t in d}) print(f"\nFenêtre {iso(dans[0])} → {iso(dans[-1])} : {len(dans)} instants présents") noms = sorted(par, key=lambda s: (not est_reference(par[s]), s)) print(f"Pas absents pour tous les capteurs, entre deux instants présents (cadence de {cadence.total_seconds() / 60:.0f} min) :") trous = [(a, b, round((b - a) / cadence) - 1) for a, b in zip(dans, dans[1:])] trous = [x for x in trous if x[2] > 0] for a, b, n in trous: print(f" entre {iso(a)} et {iso(b)} : {n}") if not trous: print(" (aucun)") print("Instants présents où des capteurs n'ont pas de mesure :") partiels = [(t, [s for s in noms if t not in series[s]]) for t in dans] for t, manque in partiels: if manque: print(f" {iso(t)} : {len(manque)} capteurs : {','.join(manque)}") if not any(m for _, m in partiels): print(" (aucun)") print("Mesures rejetées dans la fenêtre, par capteur (début → fin de chaque suite de pas consécutifs, nombre) :") for s in noms: rej = [t for t in sorted(series[s]) if rejetee(series[s][t])] suites = [] for t in rej: if suites and t - suites[-1][1] <= cadence * 1.5: suites[-1][1], suites[-1][2] = t, suites[-1][2] + 1 else: suites.append([t, t, 1]) if rej: print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites)) if not any(rejetee(m) for d in series.values() for m in d.values()): print(" (aucune)") def main(dossier, debut=None, fin=None, tout=False): print(f"Dossier : {dossier}") f = trouver(dossier) fichiers(f, tout) images(f["images"]) par = charger(dossier) mesures(par) if par and (debut or fin): fenetre(par, debut, fin) if __name__ == "__main__": a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) a.add_argument("dossier") a.add_argument("--debut", type=instant) a.add_argument("--fin", type=instant) a.add_argument("--fichiers", action="store_true", help="liste complète des fichiers (sinon : le premier et le dernier au-delà de 5)") o = a.parse_args() main(o.dossier, o.debut, o.fin, o.fichiers)