Reading tools: what the etiqueteur had to script itself (metrics, daily bounds, local level, zone, references)
- metriques.py: new, reads metrics/ (temperatures, voltage) against targets and camera pose - jours.py --bornes: per-day first/last excursion, extreme, from the previous night - plages.py --glissant, --instants: deviations from a local level, per-instant view - ensemble.py --table, resume.py --marque/--instants: shorter outputs, repeated headers - inventaire.py: image gaps as runs, references on reproj_err when inlier is empty - vignettes.py --zone: same scene area across hours - donnees.py: references recognised when pattern_type is empty (benchmark unchanged) - lire-les-donnees: new options documented, gif.py row added Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
6fbd7510b7
commit
efbc5f15d7
9 files changed
+670
-80
No files matched your search
+88
-29
@@ -4,11 +4,16 @@ Usage : python3 agent-tools/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fi
|
||||
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
|
||||
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
|
||||
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
|
||||
références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des
|
||||
références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
références retenues par la compensation (inlier = 1 ; inlier vide sur la fenêtre : reproj_err rempli) à chaque instant
|
||||
et, datées, les suites d'instants où des références ne le sont pas (lesquelles, et pourquoi : rejetée, valeur d'inlier,
|
||||
vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Avant les comptes, ce que contient chaque source
|
||||
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides, les noms
|
||||
des métriques système de metrics/, les images et les images différentielles. Rend des valeurs, pas de verdict.
|
||||
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides (avec,
|
||||
pour une colonne de l'export que tous les capteurs ne portent pas, combien la portent), les noms des métriques système
|
||||
de metrics/, les images et les images différentielles. Les relevés en double (même capteur, même instant dans deux
|
||||
exports, ou deux fois dans un) sont comptés par export. Images : par suite d'écarts égaux entre deux images (à 5 min
|
||||
près ; sur la fenêtre si elle est donnée). Une suite datée qui finit le même jour n'écrit que l'heure de sa fin.
|
||||
Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import collections
|
||||
@@ -24,6 +29,36 @@ from donnees import charger, charger_camera, est_reference, filtrer, heure_image
|
||||
METRIQUE_RE = re.compile(r"^(.+?)_(\d{4})_(\d{2})_(\d{2})_\d{2}_\d{2}") # NIEDERHORN_BusCurrent_2026_09_22_00_00 to ….csv
|
||||
|
||||
|
||||
def suite(a, b, n):
|
||||
"""Une suite datée : le début en entier, la fin sans la date quand elle tombe le même jour."""
|
||||
if n == 1:
|
||||
return iso(a)
|
||||
return f"{iso(a)} → {iso(b)[11:] if iso(a)[:10] == iso(b)[:10] else iso(b)} ({n})"
|
||||
|
||||
|
||||
def doubles(chemins):
|
||||
"""Relevés (même capteur, même instant) déjà lus dans un export précédent ou plus haut dans le même : charger n'en
|
||||
garde qu'un, celui du dernier fichier dans l'ordre des noms. Une ligne par export qui en a."""
|
||||
vus, lignes = {}, []
|
||||
for p in chemins:
|
||||
n = deja = autres = 0
|
||||
with open(p, newline="") as fh:
|
||||
for r in csv.DictReader(fh):
|
||||
n += 1
|
||||
cle = (r["sensor_name"].strip(), r["time_utc"])
|
||||
val = tuple(v.strip() for k, v in r.items() if k not in ("sensor_name", None))
|
||||
if cle in vus:
|
||||
deja += 1
|
||||
autres += vus[cle] != val
|
||||
vus[cle] = val
|
||||
if deja:
|
||||
lignes.append(f" {os.path.basename(p)} : {deja} sur {n} déjà lus, dont {autres} de valeurs différentes")
|
||||
if lignes:
|
||||
print("Relevés en double (même capteur, même instant dans un export déjà lu, dans l'ordre des noms ; "
|
||||
"les outils gardent celui du dernier fichier) :")
|
||||
print("\n".join(lignes))
|
||||
|
||||
|
||||
def liste(chemins, tout):
|
||||
"""Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement."""
|
||||
if tout or len(chemins) <= 5:
|
||||
@@ -38,6 +73,7 @@ def liste(chemins, tout):
|
||||
def fichiers(f, tout=False):
|
||||
print(f"Exports « advanced » (source des mesures) : {len(f['advanced'])}")
|
||||
liste(f["advanced"], tout)
|
||||
doubles(f["advanced"])
|
||||
print(f"Exports horaires : {len(f['horaire'])} (non lus par les outils : moyennes horaires, "
|
||||
"heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)")
|
||||
liste(f["horaire"], tout)
|
||||
@@ -48,8 +84,9 @@ def fichiers(f, tout=False):
|
||||
|
||||
|
||||
def remplies(chemins, debut, fin):
|
||||
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}), colonnes dans l'ordre des en-têtes."""
|
||||
lignes, compte = 0, {}
|
||||
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}, {colonne: capteurs qui en ont une}),
|
||||
colonnes dans l'ordre des en-têtes ; capteurs : sensor_name, s'il y en a."""
|
||||
lignes, compte, qui = 0, {}, collections.defaultdict(set)
|
||||
for p in chemins:
|
||||
with open(p, newline="") as fh:
|
||||
r = csv.DictReader(fh)
|
||||
@@ -63,7 +100,9 @@ def remplies(chemins, debut, fin):
|
||||
for c in compte:
|
||||
if (row.get(c) or "").strip():
|
||||
compte[c] += 1
|
||||
return lignes, compte
|
||||
if row.get("sensor_name"):
|
||||
qui[c].add(row["sensor_name"].strip())
|
||||
return lignes, compte, qui
|
||||
|
||||
|
||||
def contenu(dossier, f, debut=None, fin=None):
|
||||
@@ -77,8 +116,11 @@ def contenu(dossier, f, debut=None, fin=None):
|
||||
for titre, chemins in (("Export « advanced »", f["advanced"]), ("Pose de la caméra (camera/)", f["camera"]),
|
||||
("Qualité d'image (quality/)", autres.pop("quality", []))):
|
||||
if chemins:
|
||||
n, compte = remplies(chemins, debut, fin)
|
||||
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}" if k else f"{c} vide" for c, k in compte.items()))
|
||||
n, compte, qui = remplies(chemins, debut, fin)
|
||||
tous = set().union(*qui.values())
|
||||
def porte(c): # nombre de capteurs qui portent la colonne, quand ce ne sont pas tous
|
||||
return f" ({len(qui[c])} capteurs sur {len(tous)})" if tous and len(qui[c]) < len(tous) else ""
|
||||
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}{porte(c)}" if k else f"{c} vide" for c, k in compte.items()))
|
||||
jours = collections.Counter() # métrique -> jours (un CSV par métrique et par jour) dans la fenêtre
|
||||
for p in autres.pop("metrics", []):
|
||||
m = METRIQUE_RE.match(os.path.basename(p))
|
||||
@@ -89,7 +131,7 @@ def contenu(dossier, f, debut=None, fin=None):
|
||||
nom = m.group(1)
|
||||
jours[nom.split("_", 1)[1] if "_" in nom else nom] += 1
|
||||
if jours:
|
||||
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; aucun outil ne les lit) : {len(jours)} : "
|
||||
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; lues par metriques.py) : {len(jours)} : "
|
||||
+ ", ".join(f"{k} ({n} j)" for k, n in sorted(jours.items())))
|
||||
for titre, chemins in (("Images de la caméra", f["images"]),
|
||||
("Images différentielles (images_diff/ ; aucun outil ne les lit)", glob.glob(os.path.join(dossier, "images_diff", "*")))):
|
||||
@@ -100,20 +142,28 @@ def contenu(dossier, f, debut=None, fin=None):
|
||||
print(" Autres : " + ", ".join(f"{k} ({len(v)})" for k, v in sorted(autres.items())))
|
||||
|
||||
|
||||
def images(chemins):
|
||||
def images(chemins, debut=None, fin=None):
|
||||
heures = sorted(h for h in map(heure_image, chemins) if h)
|
||||
print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else ""))
|
||||
inconnues = [p for p in chemins if heure_image(p) is None]
|
||||
if inconnues:
|
||||
print(f" noms sans heure reconnue : {len(inconnues)}")
|
||||
if heures:
|
||||
manquantes = []
|
||||
for a, b in zip(heures, heures[1:]):
|
||||
h = a + timedelta(hours=1)
|
||||
while h < b:
|
||||
manquantes.append(iso(h))
|
||||
h += timedelta(hours=1)
|
||||
print(f" heures pleines sans image entre la première et la dernière : {', '.join(manquantes) or 'aucune'}")
|
||||
heures = [h for h in heures if filtrer([{"t": h}], debut, fin)]
|
||||
if len(heures) < 2:
|
||||
return
|
||||
# Suites d'images à écart régulier (arrondi à 5 min, ce qui absorbe les quelques secondes de retard d'une prise) :
|
||||
# une ligne par changement d'écart, sans rien perdre des heures couvertes.
|
||||
suites = [] # [première, dernière, écart en min, nombre d'écarts]
|
||||
for a, b in zip(heures, heures[1:]):
|
||||
e = round((b - a).total_seconds() / 300) * 5
|
||||
if suites and suites[-1][2] == e:
|
||||
suites[-1][1], suites[-1][3] = b, suites[-1][3] + 1
|
||||
else:
|
||||
suites.append([a, b, e, 1])
|
||||
quoi = "sur la fenêtre" if debut or fin else "entre la première et la dernière"
|
||||
print(f" écart entre deux images {quoi}, par suite d'écarts égaux (à 5 min près) :")
|
||||
for a, b, e, n in suites:
|
||||
print(f" {iso(a)} → {iso(b)} : " + (f"{n + 1} images, toutes les {e} min" if n > 1 else f"un écart de {e} min"))
|
||||
|
||||
|
||||
def mesures(par):
|
||||
@@ -132,6 +182,10 @@ def mesures(par):
|
||||
noms = sorted(par, key=lambda s: (not est_reference(par[s]), s))
|
||||
refs = [s for s in noms if est_reference(par[s])]
|
||||
print(f"\nCapteurs : {len(par)} ({len(refs)} références, {len(par) - len(refs)} cibles)")
|
||||
vides = [s for s in noms if not any(m["pattern_type"] for m in par[s])]
|
||||
if vides:
|
||||
print(f" pattern_type vide pour {len(vides)} capteurs : référence quand reproj_err ou inlier est rempli "
|
||||
"(références seulement, docs/domaine/colonnes-des-deplacements.md)")
|
||||
print(f"{'capteur':10} {'type':10} {'motif':11} {'seuil':>5} {'mesures':>7} {'rejetées':>8}")
|
||||
for s in noms:
|
||||
ms = par[s]
|
||||
@@ -161,7 +215,7 @@ def camera(dossier, par, debut=None, fin=None):
|
||||
print(f"Instants de mesure sans pose (pas de recalage) : {sum(x[2] for x in suites)} sur {len(instants)}")
|
||||
if debut or fin:
|
||||
for a, b, n, _ in suites:
|
||||
print(f" {iso(a)}" + ("" if n == 1 else f" → {iso(b)} ({n})"))
|
||||
print(f" {suite(a, b, n)}")
|
||||
|
||||
|
||||
def fenetre(par, debut, fin):
|
||||
@@ -196,22 +250,27 @@ def fenetre(par, debut, fin):
|
||||
else:
|
||||
suites.append([t, t, 1])
|
||||
if rej:
|
||||
print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites))
|
||||
print(f" {s} ({len(rej)}) : " + "; ".join(suite(a, b, n) for a, b, n in suites))
|
||||
if not any(rejetee(m) for d in series.values() for m in d.values()):
|
||||
print(" (aucune)")
|
||||
refs = [s for s in noms if est_reference(par[s])]
|
||||
if not any(m["inlier"] is not None for s in refs for m in series[s].values()):
|
||||
print("Références retenues par la compensation : colonne inlier absente ou vide.")
|
||||
# inlier dit quelles références la compensation retient ; certains exports ne le remplissent pas (et parfois
|
||||
# reproj_err seulement) : on prend alors reproj_err rempli, et le titre le dit.
|
||||
col = next((c for c in ("inlier", "reproj_err") if any(m[c] is not None for s in refs for m in series[s].values())), None)
|
||||
if col is None:
|
||||
print("Références retenues par la compensation : colonnes inlier et reproj_err absentes ou vides.")
|
||||
return
|
||||
retenue = (lambda m: m["inlier"] == 1) if col == "inlier" else (lambda m: m["reproj_err"] is not None)
|
||||
def marque(s, t):
|
||||
m = series[s].get(t)
|
||||
return "absente" if m is None else "r" if rejetee(m) else "0" if m["inlier"] == 0 else "vide"
|
||||
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or series[s][t]["inlier"] != 1)) for t in dans]
|
||||
return "absente" if m is None else "r" if rejetee(m) else "vide" if m[col] is None else f"{m[col]:g}"
|
||||
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or not retenue(series[s][t]))) for t in dans]
|
||||
compte = collections.Counter(len(refs) - len(h) for _, h in hors)
|
||||
print(f"Références retenues par la compensation (inlier = 1) sur {len(refs)}, nombre d'instants : "
|
||||
quoi = "inlier = 1" if col == "inlier" else "inlier vide sur la fenêtre : reproj_err rempli à la place"
|
||||
print(f"Références retenues par la compensation ({quoi}) sur {len(refs)}, nombre d'instants : "
|
||||
+ ", ".join(f"{k} : {compte[k]}" for k in sorted(compte, reverse=True)))
|
||||
print("Instants où des références ne sont pas retenues (suites de pas consécutifs avec les mêmes références hors ; "
|
||||
"r = rejetée, 0 = inlier 0, vide = inlier vide) :")
|
||||
f"r = rejetée, vide = {col} vide, sinon la valeur d'inlier) :")
|
||||
suites = []
|
||||
for i, (t, h) in enumerate(hors):
|
||||
if h and suites and suites[-1][3] == h and suites[-1][4] == i - 1:
|
||||
@@ -219,7 +278,7 @@ def fenetre(par, debut, fin):
|
||||
elif h:
|
||||
suites.append([t, t, 1, h, i])
|
||||
for a, b, n, h, _ in suites:
|
||||
print(f" {iso(a) if n == 1 else f'{iso(a)} → {iso(b)} ({n})'} : {len(refs) - len(h)} retenues ; hors : "
|
||||
print(f" {suite(a, b, n)} : {len(refs) - len(h)} retenues ; hors : "
|
||||
+ ", ".join(f"{s} ({q})" for s, q in h))
|
||||
if not suites:
|
||||
print(" (aucun)")
|
||||
@@ -230,7 +289,7 @@ def main(dossier, debut=None, fin=None, tout=False):
|
||||
f = trouver(dossier)
|
||||
fichiers(f, tout)
|
||||
contenu(dossier, f, debut, fin)
|
||||
images(f["images"])
|
||||
images(f["images"], debut, fin)
|
||||
par = charger(dossier)
|
||||
mesures(par)
|
||||
if par:
|
||||
|
||||
Reference in new issue
Block a user