Events-learner: the analyst writes its own tools, a tool-builder brings them into agent-tools; /aiguiser retired (D-097)
- inventaire.py: what each source contains on the window (filled or empty columns, metric names, images), names and counts only - analyser-lot: step 0 on the data, own scripts in <lot>/outils/, section 3 "Outils" - tool-builder (the optimiser, rewritten): after the analyst, optimises or adds reading tools, never removes; no control yet - /aiguiser skill, reader, corrector and voir.py removed; its sessions and spec stay as history - docs: D-097, specs, CLAUDE.md, run.md, README, plan point 56; the shared files also carry another session's pending edits (D-096 entry, plan points 57 to 67) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
52de2becbf
commit
7fb176cf0a
24 files changed
+555
-513
No files matched your search
@@ -6,15 +6,23 @@ les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capt
|
||||
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
|
||||
références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des
|
||||
références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict.
|
||||
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Avant les comptes, ce que contient chaque source
|
||||
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides, les noms
|
||||
des métriques système de metrics/, les images et les images différentielles. Rend des valeurs, pas de verdict.
|
||||
"""
|
||||
import argparse
|
||||
import collections
|
||||
import csv
|
||||
import glob
|
||||
import os
|
||||
import re
|
||||
import statistics
|
||||
from datetime import timedelta
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
|
||||
|
||||
METRIQUE_RE = re.compile(r"^(.+?)_(\d{4})_(\d{2})_(\d{2})_\d{2}_\d{2}") # NIEDERHORN_BusCurrent_2026_09_22_00_00 to ….csv
|
||||
|
||||
|
||||
def liste(chemins, tout):
|
||||
"""Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement."""
|
||||
@@ -39,6 +47,59 @@ def fichiers(f, tout=False):
|
||||
liste(f["autres"], tout)
|
||||
|
||||
|
||||
def remplies(chemins, debut, fin):
|
||||
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}), colonnes dans l'ordre des en-têtes."""
|
||||
lignes, compte = 0, {}
|
||||
for p in chemins:
|
||||
with open(p, newline="") as fh:
|
||||
r = csv.DictReader(fh)
|
||||
for c in r.fieldnames or []:
|
||||
if c not in ("", "time_utc", "sensor_name"):
|
||||
compte.setdefault(c, 0)
|
||||
for row in r:
|
||||
if (debut or fin) and filtrer([{"t": instant(row["time_utc"])}], debut, fin) == []:
|
||||
continue
|
||||
lignes += 1
|
||||
for c in compte:
|
||||
if (row.get(c) or "").strip():
|
||||
compte[c] += 1
|
||||
return lignes, compte
|
||||
|
||||
|
||||
def contenu(dossier, f, debut=None, fin=None):
|
||||
"""Ce que contient chaque source sur la fenêtre : ses colonnes, remplies ou vides, et les noms des métriques.
|
||||
Des noms et des comptes, jamais de valeurs (metrics/ porte des identifiants : SIM_CCID, ip_*)."""
|
||||
quoi = "sur la fenêtre" if debut or fin else "sur toute la période"
|
||||
print(f"\nCe que contiennent les données, {quoi} (par colonne, les lignes qui ont une valeur ; « vide » : aucune) :")
|
||||
autres = collections.defaultdict(list)
|
||||
for p in f["autres"]:
|
||||
autres[os.path.relpath(p, dossier).split(os.sep)[0]].append(p)
|
||||
for titre, chemins in (("Export « advanced »", f["advanced"]), ("Pose de la caméra (camera/)", f["camera"]),
|
||||
("Qualité d'image (quality/)", autres.pop("quality", []))):
|
||||
if chemins:
|
||||
n, compte = remplies(chemins, debut, fin)
|
||||
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}" if k else f"{c} vide" for c, k in compte.items()))
|
||||
jours = collections.Counter() # métrique -> jours (un CSV par métrique et par jour) dans la fenêtre
|
||||
for p in autres.pop("metrics", []):
|
||||
m = METRIQUE_RE.match(os.path.basename(p))
|
||||
if not m:
|
||||
continue
|
||||
jour = datetime(*map(int, m.group(2, 3, 4)), tzinfo=timezone.utc)
|
||||
if (debut is None or jour.date() >= debut.date()) and (fin is None or jour.date() <= fin.date()):
|
||||
nom = m.group(1)
|
||||
jours[nom.split("_", 1)[1] if "_" in nom else nom] += 1
|
||||
if jours:
|
||||
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; aucun outil ne les lit) : {len(jours)} : "
|
||||
+ ", ".join(f"{k} ({n} j)" for k, n in sorted(jours.items())))
|
||||
for titre, chemins in (("Images de la caméra", f["images"]),
|
||||
("Images différentielles (images_diff/ ; aucun outil ne les lit)", glob.glob(os.path.join(dossier, "images_diff", "*")))):
|
||||
heures = [h for h in map(heure_image, chemins) if h and filtrer([{"t": h}], debut, fin)]
|
||||
if chemins:
|
||||
print(f" {titre} : {len(heures)}")
|
||||
if autres:
|
||||
print(" Autres : " + ", ".join(f"{k} ({len(v)})" for k, v in sorted(autres.items())))
|
||||
|
||||
|
||||
def images(chemins):
|
||||
heures = sorted(h for h in map(heure_image, chemins) if h)
|
||||
print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else ""))
|
||||
@@ -168,6 +229,7 @@ def main(dossier, debut=None, fin=None, tout=False):
|
||||
print(f"Dossier : {dossier}")
|
||||
f = trouver(dossier)
|
||||
fichiers(f, tout)
|
||||
contenu(dossier, f, debut, fin)
|
||||
images(f["images"])
|
||||
par = charger(dossier)
|
||||
mesures(par)
|
||||
|
||||
Reference in new issue
Block a user