Events-learner: the analyst writes its own tools, a tool-builder brings them into agent-tools; /aiguiser retired (D-097)

- inventaire.py: what each source contains on the window (filled or empty columns, metric names, images), names and counts only
- analyser-lot: step 0 on the data, own scripts in <lot>/outils/, section 3 "Outils"
- tool-builder (the optimiser, rewritten): after the analyst, optimises or adds reading tools, never removes; no control yet
- /aiguiser skill, reader, corrector and voir.py removed; its sessions and spec stay as history
- docs: D-097, specs, CLAUDE.md, run.md, README, plan point 56; the shared files also carry another session's pending edits (D-096 entry, plan points 57 to 67)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-29 17:10:17 +01:00
1 parent 52de2becbf
commit 7fb176cf0a
24 files changed
+555 -513

No files matched your search

+64 -2
View File
@@ -6,15 +6,23 @@ les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capt
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des
références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Rend des valeurs, pas de verdict.
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Avant les comptes, ce que contient chaque source
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides, les noms
des métriques système de metrics/, les images et les images différentielles. Rend des valeurs, pas de verdict.
"""
import argparse
import collections
import csv
import glob
import os
import re
import statistics
from datetime import timedelta
from datetime import datetime, timedelta, timezone
from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
METRIQUE_RE = re.compile(r"^(.+?)_(\d{4})_(\d{2})_(\d{2})_\d{2}_\d{2}") # NIEDERHORN_BusCurrent_2026_09_22_00_00 to ….csv
def liste(chemins, tout):
"""Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement."""
@@ -39,6 +47,59 @@ def fichiers(f, tout=False):
liste(f["autres"], tout)
def remplies(chemins, debut, fin):
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}), colonnes dans l'ordre des en-têtes."""
lignes, compte = 0, {}
for p in chemins:
with open(p, newline="") as fh:
r = csv.DictReader(fh)
for c in r.fieldnames or []:
if c not in ("", "time_utc", "sensor_name"):
compte.setdefault(c, 0)
for row in r:
if (debut or fin) and filtrer([{"t": instant(row["time_utc"])}], debut, fin) == []:
continue
lignes += 1
for c in compte:
if (row.get(c) or "").strip():
compte[c] += 1
return lignes, compte
def contenu(dossier, f, debut=None, fin=None):
"""Ce que contient chaque source sur la fenêtre : ses colonnes, remplies ou vides, et les noms des métriques.
Des noms et des comptes, jamais de valeurs (metrics/ porte des identifiants : SIM_CCID, ip_*)."""
quoi = "sur la fenêtre" if debut or fin else "sur toute la période"
print(f"\nCe que contiennent les données, {quoi} (par colonne, les lignes qui ont une valeur ; « vide » : aucune) :")
autres = collections.defaultdict(list)
for p in f["autres"]:
autres[os.path.relpath(p, dossier).split(os.sep)[0]].append(p)
for titre, chemins in (("Export « advanced »", f["advanced"]), ("Pose de la caméra (camera/)", f["camera"]),
("Qualité d'image (quality/)", autres.pop("quality", []))):
if chemins:
n, compte = remplies(chemins, debut, fin)
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}" if k else f"{c} vide" for c, k in compte.items()))
jours = collections.Counter() # métrique -> jours (un CSV par métrique et par jour) dans la fenêtre
for p in autres.pop("metrics", []):
m = METRIQUE_RE.match(os.path.basename(p))
if not m:
continue
jour = datetime(*map(int, m.group(2, 3, 4)), tzinfo=timezone.utc)
if (debut is None or jour.date() >= debut.date()) and (fin is None or jour.date() <= fin.date()):
nom = m.group(1)
jours[nom.split("_", 1)[1] if "_" in nom else nom] += 1
if jours:
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; aucun outil ne les lit) : {len(jours)} : "
+ ", ".join(f"{k} ({n} j)" for k, n in sorted(jours.items())))
for titre, chemins in (("Images de la caméra", f["images"]),
("Images différentielles (images_diff/ ; aucun outil ne les lit)", glob.glob(os.path.join(dossier, "images_diff", "*")))):
heures = [h for h in map(heure_image, chemins) if h and filtrer([{"t": h}], debut, fin)]
if chemins:
print(f" {titre} : {len(heures)}")
if autres:
print(" Autres : " + ", ".join(f"{k} ({len(v)})" for k, v in sorted(autres.items())))
def images(chemins):
heures = sorted(h for h in map(heure_image, chemins) if h)
print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else ""))
@@ -168,6 +229,7 @@ def main(dossier, debut=None, fin=None, tout=False):
print(f"Dossier : {dossier}")
f = trouver(dossier)
fichiers(f, tout)
contenu(dossier, f, debut, fin)
images(f["images"])
par = charger(dossier)
mesures(par)