"""Copie les données d'un cas dans son dossier et l'anonymise : la station prend le numéro du cas, ses capteurs des codes stables (D-049, D-050). Usage : python3 .claude/skills/anonymiser-cas/anonymiser.py data// agents/diagnostic/cas/C-xxx/ [--du T] [--au T] copie displacement/ et images/ de la station dans le cas, noms codés dans les CSV et les noms de fichiers ; avec --du / --au (2026-10-07T12:00Z), seulement les lignes et les images de [du, au) : un cas n'a pas besoin des centaines d'images d'un long export (cas appris par la boucle, D-057) ; dans les .md du cas et cas/INDEX.md, data// devient le dossier du cas et chaque nom son code ; échoue s'il reste un nom réel python3 .claude/skills/anonymiser-cas/anonymiser.py --test Codes : la station devient C-xxx ; R1, R2... pour les références et C1, C2... pour les cibles, par station. Le registre (registre.csv, à côté) ne fait que grandir : un capteur garde son code d'un cas à l'autre, et une ligne ,,C-xxx dit de quelle station vient chaque cas. """ import csv import os import re import shutil import sys ICI = os.path.dirname(os.path.abspath(__file__)) RACINE = os.path.normpath(os.path.join(ICI, "..", "..", "..")) REGISTRE = os.path.join(ICI, "registre.csv") INDEX = os.path.join(RACINE, "agents", "diagnostic", "cas", "INDEX.md") DONNEES = ("displacement", "images") # ce que lisent les outils de l'agent ; le reste de data// ne suit pas sys.path.insert(0, os.path.join(RACINE, "agents", "diagnostic", "outils")) from donnees import charger, est_reference, heure_image, instant, trouver # noqa: E402 def codes(dossier, cas_id): """{nom: code} : la station devient cas_id, ses capteurs leur code ; un capteur inconnu reçoit le code suivant, ajouté au registre avec la ligne station → cas.""" station = os.path.basename(os.path.normpath(dossier)) par = charger(dossier) if not par: sys.exit(f"Aucun export « advanced » dans {dossier}.") lignes = list(csv.DictReader(open(REGISTRE, newline=""))) if os.path.exists(REGISTRE) else [] capteurs = {(l["station"], l["nom"]): l["code"] for l in lignes if l["station"] != l["nom"]} nouveaux = [] if not any(l["station"] == l["nom"] == station and l["code"] == cas_id for l in lignes): nouveaux.append((station, station, cas_id)) for prefixe, reference in (("R", True), ("C", False)): pris = {c for (s, _), c in capteurs.items() if s == station and c[0] == prefixe} noms = sorted(x for x in par if est_reference(par[x]) == reference and (station, x) not in capteurs) # un nom qui a déjà la forme d'un code de son rôle (R1 pour une référence) le garde : le recoder ferait de # ce code un nom réel, recodé à chaque passage gardes = [x for x in noms if re.fullmatch(prefixe + r"\d+", x) and x not in pris] nouveaux += [(station, x, x) for x in gardes] n = max((int(c[1:]) for c in pris | set(gardes)), default=0) for nom in noms: if nom not in gardes: n += 1 nouveaux.append((station, nom, f"{prefixe}{n}")) if nouveaux: with open(REGISTRE, "a", newline="") as f: w = csv.writer(f) if not lignes: w.writerow(("station", "nom", "code")) w.writerows(nouveaux) capteurs.update({(s, nom): c for s, nom, c in nouveaux if s != nom}) return station, {**{nom: c for (s, nom), c in capteurs.items() if s == station}, station: cas_id} def motif(table, station, casse=False): """Les noms, du plus long au plus court, bornés par un caractère non alphanumérique (« _ » compris : un nom collé dans un nom de fichier ou de colonne est trouvé, mais BJ_C ne l'est pas dans PBJ_C). La station accepte espace ou « _ » et toute casse (PS_DES_COUDRES, « PS des Coudres »).""" parties = [] for nom in sorted(table, key=len, reverse=True): p = re.escape(nom) parties.append(f"(?i:{p.replace('_', '[ _]')})" if nom == station else p) return re.compile(("(?i)" if casse else "") + r"(?= du) and (au is None or t < au) def filtrer_csv(texte, du, au): """L'en-tête et les lignes dont le premier champ (l'heure, UTC) tombe dans [du, au), gardées à l'identique.""" if du is None and au is None: return texte lignes = texte.splitlines(keepends=True) return "".join(lignes[:1] + [l for l in lignes[1:] if l.strip() and dans(instant(l.split(",", 1)[0]), du, au)]) def garder_image(nom, du, au): """Vrai si l'heure du nom (D-045) tombe dans [du, au) ; une image sans heure lisible est gardée.""" t = heure_image(nom) return t is None or dans(t, du, au) def anonymiser(dossier, cas, du=None, au=None): cas_id = os.path.basename(os.path.normpath(cas)) if not re.fullmatch(r"C-\d{3}", cas_id): sys.exit(f"Le dossier du cas doit s'appeler C-xxx : {cas}") station, table = codes(dossier, cas_id) # le nom de la caméra en tête des exports peut différer du dossier (« Carrière X (B) » dans data/NORDEND/) for p in trouver(dossier)["advanced"]: table.setdefault(os.path.basename(p).split("_advanced_")[0], cas_id) for sous in DONNEES: for r, _, fs in os.walk(os.path.join(dossier, sous)): for f in fs: src = os.path.join(r, f) dst = os.path.join(cas, remplacer(os.path.relpath(src, dossier), table, station)) os.makedirs(os.path.dirname(dst), exist_ok=True) if f.endswith(".csv"): ecrire(dst, remplacer(filtrer_csv(lire(src), du, au), table, station)) elif garder_image(f, du, au): shutil.copy2(src, dst) def textes(): return [os.path.join(r, f) for r, _, fs in os.walk(cas) for f in fs if f.endswith((".md", ".csv"))] + [INDEX] chemin = re.compile(rf"data/{re.escape(station)}/?") for p in textes(): avant = lire(p) apres = remplacer(chemin.sub(f"agents/diagnostic/cas/{cas_id}/", avant), table, station) if apres != avant: ecrire(p, apres) reste = motif({n: c for n, c in table.items() if n != c}, station, casse=True) residus = [f"{p} : {m.group(1)}" for p in textes() for m in reste.finditer(lire(p))] residus += [os.path.join(r, f) for r, ds, fs in os.walk(cas) for f in fs + ds if reste.search(f)] if residus: sys.exit("Noms réels restants (casse différente ?) :\n " + "\n ".join(residus[:20])) print(", ".join(f"{n} → {c}" for n, c in sorted(table.items(), key=lambda x: x[1]))) def _test(): t = {"PS_DES_COUDRES": "C-001", "BJ_C": "C1", "PBJ_C": "C7", "REF_G": "R3"} f = lambda s: remplacer(s, t, "PS_DES_COUDRES") # noqa: E731 assert f("PBJ_C et BJ_C") == "C7 et C1" assert f("timestamp,BJ_C_vertical_displacement,PBJ_C_error") == "timestamp,C1_vertical_displacement,C7_error" assert f("PS des Coudres_advanced_20261008.csv, REF_GX") == "C-001_advanced_20261008.csv, REF_GX" t["Carrière X (B)"] = "C-001" assert f("displacement/Carrière X (B)_20260728_to_20260731_1hour.csv") == "displacement/C-001_20260728_to_20260731_1hour.csv" t.update({"R1": "R1", "PA1_2": "R4"}) # un nom en forme de code le garde : un second passage ne change rien assert f(f("R1,PA1_2")) == "R1,R4" du, au = instant("2026-10-07T12:00Z"), instant("2026-10-08T00:00Z") txt = "time_utc,x\n2026-10-07 11:59:00+00:00,1\n2026-10-07 12:00:09+00:00,2\n2026-10-08 00:00:00+00:00,3\n" assert filtrer_csv(txt, du, au) == "time_utc,x\n2026-10-07 12:00:09+00:00,2\n" assert filtrer_csv(txt, None, None) == txt assert filtrer_csv("timestamp,a\r\n2026-10-07 13:00:00,1\r\n", du, au) == "timestamp,a\r\n2026-10-07 13:00:00,1\r\n" assert garder_image("20261007T1200Z_1.jpg", du, au) and not garder_image("20261008T0000Z_2.jpg", du, au) assert garder_image("sans_heure.jpg", du, au) print("ok") if __name__ == "__main__": if sys.argv[1:] == ["--test"]: _test() else: import argparse p = argparse.ArgumentParser(usage=__doc__) p.add_argument("dossier") p.add_argument("cas") p.add_argument("--du", type=instant, help="premier instant gardé, UTC") p.add_argument("--au", type=instant, help="premier instant exclu, UTC") a = p.parse_args() anonymiser(a.dossier, a.cas, a.du, a.au)