Files
Support-Agent/.claude/skills/anonymiser-cas/anonymiser.py
T

147 lines
6.9 KiB
Python

"""Copie les données d'un cas dans son dossier et l'anonymise : la station prend le numéro du cas, ses capteurs
des codes stables (D-049, D-050).
Usage :
python3 .claude/skills/anonymiser-cas/anonymiser.py data/<STATION>/ agents/diagnostic/cas/C-xxx/
copie displacement/ et images/ de la station dans le cas, noms codés dans les CSV et les noms de fichiers ;
dans les .md du cas et cas/INDEX.md, data/<STATION>/ devient le dossier du cas et chaque nom son code ;
échoue s'il reste un nom réel
python3 .claude/skills/anonymiser-cas/anonymiser.py --test
Codes : la station devient C-xxx ; R1, R2... pour les références et C1, C2... pour les cibles, par station.
Le registre (registre.csv, à côté) ne fait que grandir : un capteur garde son code d'un cas à l'autre, et une ligne
<station>,<station>,C-xxx dit de quelle station vient chaque cas.
"""
import csv
import os
import re
import shutil
import sys
ICI = os.path.dirname(os.path.abspath(__file__))
RACINE = os.path.normpath(os.path.join(ICI, "..", "..", ".."))
REGISTRE = os.path.join(ICI, "registre.csv")
INDEX = os.path.join(RACINE, "agents", "diagnostic", "cas", "INDEX.md")
DONNEES = ("displacement", "images") # ce que lisent les outils de l'agent ; le reste de data/<STATION>/ ne suit pas
sys.path.insert(0, os.path.join(RACINE, "agents", "diagnostic", "outils"))
from donnees import charger, est_reference, trouver # noqa: E402
def codes(dossier, cas_id):
"""{nom: code} : la station devient cas_id, ses capteurs leur code ; un capteur inconnu reçoit le code suivant,
ajouté au registre avec la ligne station → cas."""
station = os.path.basename(os.path.normpath(dossier))
par = charger(dossier)
if not par:
sys.exit(f"Aucun export « advanced » dans {dossier}.")
lignes = list(csv.DictReader(open(REGISTRE, newline=""))) if os.path.exists(REGISTRE) else []
capteurs = {(l["station"], l["nom"]): l["code"] for l in lignes if l["station"] != l["nom"]}
nouveaux = []
if not any(l["station"] == l["nom"] == station and l["code"] == cas_id for l in lignes):
nouveaux.append((station, station, cas_id))
for prefixe, reference in (("R", True), ("C", False)):
pris = {c for (s, _), c in capteurs.items() if s == station and c[0] == prefixe}
noms = sorted(x for x in par if est_reference(par[x]) == reference and (station, x) not in capteurs)
# un nom qui a déjà la forme d'un code de son rôle (R1 pour une référence) le garde : le recoder ferait de
# ce code un nom réel, recodé à chaque passage
gardes = [x for x in noms if re.fullmatch(prefixe + r"\d+", x) and x not in pris]
nouveaux += [(station, x, x) for x in gardes]
n = max((int(c[1:]) for c in pris | set(gardes)), default=0)
for nom in noms:
if nom not in gardes:
n += 1
nouveaux.append((station, nom, f"{prefixe}{n}"))
if nouveaux:
with open(REGISTRE, "a", newline="") as f:
w = csv.writer(f)
if not lignes:
w.writerow(("station", "nom", "code"))
w.writerows(nouveaux)
capteurs.update({(s, nom): c for s, nom, c in nouveaux if s != nom})
return station, {**{nom: c for (s, nom), c in capteurs.items() if s == station}, station: cas_id}
def motif(table, station, casse=False):
"""Les noms, du plus long au plus court, bornés par un caractère non alphanumérique (« _ » compris : un nom
collé dans un nom de fichier ou de colonne est trouvé, mais BJ_C ne l'est pas dans PBJ_C). La station accepte
espace ou « _ » et toute casse (PS_DES_COUDRES, « PS des Coudres »)."""
parties = []
for nom in sorted(table, key=len, reverse=True):
p = re.escape(nom)
parties.append(f"(?i:{p.replace('_', '[ _]')})" if nom == station else p)
return re.compile(("(?i)" if casse else "") + r"(?<![A-Za-z0-9])(" + "|".join(parties) + r")(?![A-Za-z0-9])")
def remplacer(texte, table, station):
return motif(table, station).sub(lambda m: table.get(m.group(1), table[station]), texte)
def lire(p):
with open(p, newline="") as f:
return f.read()
def ecrire(p, texte):
with open(p, "w", newline="") as f:
f.write(texte)
def anonymiser(dossier, cas):
cas_id = os.path.basename(os.path.normpath(cas))
if not re.fullmatch(r"C-\d{3}", cas_id):
sys.exit(f"Le dossier du cas doit s'appeler C-xxx : {cas}")
station, table = codes(dossier, cas_id)
# le nom de la caméra en tête des exports peut différer du dossier (« Carrière X (B) » dans data/NORDEND/)
for p in trouver(dossier)["advanced"]:
table.setdefault(os.path.basename(p).split("_advanced_")[0], cas_id)
for sous in DONNEES:
for r, _, fs in os.walk(os.path.join(dossier, sous)):
for f in fs:
src = os.path.join(r, f)
dst = os.path.join(cas, remplacer(os.path.relpath(src, dossier), table, station))
os.makedirs(os.path.dirname(dst), exist_ok=True)
if f.endswith(".csv"):
ecrire(dst, remplacer(lire(src), table, station))
else:
shutil.copy2(src, dst)
def textes():
return [os.path.join(r, f) for r, _, fs in os.walk(cas) for f in fs if f.endswith((".md", ".csv"))] + [INDEX]
chemin = re.compile(rf"data/{re.escape(station)}/?")
for p in textes():
avant = lire(p)
apres = remplacer(chemin.sub(f"agents/diagnostic/cas/{cas_id}/", avant), table, station)
if apres != avant:
ecrire(p, apres)
reste = motif({n: c for n, c in table.items() if n != c}, station, casse=True)
residus = [f"{p} : {m.group(1)}" for p in textes() for m in reste.finditer(lire(p))]
residus += [os.path.join(r, f) for r, ds, fs in os.walk(cas) for f in fs + ds if reste.search(f)]
if residus:
sys.exit("Noms réels restants (casse différente ?) :\n " + "\n ".join(residus[:20]))
print(", ".join(f"{n} → {c}" for n, c in sorted(table.items(), key=lambda x: x[1])))
def _test():
t = {"PS_DES_COUDRES": "C-001", "BJ_C": "C1", "PBJ_C": "C7", "REF_G": "R3"}
f = lambda s: remplacer(s, t, "PS_DES_COUDRES") # noqa: E731
assert f("PBJ_C et BJ_C") == "C7 et C1"
assert f("timestamp,BJ_C_vertical_displacement,PBJ_C_error") == "timestamp,C1_vertical_displacement,C7_error"
assert f("PS des Coudres_advanced_20261008.csv, REF_GX") == "C-001_advanced_20261008.csv, REF_GX"
t["Carrière X (B)"] = "C-001"
assert f("displacement/Carrière X (B)_20260728_to_20260731_1hour.csv") == "displacement/C-001_20260728_to_20260731_1hour.csv"
t.update({"R1": "R1", "PA1_2": "R4"}) # un nom en forme de code le garde : un second passage ne change rien
assert f(f("R1,PA1_2")) == "R1,R4"
print("ok")
if __name__ == "__main__":
a = sys.argv[1:]
if a == ["--test"]:
_test()
elif len(a) == 2:
anonymiser(*a)
else:
sys.exit(__doc__)