Files
Support-Agent/labeling/auto/revue-croisee/2026-11-04/outils/table.py
T

37 lines
2.3 KiB
Python
Raw Normal View History

"""Table de toutes les étiquettes automatiques, pour la revue croisée.
Écrit, à côté de outils/ : index.tsv (toutes, description coupée) et par-famille/<famille>.md (en entier).
Chaque étiquette a son id stable, <STATION>-<n> (labeling/ids.py, D-131). Colonnes ajoutées : durée, heure UTC du début, et les stations qui ont une étiquette au même moment
(étiquettes de moins de 24 h seulement : une étiquette d'un mois chevauche tout)."""
import json, glob, os, collections
from datetime import datetime
ici = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
def t(s): return datetime.fromisoformat(s.replace('Z', '+00:00'))
es = []
for p in sorted(glob.glob('labeling/auto/*.jsonl')):
st = os.path.basename(p)[:-6]
for n, l in enumerate(open(p), 1):
if l.strip():
e = json.loads(l); e['station'] = st; e.setdefault('id', f'{st}#{n}') # l'id stable (D-131), sinon le numéro de ligne
e['_d'], e['_f'] = t(e['debut']), t(e['fin'])
e['duree_h'] = round((e['_f'] - e['_d']).total_seconds() / 3600, 2)
es.append(e)
courtes = [e for e in es if e['duree_h'] < 24]
for e in es:
e['simultanees'] = '' if e['duree_h'] >= 24 else ','.join(sorted({
o['station'] for o in courtes if o['station'] != e['station'] and o['_d'] <= e['_f'] and e['_d'] <= o['_f']}))
col = ['id', 'debut', 'fin', 'duree_h', 'categorie', 'simultanees', 'description']
with open(f'{ici}/index.tsv', 'w') as f:
f.write('\t'.join(col) + '\n')
for e in sorted(es, key=lambda e: (e['categorie'], e['station'], e['debut'])):
f.write('\t'.join(str(e[c]) if c != 'description' else e[c][:160].replace('\t', ' ') for c in col) + '\n')
os.makedirs(f'{ici}/par-famille', exist_ok=True)
par = collections.defaultdict(list)
for e in es: par[e['categorie']].append(e)
for fam, l in par.items():
with open(f"{ici}/par-famille/{fam.replace(' ', '-')}.md", 'w') as f:
f.write(f'# {fam} : {len(l)} étiquettes, {len({e["station"] for e in l})} stations\n\n')
for e in sorted(l, key=lambda e: (e['station'], e['debut'])):
f.write(f"## {e['id']} {e['debut']} → {e['fin']} ({e['duree_h']} h)\n"
f"simultanées : {e['simultanees'] or 'aucune'}\n\n{e['description']}\n\n")
print(fam, len(l))
print(len(es), 'étiquettes')