2026-11-05 08:21:57 +01:00
"""Table de toutes les étiquettes automatiques, pour la revue croisée.
Écrit, à côté de outils/ : index.tsv (toutes, description coupée) et par-famille/<famille>.md (en entier).
2026-11-05 08:49:54 +01:00
Chaque étiquette a son id stable, <STATION>-<n> (labeling/ids.py, D-131). Colonnes ajoutées : durée, heure UTC du début, et les stations qui ont une étiquette au même moment
2026-11-05 08:21:57 +01:00
(étiquettes de moins de 24 h seulement : une étiquette d'un mois chevauche tout)."""
import json , glob , os , collections
from datetime import datetime
ici = os . path . dirname ( os . path . dirname ( os . path . abspath ( __file__ )))
def t ( s ): return datetime . fromisoformat ( s . replace ( 'Z' , '+00:00' ))
es = []
for p in sorted ( glob . glob ( 'labeling/auto/*.jsonl' )):
st = os . path . basename ( p )[: - 6 ]
for n , l in enumerate ( open ( p ), 1 ):
if l . strip ():
2026-11-05 08:49:54 +01:00
e = json . loads ( l ); e [ 'station' ] = st ; e . setdefault ( 'id' , f ' { st } # { n } ' ) # l'id stable (D-131), sinon le numéro de ligne
2026-11-05 08:21:57 +01:00
e [ '_d' ], e [ '_f' ] = t ( e [ 'debut' ]), t ( e [ 'fin' ])
e [ 'duree_h' ] = round (( e [ '_f' ] - e [ '_d' ]) . total_seconds () / 3600 , 2 )
es . append ( e )
courtes = [ e for e in es if e [ 'duree_h' ] < 24 ]
for e in es :
e [ 'simultanees' ] = '' if e [ 'duree_h' ] >= 24 else ',' . join ( sorted ({
o [ 'station' ] for o in courtes if o [ 'station' ] != e [ 'station' ] and o [ '_d' ] <= e [ '_f' ] and e [ '_d' ] <= o [ '_f' ]}))
col = [ 'id' , 'debut' , 'fin' , 'duree_h' , 'categorie' , 'simultanees' , 'description' ]
with open ( f ' { ici } /index.tsv' , 'w' ) as f :
f . write ( ' \t ' . join ( col ) + ' \n ' )
for e in sorted ( es , key = lambda e : ( e [ 'categorie' ], e [ 'station' ], e [ 'debut' ])):
f . write ( ' \t ' . join ( str ( e [ c ]) if c != 'description' else e [ c ][: 160 ] . replace ( ' \t ' , ' ' ) for c in col ) + ' \n ' )
os . makedirs ( f ' { ici } /par-famille' , exist_ok = True )
par = collections . defaultdict ( list )
for e in es : par [ e [ 'categorie' ]] . append ( e )
for fam , l in par . items ():
with open ( f " { ici } /par-famille/ { fam . replace ( ' ' , '-' ) } .md" , 'w' ) as f :
f . write ( f '# { fam } : { len ( l ) } étiquettes, { len ({ e [ "station" ] for e in l }) } stations \n\n ' )
for e in sorted ( l , key = lambda e : ( e [ 'station' ], e [ 'debut' ])):
f . write ( f "## { e [ 'id' ] } { e [ 'debut' ] } → { e [ 'fin' ] } ( { e [ 'duree_h' ] } h) \n "
f "simultanées : { e [ 'simultanees' ] or 'aucune' } \n\n { e [ 'description' ] } \n\n " )
print ( fam , len ( l ))
print ( len ( es ), 'étiquettes' )