One detector per family, family keys equal to their names (D-119)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:57:52 +01:00
1 parent 0666d59e7d
commit 98be20a2bc
34 files changed
+551 -516

No files matched your search

+81 -90
View File
@@ -1,20 +1,18 @@
"""Journal du matin : des épisodes des détecteurs aux événements catégorisés.
"""Journal du matin : des épisodes des détecteurs aux événements, un par famille.
Les catégories du journal (CATEGORIES, validées, D-074) se rangent dans les familles des étiquettes, labeling/familles.md :
sa section « Correspondance » fait foi (score.py la lit) ; le champ famille de CATEGORIES la recopie, pour lire ce fichier
seul. Un saut bref n'a pas de famille fixe : il a celle de sa cause (familles.md, « Un saut puis le retour »).
Chaque épisode reçoit sa catégorie d'après son détecteur et son label (LABELS, puis KINDS). Règles :
- un saut revenu à la normale qui chevauche une catégorie de HOSTS (visibilité, passage, turbulence, et en dernier
l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il reste
un saut bref sans cause établie, à vérifier sur les images, pas grisé (familles.md : sans cause établie, Displacement) ;
- un saut qui dure, ou trop récent pour savoir, n'est jamais absorbé ;
- une turbulence qui chevauche un saut à vérifier n'est pas gardée : un vrai mouvement agite aussi les courbes ;
- deux événements de même catégorie à moins de MERGE n'en font qu'un.
Un détecteur par famille des étiquettes (labeling/familles.md) : visibility.py, obstruction.py, target_issue.py,
thermal_displacement.py, no_data.py, displacement.py. La catégorie d'un événement est sa famille, le champ kind de ses
épisodes ; leur label en dit la sorte (Poor visibility, Heat shimmer, Brief obstruction, Slow drift…). Règles :
- un saut revenu à la normale (SAUT) qui chevauche un épisode de HOTES (perte de visibilité, passage, turbulence, et en
dernier l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il
reste Displacement, sans cause établie, à vérifier sur les images (familles.md, « Un saut puis le retour ») ;
- un décalage qui dure, ou trop récent pour savoir (DECALAGES), n'est jamais absorbé ;
- une turbulence qui chevauche un décalage n'est pas gardée : un vrai mouvement agite aussi les courbes ;
- deux événements de même sorte à moins de MERGE n'en font qu'un.
Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne
« Pour le client » de familles.md ; la cause n'est dite que si la catégorie l'établit, sinon les images la montrent.
« Pour le client » de familles.md ; la cause n'est dite que si la sorte l'établit, sinon les images la montrent.
Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur.
Usage : python3 detectors/categories.py <dossier de station> (une ligne par événement)
Usage : python3 detectors/categories.py <dossier de station> (une ligne par événement : famille, sorte, capteurs)
... <dossier> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot : chaque tranche
de N jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements qui touchent
la tranche sont montrés ; « rien » pour une tranche calme)
@@ -28,40 +26,22 @@ from pathlib import Path
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, iso # noqa: E402
# famille : celle de labeling/familles.md (None : la famille de sa cause) ; ignore : zone grisée (None : comme le dit le
# détecteur, la turbulence n'est grisée que forte) ; process : bouton Images, rien, ou Images et lien vers Diagnosis.
# L'ordre est celui des lignes de la frise.
# Les familles de labeling/familles.md, dans l'ordre des lignes de la frise ; ignore : zone grisée (None : comme le
# disent ses épisodes : une perte de visibilité totale, une turbulence forte) ; process : bouton Images, rien, ou Images
# et lien vers Diagnosis.
CATEGORIES = {
"visibilite_reduite": {"label": "Reduced visibility", "famille": "visibilite", "ignore": False, "process": "images"},
"visibilite_nulle": {"label": "No visibility", "famille": "visibilite", "ignore": True, "process": "images"},
"passage": {"label": "Passing obstacle", "famille": "obstruction", "ignore": True, "process": "images"},
"cible_masquee": {"label": "Target hidden", "famille": "obstruction", "ignore": True, "process": "images"},
"cible_a_probleme": {"label": "Target issue", "famille": "cible_a_probleme", "ignore": True, "process": "images"},
"turbulence": {"label": "Heat haze", "famille": "visibilite", "ignore": None, "process": "aucun"},
"dilatation_thermique": {"label": "Thermal expansion", "famille": "deplacement_thermique", "ignore": False,
"process": "aucun"},
"contraction_thermique": {"label": "Thermal contraction", "famille": "deplacement_thermique", "ignore": False,
"process": "aucun"},
"trou": {"label": "No data", "famille": "trou", "ignore": False, "process": "aucun"},
"saut_bref": {"label": "Brief jump", "famille": None, "ignore": False, "process": "images"},
"a_verifier": {"label": "Shift to check", "famille": "deplacement", "ignore": False, "process": "verifier"},
"derive_lente": {"label": "Slow drift", "famille": "deplacement", "ignore": False, "process": "verifier"},
"Visibility": {"ignore": None, "process": "images"},
"Obstruction": {"ignore": True, "process": "images"},
"Target issue": {"ignore": True, "process": "images"},
"Thermal displacement": {"ignore": False, "process": "aucun"},
"No data": {"ignore": False, "process": "aucun"},
"Displacement": {"ignore": False, "process": "verifier"},
}
# (détecteur, label, niveau de l'épisode) -> catégorie ; puis détecteur seul ; un détecteur inconnu garde son nom
LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
("visibilite", "Poor visibility", "none"): "visibilite_nulle",
("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee",
("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier",
("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier",
("sauts", "Target flipping", None): "cible_a_probleme", ("degradee", "Target obscured", None): "cible_masquee",
("thermique", "Thermal expansion", None): "dilatation_thermique",
("thermique", "Thermal contraction", None): "contraction_thermique",
("thermique", "Camera thermal expansion", None): "dilatation_thermique",
("thermique", "Camera thermal contraction", None): "contraction_thermique"}
KINDS = {"turbulence": "turbulence", "trous": "trou", "degradee": "cible_a_probleme", "derive": "derive_lente"}
HOSTS = {"visibilite_reduite", "visibilite_nulle", "passage", "turbulence", "dilatation_thermique",
"contraction_thermique"} # disent la cause d'un saut revenu qui les chevauche, et l'absorbent
MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (règle validée, 2026-10-24)
SAUT = "Sudden jump, back to normal" # un saut revenu : sa cause, s'il chevauche un hôte ; sinon Displacement
DECALAGES = {"Lasting shift", "Jump, not back yet", "Large shift"} # à vérifier : jamais absorbés
HOTES = {"Poor visibility", "Brief obstruction", "Heat shimmer", "Thermal expansion", "Thermal contraction",
"Camera thermal expansion", "Camera thermal contraction"} # disent la cause d'un saut revenu qui les chevauche
MERGE = timedelta(hours=1) # même sorte à moins d'une heure : un seul événement (règle validée, 2026-10-24)
def detecteurs():
@@ -84,7 +64,18 @@ def detecteurs():
def categorie(ep):
return LABELS.get((ep["kind"], ep["label"], ep.get("level"))) or KINDS.get(ep["kind"]) or ep["kind"]
return ep["kind"]
def sorte(ep):
"""La sorte d'un épisode dans sa famille : les décalages ensemble, l'effet thermique sans « Camera », la perte de
visibilité par niveau."""
label = "shift" if ep["label"] in DECALAGES else ep["label"].removeprefix("Camera ").capitalize()
return ep["kind"], label, ep.get("level")
def thermique(ep):
return ep["kind"] == "Thermal displacement"
def overlap(a, b):
@@ -95,37 +86,38 @@ def targets(n):
return "one target" if n == 1 else f"{n} targets"
def phrase(cat, groupe, sensors, references):
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24) ; un saut absorbé ajoute qu'il a la
même cause."""
n, one = len(sensors), len(sensors) == 1
sauts = [e for e in groupe[1:] if categorie(e) == "saut_bref"]
def phrase(groupe, sensors, references):
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24), d'après la sorte de son épisode
principal ; un saut absorbé ajoute qu'il a la même cause."""
n, one, ep = len(sensors), len(sensors) == 1, groupe[0]
sauts = [e for e in groupe[1:] if e["label"] == SAUT]
jumped = len({s for e in sauts for s in e["sensors"]})
lasting = len({s for e in groupe if categorie(e) == "a_verifier" for s in e.get("lasting", [])})
lasting = len({s for e in groupe if e["label"] in DECALAGES for s in e.get("lasting", [])})
refs = ", including the reference targets" if references & set(sensors) else ""
camera = groupe[0]["label"].startswith("Camera")
camera = ep["label"].startswith("Camera")
large = any(e["label"] == "Large shift" for e in groupe)
sort = "shift" if ep["label"] in DECALAGES else f"{ep['label']} {ep['level']}" if ep.get("level") else ep["label"]
text = {
"visibilite_nulle": f"The camera could not see {targets(n)} clearly{refs}. "
"The curves in this period are not reliable: ignore them.",
"visibilite_reduite": f"The camera saw {targets(n)} less clearly than usual{refs}. "
"The data in this period are less precise: use them with care.",
"passage": f"Something passed in front of {targets(n)} for a single measurement. Ignore this point on the curves.",
"cible_masquee": f"{', '.join(sensors)} {'was' if one else 'were'} hidden several times while the targets around "
f"{'it' if one else 'them'} stayed clear. Ignore {'its curve' if one else 'their curves'} in this period.",
"turbulence": "Warm air made the readings shake. The small fast wiggles are not movement.",
"dilatation_thermique": ("The camera support expands in the day heat; the curves are corrected for it."
if camera else "The structure expands in the day heat.") + " This daily wave is normal: nothing to do.",
"contraction_thermique": ("The camera support contracts as it cools down; the curves are corrected for it."
if camera else "The structure contracts as it cools down.") + " This daily wave is normal: nothing to do.",
"saut_bref": f"{targets(n).capitalize()} jumped and came back. The cause is not established: look at the images.",
"a_verifier": (f"{targets(n).capitalize()}, most of the targets, shifted together: everything moved." if large
else f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting
else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n
else f"{targets(n).capitalize()} shifted; {lasting} of them stayed shifted.")
+ " Check whether the structure moved: look at the images.",
}.get(cat, groupe[0]["text"]) # trou, cible à problème, dérive, détecteur inconnu : le texte du détecteur
if cat == "cible_a_probleme":
"Poor visibility none": f"The camera could not see {targets(n)} clearly{refs}. "
"The curves in this period are not reliable: ignore them.",
"Poor visibility reduced": f"The camera saw {targets(n)} less clearly than usual{refs}. "
"The data in this period are less precise: use them with care.",
"Brief obstruction": f"Something passed in front of {targets(n)} for a single measurement. Ignore this point on the curves.",
"Target obscured": f"{', '.join(sensors)} {'was' if one else 'were'} hidden several times while the targets around "
f"{'it' if one else 'them'} stayed clear. Ignore {'its curve' if one else 'their curves'} in this period.",
"Heat shimmer": "Warm air made the readings shake. The small fast wiggles are not movement.",
"expansion": ("The camera support expands in the day heat; the curves are corrected for it."
if camera else "The structure expands in the day heat.") + " This daily wave is normal: nothing to do.",
"contraction": ("The camera support contracts as it cools down; the curves are corrected for it."
if camera else "The structure contracts as it cools down.") + " This daily wave is normal: nothing to do.",
SAUT: f"{targets(n).capitalize()} jumped and came back. The cause is not established: look at the images.",
"shift": (f"{targets(n).capitalize()}, most of the targets, shifted together: everything moved." if large
else f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting
else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n
else f"{targets(n).capitalize()} shifted; {lasting} of them stayed shifted.")
+ " Check whether the structure moved: look at the images.",
}.get(sort.split()[-1] if thermique(ep) else sort, ep["text"]) # No data, Target issue, Slow drift : le texte du détecteur
if ep["kind"] == "Target issue":
text += f" Ignore {'its curve' if one else 'their curves'} in this period and look at the images of the target."
if not jumped:
return text
@@ -135,13 +127,13 @@ def phrase(cat, groupe, sensors, references):
def evenement(groupe, references):
"""Épisodes d'un même événement, le principal en tête -> événement."""
cat = categorie(groupe[0])
c = CATEGORIES.get(cat, {"label": groupe[0]["label"], "ignore": None, "process": "aucun"})
cat, so = categorie(groupe[0]), sorte(groupe[0])
c = CATEGORIES.get(cat, {"ignore": None, "process": "aucun"})
sensors = [] if any(not e["sensors"] for e in groupe) else list(dict.fromkeys(s for e in groupe for s in e["sensors"]))
main = [e for e in groupe if categorie(e) == cat] # la durée est celle des épisodes principaux, pas des sauts absorbés
main = [e for e in groupe if sorte(e) == so] # la durée est celle des épisodes principaux, pas des sauts absorbés
return {"start": min(e["start"] for e in main), "end": max(e["end"] for e in main), "category": cat,
"label": c["label"], "text": phrase(cat, groupe, sensors, references),
"ignore": c["ignore"] if c["ignore"] is not None else any(e["ignore"] for e in groupe if categorie(e) == cat),
"label": cat, "text": phrase(groupe, sensors, references),
"ignore": c["ignore"] if c["ignore"] is not None else any(e["ignore"] for e in main),
"sensors": sensors, "process": c["process"], "episodes": groupe}
@@ -149,22 +141,21 @@ def classer(episodes, references=frozenset()):
"""Épisodes de tous les détecteurs -> événements triés par début (règles : docstring du module) ; references : les
capteurs global_ref, pour la phrase."""
eps = sorted(episodes, key=lambda e: e["start"])
checks = [e for e in eps if categorie(e) == "a_verifier"] # un vrai mouvement n'est jamais pris pour de la turbulence
eps = [e for e in eps if categorie(e) != "turbulence" or not any(overlap(e, c) for c in checks)]
checks = [e for e in eps if e["label"] in DECALAGES] # un vrai mouvement n'est jamais pris pour de la turbulence
eps = [e for e in eps if e["label"] != "Heat shimmer" or not any(overlap(e, c) for c in checks)]
# la vague thermique n'absorbe qu'en dernier (un saut d'un passage ou d'une pluie va à eux), et que les sauts de
# plusieurs cibles : la vague les fait bouger ensemble, une cible seule qui saute n'est pas la vague (C2 de E-003)
thermique = lambda e: categorie(e).endswith("_thermique") # noqa: E731
hosts = sorted((e for e in eps if categorie(e) in HOSTS), key=thermique)
hosts = sorted((e for e in eps if e["label"] in HOTES), key=thermique)
host = {id(e): next((h for h in hosts if overlap(e, h) and (len(e["sensors"]) > 1 or not thermique(h))), None)
for e in eps if categorie(e) == "saut_bref"}
for e in eps if e["label"] == SAUT}
groupes = {id(e): [e] for e in eps if not host.get(id(e))}
for e in eps:
if host.get(id(e)):
groupes[id(host[id(e)])].append(e)
merged = []
for g in groupes.values():
prev = next((m for m in reversed(merged) if categorie(m[0]) == categorie(g[0])), None)
end = max((e["end"] for e in prev if categorie(e) == categorie(g[0])), default=None) if prev else None
prev = next((m for m in reversed(merged) if sorte(m[0]) == sorte(g[0])), None)
end = max((e["end"] for e in prev if sorte(e) == sorte(g[0])), default=None) if prev else None
if end and datetime.fromisoformat(g[0]["start"]) - datetime.fromisoformat(end) < MERGE:
prev += g
else:
@@ -178,7 +169,7 @@ def evenements(mesures, fin=None):
episodes = []
for mod in detecteurs():
try:
episodes += mod.detect(mesures, fin) if mod.__name__ == "journal_trous" else mod.detect(mesures)
episodes += mod.detect(mesures, fin) if mod.__name__ == "journal_no_data" else mod.detect(mesures)
except Exception as e: # noqa: BLE001
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"})
@@ -210,8 +201,8 @@ if __name__ == "__main__":
if a.tranche:
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
for v in evs:
print(v["start"], "→", v["end"], f"{v['category']:<17}", "grisé" if v["ignore"] else "gardé",
f"| {v['episodes'][0]['kind']}", # le détecteur, pour que la critique le nomme
print(v["start"], "→", v["end"], f"{v['category']:<20}", "grisé" if v["ignore"] else "gardé",
f"| {v['episodes'][0]['label']}", # la sorte : la règle du détecteur de la famille
f"| {len(v['sensors']) or 'tous les'} capteurs", "| absorbés :", ", ".join(
f"{e['kind']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—")
f"{e['label']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—")
t = b