Detector-learner BREITHORN: modification 2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-03 14:34:48 +01:00
1 parent 8e94f02abc
commit 32a4c6cc7f
8 files changed
+317 -41

No files matched your search

+43 -39
View File
@@ -1,22 +1,23 @@
"""Journal du matin : des épisodes des détecteurs aux événements catégorisés (point 6 du plan ; catégories validées le
2026-10-24 : events/carte-des-evenements.md, section 4).
"""Journal du matin : des épisodes des détecteurs aux événements catégorisés.
Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) :
Target issue (`cible_a_probleme` : degradee, sauf ses « Target obscured », cible cachée par moments, et sauts « Target
flipping »), la dérive lente (derive) et le gros saut
(sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une
perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est
absorbé ; un saut qui dure ou trop récent pour savoir ne l'est
jamais ; une turbulence qui chevauche un saut à vérifier n'est pas gardée (un vrai mouvement agite aussi les courbes :
le matin du mouvement de CLARIDEN, point 14 du plan). Deux événements de même catégorie à moins d'une heure n'en font
qu'un. Chaque événement reçoit sa phrase
(point 9, validées le 2026-10-24) : ce qui s'est passé et quoi en faire, sans conditionnel ; la cause n'est dite que si la
catégorie l'établit, sinon les images la montrent. Pas de fonction detect : le chargeur ne prend pas ce fichier pour un
détecteur.
Les catégories du journal (CATEGORIES, validées, D-074) se rangent dans les familles des étiquettes, labeling/familles.md :
sa section « Correspondance » fait foi (score.py la lit) ; le champ famille de CATEGORIES la recopie, pour lire ce fichier
seul. Un saut bref n'a pas de famille fixe : il a celle de sa cause (familles.md, « Un saut puis le retour »).
Chaque épisode reçoit sa catégorie d'après son détecteur et son label (LABELS, puis KINDS). Règles :
- un saut revenu à la normale qui chevauche une catégorie de HOSTS (visibilité, passage, turbulence, et en dernier
l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il reste
un saut bref sans cause établie, à vérifier sur les images, pas grisé (familles.md : sans cause établie, Displacement) ;
- un saut qui dure, ou trop récent pour savoir, n'est jamais absorbé ;
- une turbulence qui chevauche un saut à vérifier n'est pas gardée : un vrai mouvement agite aussi les courbes ;
- deux événements de même catégorie à moins de MERGE n'en font qu'un.
Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne
« Pour le client » de familles.md ; la cause n'est dite que si la catégorie l'établit, sinon les images la montrent.
Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur.
Usage : python3 detectors/categories.py <dossier de station> (une ligne par événement)
... <dossier> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot, point 30 :
chaque tranche de 3 jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements
qui touchent la tranche sont montrés ; « rien » pour une tranche calme)
... <dossier> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot : chaque tranche
de N jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements qui touchent
la tranche sont montrés ; « rien » pour une tranche calme)
"""
import importlib.util
import os
@@ -27,21 +28,24 @@ from pathlib import Path
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, iso # noqa: E402
# ignore : zone grisée (None : comme le dit le détecteur, la turbulence n'est grisée que forte) ; process : bouton
# Images, rien, ou Images et lien vers Diagnosis. L'ordre est celui des lignes de la frise.
# famille : celle de labeling/familles.md (None : la famille de sa cause) ; ignore : zone grisée (None : comme le dit le
# détecteur, la turbulence n'est grisée que forte) ; process : bouton Images, rien, ou Images et lien vers Diagnosis.
# L'ordre est celui des lignes de la frise.
CATEGORIES = {
"visibilite_reduite": {"label": "Reduced visibility", "ignore": False, "process": "images"}, # en retrait (point 38)
"visibilite_nulle": {"label": "No visibility", "ignore": True, "process": "images"},
"passage": {"label": "Passing obstacle", "ignore": True, "process": "images"},
"cible_masquee": {"label": "Target hidden", "ignore": True, "process": "images"},
"cible_a_probleme": {"label": "Target issue", "ignore": True, "process": "images"}, # Target issue (D-074)
"turbulence": {"label": "Heat haze", "ignore": None, "process": "aucun"},
"dilatation_thermique": {"label": "Thermal expansion", "ignore": False, "process": "aucun"}, # effet périodique
"contraction_thermique": {"label": "Thermal contraction", "ignore": False, "process": "aucun"}, # (point 41)
"trou": {"label": "No data", "ignore": False, "process": "aucun"},
"saut_bref": {"label": "Brief jump", "ignore": True, "process": "images"},
"a_verifier": {"label": "Shift to check", "ignore": False, "process": "verifier"},
"derive_lente": {"label": "Slow drift", "ignore": False, "process": "verifier"}, # sous-groupe d'À vérifier (D-074)
"visibilite_reduite": {"label": "Reduced visibility", "famille": "visibilite", "ignore": False, "process": "images"},
"visibilite_nulle": {"label": "No visibility", "famille": "visibilite", "ignore": True, "process": "images"},
"passage": {"label": "Passing obstacle", "famille": "obstruction", "ignore": True, "process": "images"},
"cible_masquee": {"label": "Target hidden", "famille": "obstruction", "ignore": True, "process": "images"},
"cible_a_probleme": {"label": "Target issue", "famille": "cible_a_probleme", "ignore": True, "process": "images"},
"turbulence": {"label": "Heat haze", "famille": "visibilite", "ignore": None, "process": "aucun"},
"dilatation_thermique": {"label": "Thermal expansion", "famille": "deplacement_thermique", "ignore": False,
"process": "aucun"},
"contraction_thermique": {"label": "Thermal contraction", "famille": "deplacement_thermique", "ignore": False,
"process": "aucun"},
"trou": {"label": "No data", "famille": "trou", "ignore": False, "process": "aucun"},
"saut_bref": {"label": "Brief jump", "famille": None, "ignore": False, "process": "images"},
"a_verifier": {"label": "Shift to check", "famille": "deplacement", "ignore": False, "process": "verifier"},
"derive_lente": {"label": "Slow drift", "famille": "deplacement", "ignore": False, "process": "verifier"},
}
# (détecteur, label, niveau de l'épisode) -> catégorie ; puis détecteur seul ; un détecteur inconnu garde son nom
LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
@@ -56,8 +60,8 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
("thermique", "Camera thermal contraction", None): "contraction_thermique"}
KINDS = {"turbulence": "turbulence", "trous": "trou", "degradee": "cible_a_probleme", "derive": "derive_lente"}
HOSTS = {"visibilite_reduite", "visibilite_nulle", "passage", "turbulence", "dilatation_thermique",
"contraction_thermique"} # absorbent un saut revenu (point 5 ; la vague thermique : boucle NIEDERHORN, lot 01)
MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (point 5, 2026-10-24)
"contraction_thermique"} # disent la cause d'un saut revenu qui les chevauche, et l'absorbent
MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (règle validée, 2026-10-24)
def detecteurs():
@@ -92,8 +96,8 @@ def targets(n):
def phrase(cat, groupe, sensors, references):
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24) ; un saut absorbé ajoute qu'il n'est
pas un mouvement."""
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24) ; un saut absorbé ajoute qu'il a la
même cause."""
n, one = len(sensors), len(sensors) == 1
sauts = [e for e in groupe[1:] if categorie(e) == "saut_bref"]
jumped = len({s for e in sauts for s in e["sensors"]})
@@ -114,7 +118,7 @@ def phrase(cat, groupe, sensors, references):
if camera else "The structure expands in the day heat.") + " This daily wave is normal: nothing to do.",
"contraction_thermique": ("The camera support contracts as it cools down; the curves are corrected for it."
if camera else "The structure contracts as it cools down.") + " This daily wave is normal: nothing to do.",
"saut_bref": f"{targets(n).capitalize()} jumped and came back. This is not a movement: ignore it.",
"saut_bref": f"{targets(n).capitalize()} jumped and came back. The cause is not established: look at the images.",
"a_verifier": (f"{targets(n).capitalize()}, most of the targets, shifted together: everything moved." if large
else f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting
else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n
@@ -125,8 +129,8 @@ def phrase(cat, groupe, sensors, references):
text += f" Ignore {'its curve' if one else 'their curves'} in this period and look at the images of the target."
if not jumped:
return text
return text + (f" The jump of {targets(jumped)} in this period is not a movement." if len(sauts) == 1
else f" The jumps of {targets(jumped)} in this period are not movements.")
return text + (f" The jump of {targets(jumped)} in this period has the same cause." if len(sauts) == 1
else f" The jumps of {targets(jumped)} in this period have the same cause.")
def evenement(groupe, references):
@@ -207,7 +211,7 @@ if __name__ == "__main__":
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
for v in evs:
print(v["start"], "→", v["end"], f"{v['category']:<17}", "grisé" if v["ignore"] else "gardé",
f"| {v['episodes'][0]['kind']}", # le détecteur, pour que l'analyste le nomme (boucle, 2026-10-26)
f"| {v['episodes'][0]['kind']}", # le détecteur, pour que la critique le nomme
f"| {len(v['sensors']) or 'tous les'} capteurs", "| absorbés :", ", ".join(
f"{e['kind']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—")
t = b
+3 -2
View File
@@ -4,7 +4,8 @@
d'avant (médiane des BASE mesures précédentes) ; les BASE premières mesures, faute de niveau d'avant, face au niveau
d'après (médiane des BASE suivantes), un écart y est un saut revenu aussitôt (point 12 du plan, 2026-10-24).
2. Revenu (BASE mesures de suite à moins de la moitié du saut) en moins d'un jour, ou un jour après de retour à sa place
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé (artefact).
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé ; sa cause n'est pas
établie ici (categories.py lui donne celle de la catégorie qui le chevauche, sinon : à vérifier sur les images).
3. Sinon « Lasting shift », jamais grisé (peut-être un vrai mouvement) ; moins d'un jour de recul :
« Jump, not back yet », pas grisé non plus.
4. Les sauts qui se suivent à moins d'une heure, toutes cibles confondues, font un seul épisode (mode commun) ;
@@ -207,7 +208,7 @@ def _episode(g, total):
text = f"{who} jumped less than a day before the last measurement and has not come back yet: check again later."
else:
label = "Sudden jump, back to normal"
text = f"{who} jumped and came back within a day: most likely a measurement artefact, not a movement."
text = f"{who} jumped and came back within a day: the cause is not established, look at the images."
end = g["last"] if lasting or recent else g["end"] # pas grisé : le dernier saut, pas les retours
return {"start": donnees.iso(g["start"]), "end": donnees.iso(end), "kind": "sauts", "label": label,
"text": text, "ignore": not lasting and not recent, "sensors": sorted(g["sensors"]),
+8
View File
@@ -21,6 +21,9 @@ Méthode (seuils provisoires ci-dessous) :
jour (×1,5 à ×3, la turbulence) faisait durer la visibilité réduite des heures sans aucun rejet (28.09 10:00 → 12:15,
29.09 jusqu'à 14:15) ; les références ne comptent pas : R3 y passe son seuil presque toute la journée. Benchmark :
le seul épisode perdu est celui, faux, de E-010.
7. Poor visibility ou objet (frontière « Visibility ou Obstruction » de labeling/familles.md ; boucle /detector-learner
BREITHORN, lot 01) : une gêne qui ne touche qu'au plus QUELQUES cibles, et aucune référence, n'est pas diffuse : c'est
un objet devant elles (un véhicule stationné), un épisode « Target obscured » de toute sa durée, sans niveau.
Résultats (2026-10-23 ; vérité : events/INDEX.md) :
- PS_DES_COUDRES (E-001, buée 13.10 23:45 → 14.10 05:15, 2 références sur 3) : Poor visibility 13.10 23:45 → 14.10 04:45, REF_G et
@@ -72,6 +75,8 @@ CIBLE_ECART = timedelta(hours=6) # provisoire, réglé sur E-005 (feuilles : 7
FACTEUR_REJET = 1.2 # provisoire : un rejet à 10 MAD compte aussi (boucle FLORIDA, lot 01 : niveaux de 0,6, ×2 hors d'atteinte) ;
# écarte C24 de E-009 (niveau 0,68 au ras du seuil 0,7, rejeté à ×1,04)
MOITIE = 0.5 # provisoire : « on ne voit rien » ; réglé sur NORDEND (09.10 23:00 : 68 % rejetées) et E-005 (pluie : 24 à 33 %)
QUELQUES = 3 # provisoire : Poor visibility sur au plus 3 cibles, sans référence : un objet, Target obscured (7) ;
# boucle /detector-learner BREITHORN, lot 01 (véhicules stationnés devant 2 ou 3 cibles sur 12)
def _pas(mesures):
@@ -167,6 +172,9 @@ def detect(mesures):
gardees = [(r[0], r[-1], cs) for a, b, cs in gardees if (r := [t for t in instants if a <= t <= b and t in refuses])]
niveau = _niveaux(mesures, instants)
for a, b, cs in gardees: # un épisode par période de même niveau (5) ; le texte vient de categories.py
if len(cs) <= QUELQUES and not cs & refs: # un objet devant quelques cibles, pas une gêne diffuse (7)
out.append(_episode(a, b, "Target obscured", "", cs))
continue
seg = []
for t in [t for t in instants if a <= t <= b] + [None]:
if seg and (t is None or niveau[t] != niveau[seg[0]]):