Detector-learner BREITHORN: modification 2
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
8e94f02abc
commit
32a4c6cc7f
8 files changed
+317
-41
No files matched your search
+43
-39
@@ -1,22 +1,23 @@
|
||||
"""Journal du matin : des épisodes des détecteurs aux événements catégorisés (point 6 du plan ; catégories validées le
|
||||
2026-10-24 : events/carte-des-evenements.md, section 4).
|
||||
"""Journal du matin : des épisodes des détecteurs aux événements catégorisés.
|
||||
|
||||
Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) :
|
||||
Target issue (`cible_a_probleme` : degradee, sauf ses « Target obscured », cible cachée par moments, et sauts « Target
|
||||
flipping »), la dérive lente (derive) et le gros saut
|
||||
(sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une
|
||||
perte de visibilité, un passage, une turbulence ou, à défaut et s'il touche plusieurs cibles, un effet thermique y est
|
||||
absorbé ; un saut qui dure ou trop récent pour savoir ne l'est
|
||||
jamais ; une turbulence qui chevauche un saut à vérifier n'est pas gardée (un vrai mouvement agite aussi les courbes :
|
||||
le matin du mouvement de CLARIDEN, point 14 du plan). Deux événements de même catégorie à moins d'une heure n'en font
|
||||
qu'un. Chaque événement reçoit sa phrase
|
||||
(point 9, validées le 2026-10-24) : ce qui s'est passé et quoi en faire, sans conditionnel ; la cause n'est dite que si la
|
||||
catégorie l'établit, sinon les images la montrent. Pas de fonction detect : le chargeur ne prend pas ce fichier pour un
|
||||
détecteur.
|
||||
Les catégories du journal (CATEGORIES, validées, D-074) se rangent dans les familles des étiquettes, labeling/familles.md :
|
||||
sa section « Correspondance » fait foi (score.py la lit) ; le champ famille de CATEGORIES la recopie, pour lire ce fichier
|
||||
seul. Un saut bref n'a pas de famille fixe : il a celle de sa cause (familles.md, « Un saut puis le retour »).
|
||||
|
||||
Chaque épisode reçoit sa catégorie d'après son détecteur et son label (LABELS, puis KINDS). Règles :
|
||||
- un saut revenu à la normale qui chevauche une catégorie de HOSTS (visibilité, passage, turbulence, et en dernier
|
||||
l'effet thermique, s'il touche plusieurs cibles) y est absorbé : il en prend la cause et la famille ; sinon il reste
|
||||
un saut bref sans cause établie, à vérifier sur les images, pas grisé (familles.md : sans cause établie, Displacement) ;
|
||||
- un saut qui dure, ou trop récent pour savoir, n'est jamais absorbé ;
|
||||
- une turbulence qui chevauche un saut à vérifier n'est pas gardée : un vrai mouvement agite aussi les courbes ;
|
||||
- deux événements de même catégorie à moins de MERGE n'en font qu'un.
|
||||
Chaque événement reçoit sa phrase, en anglais (le site) : ce qui s'est passé et quoi en faire, comme le dit la colonne
|
||||
« Pour le client » de familles.md ; la cause n'est dite que si la catégorie l'établit, sinon les images la montrent.
|
||||
Pas de fonction detect : le chargeur ne prend pas ce fichier pour un détecteur.
|
||||
Usage : python3 detectors/categories.py <dossier de station> (une ligne par événement)
|
||||
... <dossier> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot, point 30 :
|
||||
chaque tranche de 3 jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements
|
||||
qui touchent la tranche sont montrés ; « rien » pour une tranche calme)
|
||||
... <dossier> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--tranche 3] [--historique N] (tri en lot : chaque tranche
|
||||
de N jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements qui touchent
|
||||
la tranche sont montrés ; « rien » pour une tranche calme)
|
||||
"""
|
||||
import importlib.util
|
||||
import os
|
||||
@@ -27,21 +28,24 @@ from pathlib import Path
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
|
||||
from donnees import charger, iso # noqa: E402
|
||||
|
||||
# ignore : zone grisée (None : comme le dit le détecteur, la turbulence n'est grisée que forte) ; process : bouton
|
||||
# Images, rien, ou Images et lien vers Diagnosis. L'ordre est celui des lignes de la frise.
|
||||
# famille : celle de labeling/familles.md (None : la famille de sa cause) ; ignore : zone grisée (None : comme le dit le
|
||||
# détecteur, la turbulence n'est grisée que forte) ; process : bouton Images, rien, ou Images et lien vers Diagnosis.
|
||||
# L'ordre est celui des lignes de la frise.
|
||||
CATEGORIES = {
|
||||
"visibilite_reduite": {"label": "Reduced visibility", "ignore": False, "process": "images"}, # en retrait (point 38)
|
||||
"visibilite_nulle": {"label": "No visibility", "ignore": True, "process": "images"},
|
||||
"passage": {"label": "Passing obstacle", "ignore": True, "process": "images"},
|
||||
"cible_masquee": {"label": "Target hidden", "ignore": True, "process": "images"},
|
||||
"cible_a_probleme": {"label": "Target issue", "ignore": True, "process": "images"}, # Target issue (D-074)
|
||||
"turbulence": {"label": "Heat haze", "ignore": None, "process": "aucun"},
|
||||
"dilatation_thermique": {"label": "Thermal expansion", "ignore": False, "process": "aucun"}, # effet périodique
|
||||
"contraction_thermique": {"label": "Thermal contraction", "ignore": False, "process": "aucun"}, # (point 41)
|
||||
"trou": {"label": "No data", "ignore": False, "process": "aucun"},
|
||||
"saut_bref": {"label": "Brief jump", "ignore": True, "process": "images"},
|
||||
"a_verifier": {"label": "Shift to check", "ignore": False, "process": "verifier"},
|
||||
"derive_lente": {"label": "Slow drift", "ignore": False, "process": "verifier"}, # sous-groupe d'À vérifier (D-074)
|
||||
"visibilite_reduite": {"label": "Reduced visibility", "famille": "visibilite", "ignore": False, "process": "images"},
|
||||
"visibilite_nulle": {"label": "No visibility", "famille": "visibilite", "ignore": True, "process": "images"},
|
||||
"passage": {"label": "Passing obstacle", "famille": "obstruction", "ignore": True, "process": "images"},
|
||||
"cible_masquee": {"label": "Target hidden", "famille": "obstruction", "ignore": True, "process": "images"},
|
||||
"cible_a_probleme": {"label": "Target issue", "famille": "cible_a_probleme", "ignore": True, "process": "images"},
|
||||
"turbulence": {"label": "Heat haze", "famille": "visibilite", "ignore": None, "process": "aucun"},
|
||||
"dilatation_thermique": {"label": "Thermal expansion", "famille": "deplacement_thermique", "ignore": False,
|
||||
"process": "aucun"},
|
||||
"contraction_thermique": {"label": "Thermal contraction", "famille": "deplacement_thermique", "ignore": False,
|
||||
"process": "aucun"},
|
||||
"trou": {"label": "No data", "famille": "trou", "ignore": False, "process": "aucun"},
|
||||
"saut_bref": {"label": "Brief jump", "famille": None, "ignore": False, "process": "images"},
|
||||
"a_verifier": {"label": "Shift to check", "famille": "deplacement", "ignore": False, "process": "verifier"},
|
||||
"derive_lente": {"label": "Slow drift", "famille": "deplacement", "ignore": False, "process": "verifier"},
|
||||
}
|
||||
# (détecteur, label, niveau de l'épisode) -> catégorie ; puis détecteur seul ; un détecteur inconnu garde son nom
|
||||
LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
|
||||
@@ -56,8 +60,8 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
|
||||
("thermique", "Camera thermal contraction", None): "contraction_thermique"}
|
||||
KINDS = {"turbulence": "turbulence", "trous": "trou", "degradee": "cible_a_probleme", "derive": "derive_lente"}
|
||||
HOSTS = {"visibilite_reduite", "visibilite_nulle", "passage", "turbulence", "dilatation_thermique",
|
||||
"contraction_thermique"} # absorbent un saut revenu (point 5 ; la vague thermique : boucle NIEDERHORN, lot 01)
|
||||
MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (point 5, 2026-10-24)
|
||||
"contraction_thermique"} # disent la cause d'un saut revenu qui les chevauche, et l'absorbent
|
||||
MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (règle validée, 2026-10-24)
|
||||
|
||||
|
||||
def detecteurs():
|
||||
@@ -92,8 +96,8 @@ def targets(n):
|
||||
|
||||
|
||||
def phrase(cat, groupe, sensors, references):
|
||||
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24) ; un saut absorbé ajoute qu'il n'est
|
||||
pas un mouvement."""
|
||||
"""Phrase du journal d'un événement (validées par l'utilisateur le 2026-10-24) ; un saut absorbé ajoute qu'il a la
|
||||
même cause."""
|
||||
n, one = len(sensors), len(sensors) == 1
|
||||
sauts = [e for e in groupe[1:] if categorie(e) == "saut_bref"]
|
||||
jumped = len({s for e in sauts for s in e["sensors"]})
|
||||
@@ -114,7 +118,7 @@ def phrase(cat, groupe, sensors, references):
|
||||
if camera else "The structure expands in the day heat.") + " This daily wave is normal: nothing to do.",
|
||||
"contraction_thermique": ("The camera support contracts as it cools down; the curves are corrected for it."
|
||||
if camera else "The structure contracts as it cools down.") + " This daily wave is normal: nothing to do.",
|
||||
"saut_bref": f"{targets(n).capitalize()} jumped and came back. This is not a movement: ignore it.",
|
||||
"saut_bref": f"{targets(n).capitalize()} jumped and came back. The cause is not established: look at the images.",
|
||||
"a_verifier": (f"{targets(n).capitalize()}, most of the targets, shifted together: everything moved." if large
|
||||
else f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting
|
||||
else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n
|
||||
@@ -125,8 +129,8 @@ def phrase(cat, groupe, sensors, references):
|
||||
text += f" Ignore {'its curve' if one else 'their curves'} in this period and look at the images of the target."
|
||||
if not jumped:
|
||||
return text
|
||||
return text + (f" The jump of {targets(jumped)} in this period is not a movement." if len(sauts) == 1
|
||||
else f" The jumps of {targets(jumped)} in this period are not movements.")
|
||||
return text + (f" The jump of {targets(jumped)} in this period has the same cause." if len(sauts) == 1
|
||||
else f" The jumps of {targets(jumped)} in this period have the same cause.")
|
||||
|
||||
|
||||
def evenement(groupe, references):
|
||||
@@ -207,7 +211,7 @@ if __name__ == "__main__":
|
||||
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
|
||||
for v in evs:
|
||||
print(v["start"], "→", v["end"], f"{v['category']:<17}", "grisé" if v["ignore"] else "gardé",
|
||||
f"| {v['episodes'][0]['kind']}", # le détecteur, pour que l'analyste le nomme (boucle, 2026-10-26)
|
||||
f"| {v['episodes'][0]['kind']}", # le détecteur, pour que la critique le nomme
|
||||
f"| {len(v['sensors']) or 'tous les'} capteurs", "| absorbés :", ", ".join(
|
||||
f"{e['kind']} {e['start'][5:16]}" for e in v["episodes"][1:]) or "—")
|
||||
t = b
|
||||
+3
-2
@@ -4,7 +4,8 @@
|
||||
d'avant (médiane des BASE mesures précédentes) ; les BASE premières mesures, faute de niveau d'avant, face au niveau
|
||||
d'après (médiane des BASE suivantes), un écart y est un saut revenu aussitôt (point 12 du plan, 2026-10-24).
|
||||
2. Revenu (BASE mesures de suite à moins de la moitié du saut) en moins d'un jour, ou un jour après de retour à sa place
|
||||
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé (artefact).
|
||||
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé ; sa cause n'est pas
|
||||
établie ici (categories.py lui donne celle de la catégorie qui le chevauche, sinon : à vérifier sur les images).
|
||||
3. Sinon « Lasting shift », jamais grisé (peut-être un vrai mouvement) ; moins d'un jour de recul :
|
||||
« Jump, not back yet », pas grisé non plus.
|
||||
4. Les sauts qui se suivent à moins d'une heure, toutes cibles confondues, font un seul épisode (mode commun) ;
|
||||
@@ -207,7 +208,7 @@ def _episode(g, total):
|
||||
text = f"{who} jumped less than a day before the last measurement and has not come back yet: check again later."
|
||||
else:
|
||||
label = "Sudden jump, back to normal"
|
||||
text = f"{who} jumped and came back within a day: most likely a measurement artefact, not a movement."
|
||||
text = f"{who} jumped and came back within a day: the cause is not established, look at the images."
|
||||
end = g["last"] if lasting or recent else g["end"] # pas grisé : le dernier saut, pas les retours
|
||||
return {"start": donnees.iso(g["start"]), "end": donnees.iso(end), "kind": "sauts", "label": label,
|
||||
"text": text, "ignore": not lasting and not recent, "sensors": sorted(g["sensors"]),
|
||||
|
||||
@@ -21,6 +21,9 @@ Méthode (seuils provisoires ci-dessous) :
|
||||
jour (×1,5 à ×3, la turbulence) faisait durer la visibilité réduite des heures sans aucun rejet (28.09 10:00 → 12:15,
|
||||
29.09 jusqu'à 14:15) ; les références ne comptent pas : R3 y passe son seuil presque toute la journée. Benchmark :
|
||||
le seul épisode perdu est celui, faux, de E-010.
|
||||
7. Poor visibility ou objet (frontière « Visibility ou Obstruction » de labeling/familles.md ; boucle /detector-learner
|
||||
BREITHORN, lot 01) : une gêne qui ne touche qu'au plus QUELQUES cibles, et aucune référence, n'est pas diffuse : c'est
|
||||
un objet devant elles (un véhicule stationné), un épisode « Target obscured » de toute sa durée, sans niveau.
|
||||
|
||||
Résultats (2026-10-23 ; vérité : events/INDEX.md) :
|
||||
- PS_DES_COUDRES (E-001, buée 13.10 23:45 → 14.10 05:15, 2 références sur 3) : Poor visibility 13.10 23:45 → 14.10 04:45, REF_G et
|
||||
@@ -72,6 +75,8 @@ CIBLE_ECART = timedelta(hours=6) # provisoire, réglé sur E-005 (feuilles : 7
|
||||
FACTEUR_REJET = 1.2 # provisoire : un rejet à 10 MAD compte aussi (boucle FLORIDA, lot 01 : niveaux de 0,6, ×2 hors d'atteinte) ;
|
||||
# écarte C24 de E-009 (niveau 0,68 au ras du seuil 0,7, rejeté à ×1,04)
|
||||
MOITIE = 0.5 # provisoire : « on ne voit rien » ; réglé sur NORDEND (09.10 23:00 : 68 % rejetées) et E-005 (pluie : 24 à 33 %)
|
||||
QUELQUES = 3 # provisoire : Poor visibility sur au plus 3 cibles, sans référence : un objet, Target obscured (7) ;
|
||||
# boucle /detector-learner BREITHORN, lot 01 (véhicules stationnés devant 2 ou 3 cibles sur 12)
|
||||
|
||||
|
||||
def _pas(mesures):
|
||||
@@ -167,6 +172,9 @@ def detect(mesures):
|
||||
gardees = [(r[0], r[-1], cs) for a, b, cs in gardees if (r := [t for t in instants if a <= t <= b and t in refuses])]
|
||||
niveau = _niveaux(mesures, instants)
|
||||
for a, b, cs in gardees: # un épisode par période de même niveau (5) ; le texte vient de categories.py
|
||||
if len(cs) <= QUELQUES and not cs & refs: # un objet devant quelques cibles, pas une gêne diffuse (7)
|
||||
out.append(_episode(a, b, "Target obscured", "", cs))
|
||||
continue
|
||||
seg = []
|
||||
for t in [t for t in instants if a <= t <= b] + [None]:
|
||||
if seg and (t is None or niveau[t] != niveau[seg[0]]):
|
||||
|
||||
Reference in new issue
Block a user