Detector-learner Displacement: modification 1, S1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
71b42cfa4d
commit
aac90d0765
3 files changed
+149
-9
No files matched your search
@@ -0,0 +1,101 @@
|
||||
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes
|
||||
trouvées justes
|
||||
Displacement 168/168 (100 %) 168/171 (98 %)
|
||||
No data 2/2 (100 %) 2/2 (100 %)
|
||||
Obstruction 38/48 (79 %) 38/38 (100 %)
|
||||
Thermal displacement 0/21 (0 %) —
|
||||
Visibility — 0/25 (0 %)
|
||||
|
||||
CLARIDEN : 2026-10-01T00:00Z → 2026-11-02T00:00Z, 43 étiquettes
|
||||
trouvées justes
|
||||
Displacement 3091/3091 (100 %) 3091/4213 (73 %)
|
||||
No data 6/20 (30 %) 6/12 (50 %)
|
||||
Obstruction 0/5 (0 %) 0/42 (0 %)
|
||||
Target issue 4068/4068 (100 %) 4068/4213 (97 %)
|
||||
Thermal displacement 13/43 (30 %) 13/204 (6 %)
|
||||
Visibility 3/87 (3 %) 3/3 (100 %)
|
||||
|
||||
FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes
|
||||
trouvées justes
|
||||
Displacement 0/41 (0 %) 0/15 (0 %)
|
||||
No data 4/21 (19 %) 4/4 (100 %)
|
||||
Obstruction 2/2 (100 %) 2/1009 (0 %)
|
||||
Target issue 2913/2913 (100 %) 2913/2914 (100 %)
|
||||
Thermal displacement 613/1047 (59 %) 613/737 (83 %)
|
||||
Visibility 381/598 (64 %) 381/381 (100 %)
|
||||
|
||||
JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes
|
||||
trouvées justes
|
||||
Displacement — 0/21 (0 %)
|
||||
No data 4/29 (14 %) 4/4 (100 %)
|
||||
Obstruction 0/1 (0 %) 0/155 (0 %)
|
||||
Target issue 3005/3005 (100 %) 3005/3006 (100 %)
|
||||
Thermal displacement 939/2557 (37 %) 939/1091 (86 %)
|
||||
Visibility 305/669 (46 %) 305/315 (97 %)
|
||||
|
||||
LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes
|
||||
trouvées justes
|
||||
Displacement — 0/4047 (0 %)
|
||||
No data 14/24 (58 %) 14/18 (78 %)
|
||||
Obstruction 0/47 (0 %) —
|
||||
Thermal displacement 1758/1925 (91 %) 1758/3652 (48 %)
|
||||
Visibility 954/1886 (51 %) 954/959 (99 %)
|
||||
|
||||
MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes
|
||||
trouvées justes
|
||||
Displacement 130/130 (100 %) 130/171 (76 %)
|
||||
No data 2/2 (100 %) 2/2 (100 %)
|
||||
Target issue 132/147 (90 %) 132/132 (100 %)
|
||||
Thermal displacement 19/25 (76 %) 19/46 (41 %)
|
||||
|
||||
NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes
|
||||
trouvées justes
|
||||
Displacement 1/165 (1 %) 1/1 (100 %)
|
||||
No data 2/2 (100 %) 2/2 (100 %)
|
||||
Target issue 132/132 (100 %) 132/132 (100 %)
|
||||
Thermal displacement 8/20 (40 %) 8/13 (62 %)
|
||||
|
||||
NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes
|
||||
trouvées justes
|
||||
Displacement 3/48 (6 %) 3/604 (0 %)
|
||||
No data 2/26 (8 %) 2/2 (100 %)
|
||||
Obstruction 91/156 (58 %) 91/290 (31 %)
|
||||
Target issue 719/719 (100 %) 719/720 (100 %)
|
||||
Thermal displacement 156/267 (58 %) 156/167 (93 %)
|
||||
Visibility 25/104 (24 %) 25/28 (89 %)
|
||||
|
||||
NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes
|
||||
trouvées justes
|
||||
Displacement 2/12 (17 %) 2/37 (5 %)
|
||||
No data 10/58 (17 %) 10/10 (100 %)
|
||||
Obstruction 978/2625 (37 %) 978/2142 (46 %)
|
||||
Target issue 1296/7183 (18 %) 1296/1296 (100 %)
|
||||
Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %)
|
||||
Visibility 679/1950 (35 %) 679/1138 (60 %)
|
||||
|
||||
SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes
|
||||
trouvées justes
|
||||
Displacement 2111/2111 (100 %) 2111/2112 (100 %)
|
||||
No data 10/30 (33 %) 10/16 (62 %)
|
||||
Obstruction 15/22 (68 %) 15/979 (2 %)
|
||||
Target issue 2111/2111 (100 %) 2111/2112 (100 %)
|
||||
Thermal displacement 891/1726 (52 %) 891/893 (100 %)
|
||||
Visibility 0/761 (0 %) —
|
||||
|
||||
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes
|
||||
trouvées justes
|
||||
Displacement 550/579 (95 %) 550/1836 (30 %)
|
||||
No data 21/31 (68 %) 21/30 (70 %)
|
||||
Obstruction 214/1026 (21 %) 214/422 (51 %)
|
||||
Target issue 350/2091 (17 %) 350/350 (100 %)
|
||||
Thermal displacement 331/845 (39 %) 331/342 (97 %)
|
||||
Visibility 420/1152 (36 %) 420/429 (98 %)
|
||||
|
||||
Total
|
||||
trouvées justes
|
||||
Displacement 6056/6345 (95 %) 6056/13228 (46 %)
|
||||
No data 77/245 (31 %) 77/102 (75 %)
|
||||
Obstruction 1338/3932 (34 %) 1338/5077 (26 %)
|
||||
Target issue 14726/22369 (66 %) 14726/14875 (99 %)
|
||||
Thermal displacement 7934/15888 (50 %) 7934/10373 (76 %)
|
||||
Visibility 2767/7207 (38 %) 2767/3278 (84 %)
|
||||
@@ -239,6 +239,15 @@ def detect(mesures):
|
||||
# 3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au
|
||||
# suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend).
|
||||
# 4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé.
|
||||
# 4 bis. Par morceaux (/detector-learner Displacement, modification 1, S1) : une cible sans dérive sur toute la fenêtre
|
||||
# peut dériver quelques jours, puis se poser ou repartir en arrière. Sur chaque suite d'au moins JOURS jours retenus,
|
||||
# dérive = niveau du dernier jour moins celui du premier, au moins MORCEAU amplitudes du jour (médiane de la série),
|
||||
# |tau| ≥ REGULIER du même signe, aucun pas d'un jour retenu au suivant de plus de la moitié de la dérive ; les
|
||||
# morceaux pris de la plus grande dérive à la plus petite, sans se chevaucher (ils peuvent partager le jour où le
|
||||
# niveau tourne) : chacun va d'un extrême du niveau à l'autre, un épisode par morceau et par axe. À MORCEAU = 1, les
|
||||
# cycles thermiques de quelques jours et le bruit des niveaux passent (JUNGFRAU, NORDEND) : 3,5 garde les rangées de
|
||||
# CLARIDEN (3,8 à 8,3 amplitudes), écarte JUNGFRAU (3,1 au plus). Les morceaux ne remplacent pas l'étape 3 : à leur
|
||||
# place, la fin des dérives de MICHIGAN et ce que couvraient les tendances de WILDSTRUBEL étaient perdus.
|
||||
# 5. Dérive de la caméra (même modification) : au moins GROS des cibles dérivent du même côté sur corr_x ou corr_y, et au
|
||||
# moins GROS des capteurs, références comprises, sur leurs positions brutes x ou y : rien (les étiquettes en font un
|
||||
# Thermal displacement, pas un mouvement de l'ouvrage). NEBRASKA : 12 cibles sur 12 en corr_x, 13 capteurs sur 15 en
|
||||
@@ -249,6 +258,7 @@ HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées sur 24 (com
|
||||
JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055)
|
||||
TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055)
|
||||
REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055)
|
||||
MORCEAU = 3.5 # dérive par morceaux ≥ MORCEAU amplitudes journalières (point 4 bis)
|
||||
|
||||
|
||||
def _decile(vs, q):
|
||||
@@ -256,14 +266,19 @@ def _decile(vs, q):
|
||||
return vs[min(len(vs) - 1, int(q * len(vs)))]
|
||||
|
||||
|
||||
def _derive(ms, col):
|
||||
"""-> (dérive en px, jours, premier instant, dernier) ou None."""
|
||||
def _jours(ms, col):
|
||||
"""-> {jour UTC: ses mesures}, les jours retenus (point 1)."""
|
||||
jours = {}
|
||||
for m in ms:
|
||||
if m[col] is not None:
|
||||
jours.setdefault(m["t"].date(), []).append(m)
|
||||
creneaux = len({m["t"].hour for js in jours.values() for m in js}) # heures que la station mesure (6 à 4 h de pas)
|
||||
jours = {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux}
|
||||
return {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux}
|
||||
|
||||
|
||||
def _derive(ms, col):
|
||||
"""-> (dérive en px, jours, premier instant, dernier) ou None."""
|
||||
jours = _jours(ms, col)
|
||||
if len(jours) < JOURS:
|
||||
return None
|
||||
niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items())
|
||||
@@ -279,6 +294,31 @@ def _derive(ms, col):
|
||||
return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1])
|
||||
|
||||
|
||||
def _morceaux(ms, col):
|
||||
"""-> [(dérive en px, jours, premier instant, dernier)] : les morceaux de dérive (point 4 bis)."""
|
||||
jours = _jours(ms, col)
|
||||
if len(jours) < JOURS:
|
||||
return []
|
||||
ds = sorted(jours)
|
||||
niv = [statistics.median(m[col] for m in jours[d]) for d in ds]
|
||||
ampl = statistics.median(_decile([m[col] for m in js], 0.9) - _decile([m[col] for m in js], 0.1) for js in jours.values())
|
||||
morceaux = [] # (dérive, i, j)
|
||||
for i in range(len(ds)):
|
||||
signes = pas = 0
|
||||
for j in range(i + 1, len(ds)):
|
||||
signes += sum((niv[j] > niv[k]) - (niv[j] < niv[k]) for k in range(i, j)) # tau de Kendall, pas à pas
|
||||
pas = max(pas, abs(niv[j] - niv[j - 1]))
|
||||
n, d = j - i + 1, niv[j] - niv[i]
|
||||
if n >= JOURS and d and abs(d) >= MORCEAU * ampl and pas <= abs(d) / 2 \
|
||||
and signes * (1 if d > 0 else -1) >= REGULIER * n * (n - 1) / 2:
|
||||
morceaux.append((d, i, j))
|
||||
pris = []
|
||||
for d, i, j in sorted(morceaux, key=lambda x: (-abs(x[0]), x[2] - x[1])):
|
||||
if all(j <= a or i >= b for _, a, b in pris):
|
||||
pris.append((d, i, j))
|
||||
return [(d, j - i + 1, min(m["t"] for m in jours[ds[i]]), max(m["t"] for m in jours[ds[j]])) for d, i, j in pris]
|
||||
|
||||
|
||||
def _commune(mesures, cols):
|
||||
"""Au moins GROS des capteurs dérivent du même côté sur un même axe de cols."""
|
||||
for col in cols:
|
||||
@@ -297,12 +337,10 @@ def derive(mesures):
|
||||
if donnees.est_reference(ms):
|
||||
continue
|
||||
r = [x for col in ("corr_x", "corr_y") if (x := _derive(ms, col))]
|
||||
if not r:
|
||||
continue
|
||||
derive, n, a, b = max(r, key=lambda x: abs(x[0]))
|
||||
out.append({"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift",
|
||||
"text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.",
|
||||
"ignore": False, "sensors": [s]})
|
||||
r = [max(r, key=lambda x: abs(x[0]))] if r else [x for col in ("corr_x", "corr_y") for x in _morceaux(ms, col)]
|
||||
out += [{"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift",
|
||||
"text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.",
|
||||
"ignore": False, "sensors": [s]} for derive, n, a, b in r]
|
||||
return out
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
@@ -60,6 +60,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
||||
| | `JOURS` | 5 jours | `TREND_DAYS` |
|
||||
| | `TAILLE` | 1 | `TREND_SIZE` ; amplitude du jour : déciles 9 et 1 de `corr` |
|
||||
| | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) |
|
||||
| | `MORCEAU` | 3,5 amplitudes | dérive par morceaux, pour une cible sans dérive sur toute la fenêtre (point 4 bis de `displacement.py`) : /detector-learner Displacement, modification 1, S1 (rangées de CLARIDEN, 3,8 à 8,3 amplitudes ; JUNGFRAU, cycles thermiques sans étiquette Displacement, 3,1 au plus ; à 1, NORDEND et JUNGFRAU débordent) |
|
||||
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement |
|
||||
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
|
||||
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
|
||||
|
||||
Reference in new issue
Block a user