Detector-learner Displacement: modification 1, S1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 09:49:55 +01:00
1 parent 71b42cfa4d
commit aac90d0765
3 files changed
+148 -8

No files matched your search

@@ -0,0 +1,101 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes
trouvées justes
Displacement 168/168 (100 %) 168/171 (98 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/48 (79 %) 38/38 (100 %)
Thermal displacement 0/21 (0 %) —
Visibility — 0/25 (0 %)
CLARIDEN : 2026-10-01T00:00Z → 2026-11-02T00:00Z, 43 étiquettes
trouvées justes
Displacement 3091/3091 (100 %) 3091/4213 (73 %)
No data 6/20 (30 %) 6/12 (50 %)
Obstruction 0/5 (0 %) 0/42 (0 %)
Target issue 4068/4068 (100 %) 4068/4213 (97 %)
Thermal displacement 13/43 (30 %) 13/204 (6 %)
Visibility 3/87 (3 %) 3/3 (100 %)
FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes
trouvées justes
Displacement 0/41 (0 %) 0/15 (0 %)
No data 4/21 (19 %) 4/4 (100 %)
Obstruction 2/2 (100 %) 2/1009 (0 %)
Target issue 2913/2913 (100 %) 2913/2914 (100 %)
Thermal displacement 613/1047 (59 %) 613/737 (83 %)
Visibility 381/598 (64 %) 381/381 (100 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes
trouvées justes
Displacement — 0/21 (0 %)
No data 4/29 (14 %) 4/4 (100 %)
Obstruction 0/1 (0 %) 0/155 (0 %)
Target issue 3005/3005 (100 %) 3005/3006 (100 %)
Thermal displacement 939/2557 (37 %) 939/1091 (86 %)
Visibility 305/669 (46 %) 305/315 (97 %)
LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes
trouvées justes
Displacement — 0/4047 (0 %)
No data 14/24 (58 %) 14/18 (78 %)
Obstruction 0/47 (0 %) —
Thermal displacement 1758/1925 (91 %) 1758/3652 (48 %)
Visibility 954/1886 (51 %) 954/959 (99 %)
MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes
trouvées justes
Displacement 130/130 (100 %) 130/171 (76 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/147 (90 %) 132/132 (100 %)
Thermal displacement 19/25 (76 %) 19/46 (41 %)
NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes
trouvées justes
Displacement 1/165 (1 %) 1/1 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/132 (100 %) 132/132 (100 %)
Thermal displacement 8/20 (40 %) 8/13 (62 %)
NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes
trouvées justes
Displacement 3/48 (6 %) 3/604 (0 %)
No data 2/26 (8 %) 2/2 (100 %)
Obstruction 91/156 (58 %) 91/290 (31 %)
Target issue 719/719 (100 %) 719/720 (100 %)
Thermal displacement 156/267 (58 %) 156/167 (93 %)
Visibility 25/104 (24 %) 25/28 (89 %)
NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes
trouvées justes
Displacement 2/12 (17 %) 2/37 (5 %)
No data 10/58 (17 %) 10/10 (100 %)
Obstruction 978/2625 (37 %) 978/2142 (46 %)
Target issue 1296/7183 (18 %) 1296/1296 (100 %)
Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %)
Visibility 679/1950 (35 %) 679/1138 (60 %)
SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes
trouvées justes
Displacement 2111/2111 (100 %) 2111/2112 (100 %)
No data 10/30 (33 %) 10/16 (62 %)
Obstruction 15/22 (68 %) 15/979 (2 %)
Target issue 2111/2111 (100 %) 2111/2112 (100 %)
Thermal displacement 891/1726 (52 %) 891/893 (100 %)
Visibility 0/761 (0 %) —
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes
trouvées justes
Displacement 550/579 (95 %) 550/1836 (30 %)
No data 21/31 (68 %) 21/30 (70 %)
Obstruction 214/1026 (21 %) 214/422 (51 %)
Target issue 350/2091 (17 %) 350/350 (100 %)
Thermal displacement 331/845 (39 %) 331/342 (97 %)
Visibility 420/1152 (36 %) 420/429 (98 %)
Total
trouvées justes
Displacement 6056/6345 (95 %) 6056/13228 (46 %)
No data 77/245 (31 %) 77/102 (75 %)
Obstruction 1338/3932 (34 %) 1338/5077 (26 %)
Target issue 14726/22369 (66 %) 14726/14875 (99 %)
Thermal displacement 7934/15888 (50 %) 7934/10373 (76 %)
Visibility 2767/7207 (38 %) 2767/3278 (84 %)
+46 -8
View File
@@ -239,6 +239,15 @@ def detect(mesures):
# 3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au # 3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au
# suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend). # suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend).
# 4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé. # 4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé.
# 4 bis. Par morceaux (/detector-learner Displacement, modification 1, S1) : une cible sans dérive sur toute la fenêtre
# peut dériver quelques jours, puis se poser ou repartir en arrière. Sur chaque suite d'au moins JOURS jours retenus,
# dérive = niveau du dernier jour moins celui du premier, au moins MORCEAU amplitudes du jour (médiane de la série),
# |tau| ≥ REGULIER du même signe, aucun pas d'un jour retenu au suivant de plus de la moitié de la dérive ; les
# morceaux pris de la plus grande dérive à la plus petite, sans se chevaucher (ils peuvent partager le jour où le
# niveau tourne) : chacun va d'un extrême du niveau à l'autre, un épisode par morceau et par axe. À MORCEAU = 1, les
# cycles thermiques de quelques jours et le bruit des niveaux passent (JUNGFRAU, NORDEND) : 3,5 garde les rangées de
# CLARIDEN (3,8 à 8,3 amplitudes), écarte JUNGFRAU (3,1 au plus). Les morceaux ne remplacent pas l'étape 3 : à leur
# place, la fin des dérives de MICHIGAN et ce que couvraient les tendances de WILDSTRUBEL étaient perdus.
# 5. Dérive de la caméra (même modification) : au moins GROS des cibles dérivent du même côté sur corr_x ou corr_y, et au # 5. Dérive de la caméra (même modification) : au moins GROS des cibles dérivent du même côté sur corr_x ou corr_y, et au
# moins GROS des capteurs, références comprises, sur leurs positions brutes x ou y : rien (les étiquettes en font un # moins GROS des capteurs, références comprises, sur leurs positions brutes x ou y : rien (les étiquettes en font un
# Thermal displacement, pas un mouvement de l'ouvrage). NEBRASKA : 12 cibles sur 12 en corr_x, 13 capteurs sur 15 en # Thermal displacement, pas un mouvement de l'ouvrage). NEBRASKA : 12 cibles sur 12 en corr_x, 13 capteurs sur 15 en
@@ -249,6 +258,7 @@ HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées sur 24 (com
JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055) JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055)
TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055) TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055)
REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055) REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055)
MORCEAU = 3.5 # dérive par morceaux ≥ MORCEAU amplitudes journalières (point 4 bis)
def _decile(vs, q): def _decile(vs, q):
@@ -256,14 +266,19 @@ def _decile(vs, q):
return vs[min(len(vs) - 1, int(q * len(vs)))] return vs[min(len(vs) - 1, int(q * len(vs)))]
def _derive(ms, col): def _jours(ms, col):
"""-> (dérive en px, jours, premier instant, dernier) ou None.""" """-> {jour UTC: ses mesures}, les jours retenus (point 1)."""
jours = {} jours = {}
for m in ms: for m in ms:
if m[col] is not None: if m[col] is not None:
jours.setdefault(m["t"].date(), []).append(m) jours.setdefault(m["t"].date(), []).append(m)
creneaux = len({m["t"].hour for js in jours.values() for m in js}) # heures que la station mesure (6 à 4 h de pas) creneaux = len({m["t"].hour for js in jours.values() for m in js}) # heures que la station mesure (6 à 4 h de pas)
jours = {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux} return {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux}
def _derive(ms, col):
"""-> (dérive en px, jours, premier instant, dernier) ou None."""
jours = _jours(ms, col)
if len(jours) < JOURS: if len(jours) < JOURS:
return None return None
niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items()) niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items())
@@ -279,6 +294,31 @@ def _derive(ms, col):
return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1]) return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1])
def _morceaux(ms, col):
"""-> [(dérive en px, jours, premier instant, dernier)] : les morceaux de dérive (point 4 bis)."""
jours = _jours(ms, col)
if len(jours) < JOURS:
return []
ds = sorted(jours)
niv = [statistics.median(m[col] for m in jours[d]) for d in ds]
ampl = statistics.median(_decile([m[col] for m in js], 0.9) - _decile([m[col] for m in js], 0.1) for js in jours.values())
morceaux = [] # (dérive, i, j)
for i in range(len(ds)):
signes = pas = 0
for j in range(i + 1, len(ds)):
signes += sum((niv[j] > niv[k]) - (niv[j] < niv[k]) for k in range(i, j)) # tau de Kendall, pas à pas
pas = max(pas, abs(niv[j] - niv[j - 1]))
n, d = j - i + 1, niv[j] - niv[i]
if n >= JOURS and d and abs(d) >= MORCEAU * ampl and pas <= abs(d) / 2 \
and signes * (1 if d > 0 else -1) >= REGULIER * n * (n - 1) / 2:
morceaux.append((d, i, j))
pris = []
for d, i, j in sorted(morceaux, key=lambda x: (-abs(x[0]), x[2] - x[1])):
if all(j <= a or i >= b for _, a, b in pris):
pris.append((d, i, j))
return [(d, j - i + 1, min(m["t"] for m in jours[ds[i]]), max(m["t"] for m in jours[ds[j]])) for d, i, j in pris]
def _commune(mesures, cols): def _commune(mesures, cols):
"""Au moins GROS des capteurs dérivent du même côté sur un même axe de cols.""" """Au moins GROS des capteurs dérivent du même côté sur un même axe de cols."""
for col in cols: for col in cols:
@@ -297,12 +337,10 @@ def derive(mesures):
if donnees.est_reference(ms): if donnees.est_reference(ms):
continue continue
r = [x for col in ("corr_x", "corr_y") if (x := _derive(ms, col))] r = [x for col in ("corr_x", "corr_y") if (x := _derive(ms, col))]
if not r: r = [max(r, key=lambda x: abs(x[0]))] if r else [x for col in ("corr_x", "corr_y") for x in _morceaux(ms, col)]
continue out += [{"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift",
derive, n, a, b = max(r, key=lambda x: abs(x[0]))
out.append({"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift",
"text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.", "text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.",
"ignore": False, "sensors": [s]}) "ignore": False, "sensors": [s]} for derive, n, a, b in r]
return out return out
if __name__ == "__main__": if __name__ == "__main__":
@@ -60,6 +60,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `JOURS` | 5 jours | `TREND_DAYS` | | | `JOURS` | 5 jours | `TREND_DAYS` |
| | `TAILLE` | 1 | `TREND_SIZE` ; amplitude du jour : déciles 9 et 1 de `corr` | | | `TAILLE` | 1 | `TREND_SIZE` ; amplitude du jour : déciles 9 et 1 de `corr` |
| | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) | | | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) |
| | `MORCEAU` | 3,5 amplitudes | dérive par morceaux, pour une cible sans dérive sur toute la fenêtre (point 4 bis de `displacement.py`) : /detector-learner Displacement, modification 1, S1 (rangées de CLARIDEN, 3,8 à 8,3 amplitudes ; JUNGFRAU, cycles thermiques sans étiquette Displacement, 3,1 au plus ; à 1, NORDEND et JUNGFRAU débordent) |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement | | `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement |
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC | | dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière | | | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |