From aac90d0765c73f20ea5c62e07ebd9c99a5306d7c Mon Sep 17 00:00:00 2001 From: maxime Date: Thu, 5 Nov 2026 09:49:55 +0100 Subject: [PATCH] Detector-learner Displacement: modification 1, S1 Co-Authored-By: Claude Opus 5.5 --- .../benchmark-1-S1.txt | 101 ++++++++++++++++++ detectors/displacement.py | 56 ++++++++-- .../contexte/seuils-du-journal.md | 1 + 3 files changed, 149 insertions(+), 9 deletions(-) create mode 100644 detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S1.txt diff --git a/detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S1.txt b/detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S1.txt new file mode 100644 index 0000000..a089793 --- /dev/null +++ b/detector-learner/2026-11-05T0814Z_Displacement/benchmark-1-S1.txt @@ -0,0 +1,101 @@ +BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 27 étiquettes + trouvées justes + Displacement 168/168 (100 %) 168/171 (98 %) + No data 2/2 (100 %) 2/2 (100 %) + Obstruction 38/48 (79 %) 38/38 (100 %) + Thermal displacement 0/21 (0 %) — + Visibility — 0/25 (0 %) + +CLARIDEN : 2026-10-01T00:00Z → 2026-11-02T00:00Z, 43 étiquettes + trouvées justes + Displacement 3091/3091 (100 %) 3091/4213 (73 %) + No data 6/20 (30 %) 6/12 (50 %) + Obstruction 0/5 (0 %) 0/42 (0 %) + Target issue 4068/4068 (100 %) 4068/4213 (97 %) + Thermal displacement 13/43 (30 %) 13/204 (6 %) + Visibility 3/87 (3 %) 3/3 (100 %) + +FLORIDA : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 64 étiquettes + trouvées justes + Displacement 0/41 (0 %) 0/15 (0 %) + No data 4/21 (19 %) 4/4 (100 %) + Obstruction 2/2 (100 %) 2/1009 (0 %) + Target issue 2913/2913 (100 %) 2913/2914 (100 %) + Thermal displacement 613/1047 (59 %) 613/737 (83 %) + Visibility 381/598 (64 %) 381/381 (100 %) + +JUNGFRAU : 2026-09-30T00:00Z → 2026-11-01T00:00Z, 99 étiquettes + trouvées justes + Displacement — 0/21 (0 %) + No data 4/29 (14 %) 4/4 (100 %) + Obstruction 0/1 (0 %) 0/155 (0 %) + Target issue 3005/3005 (100 %) 3005/3006 (100 %) + Thermal displacement 939/2557 (37 %) 939/1091 (86 %) + Visibility 305/669 (46 %) 305/315 (97 %) + +LENZSPITZE : 2026-10-16T00:00Z → 2026-11-01T00:00Z, 67 étiquettes + trouvées justes + Displacement — 0/4047 (0 %) + No data 14/24 (58 %) 14/18 (78 %) + Obstruction 0/47 (0 %) — + Thermal displacement 1758/1925 (91 %) 1758/3652 (48 %) + Visibility 954/1886 (51 %) 954/959 (99 %) + +MICHIGAN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 15 étiquettes + trouvées justes + Displacement 130/130 (100 %) 130/171 (76 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/147 (90 %) 132/132 (100 %) + Thermal displacement 19/25 (76 %) 19/46 (41 %) + +NEBRASKA : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 11 étiquettes + trouvées justes + Displacement 1/165 (1 %) 1/1 (100 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/132 (100 %) 132/132 (100 %) + Thermal displacement 8/20 (40 %) 8/13 (62 %) + +NIEDERHORN : 2026-10-01T00:00Z → 2026-11-01T00:00Z, 139 étiquettes + trouvées justes + Displacement 3/48 (6 %) 3/604 (0 %) + No data 2/26 (8 %) 2/2 (100 %) + Obstruction 91/156 (58 %) 91/290 (31 %) + Target issue 719/719 (100 %) 719/720 (100 %) + Thermal displacement 156/267 (58 %) 156/167 (93 %) + Visibility 25/104 (24 %) 25/28 (89 %) + +NORDEND : 2026-08-10T00:00Z → 2026-11-01T00:00Z, 228 étiquettes + trouvées justes + Displacement 2/12 (17 %) 2/37 (5 %) + No data 10/58 (17 %) 10/10 (100 %) + Obstruction 978/2625 (37 %) 978/2142 (46 %) + Target issue 1296/7183 (18 %) 1296/1296 (100 %) + Thermal displacement 3206/7412 (43 %) 3206/3228 (99 %) + Visibility 679/1950 (35 %) 679/1138 (60 %) + +SNCF01 : 2026-10-04T00:00Z → 2026-11-01T00:00Z, 97 étiquettes + trouvées justes + Displacement 2111/2111 (100 %) 2111/2112 (100 %) + No data 10/30 (33 %) 10/16 (62 %) + Obstruction 15/22 (68 %) 15/979 (2 %) + Target issue 2111/2111 (100 %) 2111/2112 (100 %) + Thermal displacement 891/1726 (52 %) 891/893 (100 %) + Visibility 0/761 (0 %) — + +WILDSTRUBEL : 2026-09-01T00:00Z → 2026-11-01T00:00Z, 201 étiquettes + trouvées justes + Displacement 550/579 (95 %) 550/1836 (30 %) + No data 21/31 (68 %) 21/30 (70 %) + Obstruction 214/1026 (21 %) 214/422 (51 %) + Target issue 350/2091 (17 %) 350/350 (100 %) + Thermal displacement 331/845 (39 %) 331/342 (97 %) + Visibility 420/1152 (36 %) 420/429 (98 %) + +Total + trouvées justes + Displacement 6056/6345 (95 %) 6056/13228 (46 %) + No data 77/245 (31 %) 77/102 (75 %) + Obstruction 1338/3932 (34 %) 1338/5077 (26 %) + Target issue 14726/22369 (66 %) 14726/14875 (99 %) + Thermal displacement 7934/15888 (50 %) 7934/10373 (76 %) + Visibility 2767/7207 (38 %) 2767/3278 (84 %) diff --git a/detectors/displacement.py b/detectors/displacement.py index 4d13f9b..b757718 100644 --- a/detectors/displacement.py +++ b/detectors/displacement.py @@ -239,6 +239,15 @@ def detect(mesures): # 3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au # suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend). # 4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé. +# 4 bis. Par morceaux (/detector-learner Displacement, modification 1, S1) : une cible sans dérive sur toute la fenêtre +# peut dériver quelques jours, puis se poser ou repartir en arrière. Sur chaque suite d'au moins JOURS jours retenus, +# dérive = niveau du dernier jour moins celui du premier, au moins MORCEAU amplitudes du jour (médiane de la série), +# |tau| ≥ REGULIER du même signe, aucun pas d'un jour retenu au suivant de plus de la moitié de la dérive ; les +# morceaux pris de la plus grande dérive à la plus petite, sans se chevaucher (ils peuvent partager le jour où le +# niveau tourne) : chacun va d'un extrême du niveau à l'autre, un épisode par morceau et par axe. À MORCEAU = 1, les +# cycles thermiques de quelques jours et le bruit des niveaux passent (JUNGFRAU, NORDEND) : 3,5 garde les rangées de +# CLARIDEN (3,8 à 8,3 amplitudes), écarte JUNGFRAU (3,1 au plus). Les morceaux ne remplacent pas l'étape 3 : à leur +# place, la fin des dérives de MICHIGAN et ce que couvraient les tendances de WILDSTRUBEL étaient perdus. # 5. Dérive de la caméra (même modification) : au moins GROS des cibles dérivent du même côté sur corr_x ou corr_y, et au # moins GROS des capteurs, références comprises, sur leurs positions brutes x ou y : rien (les étiquettes en font un # Thermal displacement, pas un mouvement de l'ouvrage). NEBRASKA : 12 cibles sur 12 en corr_x, 13 capteurs sur 15 en @@ -249,6 +258,7 @@ HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées sur 24 (com JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055) TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055) REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055) +MORCEAU = 3.5 # dérive par morceaux ≥ MORCEAU amplitudes journalières (point 4 bis) def _decile(vs, q): @@ -256,14 +266,19 @@ def _decile(vs, q): return vs[min(len(vs) - 1, int(q * len(vs)))] -def _derive(ms, col): - """-> (dérive en px, jours, premier instant, dernier) ou None.""" +def _jours(ms, col): + """-> {jour UTC: ses mesures}, les jours retenus (point 1).""" jours = {} for m in ms: if m[col] is not None: jours.setdefault(m["t"].date(), []).append(m) creneaux = len({m["t"].hour for js in jours.values() for m in js}) # heures que la station mesure (6 à 4 h de pas) - jours = {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux} + return {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux} + + +def _derive(ms, col): + """-> (dérive en px, jours, premier instant, dernier) ou None.""" + jours = _jours(ms, col) if len(jours) < JOURS: return None niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items()) @@ -279,6 +294,31 @@ def _derive(ms, col): return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1]) +def _morceaux(ms, col): + """-> [(dérive en px, jours, premier instant, dernier)] : les morceaux de dérive (point 4 bis).""" + jours = _jours(ms, col) + if len(jours) < JOURS: + return [] + ds = sorted(jours) + niv = [statistics.median(m[col] for m in jours[d]) for d in ds] + ampl = statistics.median(_decile([m[col] for m in js], 0.9) - _decile([m[col] for m in js], 0.1) for js in jours.values()) + morceaux = [] # (dérive, i, j) + for i in range(len(ds)): + signes = pas = 0 + for j in range(i + 1, len(ds)): + signes += sum((niv[j] > niv[k]) - (niv[j] < niv[k]) for k in range(i, j)) # tau de Kendall, pas à pas + pas = max(pas, abs(niv[j] - niv[j - 1])) + n, d = j - i + 1, niv[j] - niv[i] + if n >= JOURS and d and abs(d) >= MORCEAU * ampl and pas <= abs(d) / 2 \ + and signes * (1 if d > 0 else -1) >= REGULIER * n * (n - 1) / 2: + morceaux.append((d, i, j)) + pris = [] + for d, i, j in sorted(morceaux, key=lambda x: (-abs(x[0]), x[2] - x[1])): + if all(j <= a or i >= b for _, a, b in pris): + pris.append((d, i, j)) + return [(d, j - i + 1, min(m["t"] for m in jours[ds[i]]), max(m["t"] for m in jours[ds[j]])) for d, i, j in pris] + + def _commune(mesures, cols): """Au moins GROS des capteurs dérivent du même côté sur un même axe de cols.""" for col in cols: @@ -297,12 +337,10 @@ def derive(mesures): if donnees.est_reference(ms): continue r = [x for col in ("corr_x", "corr_y") if (x := _derive(ms, col))] - if not r: - continue - derive, n, a, b = max(r, key=lambda x: abs(x[0])) - out.append({"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift", - "text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.", - "ignore": False, "sensors": [s]}) + r = [max(r, key=lambda x: abs(x[0]))] if r else [x for col in ("corr_x", "corr_y") for x in _morceaux(ms, col)] + out += [{"start": donnees.iso(a), "end": donnees.iso(b), "kind": "Displacement", "label": "Slow drift", + "text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.", + "ignore": False, "sensors": [s]} for derive, n, a, b in r] return out if __name__ == "__main__": diff --git a/vues-deplacements/contexte/seuils-du-journal.md b/vues-deplacements/contexte/seuils-du-journal.md index 9fce226..f399226 100644 --- a/vues-deplacements/contexte/seuils-du-journal.md +++ b/vues-deplacements/contexte/seuils-du-journal.md @@ -60,6 +60,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | | `JOURS` | 5 jours | `TREND_DAYS` | | | `TAILLE` | 1 | `TREND_SIZE` ; amplitude du jour : déciles 9 et 1 de `corr` | | | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) | +| | `MORCEAU` | 3,5 amplitudes | dérive par morceaux, pour une cible sans dérive sur toute la fenêtre (point 4 bis de `displacement.py`) : /detector-learner Displacement, modification 1, S1 (rangées de CLARIDEN, 3,8 à 8,3 amplitudes ; JUNGFRAU, cycles thermiques sans étiquette Displacement, 3,1 au plus ; à 1, NORDEND et JUNGFRAU débordent) | | `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement | | dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC | | | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |