Files
Support-Agent/vues-deplacements/contexte/detection-d-anomalies.md
T
maximeandClaude Opus 5.5 8d9b927600 Show each jump and trend on the curves when hovering its row (D-055)
The Displacements tab now puts the list on the left and the curves on
the right, kept on screen while the list scrolls. Hovering a row keeps
only its target in color and draws it on the curves, with fixed scales:
a jump gets its 2 hours highlighted, the 24 h levels before and after
and an arrow with the jump in mm; a trend gets its period, the
Theil-Sen line, the daily levels, its start and end and the drift as
an arrow. #focus=j0-0, t0 or e0 opens with a row hovered, for captures.

Documented in the detection note: on NORDEND, PR17 and PR06 clear the
thresholds by a wide margin, the next curves fall short (PR03 nearest).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-19 09:30:17 +02:00

90 lines
9.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Détection mécanique des anomalies dans les déplacements
- **Date** : 2026-10-16. **Statut** : dans la maquette, onglet `Displacements` de la page Explore (`maquette/spec.md`, « L'onglet Displacements »), sauts et tendances. Très expérimental, à la demande de l'utilisateur : pas de revue ni de haute qualité, on essaie des choses et on converge lentement vers une solution qui marche et qui soit efficace. Premier retour (2026-10-19) : la vue d'ensemble en gris avec les courbes d'intérêt en couleur lui plaît ; le survol d'une ligne montre maintenant le saut ou la tendance sur les courbes, sans changer l'échelle (`maquette/spec.md`). Décision liée : D-055.
- **Origine** : demande de l'utilisateur après le cas NORDEND (`cas/2026-10_NORDEND/parcours.md`), où l'anomalie est le saut de PR17 le 08/10.
## L'idée
- Le diagnostic a plusieurs facettes. L'une d'elles : un système qui **détecte lui-même** les anomalies, sans qu'on lui désigne la cible (à l'inverse de l'enquête à la demande, D-042, et de `Analyze by AI` dans la maquette).
- Traiter les données finales (les déplacements en mm) pour en sortir ce qui est intéressant, dans deux buts :
- **diagnostic poussé** : mettre en avant une courbe, puis l'ouvrir dans View et Diagnosis ou la confier à l'agent ;
- **écarter** le bruit et les données sans intérêt.
- Le constat : sur la page des déplacements, beaucoup de courbes et de fluctuations, la plupart sans valeur de diagnostic ; parfois une courbe l'est (PR17). C'est elle qu'il faut faire ressortir.
- **Sans modifier les données** : on calcule, on classe, on montre ; les courbes restent brutes. Différent de D-044 (`docs/displacement/cadrage.md`), qui produit une courbe corrigée.
## Ce qui compte pour le client : sauts et tendances
- Les cibles bougent avec la météo, la température, le soleil, de façon **périodique** (jour et nuit) ou **saisonnière**, puis reviennent à leur place.
- Le client regarde les déplacements horizontaux et verticaux, pas les erreurs (traitées en amont : seuils, mesures rejetées). Ce qui compte pour lui, selon l'utilisateur (2026-10-16), ce sont deux choses :
- **les sauts** : un décalage soudain de la courbe, qui dure. Tous les sauts de la plage, retours compris (PR17 saute le 08/10 et revient le 12/10) ;
- **les tendances** : une hausse ou une baisse lente, faite de petits décalages qu'aucun saut ne capte ; elle peut annoncer une dégradation de l'ouvrage (affaissement…).
- Savoir métier correspondant : `docs/displacement/domaine/ce-que-regarde-le-client.md`.
- Où le montrer : l'onglet `Displacements` de la page Explore de la maquette (construit le 2026-10-16 ; d'abord une page à part, déplacée en onglet le jour même).
- Lecture de l'expert sur NORDEND, pour juger la détection : PR17 saute nettement en vertical et en horizontal le 08/10 et revient à la normale fin du 12/10 ou le 13/10 ; « à part PR17, les autres cibles n'ont pas l'air de bouger tant que ça ». La détection actuelle trouve exactement ces deux événements.
## Méthode actuelle (2026-10-16, deuxième version)
Sur l'export horaire (mm), pour chaque cible et chaque axe ; constantes et seuils dans `maquette/explore.py`.
- **Amplitude journalière** de la cible : médiane, sur les jours UTC d'au moins 20 heures, de max − min.
- **Saut** : un changement **brutal** (sur 2 h, au moins 8 fois ce que la cible bouge d'habitude en 2 h) qui **dure** (médiane des 24 h après − médiane des 24 h avant, de même sens, au moins la moitié du changement brutal et 1,4 fois l'amplitude journalière). Tous les sauts de la plage, un par ±24 h et par axe. Le cycle du jour et la météo sont lents et reviennent : ils ne passent pas.
- **Tendance** : sauts retirés (pour le calcul seulement), la médiane de chaque jour UTC ; pente de Theil-Sen (médiane des pentes entre deux jours) et régularité (tau de Kendall, part des paires de jours qui vont dans le même sens). Gardée si la dérive sur la période atteint l'amplitude journalière et si |tau| ≥ 0,6 ; il faut 5 jours au moins.
- Seuils provisoires, sans source, réglés sur les jeux ci-dessous.
| Jeu | Sauts | Tendances |
|---|---|---|
| NORDEND, octobre (cas PR17) | deux événements, PR17 seule : 08/10 01:00 → 04:00 (−8,5 mm en vertical, +5,1 en horizontal) ; retour le 12/10 21:00 → 23:00 (−4,9 mm en horizontal, +2,6 en vertical) | PR06 en horizontal : +0,7 mm en 10 jours (amplitude 0,5 mm) |
| PS des Coudres (sain) | aucun | aucune |
| WILDSTRUBEL | aucun | (3 jours : trop court) |
| NORDEND, juillet | PR18 en vertical, −4,4 mm le 28/07 vers 23:00, revenu ensuite | (4 jours : trop court) |
| CLARIDEN (incident de Barcelone) | un événement de 21 cibles, 18/09 21:00 → 19/09 08:00 | (3 jours : trop court) |
### Marge sous les seuils (NORDEND, octobre ; 2026-10-19)
Sur les 36 courbes (18 cibles, deux axes), ce qui passe ou frôle les seuils ; calcul fait à part, sur les fonctions de `maquette/explore.py`, sans changer la page. Lu par l'utilisateur : « plutôt bien ».
- **Sauts**, le meilleur candidat de chaque courbe : PR17 passe largement (vertical : brutal 42,9 fois pour un seuil de 8, durable 4,75 amplitudes pour 1,4 ; horizontal : 27,6 et 4,04). Les suivants échouent, au moins sur la durée :
| Courbe | Brutal (seuil 8) | Durable (seuil 1,4) | Décalage | Heure (UTC) |
|---|---|---|---|---|
| PR03 horizontal | 10,2 | 1,22 | +0,8 mm | 08/10 08:00 |
| PR04 horizontal | 6,3 | 1,03 | +1,3 mm | 09/10 23:00 |
| PR07 vertical | 5,7 | 1,04 | +1,1 mm | 13/10 23:00 |
| PR11 vertical | 5,8 | 0,93 | +1,0 mm | 07/10 23:00 |
- **Tendances** : PR06 en horizontal passe (dérive 1,36 amplitude pour un seuil de 1, |tau| 0,82 pour 0,6). Les suivantes plafonnent vers 0,7 amplitude et ne sont pas assez régulières : PR05 horizontal (+0,43 mm, 0,73 amplitude, |tau| 0,42), PR08 vertical (−0,71 mm, 0,66, 0,56), PR03 horizontal (+0,45 mm, 0,66, 0,56), PR17 vertical (+1,10 mm, 0,61, 0,51).
- Lecture : PR17 et PR06 se détachent nettement ; aucune autre courbe ne frôle les deux critères à la fois. Cohérent avec l'expert (« à part PR17, les autres cibles n'ont pas l'air de bouger tant que ça »). PR03 est le plus proche d'un faux saut : à surveiller si les seuils baissent.
Pourquoi la première version ne suffisait pas : le plus grand écart des médianes sur 24 h, un par axe, au-dessus de 3 fois l'amplitude journalière, cachait le retour de PR17. Même à 2 fois, son retour vertical (2,6 mm, 1,5 fois l'amplitude) ne se distinguait pas des petits écarts d'autres cibles (PR03 à 1,2). Ce qui le distingue, c'est qu'il est brutal : 2,6 mm en 2 h.
## Premier essai (2026-10-16, remplacé)
Méthode, sur l'export horaire (mm), pour chaque cible et chaque axe : à chaque heure t, la médiane des 24 h qui suivent moins celle des 24 h qui précèdent. Des fenêtres de 24 h absorbent le cycle jour et nuit. On garde le plus grand saut et on le rapporte à l'amplitude journalière propre de la cible (médiane, sur les jours UTC, de max − min).
| Jeu | Plus grand saut / amplitude journalière | Lecture |
|---|---|---|
| NORDEND, octobre (cas PR17) | PR17 : 4,7 en vertical (−8,4 mm, 08/10 vers 03:00 UTC), 4,1 en horizontal (+5,1 mm) ; toutes les autres cibles ≤ 1,2 | PR17 sort seule |
| PS des Coudres (sain selon le spécialiste) | ≤ 1,1 | rien |
| WILDSTRUBEL | ≤ 0,9 | rien |
| NORDEND, juillet | ≤ 1,5 (PR18) | rien |
| CLARIDEN (incident de Barcelone) | 24 à 28 sur 4 cibles à la même heure (18/09 vers 22:00) | saut commun : mode commun, à montrer comme un seul événement |
| NIEDERHORN | — | export horaire trop court (< 72 h) |
Ce qu'on en retient :
- **Mode commun** : plusieurs cibles qui sautent ensemble ne font pas plusieurs anomalies. Dire combien sautent en même temps (règle du projet : ne pas confondre mode commun et mouvement structurel).
- **« Sans retour »** : PR17 revient en partie le 12/10 vers 23:00 ; en fin de fenêtre, il reste −4,8 mm en vertical, et l'horizontal est revenu (+0,25 mm). Plutôt que « jamais revenu », détecter un saut qui dure (au moins 24 h) et dire ce qu'il en reste à la fin.
- **Limites** : seuil pas encore choisi (entre 1,5 et 4 sur ces jeux, sans source) ; jeux courts (2 à 10 jours) ; l'heure de l'export horaire est prise en UTC+2 partout (vrai en Suisse en octobre, à vérifier ailleurs) ; un saut n'est connu qu'un jour après (il faut les 24 h qui suivent).
## Autres méthodes (pistes)
- **CUSUM ou Page-Hinkley** sur les médianes journalières : voit les sauts et les dérives lentes qui s'accumulent ; plus de réglages, moins lisible.
- **Écart à la même heure la veille** : suit mieux le cycle quand il est régulier ; mais quand la météo change le cycle (NORDEND le 08/10 : soleil puis ciel couvert), fausses alertes.
- **Saisonnier** : demande des mois d'historique (base de données de la plateforme, plus tard).
## Plus tard
- L'autre facette : écarter le bruit, donc dire « rien à signaler » sur les autres courbes.
- Tendance sur une plage choisie (aujourd'hui : toute la période de l'export), et tendance qui change de pente.
- Autres scénarios proposés à l'utilisateur (2026-10-16), non retenus pour l'instant :
- **accélération** : la vitesse d'une tendance augmente ; en surveillance de versants, c'est le signe classique avant une rupture ;
- **cible qui se sépare de ses voisines** : une zone de l'ouvrage bouge, ou une seule cible ;
- **le cycle qui change** : l'amplitude journalière qui grandit ou diminue (NORDEND, à partir du 08/10 : soleil puis ciel couvert) ; sans doute la météo, pas un déplacement.