From d2a1fcef250a651656d53f3751758dad292c06fe Mon Sep 17 00:00:00 2001 From: maxime Date: Tue, 27 Oct 2026 09:00:34 +0100 Subject: [PATCH] =?UTF-8?q?Ajouter=20le=20d=C3=A9tecteur=20degradee=20et?= =?UTF-8?q?=20la=20ligne=20Error=20rate=20de=20la=20page=20des=20d=C3=A9te?= =?UTF-8?q?cteurs?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Détecteur degradee : une cible rejetée la plupart du temps, jour après jour, quand les autres sont vues (catégorie cible_degradee, grisée, comptée par la boucle). Page detecteurs.py : error_value moyenne de tous les capteurs à chaque instant, du vert au rouge, sous les barres. Co-Authored-By: Claude Opus 5.5 --- .claude/skills/boucle/detecteurs.py | 33 +++++++-- .claude/skills/boucle/score.py | 2 +- CLAUDE.md | 2 +- .../domaine/carte-des-evenements.md | 44 ++--------- vues-deplacements/detectors/categories.py | 6 +- vues-deplacements/detectors/degradee.py | 74 +++++++++++++++++++ 6 files changed, 114 insertions(+), 47 deletions(-) create mode 100644 vues-deplacements/detectors/degradee.py diff --git a/.claude/skills/boucle/detecteurs.py b/.claude/skills/boucle/detecteurs.py index e270e0c..fa08bd8 100644 --- a/.claude/skills/boucle/detecteurs.py +++ b/.claude/skills/boucle/detecteurs.py @@ -1,7 +1,8 @@ """Les détecteurs du journal seuls, sur une plage d'un dossier de station : la page de comparaison.py sans l'analyste. En haut, corr_x et corr_y de chaque capteur (px) ; dessous, une ligne par catégorie, les événements des détecteurs dans -leur état actuel (la plage classée avec ses 3 jours d'historique, comme un lot de /boucle) ; en bas, la liste des +leur état actuel (la plage classée avec ses 3 jours d'historique, comme un lot de /boucle), et la ligne « Error rate » : +à chaque instant, l'error_value moyenne de tous les capteurs (du vert au rouge, échelle fixe de 0 à 1) ; en bas, la liste des événements et leur phrase. Ne modifie rien et n'écrit dans aucun historique. Usage : python3 .claude/skills/boucle/detecteurs.py [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] (--au exclu ; sans dates, toute la période du dossier ; page : out/detecteurs___.html, ouverte) @@ -11,6 +12,9 @@ import html import os import statistics +# du vert au rouge (demande de l'utilisateur, 2026-10-27) : couleurs d'état de la palette de référence (skill dataviz) +VERT_ROUGE = ["#0ca30c", "#fab219", "#ec835a", "#d03b3b"] + import comparaison # noqa: E402 (met src/, detectors/ et les outils sur le chemin ; barres, survol, couleurs) from comparaison import AUTOSCALE_Y_JS, ROOT, est_reference, go, make_subplots, open_html, score @@ -33,9 +37,17 @@ def page(dossier, du=None, au=None): presentes = {v["category"] for v in evts} ordre = [c for c in [*score.categories.CATEGORIES, *sorted(presentes - set(score.categories.CATEGORIES))] if c in presentes] - fig = make_subplots(rows=3, cols=1, shared_xaxes=True, vertical_spacing=0.04, - row_heights=[260, 260, 30 * len(ordre) + 20], - subplot_titles=("corr_x (px)", "corr_y (px)", "Événements des détecteurs, par catégorie")) + par_t = {} + for ms in mesures.values(): + for m in ms: + if a <= m["t"] < b and m["error_value"] is not None: + par_t.setdefault(m["t"], []).append((m["error_value"], m["error_threshold"])) + erreurs = sorted(par_t.items()) + + # Error rate dans sa propre rangée : une heatmap sur les axes des barres fait planter plotly.js 4.1.1 + fig = make_subplots(rows=4, cols=1, shared_xaxes=True, vertical_spacing=0.025, + row_heights=[260, 260, 30 * len(ordre) + 20, 30], + subplot_titles=("corr_x (px)", "corr_y (px)", "Événements des détecteurs, par catégorie", "")) for s in sorted(mesures): ms = [m for m in mesures[s] if a <= m["t"] < b] for row, col in ((1, "corr_x"), (2, "corr_y")): @@ -44,8 +56,15 @@ def page(dossier, du=None, au=None): hovertemplate=f"{s} : %{{y:.3f}} px"), row=row, col=1) if spans: fig.add_trace(comparaison.barres("Détecteurs", comparaison.SCRIPTS, spans, pas, 1, "d"), row=3, col=1) - fig.update_layout(bargap=0.3, height=620 + 30 * len(ordre), showlegend=False, hovermode="closest", plot_bgcolor="white", - margin={"l": 170, "r": 20, "t": 40, "b": 40}) + fig.add_trace(go.Heatmap( + x=[t for t, _ in erreurs], y=["Error rate"], z=[[statistics.mean(e for e, _ in v) for _, v in erreurs]], + text=[[f"{len(v)} capteurs, {sum(1 for e, th in v if th is not None and e > th)} rejetés" for _, v in erreurs]], + zmin=0, zmax=1, colorscale=[[i / (len(VERT_ROUGE) - 1), c] for i, c in enumerate(VERT_ROUGE)], + colorbar={"title": {"text": "Error rate", "side": "right"}, "thickness": 12, "len": 0.3, "y": 0, "yanchor": "bottom"}, + hovertemplate="%{x|%Y-%m-%d %H:%M} UTC
error_value moyenne : %{z:.3f}
" + "%{text}"), row=4, col=1) + fig.update_layout(bargap=0.3, height=680 + 30 * len(ordre), showlegend=False, hovermode="closest", plot_bgcolor="white", + margin={"l": 170, "r": 90, "t": 40, "b": 40}) fig.update_xaxes(type="date", range=[a, b], showgrid=True, gridcolor="#e6e6e2") fig.update_yaxes(showgrid=True, gridcolor="#eeeeea", zeroline=False) fig.update_yaxes(categoryorder="array", categoryarray=ordre[::-1], row=3, col=1) @@ -65,7 +84,7 @@ table{{border-collapse:collapse;font-size:14px}} th,td{{padding:4px 10px;border- th{{font-weight:600;color:#3d3d3a}}

Détecteurs, {html.escape(station)} : {score.iso(a)} → {score.iso(b)} (UTC)

Les détecteurs du journal tels qu'ils sont (version {comparaison.benchmark.version()}), la plage classée avec ses 3 jours d'historique. -Survol d'une barre : capteurs et phrase. Zoom par sélection ; la liste complète est sous la figure.

+Survol d'une barre : capteurs et phrase ; ligne Error rate : error_value moyenne de tous les capteurs à chaque instant. Zoom par sélection ; la liste complète est sous la figure.

{corps}

{len(evts)} événement(s)

{lignes}
DébutFinCatégorieCapteursPhrase
""") diff --git a/.claude/skills/boucle/score.py b/.claude/skills/boucle/score.py index 77ce66e..8c6b441 100644 --- a/.claude/skills/boucle/score.py +++ b/.claude/skills/boucle/score.py @@ -29,7 +29,7 @@ from donnees import charger, instant, iso # noqa: E402 from etiquettes import defauts, vocabulaire # noqa: E402 HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056) -IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "saut_bref"} # zones grisées (carte, section 4) +IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "cible_degradee", "saut_bref"} # zones grisées (carte, section 4) # ponytail: la turbulence est toujours « prudence » : l'étiquette ne dit pas si elle est forte (grisée alors dans le # journal) ; un champ de force dans les étiquettes si cet écart compte PRUDENCE = {"visibilite_reduite", "turbulence"} diff --git a/CLAUDE.md b/CLAUDE.md index 332c56a..5d59064 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -17,7 +17,7 @@ Agent de diagnostic proactif pour **AIMsight**, un système de surveillance opti - **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`. - **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`. - **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST. -- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/detectors/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, lancé une fois par l'utilisateur le 2026-10-26, NORDEND sur 2 jours, identique aux exports reçus ; sortie dans `data/`, hors de git, D-065 ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité directement sur `master` (D-070), chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062), et une page de fin de séance, l'analyste face aux détecteurs sur toute la plage (`comparaison.py`, D-066), et un benchmark des détecteurs sur la base de cas, chacun avec son diagnostic figé, versionné dans un historique (`benchmark.py`, D-069) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. +- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/detectors/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, `degradee`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, lancé une fois par l'utilisateur le 2026-10-26, NORDEND sur 2 jours, identique aux exports reçus ; sortie dans `data/`, hors de git, D-065 ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité directement sur `master` (D-070), chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062), et une page de fin de séance, l'analyste face aux détecteurs sur toute la plage (`comparaison.py`, D-066), et un benchmark des détecteurs sur la base de cas, chacun avec son diagnostic figé, versionné dans un historique (`benchmark.py`, D-069) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. - **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande. ## Analyses (domaine Energy) diff --git a/docs/displacement/domaine/carte-des-evenements.md b/docs/displacement/domaine/carte-des-evenements.md index 31634b8..0219a2c 100644 --- a/docs/displacement/domaine/carte-des-evenements.md +++ b/docs/displacement/domaine/carte-des-evenements.md @@ -7,6 +7,10 @@ - Les événements sont rangés en **six familles**, de la mesure qui manque à l'ouvrage qui bouge. Les familles A à E sont surtout des **« trucs bêtes »** (zone à ignorer) ou des choses à réparer ; la famille F, l'ouvrage, est ce qu'il faut regarder. - Le label annonce la **cause probable**, déduite des courbes ; elle n'est vue que si une image la montre (niveau de preuve des fiches). Plusieurs événements peuvent se superposer (C-003 : turbulence et soleil ; C-005 : trains, pluie et feuilles en trois jours). +## Le graphe des éventualités + +[`docs/displacement/eventualites-et-categories.drawio`](../eventualites-et-categories.drawio) : à gauche ce qui peut arriver sur le terrain (23 éventualités, en cinq familles : météo et lumière, obstacles, cibles, caméra et station, ouvrage), à droite la catégorie du journal qui le montre ; une éventualité peut en donner plusieurs (la neige sur les cibles : visibilité réduite ou nulle, ou cible masquée). Sans le détail des données : il est dans la section 1. Deux catégories n'existent pas encore dans le journal (2026-10-27, demande de l'utilisateur) : **Cible défaillante**, une cible mal vue ou mal suivie durablement (cible terne ou sans tache nette, cible mal configurée ; les cas C-008 à C-011 et les cibles toujours rejetées des étiquettes de l'analyste, qu'il range aujourd'hui hors catégorie ou à vérifier) ; **Cible déplacée**, ce qu'établit la vérification d'un `À vérifier` ou d'une dérive lente : cible endommagée ou bougée, ou altération de l'ouvrage. + ## 1. Les événements | Famille | Ce qui se passe | Source AIMsight | @@ -65,42 +69,7 @@ Détecteurs du journal : `visibilite` (`error_value` au-dessus du seuil), `sauts ## 2. Comment aller d'une courbe à son événement -```mermaid -flowchart TD - S(["Quelque chose se voit sur les courbes"]) --> Q1{"Des mesures manquent ?"} - Q1 -- oui --> E1["Trou de données
(No data)"] - Q1 -- non --> Q2{"error_value au-dessus du seuil ?"} - - Q2 -- non --> Q3{"Chaque jour aux mêmes heures ?"} - Q3 -- oui --> E7["Cycle thermique
(Daily thermal cycle)"] - Q3 -- non --> Q4{"Le décalage reste ?"} - Q4 -- non --> N["Fluctuation normale
rien à signaler"] - Q4 -- oui --> Q5{"Une cible ou beaucoup ?"} - Q5 -- "une, d'un coup" --> E11["Une cible a sauté
(Target shifted)"] - Q5 -- "une, lentement" --> E12["Dérive lente
(Slow drift)"] - Q5 -- "beaucoup, références comprises" --> E10["Tout a bougé
(Whole scene moved)"] - - Q2 -- oui --> Q6{"Chaque jour, de jour ?"} - Q6 -- "oui, toutes les cibles" --> E8["Turbulence
(Heat haze)"] - Q6 -- "oui, une ou quelques cibles" --> E9["Éclairage
(Glare)"] - Q6 -- non --> Q7{"Les références sont touchées ?"} - Q7 -- oui --> Q10{"Retour à la normale ?"} - Q10 -- oui --> E6["Références masquées
(References hidden)"] - Q10 -- non --> E10 - Q7 -- non --> Q8{"Une cible ou beaucoup ?"} - Q8 -- une --> E5["Feuilles, plante
(Leaves on target)"] - Q8 -- beaucoup --> Q9{"Combien de temps ?"} - Q9 -- "une mesure" --> E4["Passage
(Passing obstacle)"] - Q9 -- "quelques heures" --> E2["Pluie, brume, buée
(Rain or fog)"] - Q9 -- "des jours, en hiver" --> E3["Neige
(Snow on targets)"] - - classDef ignorer fill:#e8f5e9,stroke:#2e7d32,color:#1b1b1b; - classDef regarder fill:#ffebee,stroke:#c62828,color:#1b1b1b; - class E1,E2,E3,E4,E5,E6,E7,E8,E9,N ignorer; - class E10,E11,E12 regarder; -``` - -L'arbre ne range encore que les 12 événements de la première version (2026-10-23) ; ceux ajoutés le 2026-10-24 n'y sont pas. Vert : sans gravité (zone à ignorer, ou normal comme le cycle thermique). Rouge : à regarder. Les seuils (« beaucoup », « quelques heures », « des jours ») restent à fixer sur les données ; les durées citées sont celles des cas. +Remplacée par le graphe des éventualités, en tête de la carte ; l'arbre de décision a été retiré le 2026-10-27 (demande de l'utilisateur : plus simple, sans le détail des données). ## 3. Ce qu'aucun détecteur n'attrape encore @@ -112,7 +81,7 @@ L'arbre ne range encore que les 12 événements de la première version (2026-10 ## 4. Catégories du journal et processus -Validées par l'utilisateur le 2026-10-24 (point 5 du plan du journal du matin, précision de D-056). La carte dit ce qui a pu arriver ; le journal n'affiche que ce que les détecteurs reconnaissent aujourd'hui, en **onze catégories** (la dérive lente ajoutée au point 16 ; huit le 2026-10-24 au point 5 ; la perte de visibilité dédoublée en deux niveaux au point 38 ; le cycle thermique devenu l'effet périodique, dilatation puis contraction, au point 41), dites sans « probably » : la catégorie dit ce qui est établi (« No visibility » : les cibles n'étaient pas vues), les images montrent la cause. Les lignes de la section 1 qu'aucune catégorie ne couvre encore attendent leur détecteur. +Validées par l'utilisateur le 2026-10-24 (point 5 du plan du journal du matin, précision de D-056). La carte dit ce qui a pu arriver ; le journal n'affiche que ce que les détecteurs reconnaissent aujourd'hui, en **douze catégories** (la cible dégradée ajoutée le 2026-10-27, détecteur `degradee` ; la dérive lente ajoutée au point 16 ; huit le 2026-10-24 au point 5 ; la perte de visibilité dédoublée en deux niveaux au point 38 ; le cycle thermique devenu l'effet périodique, dilatation puis contraction, au point 41), dites sans « probably » : la catégorie dit ce qui est établi (« No visibility » : les cibles n'étaient pas vues), les images montrent la cause. Les lignes de la section 1 qu'aucune catégorie ne couvre encore attendent leur détecteur. | Catégorie | Label du site | Lignes de la section 1 | Épisodes qui la font | Zone | Processus | Phrase du journal | |---|---|---|---|---|---|---| @@ -120,6 +89,7 @@ Validées par l'utilisateur le 2026-10-24 (point 5 du plan du journal du matin, | `visibilite_nulle` | No visibility | pluie, brume, buée ; neige ; givre, glace ; toile d'araignée ; fumée, poussière ; manque de lumière ; références masquées | `visibilite` « Poor visibility », niveau `none` (au moins la moitié des cibles habituellement vues rejetées) | grisée | bouton `Images` | The camera could not see {n} targets clearly{, including the reference targets}. The curves in this period are not reliable: ignore them. | | `passage` | Passing obstacle | passage (train, véhicule, animal, personne) ; les trains de C-005 y sont rangés (effet optique) | `visibilite` « Brief obstruction » | grisée sur l'instant | bouton `Images` | Something passed in front of {n} targets for a single measurement. Ignore this point on the curves. | | `cible_masquee` | Target hidden | feuilles, plante ; objet posé devant ; éclairage, voisin trop brillant ; neige sur une cible | `visibilite` « Target obscured » | grisée pour ces cibles seulement | bouton `Images` | {cible} was hidden several times while the targets around it stayed clear. Ignore its curve in this period. (pluriel : « … were … them … their curves ») | +| `cible_degradee` | Degraded target | cible sale ou terne ; feuilles, plante ; cible heurtée, abîmée ; réglage changé | `degradee` « Degraded target » : au moins la moitié de ses mesures rejetées quand les autres cibles sont vues, 2 jours de suite au moins | grisée pour ces cibles seulement | bouton `Images` | {cible} was rejected most of the time, day after day, while the other targets were seen. Ignore its curve in this period and look at the images of the target. (pluriel : « … were … their curves ») | | `turbulence` | Heat haze | turbulence ; mât qui vibre (en partie) | `turbulence` | grisée si forte | une phrase | Warm air made the readings shake. The small fast wiggles are not movement. | | `dilatation_thermique` | Thermal expansion | dilatation thermique de l'ouvrage ; cycle thermique | `thermique` « Thermal expansion » : de la première heure chaude au plus grand écart au niveau de nuit | **pas grisée** (normal) | une phrase | The structure expands in the day heat. This daily wave is normal: nothing to do. | | `contraction_thermique` | Thermal contraction | dilatation thermique de l'ouvrage ; cycle thermique | `thermique` « Thermal contraction » : du plus grand écart à la fin des heures chaudes | **pas grisée** (normal) | une phrase | The structure contracts as it cools down. This daily wave is normal: nothing to do. | diff --git a/vues-deplacements/detectors/categories.py b/vues-deplacements/detectors/categories.py index d6e9bb4..9f8780f 100644 --- a/vues-deplacements/detectors/categories.py +++ b/vues-deplacements/detectors/categories.py @@ -30,6 +30,7 @@ CATEGORIES = { "visibilite_nulle": {"label": "No visibility", "ignore": True, "process": "images"}, "passage": {"label": "Passing obstacle", "ignore": True, "process": "images"}, "cible_masquee": {"label": "Target hidden", "ignore": True, "process": "images"}, + "cible_degradee": {"label": "Degraded target", "ignore": True, "process": "images"}, # detectors/degradee.py "turbulence": {"label": "Heat haze", "ignore": None, "process": "aucun"}, "dilatation_thermique": {"label": "Thermal expansion", "ignore": False, "process": "aucun"}, # effet périodique "contraction_thermique": {"label": "Thermal contraction", "ignore": False, "process": "aucun"}, # (point 41) @@ -45,7 +46,7 @@ LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite", ("sauts", "Jump, not back yet", None): "a_verifier", ("thermique", "Thermal expansion", None): "dilatation_thermique", ("thermique", "Thermal contraction", None): "contraction_thermique"} -KINDS = {"turbulence": "turbulence", "trous": "trou"} +KINDS = {"turbulence": "turbulence", "trous": "trou", "degradee": "cible_degradee"} HOSTS = {"visibilite_reduite", "visibilite_nulle", "passage", "turbulence"} # absorbent un saut revenu (point 5) MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (point 5, 2026-10-24) @@ -97,6 +98,9 @@ def phrase(cat, groupe, sensors, references): "passage": f"Something passed in front of {targets(n)} for a single measurement. Ignore this point on the curves.", "cible_masquee": f"{', '.join(sensors)} {'was' if one else 'were'} hidden several times while the targets around " f"{'it' if one else 'them'} stayed clear. Ignore {'its curve' if one else 'their curves'} in this period.", + "cible_degradee": f"{', '.join(sensors)} {'was' if one else 'were'} rejected most of the time, day after day, " + f"while the other targets were seen. Ignore {'its curve' if one else 'their curves'} in this period " + "and look at the images of the target.", "turbulence": "Warm air made the readings shake. The small fast wiggles are not movement.", "dilatation_thermique": "The structure expands in the day heat. This daily wave is normal: nothing to do.", "contraction_thermique": "The structure contracts as it cools down. This daily wave is normal: nothing to do.", diff --git a/vues-deplacements/detectors/degradee.py b/vues-deplacements/detectors/degradee.py new file mode 100644 index 0000000..9638af0 --- /dev/null +++ b/vues-deplacements/detectors/degradee.py @@ -0,0 +1,74 @@ +"""Journal du matin : cible rejetée la plupart du temps, jour après jour, quand les autres sont vues (cible dégradée). + +Le détecteur visibilite compare chaque capteur à son propre niveau habituel : une cible presque toujours rejetée lui +paraît normale (FLORIDA, octobre 2026 : Massif 2 et Sellette 6 rejetées la moitié des mesures ou plus, chaque jour). +Méthode (seuils provisoires, Claude, 2026-10-27) : +1. Instant calme pour un capteur : au plus CALME des autres capteurs rejetés (error_value > error_threshold) ; la météo et + la buée, qui touchent tout le monde, sont ainsi mises de côté. +2. Par jour UTC et par capteur, sur ses instants calmes (au moins MIN_INSTANTS, sinon le jour ne compte pas) : jour dégradé + si au moins PART d'entre eux sont rejetés. +3. Épisode : au moins MIN_JOURS jours dégradés de suite (un jour qui ne compte pas ne coupe pas la suite), de la première + mesure du premier jour à la dernière du dernier ; ignore = True : la courbe de la cible n'est pas fiable. +Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à +e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien +sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images. +Usage : python3 vues-deplacements/detectors/degradee.py (affiche les épisodes) +""" +import os +import sys + +sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils")) +from donnees import charger, iso # noqa: E402 + +CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme +PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps » +MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas +MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs) + + +def rejete(m): + return m["error_value"] is not None and m["error_threshold"] is not None and m["error_value"] > m["error_threshold"] + + +def detect(mesures): + par_t = {} + for s, ms in mesures.items(): + for m in ms: + par_t.setdefault(m["t"], {})[s] = rejete(m) + jours = {} # capteur -> jour -> [rejetés, calmes, première mesure, dernière] + for t in sorted(par_t): + d = par_t[t] + for s, r in d.items(): + autres = [v for k, v in d.items() if k != s] + c = jours.setdefault(s, {}).setdefault(t.date(), [0, 0, t, t]) + c[3] = t + if autres and sum(autres) / len(autres) <= CALME: + c[0] += r + c[1] += 1 + out = [] + for s, js in sorted(jours.items()): + suites, cur = [], [] + for j in sorted(js): + rej, calmes = js[j][:2] + if calmes < MIN_INSTANTS: + continue + if rej / calmes >= PART: + cur.append(js[j]) + elif cur: + suites.append(cur) + cur = [] + suites += [cur] if cur else [] + for su in suites: + if len(su) < MIN_JOURS: + continue + part = round(100 * sum(c[0] for c in su) / sum(c[1] for c in su)) + out.append({"start": iso(su[0][2]), "end": iso(su[-1][3]), "kind": "degradee", "label": "Degraded target", + "text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, " + f"{len(su)} days in a row.", + "ignore": True, "sensors": [s]}) + return sorted(out, key=lambda e: e["start"]) + + +if __name__ == "__main__": + for e in detect(charger(sys.argv[1])): + print(e)