Give every journal category a detector: slow drift, faulty target, large shift, camera thermal (D-074)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-27 09:28:29 +01:00
1 parent ae5bfdc688
commit 876572b0fc
11 files changed
+221 -48

No files matched your search

+3 -3
View File
@@ -17,7 +17,7 @@ Tu reçois : le dossier de station, le lot (début et fin, UTC), la commande du
- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils et ta façon de lire ; - `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils et ta façon de lire ;
- le dossier de station, par ces outils, et ses images avec Read ; - le dossier de station, par ces outils, et ses images avec Read ;
- `docs/domaine/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md`, que ce skill cite ; - `docs/domaine/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md`, que ce skill cite ;
- `docs/displacement/domaine/carte-des-evenements.md` : ce qui peut arriver, en familles, et les catégories du journal (section 4) ; - `docs/displacement/domaine/carte-des-evenements.md` : ce qui peut arriver, en familles, et les catégories du journal (section 4 : définition de chacune, éventualités du terrain qui la font, détecteurs ; D-074) ;
- à l'étape 4 seulement, jamais avant : `agents/diagnostic/cas/INDEX.md`, puis les fiches `cas.md` qu'il cite et leurs figures. - à l'étape 4 seulement, jamais avant : `agents/diagnostic/cas/INDEX.md`, puis les fiches `cas.md` qu'il cite et leurs figures.
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni rien dans `vues-deplacements/` hors du dossier de station (pas de `parcours.md`, pas de `plateforme/`), ni les critiques et bilans d'autres lots, ni le code des détecteurs. Ils contiennent des conclusions sur ces données ; ton jugement doit partir des données. Tu listes tout ce que tu as lu dans « Sources lues ». Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni rien dans `vues-deplacements/` hors du dossier de station (pas de `parcours.md`, pas de `plateforme/`), ni les critiques et bilans d'autres lots, ni le code des détecteurs. Ils contiennent des conclusions sur ces données ; ton jugement doit partir des données. Tu listes tout ce que tu as lu dans « Sources lues ».
@@ -32,7 +32,7 @@ Ceux de `lire-les-donnees`, avec `--debut` et `--fin` du lot et `--sortie <dossi
2. **Les détecteurs.** Lance la commande du lot telle qu'elle est donnée ; colle sa sortie. 2. **Les détecteurs.** Lance la commande du lot telle qu'elle est donnée ; colle sa sortie.
3. **Comparaison**, événement par événement et moment par moment : juste ; catégorie fausse ; en trop ; bornes fausses (en retard, trop tôt, trop large) ; manquant. Une ligne chacun, avec pourquoi. Un événement des détecteurs juste, que tu vérifies dans les données mais qui manque à ta lecture : ajoute-le à tes étiquettes avec `"apres_detecteurs": true`, et relance le contrôle. Ne change jamais les étiquettes de l'étape 1. 3. **Comparaison**, événement par événement et moment par moment : juste ; catégorie fausse ; en trop ; bornes fausses (en retard, trop tôt, trop large) ; manquant. Une ligne chacun, avec pourquoi. Un événement des détecteurs juste, que tu vérifies dans les données mais qui manque à ta lecture : ajoute-le à tes étiquettes avec `"apres_detecteurs": true`, et relance le contrôle. Ne change jamais les étiquettes de l'étape 1.
4. **Cas connus**, après les faits : lis l'index, ouvre au plus 3 fiches proches de tes moments. Ce que la base connaît déjà, cas marqués « (appris) » compris. 4. **Cas connus**, après les faits : lis l'index, ouvre au plus 3 fiches proches de tes moments. Ce que la base connaît déjà, cas marqués « (appris) » compris.
5. **Verdict.** « d'accord » si rien d'important n'est à corriger. Sinon « suggestions », **au plus deux**, les plus importantes. Chacune : le défaut, un exemple (moment UTC, capteurs), le détecteur en cause (son nom de fichier tel que la commande le montre après la catégorie ; pour un événement manquant, celui de sa catégorie : `visibilite` pour la visibilité, les passages et les cibles masquées, `sauts` pour les sauts brefs et à vérifier, `thermique`, `turbulence`, `trous`), ce qu'il faudrait, en mots et non en code. Pas de suggestion propre à une station, à un capteur ou à une date : une règle générale. 5. **Verdict.** « d'accord » si rien d'important n'est à corriger. Sinon « suggestions », **au plus deux**, les plus importantes. Chacune : le défaut, un exemple (moment UTC, capteurs), le détecteur en cause (son nom de fichier tel que la commande le montre après la catégorie ; pour un événement manquant, celui de sa catégorie : `visibilite` pour la visibilité, les passages et les cibles masquées, `sauts` pour les sauts brefs et à vérifier, `degradee` (ou `sauts` pour une cible qui bascule) pour la cible défaillante, `derive` pour la dérive lente, `thermique`, `turbulence`, `trous`), ce qu'il faudrait, en mots et non en code. Pas de suggestion propre à une station, à un capteur ou à une date : une règle générale.
6. **Nouveautés** : ce que ni la carte ni l'index ne décrivent ; chacune avec son moment, ses capteurs, ce qui la montre et la figure. 6. **Nouveautés** : ce que ni la carte ni l'index ne décrivent ; chacune avec son moment, ses capteurs, ce qui la montre et la figure.
## Le fichier ## Le fichier
@@ -87,7 +87,7 @@ La ligne Verdict porte un seul mot : `d'accord` ou `suggestions`. Sans suggestio
- `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`. - `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`.
- Les bornes d'un moment sont la première et la dernière mesure touchées, au quart d'heure près : un score les compare, mesure par mesure, à celles des détecteurs (D-062). Un saut qui dure (`a_verifier`) : la mesure du saut seule, pas la période décalée qui suit. - Les bornes d'un moment sont la première et la dernière mesure touchées, au quart d'heure près : un score les compare, mesure par mesure, à celles des détecteurs (D-062). Un saut qui dure (`a_verifier`) : la mesure du saut seule, pas la période décalée qui suit.
- `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés. - `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés.
- `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"` (rien qui soit une catégorie du journal : début d'export, mouvement de caméra compensé…). - `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"`, seulement pour ce qui ne touche pas les courbes (début d'export, petite bosse d'`error_value` sans rejet ni effet sur `corr`). Ce qui change les courbes sans explication va dans `a_verifier` (règle de l'utilisateur, D-074 : ne pas alarmer le client) ; une cible constamment problématique (souvent rejetée, collée, qui bascule ou glisse sans cesse) dans `cible_degradee` ; un mouvement de la caméra par la chaleur, compensé, dans `dilatation_thermique` ou `contraction_thermique`.
- `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie. - `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie.
- `preuve` : `"vue"` si les images la montrent, `"deduite"` si elle vient des courbes seules. - `preuve` : `"vue"` si les images la montrent, `"deduite"` si elle vient des courbes seules.
- `description` : ta colonne « Ce que je vois », en une ou deux phrases. - `description` : ta colonne « Ce que je vois », en une ou deux phrases.
@@ -81,22 +81,26 @@ Remplacée par le graphe des éventualités, en tête de la carte ; l'arbre de d
## 4. Catégories du journal et processus ## 4. Catégories du journal et processus
Validées par l'utilisateur le 2026-10-24 (point 5 du plan du journal du matin, précision de D-056). La carte dit ce qui a pu arriver ; le journal n'affiche que ce que les détecteurs reconnaissent aujourd'hui, en **douze catégories** (la cible dégradée ajoutée le 2026-10-27, détecteur `degradee` ; la dérive lente ajoutée au point 16 ; huit le 2026-10-24 au point 5 ; la perte de visibilité dédoublée en deux niveaux au point 38 ; le cycle thermique devenu l'effet périodique, dilatation puis contraction, au point 41), dites sans « probably » : la catégorie dit ce qui est établi (« No visibility » : les cibles n'étaient pas vues), les images montrent la cause. Les lignes de la section 1 qu'aucune catégorie ne couvre encore attendent leur détecteur. Validées par l'utilisateur le 2026-10-24 (point 5 du plan du journal du matin, précision de D-056), **redéfinies par ce qui arrive sur le terrain le 2026-10-27 (D-074)** : le graphe des éventualités, en tête de la carte, relie chaque éventualité à ses catégories. La carte dit ce qui a pu arriver ; le journal n'affiche que ce que les détecteurs reconnaissent, en **douze catégories**, au moins un détecteur chacune, dites sans « probably » : la catégorie dit ce qui est établi (« No visibility » : les cibles n'étaient pas vues), les images montrent la cause.
| Catégorie | Label du site | Lignes de la section 1 | Épisodes qui la font | Zone | Processus | Phrase du journal | **Règle de l'utilisateur (D-074) : ne pas alarmer le client.** Tout ce qui change les courbes sans explication va dans `a_verifier` ; la dérive lente et le gros saut (tout a bougé) en sont des sous-groupes. `aucune` (étiquettes de l'analyste) ne sert qu'à ce qui ne touche pas les courbes : début d'export, petite bosse d'`error_value` sans rejet ni effet sur `corr`.
|---|---|---|---|---|---|---|
| `visibilite_reduite` | Reduced visibility | pluie, brume, buée ; neige ; givre, glace ; toile d'araignée ; fumée, poussière ; manque de lumière ; références masquées | `visibilite` « Poor visibility », niveau `reduced` (moins de la moitié des cibles habituellement vues rejetées) | en léger retrait, données gardées | bouton `Images` | The camera saw {n} targets less clearly than usual{, including the reference targets}. The data in this period are less precise: use them with care. | | Catégorie | Label du site | Définition (D-074) | Éventualités du terrain | Épisodes qui la font | Zone | Processus | Phrase du journal |
| `visibilite_nulle` | No visibility | pluie, brume, buée ; neige ; givre, glace ; toile d'araignée ; fumée, poussière ; manque de lumière ; références masquées | `visibilite` « Poor visibility », niveau `none` (au moins la moitié des cibles habituellement vues rejetées) | grisée | bouton `Images` | The camera could not see {n} targets clearly{, including the reference targets}. The curves in this period are not reliable: ignore them. | |---|---|---|---|---|---|---|---|
| `passage` | Passing obstacle | passage (train, véhicule, animal, personne) ; les trains de C-005 y sont rangés (effet optique) | `visibilite` « Brief obstruction » | grisée sur l'instant | bouton `Images` | Something passed in front of {n} targets for a single measurement. Ignore this point on the curves. | | `visibilite_reduite` | Reduced visibility | une ou plusieurs cibles moins bien vues | pluie, brouillard, buée, neige qui tombe ; neige ou givre sur les cibles ; nuit, éclairage en panne ; toile d'araignée ; fumée, poussière ; objectif sale ; références masquées | `visibilite` « Poor visibility », niveau `reduced` (moins de la moitié des cibles habituellement vues rejetées) | en léger retrait, données gardées | bouton `Images` | The camera saw {n} targets less clearly than usual{, including the reference targets}. The data in this period are less precise: use them with care. |
| `cible_masquee` | Target hidden | feuilles, plante ; objet posé devant ; éclairage, voisin trop brillant ; neige sur une cible | `visibilite` « Target obscured » | grisée pour ces cibles seulement | bouton `Images` | {cible} was hidden several times while the targets around it stayed clear. Ignore its curve in this period. (pluriel : « … were … them … their curves ») | | `visibilite_nulle` | No visibility | presque toutes les cibles invisibles | les mêmes, en plus fort | `visibilite` « Poor visibility », niveau `none` (au moins la moitié des cibles habituellement vues rejetées) | grisée | bouton `Images` | The camera could not see {n} targets clearly{, including the reference targets}. The curves in this period are not reliable: ignore them. |
| `cible_degradee` | Degraded target | cible sale ou terne ; feuilles, plante ; cible heurtée, abîmée ; réglage changé | `degradee` « Degraded target » : au moins la moitié de ses mesures rejetées quand les autres cibles sont vues, 2 jours de suite au moins | grisée pour ces cibles seulement | bouton `Images` | {cible} was rejected most of the time, day after day, while the other targets were seen. Ignore its curve in this period and look at the images of the target. (pluriel : « … were … their curves ») | | `passage` | Passing obstacle | un train, un engin de chantier, un véhicule ou tout autre objet passe devant les cibles | train, engin, véhicule, animal, personne (les trains de C-005 y sont rangés : effet optique) | `visibilite` « Brief obstruction » | grisée sur l'instant | bouton `Images` | Something passed in front of {n} targets for a single measurement. Ignore this point on the curves. |
| `turbulence` | Heat haze | turbulence ; mât qui vibre (en partie) | `turbulence` | grisée si forte | une phrase | Warm air made the readings shake. The small fast wiggles are not movement. | | `cible_masquee` | Target hidden | une ou plusieurs cibles cachées (invisibles) | feuilles, plante, objet posé devant ; neige ou givre sur une cible ; soleil, reflets ; toile d'araignée | `visibilite` « Target obscured » | grisée pour ces cibles seulement | bouton `Images` | {cible} was hidden several times while the targets around it stayed clear. Ignore its curve in this period. (pluriel : « … were … them … their curves ») |
| `dilatation_thermique` | Thermal expansion | dilatation thermique de l'ouvrage ; cycle thermique | `thermique` « Thermal expansion » : de la première heure chaude au plus grand écart au niveau de nuit | **pas grisée** (normal) | une phrase | The structure expands in the day heat. This daily wave is normal: nothing to do. | | `cible_degradee` | Faulty target | **Cible défaillante** : une cible constamment problématique, mal orientée, mal installée, mal configurée ou dégradée avec le temps | cible mal orientée ou mal installée ; dégradée (sale, terne, sans tache nette) ; mal configurée (sur le prisme d'une référence, C-011) | `degradee` « Degraded target » (au moins la moitié de ses mesures rejetées quand les autres cibles sont vues, 2 jours de suite) et « Target stuck » (courbes presque immobiles quand les autres bougent, C-011) ; `sauts` « Target flipping » (bascule des heures, presque seule, C-009) | grisée pour ces cibles seulement | bouton `Images` | le texte du détecteur, puis : Ignore its curve (their curves) in this period and look at the images of the target. |
| `contraction_thermique` | Thermal contraction | dilatation thermique de l'ouvrage ; cycle thermique | `thermique` « Thermal contraction » : du plus grand écart à la fin des heures chaudes | **pas grisée** (normal) | une phrase | The structure contracts as it cools down. This daily wave is normal: nothing to do. | | `turbulence` | Heat haze | **Turbulences atmosphériques** : image brouillée par la chaleur (mirage) | chaleur, mirage | `turbulence` | grisée si forte | une phrase | Warm air made the readings shake. The small fast wiggles are not movement. |
| `trou` | No data | trou de données ; données pas encore arrivées | `trous` | rien à griser | aucun | No measurement in the export for {durée} (usually one every {pas}). | | `dilatation_thermique` | Thermal expansion | **Effet thermique**, le jour : l'ouvrage se dilate au soleil, ou la caméra bouge par dilatation de son support | ouvrage qui se dilate au soleil ; dilatation du support de la caméra | `thermique` « Thermal expansion » (courbes corrigées), sinon « Camera thermal expansion » (positions brutes) : de la première heure chaude au plus grand écart au niveau de nuit | **pas grisée** (normal) | une phrase | The structure expands in the day heat (ou : The camera support expands in the day heat; the curves are corrected for it). This daily wave is normal: nothing to do. |
| `saut_bref` | Brief jump | aucune : un saut revenu à la normale sans autre épisode autour (cause inconnue, pas un mouvement) | `sauts` « back to normal » seul | grisée | bouton `Images` | {n} targets jumped and came back. This is not a movement: ignore it. | | `contraction_thermique` | Thermal contraction | **Effet thermique**, le soir : le retour | les mêmes | `thermique` « Thermal contraction » ou « Camera thermal contraction » : du plus grand écart à la fin des heures chaudes | **pas grisée** (normal) | une phrase | The structure contracts as it cools down (ou : The camera support contracts…). This daily wave is normal: nothing to do. |
| `a_verifier` | Shift to check | tout a bougé ; une cible a sauté ; une zone a bougé ; cible heurtée ; cible remplacée ; une référence a bougé ; caméra déplacée (compensation qui ne suit pas) | `sauts` « Lasting shift » ou « Jump, not back yet » | **jamais grisée** | bouton `Images` et lien vers `Diagnosis` | {n} targets shifted and stayed shifted (ou : « ; {k} of them stayed shifted », « and have not come back yet »). Check whether the structure moved: look at the images. | | `trou` | No data | **Pas de données** : aucune donnée reçue pour cette plage | coupure ou retard des données ; réglage changé, maintenance | `trous` | rien à griser | aucun | No measurement in the export for {durée} (usually one every {pas}). |
| `derive_lente` | Slow drift | dérive lente | tendances de l'onglet `Displacements` (D-055 : Theil-Sen et tau de Kendall sur les niveaux journaliers de l'export horaire, 5 jours au moins), reprises par `explore.build` (point 16) | **jamais grisée** ; trait rouge fin sous les autres barres | une phrase | {cible} drifts slowly and steadily: {+0.7} mm in {10} days. Keep watching it. | | `saut_bref` | Brief jump | saut soudain puis retour à la normale, explicable par une condition externe, vérifiable sans ambiguïté sur les images | soleil, reflets ; vent fort, à-coup de la caméra ; train, engin (s'il reste sur les courbes) ; références masquées ; caméra heurtée ; véhicule qui fait vibrer l'ouvrage ou la caméra (caméra sur un pont) ; charge qui passe | `sauts` « back to normal » seul | grisée | bouton `Images` | {n} targets jumped and came back. This is not a movement: ignore it. |
| `a_verifier` | Shift to check | **À vérifier** : tout ce qui change les courbes sans explication ; sous-groupe « gros saut » : mouvement soudain, tout a bougé | cible heurtée, abîmée ou remplacée ; une référence bouge ; caméra heurtée ou déplacée ; réglage changé ; mouvement brusque de l'ouvrage (affaissement, glissement) | `sauts` « Lasting shift », « Jump, not back yet » et « Large shift » (le gros saut : la moitié des cibles au moins) | **jamais grisée** | bouton `Images` et lien vers `Diagnosis` | {n} targets shifted and stayed shifted (ou : « ; {k} of them stayed shifted », « and have not come back yet », « most of the targets, shifted together: everything moved »). Check whether the structure moved: look at the images. |
| `derive_lente` | Slow drift | sous-groupe d'**À vérifier** : une cible bouge peu à peu, jour après jour | mouvement lent de l'ouvrage (tassement, fluage) | `derive` (Theil-Sen et tau de Kendall des niveaux journaliers de `corr`, 5 jours au moins, comme D-055 ; un saut n'en est pas une) | **jamais grisée** ; trait fin sous les autres barres | une phrase | {cible} drifts slowly and steadily: {+0.37} px in {11} days. Keep watching it. |
Après vérification, un `a_verifier` peut devenir **Cible déplacée** (cible endommagée ou bougée, ou altération de l'ouvrage) : aucun détecteur ne le dit seul, ce n'est pas une catégorie du journal.
Phrases validées par l'utilisateur le 2026-10-24 (point 9) : la catégorie est un fait, dit sans conditionnel ; la cause n'est écrite que si la catégorie l'établit, sinon les images la montrent ; chaque phrase dit quoi faire. Un saut absorbé ajoute « The jump(s) of {k} targets in this period is (are) not a movement(s). » Les heures sont sur la carte du journal, pas dans la phrase. Phrases validées par l'utilisateur le 2026-10-24 (point 9) : la catégorie est un fait, dit sans conditionnel ; la cause n'est écrite que si la catégorie l'établit, sinon les images la montrent ; chaque phrase dit quoi faire. Un saut absorbé ajoute « The jump(s) of {k} targets in this period is (are) not a movement(s). » Les heures sont sur la carte du journal, pas dans la phrase.
@@ -102,7 +102,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente | | 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente |
| 35 | Un cas de la base par catégorie | Lancer | 5 | en attente | | 35 | Un cas de la base par catégorie | Lancer | 5 | en attente |
| 36 | Porter le journal dans la vraie application | Coder | 10 | en attente | | 36 | Porter le journal dans la vraie application | Coder | 10 | en attente |
| 49 | Le graphe des éventualités du terrain et deux catégories nouvelles | Décider, Coder | 5 | catégories définies par l'utilisateur le 2026-10-27 (D-074) ; à reporter dans la carte, `categories.py` et les détecteurs | | 49 | Le graphe des éventualités du terrain et deux catégories nouvelles | Décider, Coder | 5 | catégories (D-074) dans la carte, l'analyste et les détecteurs le 2026-10-27 ; à entraîner par `/boucle` |
| | **VIII. Suivi du chantier** | | | | | | **VIII. Suivi du chantier** | | | |
| 37 | Ménage : commit, `CLAUDE.md`, Mermaid, sorties | Lancer | — | validé le 2026-10-24 | | 37 | Ménage : commit, `CLAUDE.md`, Mermaid, sorties | Lancer | — | validé le 2026-10-24 |
@@ -1057,7 +1057,8 @@ Demande de l'utilisateur (2026-10-27) : un graphe simple, sans le détail des do
- [ ] L'utilisateur relit les liens du graphe dans draw.io. - [ ] L'utilisateur relit les liens du graphe dans draw.io.
- [x] Les catégories, définies par l'utilisateur le 2026-10-27 (D-074) : tout ce qui reste inexpliqué dans **À vérifier** (sous-groupes : saut qui dure, gros saut, dérive lente), pour ne pas alarmer le client ; **Cible défaillante** gardée (cible constamment problématique : mal orientée, mal installée, dégradée) ; effet thermique, passage, pas de données, saut bref et turbulences atmosphériques redéfinis ; graphe refait. - [x] Les catégories, définies par l'utilisateur le 2026-10-27 (D-074) : tout ce qui reste inexpliqué dans **À vérifier** (sous-groupes : saut qui dure, gros saut, dérive lente), pour ne pas alarmer le client ; **Cible défaillante** gardée (cible constamment problématique : mal orientée, mal installée, dégradée) ; effet thermique, passage, pas de données, saut bref et turbulences atmosphériques redéfinis ; graphe refait.
- [x] Le véhicule qui fait vibrer l'ouvrage ou la caméra (caméra sur un pont) va dans **Saut bref** (l'utilisateur, 2026-10-27). - [x] Le véhicule qui fait vibrer l'ouvrage ou la caméra (caméra sur un pont) va dans **Saut bref** (l'utilisateur, 2026-10-27).
- [ ] Reporter les définitions dans la carte (section 4), `categories.py` (dérive lente sous « À vérifier », Cible défaillante), le vocabulaire des étiquettes de l'analyste et les détecteurs. - [x] Reporter les définitions dans la carte (section 4, d'où l'analyste tire son vocabulaire), le skill `critiquer-lot` (« aucune » seulement sans effet sur les courbes ; l'inexpliqué en `a_verifier`), `categories.py` et les détecteurs (demande de l'utilisateur, 2026-10-27 : au moins un détecteur par catégorie, pour les entraîner dans `/boucle`). Fait le 2026-10-27, les clés des catégories gardées (les étiquettes déjà écrites restent valides) : `derive.py` (dérive lente, nouveau, sur `corr` de l'export « advanced » ; la maquette ne la prend plus des tendances horaires) ; `degradee` « Target stuck » (cible collée, C-011) ; `sauts` « Target flipping » (cible qui bascule des heures, presque seule : Cible défaillante) et « Large shift » (gros saut, sous « À vérifier ») ; `thermique` « Camera thermal … » (cycle des positions brutes quand `corr` n'en a pas). Benchmark (étiquettes des cas, écrites avant D-074) : `toutes` 51 % trouvées, 49 → 47 % confirmées ; les écarts viennent des nouvelles définitions (bascules de C-009 en cible défaillante, caméra des C-003 et C-008 en effet thermique, que l'analyste avait mises en saut bref ou hors catégorie).
- [ ] L'utilisateur lance `/boucle` sur de nouvelles données pour entraîner les détecteurs sur les nouvelles définitions ; décider s'il faut relire les étiquettes des cas C-001 à C-011 avec D-074.
--- ---
@@ -1206,3 +1207,4 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-27 : point 49 ajouté (demande de l'utilisateur) : graphe des éventualités du terrain vers les catégories, `docs/displacement/eventualites-et-categories.drawio`, à la place de l'arbre Mermaid de la carte ; deux catégories proposées, Cible défaillante et Cible déplacée. - 2026-10-27 : point 49 ajouté (demande de l'utilisateur) : graphe des éventualités du terrain vers les catégories, `docs/displacement/eventualites-et-categories.drawio`, à la place de l'arbre Mermaid de la carte ; deux catégories proposées, Cible défaillante et Cible déplacée.
- 2026-10-27 : point 49 : catégories définies par l'utilisateur (D-074) : « À vérifier » pour tout ce qui reste inexpliqué, avec la dérive lente et le gros saut en sous-groupes ; Cible défaillante gardée ; graphe refait ; reste à les reporter dans le journal. - 2026-10-27 : point 49 : catégories définies par l'utilisateur (D-074) : « À vérifier » pour tout ce qui reste inexpliqué, avec la dérive lente et le gros saut en sous-groupes ; Cible défaillante gardée ; graphe refait ; reste à les reporter dans le journal.
- 2026-10-27 : point 49 : le véhicule qui fait vibrer l'ouvrage ou la caméra va dans Saut bref (l'utilisateur). - 2026-10-27 : point 49 : le véhicule qui fait vibrer l'ouvrage ou la caméra va dans Saut bref (l'utilisateur).
- 2026-10-27 : point 49 : un détecteur au moins par catégorie (demande de l'utilisateur) : `derive.py`, cible collée et bascule en Cible défaillante, gros saut, effet thermique de la caméra ; carte (section 4) et `critiquer-lot` mis aux définitions de D-074 pour l'analyste.
+1 -1
View File
@@ -18,7 +18,7 @@ Le code et les maquettes du chantier vivent dans `maquette/` (D-053, D-054) : `e
Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui comptent, sans toucher aux données : les sauts (décalage soudain qui dure) et les tendances (hausse ou baisse lente), ce que regarde le client ; onglet `Displacements` de la maquette ; idée, méthode, résultats et pistes dans `contexte/detection-d-anomalies.md`, savoir métier dans `docs/displacement/domaine/ce-que-regarde-le-client.md`. Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui comptent, sans toucher aux données : les sauts (décalage soudain qui dure) et les tendances (hausse ou baisse lente), ce que regarde le client ; onglet `Displacements` de la maquette ; idée, méthode, résultats et pistes dans `contexte/detection-d-anomalies.md`, savoir métier dans `docs/displacement/domaine/ce-que-regarde-le-client.md`.
Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `detectors/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des onze catégories du journal par `detectors/categories.py` (`python3 vues-deplacements/detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`. Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `detectors/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des douze catégories du journal (D-074) par `detectors/categories.py` (`python3 vues-deplacements/detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`.
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle <dossier de station> [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base de cas par un builder ; une séance commitée directement sur `master` (D-070), ses rendus dans `boucle/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/boucle_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base de cas (`.claude/skills/boucle/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/boucle-automatique.md`. Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle <dossier de station> [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base de cas par un builder ; une séance commitée directement sur `master` (D-070), ses rendus dans `boucle/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/boucle_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base de cas (`.claude/skills/boucle/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/boucle-automatique.md`.
@@ -28,6 +28,9 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `GAP` | 1 h | — | | | `GAP` | 1 h | — |
| | `BACK_H` | 24 h | C-002 (paliers jusqu'à 11 h 30) | | | `BACK_H` | 24 h | C-002 (paliers jusqu'à 11 h 30) |
| | `REPET` | 5 sauts revenus | boucle CLARIDEN, lot 01 : PR_BG bascule 28 fois en 2,5 jours, les autres cibles 3 au plus (matin du mouvement) | | | `REPET` | 5 sauts revenus | boucle CLARIDEN, lot 01 : PR_BG bascule 28 fois en 2,5 jours, les autres cibles 3 au plus (matin du mouvement) |
| | `BASCULE` | 6 h | cible défaillante (D-074) : PR_BG de CLARIDEN bascule 2,5 jours ; C8 et C13 de C-009, 5 bascules en 1 h 20 au matin du mouvement, restent des sauts brefs |
| | `SEULES` | 2 cibles | cible défaillante : FLORIDA, les deux cibles collées ; C-002, toile sur les références, 15 cibles basculent à la fois |
| | `GROS` | 0,5 | gros saut (« Large shift », D-074) : C-004 et CLARIDEN, 18 cibles le matin du mouvement |
| `thermique` | `HEURES_MIN` | 20 h | — | | `thermique` | `HEURES_MIN` | 20 h | — |
| | `REPRO` | 0,6 | bruit pur ≈ 0 | | | `REPRO` | 0,6 | bruit pur ≈ 0 |
| | `PART` | 0,5 | NORDEND octobre juste dessous (9/19), laissé dessous (point 13) | | | `PART` | 0,5 | NORDEND octobre juste dessous (9/19), laissé dessous (point 13) |
@@ -42,6 +45,15 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `FORT` | 2× | C-003 (×2,3 à ×2,6) | | | `FORT` | 2× | C-003 (×2,3 à ×2,6) |
| | `DUREE_MIN` | 3 h | C-003 (10-11 h) contre matin de C-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) | | | `DUREE_MIN` | 3 h | C-003 (10-11 h) contre matin de C-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) |
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) | | `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
| `degradee` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) |
| | `PART` | 0,5 | — |
| | `MIN_INSTANTS` | 12 | 3 h à 15 min |
| | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs |
| | `COLLE` | 0,05 | cible collée (D-074) : C-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, C-001 : 0,7 au plus bas |
| `derive` | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) |
| | `JOURS` | 5 jours | `TREND_DAYS` |
| | `TAILLE` | 1 | `TREND_SIZE` ; amplitude du jour : déciles 9 et 1 de `corr` |
| | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement | | `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement |
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC | | dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière | | | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
+22 -12
View File
@@ -1,7 +1,9 @@
"""Journal du matin : des épisodes des détecteurs aux événements catégorisés (point 6 du plan ; catégories validées le """Journal du matin : des épisodes des détecteurs aux événements catégorisés (point 6 du plan ; catégories validées le
2026-10-24 : docs/displacement/domaine/carte-des-evenements.md, section 4). 2026-10-24 : docs/displacement/domaine/carte-des-evenements.md, section 4).
Chaque épisode reçoit sa catégorie d'après son détecteur et son label. Un saut revenu à la normale qui chevauche une Chaque épisode reçoit sa catégorie d'après son détecteur et son label ; catégories du terrain (D-074, 2026-10-27) :
Cible défaillante (`cible_degradee` : degradee, et sauts « Target flipping »), la dérive lente (derive) et le gros saut
(sauts « Large shift ») sous « À vérifier », l'effet thermique de la caméra (thermique « Camera thermal … »). Un saut revenu à la normale qui chevauche une
perte de visibilité, un passage ou une turbulence y est absorbé ; un saut qui dure ou trop récent pour savoir ne l'est perte de visibilité, un passage ou une turbulence y est absorbé ; un saut qui dure ou trop récent pour savoir ne l'est
jamais ; une turbulence qui chevauche un saut à vérifier n'est pas gardée (un vrai mouvement agite aussi les courbes : jamais ; une turbulence qui chevauche un saut à vérifier n'est pas gardée (un vrai mouvement agite aussi les courbes :
le matin du mouvement de CLARIDEN, point 14 du plan). Deux événements de même catégorie à moins d'une heure n'en font le matin du mouvement de CLARIDEN, point 14 du plan). Deux événements de même catégorie à moins d'une heure n'en font
@@ -30,23 +32,27 @@ CATEGORIES = {
"visibilite_nulle": {"label": "No visibility", "ignore": True, "process": "images"}, "visibilite_nulle": {"label": "No visibility", "ignore": True, "process": "images"},
"passage": {"label": "Passing obstacle", "ignore": True, "process": "images"}, "passage": {"label": "Passing obstacle", "ignore": True, "process": "images"},
"cible_masquee": {"label": "Target hidden", "ignore": True, "process": "images"}, "cible_masquee": {"label": "Target hidden", "ignore": True, "process": "images"},
"cible_degradee": {"label": "Degraded target", "ignore": True, "process": "images"}, # detectors/degradee.py "cible_degradee": {"label": "Faulty target", "ignore": True, "process": "images"}, # Cible défaillante (D-074)
"turbulence": {"label": "Heat haze", "ignore": None, "process": "aucun"}, "turbulence": {"label": "Heat haze", "ignore": None, "process": "aucun"},
"dilatation_thermique": {"label": "Thermal expansion", "ignore": False, "process": "aucun"}, # effet périodique "dilatation_thermique": {"label": "Thermal expansion", "ignore": False, "process": "aucun"}, # effet périodique
"contraction_thermique": {"label": "Thermal contraction", "ignore": False, "process": "aucun"}, # (point 41) "contraction_thermique": {"label": "Thermal contraction", "ignore": False, "process": "aucun"}, # (point 41)
"trou": {"label": "No data", "ignore": False, "process": "aucun"}, "trou": {"label": "No data", "ignore": False, "process": "aucun"},
"saut_bref": {"label": "Brief jump", "ignore": True, "process": "images"}, "saut_bref": {"label": "Brief jump", "ignore": True, "process": "images"},
"a_verifier": {"label": "Shift to check", "ignore": False, "process": "verifier"}, "a_verifier": {"label": "Shift to check", "ignore": False, "process": "verifier"},
"derive_lente": {"label": "Slow drift", "ignore": False, "process": "verifier"}, # sous-groupe d'À vérifier (D-074)
} }
# (détecteur, label, niveau de l'épisode) -> catégorie ; puis détecteur seul ; un détecteur inconnu garde son nom # (détecteur, label, niveau de l'épisode) -> catégorie ; puis détecteur seul ; un détecteur inconnu garde son nom
LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite", LABELS = {("visibilite", "Poor visibility", "reduced"): "visibilite_reduite",
("visibilite", "Poor visibility", "none"): "visibilite_nulle", ("visibilite", "Poor visibility", "none"): "visibilite_nulle",
("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee", ("visibilite", "Brief obstruction", None): "passage", ("visibilite", "Target obscured", None): "cible_masquee",
("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier", ("sauts", "Sudden jump, back to normal", None): "saut_bref", ("sauts", "Lasting shift", None): "a_verifier",
("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Jump, not back yet", None): "a_verifier", ("sauts", "Large shift", None): "a_verifier",
("sauts", "Target flipping", None): "cible_degradee",
("thermique", "Thermal expansion", None): "dilatation_thermique", ("thermique", "Thermal expansion", None): "dilatation_thermique",
("thermique", "Thermal contraction", None): "contraction_thermique"} ("thermique", "Thermal contraction", None): "contraction_thermique",
KINDS = {"turbulence": "turbulence", "trous": "trou", "degradee": "cible_degradee"} ("thermique", "Camera thermal expansion", None): "dilatation_thermique",
("thermique", "Camera thermal contraction", None): "contraction_thermique"}
KINDS = {"turbulence": "turbulence", "trous": "trou", "degradee": "cible_degradee", "derive": "derive_lente"}
HOSTS = {"visibilite_reduite", "visibilite_nulle", "passage", "turbulence"} # absorbent un saut revenu (point 5) HOSTS = {"visibilite_reduite", "visibilite_nulle", "passage", "turbulence"} # absorbent un saut revenu (point 5)
MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (point 5, 2026-10-24) MERGE = timedelta(hours=1) # même catégorie à moins d'une heure : un seul événement (point 5, 2026-10-24)
@@ -90,6 +96,8 @@ def phrase(cat, groupe, sensors, references):
jumped = len({s for e in sauts for s in e["sensors"]}) jumped = len({s for e in sauts for s in e["sensors"]})
lasting = len({s for e in groupe if categorie(e) == "a_verifier" for s in e.get("lasting", [])}) lasting = len({s for e in groupe if categorie(e) == "a_verifier" for s in e.get("lasting", [])})
refs = ", including the reference targets" if references & set(sensors) else "" refs = ", including the reference targets" if references & set(sensors) else ""
camera = groupe[0]["label"].startswith("Camera")
large = any(e["label"] == "Large shift" for e in groupe)
text = { text = {
"visibilite_nulle": f"The camera could not see {targets(n)} clearly{refs}. " "visibilite_nulle": f"The camera could not see {targets(n)} clearly{refs}. "
"The curves in this period are not reliable: ignore them.", "The curves in this period are not reliable: ignore them.",
@@ -98,18 +106,20 @@ def phrase(cat, groupe, sensors, references):
"passage": f"Something passed in front of {targets(n)} for a single measurement. Ignore this point on the curves.", "passage": f"Something passed in front of {targets(n)} for a single measurement. Ignore this point on the curves.",
"cible_masquee": f"{', '.join(sensors)} {'was' if one else 'were'} hidden several times while the targets around " "cible_masquee": f"{', '.join(sensors)} {'was' if one else 'were'} hidden several times while the targets around "
f"{'it' if one else 'them'} stayed clear. Ignore {'its curve' if one else 'their curves'} in this period.", f"{'it' if one else 'them'} stayed clear. Ignore {'its curve' if one else 'their curves'} in this period.",
"cible_degradee": f"{', '.join(sensors)} {'was' if one else 'were'} rejected most of the time, day after day, "
f"while the other targets were seen. Ignore {'its curve' if one else 'their curves'} in this period "
"and look at the images of the target.",
"turbulence": "Warm air made the readings shake. The small fast wiggles are not movement.", "turbulence": "Warm air made the readings shake. The small fast wiggles are not movement.",
"dilatation_thermique": "The structure expands in the day heat. This daily wave is normal: nothing to do.", "dilatation_thermique": ("The camera support expands in the day heat; the curves are corrected for it."
"contraction_thermique": "The structure contracts as it cools down. This daily wave is normal: nothing to do.", if camera else "The structure expands in the day heat.") + " This daily wave is normal: nothing to do.",
"contraction_thermique": ("The camera support contracts as it cools down; the curves are corrected for it."
if camera else "The structure contracts as it cools down.") + " This daily wave is normal: nothing to do.",
"saut_bref": f"{targets(n).capitalize()} jumped and came back. This is not a movement: ignore it.", "saut_bref": f"{targets(n).capitalize()} jumped and came back. This is not a movement: ignore it.",
"a_verifier": (f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting "a_verifier": (f"{targets(n).capitalize()}, most of the targets, shifted together: everything moved." if large
else f"{targets(n).capitalize()} shifted and {'has' if one else 'have'} not come back yet." if not lasting
else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n else f"{targets(n).capitalize()} shifted and stayed shifted." if lasting == n
else f"{targets(n).capitalize()} shifted; {lasting} of them stayed shifted.") else f"{targets(n).capitalize()} shifted; {lasting} of them stayed shifted.")
+ " Check whether the structure moved: look at the images.", + " Check whether the structure moved: look at the images.",
}.get(cat, groupe[0]["text"]) # trou, et un détecteur inconnu : le texte du détecteur }.get(cat, groupe[0]["text"]) # trou, cible défaillante, dérive, détecteur inconnu : le texte du détecteur
if cat == "cible_degradee":
text += f" Ignore {'its curve' if one else 'their curves'} in this period and look at the images of the target."
if not jumped: if not jumped:
return text return text
return text + (f" The jump of {targets(jumped)} in this period is not a movement." if len(sauts) == 1 return text + (f" The jump of {targets(jumped)} in this period is not a movement." if len(sauts) == 1
+48 -2
View File
@@ -12,18 +12,24 @@ Méthode (seuils provisoires, Claude, 2026-10-27) :
Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à Sur les jeux de data/ (2026-10-27) : FLORIDA Massif 2 21 → 25.10, Sellette 6 16 → 17.10 et 19 → 20.10 ; NIEDERHORN e03 à
e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien e12 toute la période (jamais vues) ; NORDEND CTR01 plusieurs suites en juin-juillet (déjà « souvent rejetée ») ; rien
sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images. sur LENZSPITZE ; CLARIDEN PR-283 du 12 au 16.09. La cause (salissure, végétation, réglage) ne se lit que sur les images.
Cible collée (Cible défaillante, D-074 ; C-011, FLORIDA : une cible définie sur le prisme d'une référence) : par jour UTC,
le bruit de ses corr_x et corr_y (médiane des écarts d'une mesure à la suivante) à moins de COLLE fois le bruit médian
des autres cibles, sur les deux axes, un jour suffit (une journée sans bruit n'arrive pas par accident) ; label « Target stuck ». Sur C-011 : C2 à
7e-5 px et C3 à 2e-4 contre 0,013 pour les autres ; FLORIDA : les mêmes, Pont Ernen et Sellette 3.
Usage : python3 vues-deplacements/detectors/degradee.py <dossier de station> (affiche les épisodes) Usage : python3 vues-deplacements/detectors/degradee.py <dossier de station> (affiche les épisodes)
""" """
import os import os
import statistics
import sys import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils")) sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils"))
from donnees import charger, iso # noqa: E402 from donnees import charger, est_reference, iso # noqa: E402
CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme CALME = 0.25 # part des autres capteurs rejetés au plus, pour un instant calme
PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps » PART = 0.5 # la moitié des instants calmes rejetés : « la plupart du temps »
MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas MIN_INSTANTS = 12 # 3 h à 15 min : en dessous, le jour ne compte pas
MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs) MIN_JOURS = 2 # un jour seul est trop souvent un accident (NORDEND : jours isolés sur 16 capteurs)
COLLE = 0.05 # provisoire : bruit d'une cible collée face aux autres (C-011 : 0,006 ; NORDEND, C-001 : 0,7 au plus bas)
def rejete(m): def rejete(m):
@@ -66,7 +72,47 @@ def detect(mesures):
"text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, " "text": f"{s} was rejected in {part} % of the measurements when the other targets were seen, "
f"{len(su)} days in a row.", f"{len(su)} days in a row.",
"ignore": True, "sensors": [s]}) "ignore": True, "sensors": [s]})
return sorted(out, key=lambda e: e["start"]) return sorted(out + colles(mesures), key=lambda e: e["start"])
def _bruit(v):
return statistics.median(abs(y - x) for x, y in zip(v, v[1:])) if len(v) > 2 else None
def colles(mesures):
"""Cibles dont corr_x et corr_y ne bougent presque pas, jour après jour, quand les autres bougent."""
jours = {} # jour -> cible -> (bruit x, bruit y, première mesure, dernière)
for s, ms in mesures.items():
if est_reference(ms):
continue
par_j = {}
for m in ms:
par_j.setdefault(m["t"].date(), []).append(m)
for d, js in par_j.items():
b = [_bruit([m[c] for m in js if m[c] is not None]) for c in ("corr_x", "corr_y")]
if None not in b and len(js) >= MIN_INSTANTS:
jours.setdefault(d, {})[s] = (*b, js[0]["t"], js[-1]["t"])
suites = {} # cible -> [[jours collés de suite]]
for d in sorted(jours):
cs = jours[d]
for s, (bx, by, a, b) in cs.items():
autres = [v for k, (x, y, *_) in cs.items() if k != s for v in (x, y)]
if len(autres) < 4:
continue
ref = statistics.median(autres)
su = suites.setdefault(s, [[]])
if ref and max(bx, by) <= COLLE * ref:
su[-1].append((a, b))
elif su[-1]:
su.append([])
out = []
for s, su in sorted(suites.items()):
for k in su:
if k:
out.append({"start": iso(k[0][0]), "end": iso(k[-1][1]), "kind": "degradee", "label": "Target stuck",
"text": f"{s} barely moved while the other targets did ({len(k)} day{'s' if len(k) > 1 else ''}): it may be "
"set on a reference prism.", "ignore": True, "sensors": [s]})
return out
if __name__ == "__main__": if __name__ == "__main__":
+70
View File
@@ -0,0 +1,70 @@
"""Journal du matin : dérive lente, une cible qui bouge peu à peu, jour après jour (sous-groupe de « À vérifier », D-074).
Reprend la tendance de l'onglet Displacements (D-055, explore.find_trend) sur l'export « advanced » (corr_x, corr_y, px),
pour que la boucle puisse l'entraîner comme les autres détecteurs. Méthode, par cible (hors références globales) et par
axe (seuils provisoires, ceux de D-055) :
1. Niveau du jour : médiane des mesures de chaque jour UTC d'au moins HEURES heures mesurées ; au moins JOURS jours.
2. Pente de Theil-Sen et tau de Kendall des niveaux journaliers ; amplitude du jour : écart entre ses déciles 9 et 1.
3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au
suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend).
4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé.
Usage : python3 vues-deplacements/detectors/derive.py <dossier de station> (affiche les épisodes)
"""
import os
import statistics
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "agents", "diagnostic", "outils"))
from donnees import charger, est_reference, iso # noqa: E402
HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées (comme D-055)
JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055)
TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055)
REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055)
def _decile(vs, q):
vs = sorted(vs)
return vs[min(len(vs) - 1, int(q * len(vs)))]
def _derive(ms, col):
"""-> (dérive en px, jours, premier instant, dernier) ou None."""
jours = {}
for m in ms:
if m[col] is not None:
jours.setdefault(m["t"].date(), []).append(m)
jours = {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES}
if len(jours) < JOURS:
return None
niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items())
paires = [(a, b) for k, a in enumerate(niv) for b in niv[k + 1:]]
pente = statistics.median((b[1] - a[1]) / (b[0] - a[0]) for a, b in paires)
tau = sum((b[1] > a[1]) - (b[1] < a[1]) for a, b in paires) / len(paires)
derive = pente * (niv[-1][0] - niv[0][0])
ampl = statistics.median(_decile([m[col] for m in js], 0.9) - _decile([m[col] for m in js], 0.1) for js in jours.values())
pas = max(abs(b[1] - a[1]) for a, b in zip(niv, niv[1:]))
if abs(derive) < TAILLE * ampl or abs(tau) < REGULIER or pas > abs(derive) / 2:
return None
d0, d1 = min(jours), max(jours)
return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1])
def detect(mesures):
out = []
for s, ms in sorted(mesures.items()):
if est_reference(ms):
continue
r = [x for col in ("corr_x", "corr_y") if (x := _derive(ms, col))]
if not r:
continue
derive, n, a, b = max(r, key=lambda x: abs(x[0]))
out.append({"start": iso(a), "end": iso(b), "kind": "derive", "label": "Slow drift",
"text": f"{s} drifts slowly and steadily: {derive:+.2f} px in {n} days. Keep watching it.",
"ignore": False, "sensors": [s]})
return out
if __name__ == "__main__":
for e in detect(charger(sys.argv[1])):
print(e["start"], "→", e["end"], e["sensors"][0], "|", e["text"])
+28 -5
View File
@@ -41,6 +41,8 @@ mouvement (19/09 06:30, 06:50) restent dans le « Lasting shift » ; C-001, C-00
Point 7 (REPET = 5, 2026-10-26) : CLARIDEN, lot du 18 au 22/09 : PR_BG grisé 19/09 06:40 → 21/09 23:20 (28 bascules de Point 7 (REPET = 5, 2026-10-26) : CLARIDEN, lot du 18 au 22/09 : PR_BG grisé 19/09 06:40 → 21/09 23:20 (28 bascules de
12 px ; les autres cibles en font 3 au plus) ; le saut seul de D-303-A le 18/09 15:40 vu ; le « Lasting shift » du 12 px ; les autres cibles en font 3 au plus) ; le saut seul de D-303-A le 18/09 15:40 vu ; le « Lasting shift » du
matin garde 05:40 → 10:30 ; C-001 à C-003, C-005 à C-008 : inchangés. matin garde 05:40 → 10:30 ; C-001 à C-003, C-005 à C-008 : inchangés.
Catégories du terrain (D-074, 2026-10-27) : la cible qui bascule pendant BASCULE au moins, avec SEULES cibles au plus en même temps, devient « Target flipping » (Cible défaillante, plus un
saut bref) ; un saut durable d'au moins GROS des cibles, « Large shift » (gros saut : tout a bougé), toujours à vérifier.
""" """
import statistics import statistics
import sys import sys
@@ -57,6 +59,11 @@ PIC_MIN = 3 # provisoire : cibles qui piquent au même pas pour un pic commun
BASE = 4 # mesures qui font le niveau d'avant (1 h à 15 min) BASE = 4 # mesures qui font le niveau d'avant (1 h à 15 min)
GAP = timedelta(hours=1) # deux sauts à moins d'une heure, toutes cibles confondues : un seul épisode GAP = timedelta(hours=1) # deux sauts à moins d'une heure, toutes cibles confondues : un seul épisode
BACK_H = 24 # provisoire : retour en moins d'un jour = artefact (C-002 : paliers jusqu'à 11 h 30) BACK_H = 24 # provisoire : retour en moins d'un jour = artefact (C-002 : paliers jusqu'à 11 h 30)
BASCULE = timedelta(hours=6) # provisoire : une cible défaillante bascule des heures (PR_BG : 2,5 jours) ; en moins,
# c'est un matin agité (C-009 : C8 et C13, 5 bascules en 1 h 20 pendant le mouvement), un saut bref
SEULES = 2 # provisoire : cibles qui basculent en même temps, au plus (FLORIDA : les deux collées ; C-002, toile sur les
# références : 15 à la fois)
GROS = 0.5 # provisoire : part des cibles d'un saut durable pour un gros saut (C-004 : presque toutes)
REPET = 5 # provisoire : sauts revenus d'une même cible, à moins d'un jour l'un de l'autre, qui en font une cible qui REPET = 5 # provisoire : sauts revenus d'une même cible, à moins d'un jour l'un de l'autre, qui en font une cible qui
# bascule (PR_BG de CLARIDEN, boucle lot 01 : une trentaine en 2,5 jours) # bascule (PR_BG de CLARIDEN, boucle lot 01 : une trentaine en 2,5 jours)
@@ -129,7 +136,12 @@ def detect(mesures):
groups.append(g) groups.append(g)
g["end"], g["until"], g["last"] = max(g["end"], e), max(g["until"], e if state == "back" else s), s g["end"], g["until"], g["last"] = max(g["end"], e), max(g["until"], e if state == "back" else s), s
g["sensors"].setdefault(name, set()).add(state) g["sensors"].setdefault(name, set()).add(state)
return sorted((_episode(g) for g in groups + seuls), key=lambda ep: ep["start"]) longues = [g for g in seuls if g["flip"]] # bascules de nombreuses cibles en même temps : la compensation, pas une
for g in longues: # cible défaillante
if sum(h["start"] <= g["end"] and h["end"] >= g["start"] for h in longues) > SEULES:
g["flip"] = 0
total = sum(not donnees.est_reference(ms) for ms in mesures.values())
return sorted((_episode(g, total) for g in groups + seuls), key=lambda ep: ep["start"])
def _bascules(found): def _bascules(found):
@@ -143,18 +155,29 @@ def _bascules(found):
chain.append((s, e)) chain.append((s, e))
continue continue
if len({c[0] for c in chain}) >= REPET: if len({c[0] for c in chain}) >= REPET:
seuls.append({"start": chain[0][0], "end": max(c[1] for c in chain), "sensors": {name: {"back"}}}) seuls.append({"start": chain[0][0], "end": max(c[1] for c in chain), "sensors": {name: {"back"}},
"flip": len({c[0] for c in chain}) if max(c[1] for c in chain) - chain[0][0] >= BASCULE else 0})
chain = [(s, e)] chain = [(s, e)]
return seuls return seuls
def _episode(g): def _episode(g, total):
"""Un groupe -> épisode du journal ; un seul saut durable (ou trop récent) suffit à ne pas griser.""" """Un groupe -> épisode du journal ; un seul saut durable (ou trop récent) suffit à ne pas griser ; une cible qui
bascule : « Target flipping » (Cible défaillante, D-074) ; un saut durable de GROS cibles ou plus : « Large shift »
(le gros saut, sous-groupe de « À vérifier »)."""
n = len(g["sensors"]) n = len(g["sensors"])
lasting = sum("lasting" in st for st in g["sensors"].values()) lasting = sum("lasting" in st for st in g["sensors"].values())
recent = any("recent" in st for st in g["sensors"].values()) recent = any("recent" in st for st in g["sensors"].values())
who = "One target" if n == 1 else f"{n} targets together (a single event)" who = "One target" if n == 1 else f"{n} targets together (a single event)"
if lasting: if g.get("flip"):
name = next(iter(g["sensors"]))
return {"start": donnees.iso(g["start"]), "end": donnees.iso(g["end"]), "kind": "sauts", "label": "Target flipping",
"text": f"{name} jumped and came back {g['flip']} times: its tracking is not reliable, look at the images "
"of the target.", "ignore": True, "sensors": [name], "lasting": []}
if lasting and n >= GROS * total:
label = "Large shift"
text = f"{n} targets jumped together and {lasting} of them stayed shifted: everything moved, please check it."
elif lasting:
label = "Lasting shift" label = "Lasting shift"
some = "" if lasting == n else f", {lasting} of them stayed shifted for more than a day" some = "" if lasting == n else f", {lasting} of them stayed shifted for more than a day"
text = (f"{who} jumped{some}" if some else f"{who} jumped and stayed shifted for more than a day") + \ text = (f"{who} jumped{some}" if some else f"{who} jumped and stayed shifted for more than a day") + \
+13 -3
View File
@@ -29,6 +29,9 @@ Résultats (2026-10-23 ; « cibles » = part des cibles concernées, amplitude =
| cas 2026-10_NORDEND (11 j) | 9/19, 0,02 px, 08-17 h, sous le seuil (PART = 0,4 : 8 épisodes, sans 08 ni 09/10) | 17/19, 0,78 px, 09-17 h | | cas 2026-10_NORDEND (11 j) | 9/19, 0,02 px, 08-17 h, sous le seuil (PART = 0,4 : 8 épisodes, sans 08 ni 09/10) | 17/19, 0,78 px, 09-17 h |
Lecture : le cycle est presque partout dans les positions brutes (mode commun) et la compensation l'enlève, Lecture : le cycle est presque partout dans les positions brutes (mode commun) et la compensation l'enlève,
sauf à PS des Coudres où il reste dans corr, de même forme que dans les positions brutes. sauf à PS des Coudres où il reste dans corr, de même forme que dans les positions brutes.
Effet thermique (D-074, 2026-10-27) : sans cycle dans corr, la même méthode sur les positions brutes x, y donne
« Camera thermal expansion » et « Camera thermal contraction » : la caméra bouge avec la chaleur de son support, la
compensation l'enlève ; mêmes catégories du journal, phrase propre.
""" """
import math import math
import os import os
@@ -147,11 +150,18 @@ def heures_chaudes(concernes):
def detect(mesures): def detect(mesures):
concernes, n = cycle(mesures) """Cycle des courbes corrigées (l'ouvrage) ; sinon, celui des positions brutes (la caméra qui bouge par dilatation
de son support, compensée : D-074, 2026-10-27)."""
return (_episodes(mesures, ("corr_x", "corr_y"), "Thermal") or
_episodes(mesures, ("x", "y"), "Camera thermal"))
def _episodes(mesures, cols, nom):
concernes, n = cycle(mesures, cols)
capteurs = sorted({c[0] for c in concernes}) capteurs = sorted({c[0] for c in concernes})
if not n or len(capteurs) < PART * n: if not n or len(capteurs) < PART * n:
return [] return []
oui, evaluees = sinus(mesures) oui, evaluees = sinus(mesures, cols)
if not evaluees or len(oui) < PART * len(evaluees): # seconde méthode : la sinusoïde doit le voir aussi if not evaluees or len(oui) < PART * len(evaluees): # seconde méthode : la sinusoïde doit le voir aussi
return [] return []
chaudes = heures_chaudes(concernes) chaudes = heures_chaudes(concernes)
@@ -165,7 +175,7 @@ def detect(mesures):
if statistics.median(c[3][d] for c in concernes if d in c[3]) < JOUR: if statistics.median(c[3][d] for c in concernes if d in c[3]) < JOUR:
continue continue
minuit = datetime(d.year, d.month, d.day, tzinfo=timezone.utc) minuit = datetime(d.year, d.month, d.day, tzinfo=timezone.utc)
for label, a, b in (("Thermal expansion", chaudes[0], pic), ("Thermal contraction", pic, chaudes[-1] + 1)): for label, a, b in ((f"{nom} expansion", chaudes[0], pic), (f"{nom} contraction", pic, chaudes[-1] + 1)):
if b > a: if b > a:
episodes.append({"start": iso(minuit + timedelta(hours=a)), "end": iso(minuit + timedelta(hours=b)), episodes.append({"start": iso(minuit + timedelta(hours=a)), "end": iso(minuit + timedelta(hours=b)),
"kind": "thermique", "label": label, "text": "", "ignore": False, "sensors": capteurs}) "kind": "thermique", "label": label, "text": "", "ignore": False, "sensors": capteurs})
+1 -5
View File
@@ -215,11 +215,7 @@ def build(folder):
else " There is no camera image for this period either." else " There is no camera image for this period either."
hr = hourly(files["horaire"][0]) if files["horaire"] else {"times": [], "sensors": {}} hr = hourly(files["horaire"][0]) if files["horaire"] else {"times": [], "sensors": {}}
regime, trends = regime_changes(hr) regime, trends = regime_changes(hr)
for tr in trends: # dérive lente : les tendances de l'onglet Displacements (D-055), à vérifier (point 16 du plan) # dérive lente : le détecteur derive, dans le journal comme les autres (D-074) ; les tendances restent dans Displacements
journal.append({"start": tr["levels"][0][0], "end": tr["levels"][-1][0], "category": "derive_lente",
"label": "Slow drift", "text": f"{tr['target']} drifts slowly and steadily: {tr['drift']:+.1f} mm "
f"in {len(tr['levels'])} days. Keep watching it.", "ignore": False, "sensors": [tr["target"]],
"process": "aucun", "episodes": []})
journal.sort(key=lambda e: e["start"]) journal.sort(key=lambda e: e["start"])
return {"platform": Path(files["advanced"][0]).name.split("_advanced_")[0], "times": [donnees.iso(t) for t in instants], return {"platform": Path(files["advanced"][0]).name.split("_advanced_")[0], "times": [donnees.iso(t) for t in instants],
"sensors": sensors, "images": images, "view": view, "captures": captures, "sensors": sensors, "images": images, "view": view, "captures": captures,