Compare commits

...
36 Commits
Author SHA1 Message Date
maxime 9b90fcac0c . 2026-11-05 09:00:41 +01:00
maximeandClaude Opus 5.5 4084cada20 Label ids first in each JSON line (D-131)
ids.py puts the id first and never re-gives an id retired in the same operation; labeling.py
keeps it first on add and edit; controle.py requires it first. Cross-review apply: a modified
label keeps its id, and revue is today's date. All 991 auto labels reordered, content unchanged.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:58:47 +01:00
maximeandClaude Opus 5.5 1f2d7efad2 Auto labels take what the expert's labels know where they conflicted, compiled against the data (D-130)
JUNGFRAU (the PS_DES_COUDRES night, 07.10), NORDEND (03.09 web over CTR04), LENZSPITZE
(turbulence beyond the bridge), WILDSTRUBEL (well compensated, small residual at the bottom).
Expert labels unchanged; map section 6 updated.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:56:28 +01:00
maximeandClaude Opus 5.5 c6e9df0e46 Stable ids for auto labels, a summary for the label map, reading tools improved (D-131)
- Every auto label carries an id (<STATION>-<n>, labeling/ids.py), kept on edit, given to
  new labels by labeling.py and by the reviews; controle.py requires it, unique. The
  cross-review matches labels by id, and an applied review is locked (applique.md).
- The label map starts with a summary (labels-map/sommaire.py): readers take the summary and
  sections 2-4 in full, then only the cards of the phenomena they meet.
- Tool-builder session on the reviewers' difficulties: jours.py --lissage/--fraction,
  ensemble.py --suivre and rejected measures left out of --rigide, --residus non, zero noise
  after a lost reference, new agent-tools/stations.py (several stations on one timeline),
  long outputs convention in lire-les-donnees.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:49:54 +01:00
maximeandClaude Opus 5.5 d55de98746 Labeling processes: lessons from the auto-label reviews (D-130)
- The labeler writes to its own folder (etiquettes.jsonl); labeling/auto/ only holds
  reviewed labels, merged by /review-auto-labels (new apply script: dated, sorted, checked).
- labeling/controle.py also checks a proposed file; the labeler and reviewers run it before
  handing back. Reviewers keep their measurements in revue.md, never in the labels.
- Reviewer instructions explicitly add their scripts, .venv/bin/python and for loops to the
  lire-les-donnees commands (the contradiction raised by 12 reviews).
- Expert validation optional in /review-auto-labels; an expert hint given to the labeler is
  written in the labels it touches. Cross-review ends with the releveur.
- docs/ameliorations-processus.md: 17 entries from this review, by the releveur.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:31:53 +01:00
maximeandClaude Opus 5.5 35b5ed4d74 Auto labels reviewed per station and cross-reviewed; all labeling knowledge in labeling/ (D-130)
- Every station's auto labels reviewed by an analyst (/review-auto-labels), then a
  cross-review per family across all stations (new skill /cross-review-labels),
  a finishing pass, and descriptions rewritten in words (no numeric values).
- The three never-labeled ranges (WILDSTRUBEL 07/09-01/10, NORDEND 16/08-01/10)
  labeled and reviewed: 991 auto labels on 11 stations, labeling/controle.py at 0 errors.
- Labeling knowledge gathered in labeling/: regles-d-etiquetage.md (new), familles.md
  (settled boundaries), connaissances/ (notes moved from docs/, links updated),
  the label map rebuilt from reviewed labels, events and cases; events tied to their
  stations (PS_DES_COUDRES is JUNGFRAU). The labeler and reviewers read only labeling/.
- labels-map reads auto labels and events; decision D-130; living plan points 73-75.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 08:21:57 +01:00
maximeandClaude Opus 5.5 8e1cfc52c9 Support: LENZSPITZE presentation page follows the presentation guidelines, labels with image quality
Title, summary, one block per event, conclusions, closing; no data gaps, corr_y first, facts and diagnosis only.
Reflected light (flux) as evidence for hidden targets; two new events from the updated labels.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 13:43:03 +01:00
maximeandClaude Opus 5.5 a2b1f2ed14 Image quality metrics in labeling: qualite.py, LENZSPITZE October labels reviewed with them (D-129)
Definitions of peak, flux, sharpness, fwhm, dominance and snr in docs/domaine;
agent-tools/qualite.py (ratio to a calm reference, per label, outside labels,
figures), inventaire/graphique/resume aware of the six columns, lire-les-donnees
and the labeler's instructions updated. LENZSPITZE 16.10-01.11 relabeled: 67
labels, 4 found by the metrics.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 13:34:04 +01:00
maximeandClaude Opus 5.5 2edd297726 Support: LENZSPITZE presentation page, 25-30 October (HTML for screen sharing, recurring cases shown once)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 13:24:45 +01:00
maximeandClaude Opus 5.5 6aa9c9bc07 Labeling: the six quality metrics in the plot menu, after Camera movement, as in Explore
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 12:33:36 +01:00
maximeandClaude Opus 5.5 295c856ec2 Coherence of BREITHORN, MICHIGAN and NEBRASKA October labels (same building, per the expert)
One analyst checks neighbouring stations together (.claude/skills/review-auto-labels/coherence.md). The month's drift, shared by the three cameras (same step on 08/10, same recoil 13-16/10), is Displacement everywhere, cause not established (the building or its temperature); the 09/10 reference losses and the 15-16/10 gap are tied across stations, a common cause to look for in the building; the 26/10 cold morning added on BREITHORN and NEBRASKA; MICHIGAN 27/10 as Displacement. Proposed per-station files versioned.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 09:28:19 +01:00
maximeandClaude Opus 5.5 208db519ab Labeler: lessons from the three October reviews (BREITHORN, MICHIGAN, NEBRASKA)
Bounds checked target by target on both columns; a slowing drift stays one event; a phenomenon found once is searched over the whole batch; "the camera, not the targets" checked with ensemble.py --rigide; housing temperature, "d'après l'expert" in words. familles.md: a small error_value rise at the housing temperature trough, nothing on the images, is Thermal displacement, not Visibility. Map lessons left to the next /labels-map.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 09:06:44 +01:00
maximeandClaude Opus 5.5 c76c747989 MICHIGAN and NEBRASKA October labels reviewed by the analyst (/review-auto-labels), all suggestions applied
MICHIGAN: 13 labels, 3 kept, 10 corrected (the 05/10 reconfiguration as Target issue, one drift label from 03/10 counting the compensated thermal movement, the housing temperature instead of the factory's). NEBRASKA: 8 labels, 2 kept, 6 corrected, 2 missed added (COLJ19 alone on 17/10, the cold morning of 19/10); cold mornings as Thermal displacement instead of Visibility. All carry "revue": "2026-11-04"; lessons for the labeler not applied yet.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 09:04:18 +01:00
maximeandClaude Opus 5.5 cef7754888 Reviewed labels: "revue" is the review date, as for manual labels, and is not reviewed again
All 26 BREITHORN October labels carry "revue": "2026-11-04"; the expert's thermal answer is said in the description. /review-auto-labels skips labels that already carry "revue" (count, analyst review, replacement); /labels-map reads all reviewed auto labels (D-128).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 08:46:06 +01:00
maximeandClaude Opus 5.5 83479499a9 Review of the labeler's labels: /review-auto-labels (D-128); BREITHORN October reviewed
The analyst reviews labeling/auto/ labels on a range chosen by the user (bounds, one event, family, description, missed ones) and proposes corrected labels; the expert answers its questions, then the range is replaced. First run on BREITHORN October: 10 corrected, 25 and 26 merged, one missed night added; the expert confirms the camera's cold-night deviations are thermal (housing temperature, not air). Labels the expert settled carry "revue", read by /labels-map.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-04 08:40:27 +01:00
maximeandClaude Opus 5.5 36c8cebccd View: green arrows with a wide head; a placed range can be edited (drag an edge or the band)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 18:26:56 +01:00
maximeandClaude Opus 5.5 53aa95fd90 View: a range bar under the slider draws each sensor's displacement arrow (corr_x, corr_y end minus start)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 18:23:18 +01:00
maximeandClaude Opus 5.5 46125ff173 NEBRASKA presentation: clearer wording on the camera movement left in the curves
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 17:58:29 +01:00
maximeandClaude Opus 5.5 31a846656c BREITHORN presentation: vertical stability stated as a 0.2 px band
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 17:56:33 +01:00
maximeandClaude Opus 5.5 fab7ddd9fd Presentations: the lost reference is the message (MICHIGAN, NEBRASKA); BREITHORN parallax in corr_y
MICHIGAN and NEBRASKA: the reference network was complete at installation and
stable; since a reference disappeared, the network is altered and the curves
are more agitated (MICHIGAN std 0.014 -> 0.10 px; NEBRASKA 0.016-0.018 ->
0.031 px from 17.10). Later agitations shown as its consequence; MICHIGAN's
too-close targets moved to the end. BREITHORN slide 4 in corr_y, COLI24's
descent stated as unexplained.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 17:49:34 +01:00
maximeandClaude Opus 5.5 8b53df6c50 Presentations: corr_y is in pixels, not mm
Texts and figure axes of the three October decks, figure-y.py label, and a
reminder in the presentation skill.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 17:39:03 +01:00
maximeandClaude Opus 5.5 85e590762b Presentations for the client: Sandouville, no data-gap slide, settlements in corr_y (D-127)
The three October decks (BREITHORN, MICHIGAN, NEBRASKA) no longer criticise
the system: facts and their external cause only. Figures redrawn in corr_y
(figure-y.py), BREITHORN parallax kept. Sources and PDFs named after the
station; the charter's draft stamp reads "Sandouville".

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 17:36:25 +01:00
maximeandClaude Opus 5.5 efbc5f15d7 Reading tools: what the etiqueteur had to script itself (metrics, daily bounds, local level, zone, references)
- metriques.py: new, reads metrics/ (temperatures, voltage) against targets and camera pose
- jours.py --bornes: per-day first/last excursion, extreme, from the previous night
- plages.py --glissant, --instants: deviations from a local level, per-instant view
- ensemble.py --table, resume.py --marque/--instants: shorter outputs, repeated headers
- inventaire.py: image gaps as runs, references on reproj_err when inlier is empty
- vignettes.py --zone: same scene area across hours
- donnees.py: references recognised when pattern_type is empty (benchmark unchanged)
- lire-les-donnees: new options documented, gif.py row added

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 16:56:59 +01:00
maximeandClaude Opus 5.5 6fbd7510b7 Etiqueteur: October labels for 8 stations; its folder moves to labeling/auto/etiqueteur/, analyses and scripts versioned (D-126)
Labels for CLARIDEN, FLORIDA, JUNGFRAU (gaps 06-20.10, 26.10-01.11), LENZSPITZE,
NIEDERHORN, NORDEND, SNCF01, WILDSTRUBEL. Figures and tool outputs stay out of git.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 16:33:41 +01:00
maximeandClaude Opus 5.5 2bba388290 Detectors receive the station temperature; ISO dates accepted (D-124)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:56:30 +01:00
maximeandClaude Opus 5.5 daa1fd989d Detector-learner: label bounds excluded, false positives as a regression, control watches the session station (D-123)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:45:13 +01:00
maximeandClaude Opus 5.5 7fb1f8d12d Detector-learner MICHIGAN: process difficulties
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:41:32 +01:00
maximeandClaude Opus 5.5 5077a358d1 Detector-learner MICHIGAN: bilan
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:40:36 +01:00
maximeandClaude Opus 5.5 0d43a4cc4e Detector-learner MICHIGAN: control 1 (accepté)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:39:46 +01:00
maximeandClaude Opus 5.5 2c6ac208e1 Detector-learner MICHIGAN: modification 1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:38:02 +01:00
maximeandClaude Opus 5.5 b54deb35e0 Detector-learner MICHIGAN: modification 1, S4
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:36:21 +01:00
maximeandClaude Opus 5.5 d231ed09c3 Detector-learner MICHIGAN: modification 1, S2
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:34:59 +01:00
maximeandClaude Sonnet 5.5 bb1fd1a743 Labeling: no hover on bars, lighter zone background
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
2026-11-03 15:32:29 +01:00
maximeandClaude Opus 5.5 b34d2b7db8 Detector-learner MICHIGAN: modification 1, S1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:32:27 +01:00
maximeandClaude Opus 5.5 2bafe70530 Detector-learner MICHIGAN: critique (suggestions)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:27:21 +01:00
maximeandClaude Opus 5.5 eb402102d6 Detector-learner MICHIGAN: benchmark
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-03 15:23:28 +01:00
469 changed files with 52644 additions and 7851 deletions

No files matched your search

+6 -6
View File
@@ -1,13 +1,13 @@
---
name: detectors-control
description: Contrôle des détecteurs de la boucle automatique (/detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur les autres stations étiquetées de labeling/auto/ et sur le code des détecteurs, sans regarder la station de la séance ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la station de la séance, la modification, les benchmarks, le commit de base et le numéro du passage.
description: Contrôle des détecteurs de la boucle automatique (/detector-learner) — le garde-fou contre le sur-apprentissage : juge une modification du detectors-upgrader sur les autres stations étiquetées de labeling/auto/ et sur le code des détecteurs, sans regarder la station de la séance, sauf ses signalements à tort ; la garde, ou la renvoie avec ses remarques. Appelé par l'orchestrateur avec la station de la séance, la modification, les benchmarks, le commit de base et le numéro du passage.
tools: Read, Bash, Write
model: inherit
---
Tu es le contrôle des détecteurs de la boucle automatique, son garde-fou. Le detectors-upgrader vient d'adapter les détecteurs du journal du matin pour mieux trouver les événements d'une station. Le risque, c'est le sur-apprentissage : des détecteurs collés à cette station, qui perdent en précision sur les autres stations étiquetées. Tu le vérifies, et c'est toi qui décides au final : garder la modification, ou la renvoyer au detectors-upgrader avec tes remarques.
**Tu ne regardes pas la station de la séance** (l'utilisateur) : ni ses données, ni sa critique, ni son bloc du benchmark, ni le reste du rendu du detectors-upgrader. Tes conclusions viennent du benchmark de `regression.py` sur les étiquettes de `labeling/auto/`, la seule vérité (D-118), et du code des détecteurs.
**Tu ne regardes pas la station de la séance** (l'utilisateur) : ni ses données, ni sa critique, ni le reste du rendu du detectors-upgrader ; de son bloc du benchmark, seulement ses instants signalés à tort, pour qu'une modification ne la noie pas sous des signalements que ses étiquettes ne disent pas, ce que personne d'autre ne vérifie. Tes conclusions viennent du benchmark de `regression.py` sur les étiquettes de `labeling/auto/`, la seule vérité (D-118), et du code des détecteurs.
## Ta demande
@@ -17,7 +17,7 @@ La station de la séance, la modification (`modification-K.md`), le benchmark av
- dans `modification-K.md`, les parties « Ce qui a changé » et « Pourquoi », rien d'autre : `sed -n '/^## Ce qui a changé/,/^## Avant/p' <modification>` ;
- le diff des détecteurs depuis le début de la séance : `git diff <base> -- detectors/ vues-deplacements/contexte/seuils-du-journal.md`, et le code de `detectors/` qu'il touche ; une suggestion a son commit (`git log --oneline <base>..HEAD -- detectors/`, message `…, S<n>`), son diff par `git show <commit>` ;
- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`) ; le bloc de la station de la séance ne te regarde pas, tu juges les autres stations et le `Total` ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ;
- les benchmarks de `regression.py` de ta demande (le score par famille sur chaque station de `labeling/auto/`, puis leur `Total`) ; du bloc de la station de la séance, seulement ses instants signalés à tort (la colonne « justes ») ; tu juges les autres stations en entier et le `Total` ; les benchmarks après chaque suggestion, dans l'ordre, disent laquelle fait reculer une station ; tu peux relancer la commande `regression.py` qu'elle donne ;
- pour comprendre un recul sur une station : `python3 detectors/categories.py data/<STATION> --du … --au … 2>&1` sur sa plage (en tête de son bloc), ses étiquettes `labeling/auto/<STATION>.jsonl`, et `labeling/familles.md` (les familles ; la catégorie d'un événement est sa famille).
Rien d'autre : ni le dossier de la station de la séance, ni la critique, ni les autres séances.
@@ -25,12 +25,12 @@ Rien d'autre : ni le dossier de la station de la séance, ni la critique, ni les
## Ce que tu juges
1. **Les détecteurs se chargent** : une ligne `sauté` dans un benchmark (un détecteur qui ne se charge plus disparaît sans bruit) vaut « à reprendre », ou « annuler » au passage 3.
2. **Les autres stations ne reculent pas.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station (les autres que celle de la séance) et famille par famille :
- **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ;
2. **Aucune station ne recule.** Le benchmark compare les détecteurs aux étiquettes de chaque station, par famille : « trouvées » (la part des instants étiquetés que les détecteurs signalent) et « justes » (la part des instants signalés qu'une étiquette range dans la famille). Compare-les avant → après, station par station et famille par famille ; la station de la séance, sur ses seuls instants signalés à tort :
- **un recul**, sur une famille d'une station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte : un gain ailleurs ne rachète pas une station qui recule ;
- en deçà, ce n'est pas un recul ;
- une hausse est un plus, jamais une exigence.
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
4. **Les interdits** : un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins, et `kind` est la famille ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre).
4. **Les interdits** : un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins, et `kind` est la famille ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` (plus `temperature` ou `fin` si le détecteur les déclare, D-124) et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre).
Tu ne modifies aucun fichier hors de ton rendu.
+2 -2
View File
@@ -7,7 +7,7 @@ model: inherit
Tu es le detectors-critic de la boucle automatique : tu juges les détecteurs du journal du matin face aux étiquettes d'une station. L'`etiqueteur` l'a étiquetée en expert, avant la séance, dans `labeling/auto/<STATION>.jsonl` ; ses étiquettes sont la vérité (D-112). Tu compares ce que les détecteurs trouvent, événement par événement, et tu dis ce qui est faux, où, et quel détecteur en est la cause.
**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; ni température, ni images, ni métriques système). Puis le `detectors-control` jugera sa modification sur toutes les autres stations de `labeling/auto/` : un gain ici qui fait reculer une autre station est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule la température ou l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur.
**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; et, s'il la déclare, `temperature`, la température de la station : `[(t, °C)]`, la médiane horaire des `sensor_*_deg_c`, D-124 ; ni images, ni autres métriques système). Puis le `detectors-control` jugera sa modification sur toutes les autres stations de `labeling/auto/`, et sur les signalements à tort de celle-ci : un gain ici qui fait reculer une autre station, ou qui signale ici ce qu'aucune étiquette ne dit, est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur.
**Tu ne regardes pas les données** (D-090) : tu dis quoi et où. Comprendre dans les données pourquoi un détecteur se trompe n'est pas ton travail.
@@ -65,7 +65,7 @@ Rien d'autre : ni le dossier de station par un autre chemin (ni outils de lectur
- **Risque** : …
## 6. Limites
aucune | - <ce que les détecteurs ne peuvent pas voir avec les seules mesures : l'étiquette (bornes, famille), ce qu'il faudrait pour la voir (température, image…)>
aucune | - <ce que les détecteurs ne peuvent pas voir avec les seules mesures : l'étiquette (bornes, famille), ce qu'il faudrait pour la voir (image…)>
## Difficultés
aucune | - <ce qui a gêné ton travail : consigne floue, contradictoire ou absente qui t'a fait deviner, fichier ou chemin introuvable, format inattendu, commande qui échoue ; où, et ce que tu as fait à la place>
+3 -3
View File
@@ -39,7 +39,7 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
**Interdits.**
- Un détecteur par famille de `labeling/familles.md` (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins ; le `kind` d'un épisode est sa famille, la catégorie de son événement. S'aligner sur les étiquettes, c'est mettre un épisode dans la famille de l'étiquette : une règle du détecteur de cette famille. Une suggestion qui demande une famille nouvelle va dans « Pas corrigé ».
- Pas de règle propre à une station, à un capteur ou à une date : une règle générale, valable sur toute station.
- Le contrat `detect(mesures)` et les clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) ne changent pas.
- Le contrat `detect(mesures)` (un détecteur qui en a besoin déclare en plus `temperature`, la température de la station : `[(t, °C)]`, la médiane horaire des `sensor_*_deg_c`, D-124 ; `fin` pour `no_data.py`) et les clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) ne changent pas.
- Bibliothèque standard seulement.
**Dans le même changement** : une constante ajoutée ou changée met à jour sa ligne du registre des seuils (« Réglée sur » : la séance qui l'a demandé) et la docstring du détecteur ; une constante ou un détecteur retiré retire sa ligne du registre. Contrôle : `grep -nE "^[A-Z_0-9]+ = " detectors/*.py`.
@@ -49,9 +49,9 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
**Sur la station de la séance**, c'est toi seul qui vérifies : le contrôle des détecteurs ne la regarde pas. Lance la commande du journal avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Les événements que vise la critique doivent être trouvés, ou mieux bornés, sans casser les autres événements de la station.
Puis le **benchmark**, la commande `regression.py` que donne ta demande, face au benchmark avant. Il compare, instant par instant et par famille (`labeling/familles.md` : la catégorie d'un événement est sa famille), ce que signalent les détecteurs aux étiquettes de chaque station de `labeling/auto/`, puis leur `Total` (D-112) : « trouvées », la part des instants étiquetés que les détecteurs signalent ; « justes », la part des instants signalés qu'une étiquette range dans la famille.
- **Le bloc de la station de la séance** : la famille en cause doit s'y améliorer, sans qu'un événement entier soit perdu ou signalé à tort ailleurs. Un trou n'a pas de mesure, donc pas d'instant au score : pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
- **Le bloc de la station de la séance** : la famille en cause doit s'y améliorer, sans qu'un événement entier soit perdu ; et dans aucune famille ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) ne montent de plus de 2 : le contrôle le vérifie. Un trou n'a pas de mesure : il ne compte au score que ses deux bornes ; pour un trou, le bon sens se lit à la commande du journal (le trou daté comme l'étiquette). Ne vise pas 100 %.
- **Le `Total`** : ce que tu fais monter.
- **Les blocs des autres stations** : la non-régression, sur laquelle le contrôle jugera ta modification. **Un recul**, sur une famille d'une autre station : ses instants trouvés baissent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille).
- **Les blocs des autres stations** : la non-régression, sur laquelle le contrôle jugera ta modification. **Un recul**, sur une famille d'une autre station : ses instants trouvés baissent de plus de 2, ses instants signalés à tort (signalés, moins ceux qu'une étiquette range dans la famille) montent de plus de 2, ou « trouvées » ou « justes » perd plus d'1 point ; c'est un recul même si le `Total` monte (la même règle pour le contrôle). Reprends ta modification avant de la commiter, ou laisse la suggestion. Ne règle rien pour une station précise. Si le recul vient d'étiquettes qui se contredisent d'une station à l'autre (le même état rangé dans deux familles), ne tranche pas : la non-régression prime ; garde ce qui ne fait reculer aucune station (au besoin, rien), et la contradiction va dans « À trancher par l'utilisateur », les deux étiquettes (station, moment, famille).
## Une suggestion, un commit
+2 -2
View File
@@ -15,10 +15,10 @@ Le chemin d'un fichier qui contient des **conclusions** (chacune : ce qui est ap
| Ce qui est appris | Fichier |
|---|---|
| le mécanisme : comment une mesure se fait, où une cause entre dans la chaîne, ce qu'elle touche, ses témoins | `docs/displacement/domaine/chaine-de-mesure.md` |
| le mécanisme : comment une mesure se fait, où une cause entre dans la chaîne, ce qu'elle touche, ses témoins | `labeling/connaissances/chaine-de-mesure.md` |
| une signature d'événement, une catégorie, un faux ami | `events/carte-des-evenements.md` |
| une façon de lire les données (quel outil, quelle colonne regarder, dans quel ordre) | `.claude/skills/lire-les-donnees/SKILL.md` |
| le sens d'une colonne, un piège des données | `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` |
| le sens d'une colonne, un piège des données | `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` |
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni le code, ni les events de la base (`events/E-xxx/`), ni les consignes des agents. Une conclusion qui n'a pas sa place dans ces fichiers : ne l'écris pas, signale-la.
+13 -15
View File
@@ -1,6 +1,6 @@
---
name: etiqueteur
description: Étiqueteur — un analyste qui ne produit que des étiquettes : lit un lot de données de déplacement avec les outils de lecture et la carte des étiquettes, sans les étiquettes de l'expert, et étiquette le lot comme lui (labeling/auto/<STATION>.jsonl, texte qualitatif au format de l'expert, et une famille par étiquette), puis dit ses mesures, sa confiance et ce que la documentation lui a donné ou manqué. Appelé depuis la conversation avec un dossier de station et un lot (début, fin, UTC) (D-106 à D-111).
description: Étiqueteur — un analyste qui ne produit que des étiquettes : lit un lot de données de déplacement avec les outils de lecture et la carte des étiquettes, sans les étiquettes de l'expert, et étiquette le lot comme lui (labeling/auto/etiqueteur/<STATION>_<début>/etiquettes.jsonl, relu ensuite par /review-auto-labels avant d'entrer dans labeling/auto/ ; texte qualitatif au format de l'expert, et une famille par étiquette), puis dit ses mesures, sa confiance et ce que la documentation lui a donné ou manqué. Appelé depuis la conversation avec un dossier de station et un lot (début, fin, UTC) (D-106 à D-111).
tools: Read, Bash, Write
model: inherit
omitClaudeMd: true
@@ -12,41 +12,39 @@ Ton travail est **exhaustif mais précis**, sur les **anomalies seulement** : ch
## Ce que tu reçois
Le dossier de station (`data/<STATION>/`) et le lot (début et fin, UTC). Sauf autre indication : les étiquettes vont dans `labeling/auto/<STATION>.jsonl` (crée-le s'il n'existe pas), ton dossier de sortie est `out/etiqueteur/<STATION>_<début du lot, AAAA-MM-JJ>/`. Seules les étiquettes sont gardées : ce dossier (figures, sorties des outils, scripts, analyse) est hors de git, il ne sert qu'à ton travail et à sa relecture.
Le dossier de station (`data/<STATION>/`) et le lot (début et fin, UTC). Sauf autre indication, ton dossier de sortie est `labeling/auto/etiqueteur/<STATION>_<début du lot, AAAA-MM-JJ>/`, et tes étiquettes vont dans `<dossier de sortie>/etiquettes.jsonl`. **Tu n'écris jamais dans `labeling/auto/<STATION>.jsonl`** : il ne contient que des étiquettes relues ; les tiennes y entrent après leur revue (`/review-auto-labels`, D-130). Lis-le en revanche, pour les bords du lot : un événement déjà étiqueté au lot voisin se prolonge, il ne se refait pas. Une indication de l'expert donnée en conversation s'écrit dans les étiquettes qu'elle touche (« d'après l'expert : … », en mots) et dans ton analyse, section 3 : c'est là que le relecteur la lira. De ce dossier, seuls ton analyse (`analyse.md`), tes étiquettes (`etiquettes.jsonl`) et tes scripts (`outils/*.py`) sont versionnés ; les figures et les sorties des outils restent hors de git, pour ton travail et sa relecture.
## Ce que tu as le droit de lire, seulement
- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils ;
- le dossier de station, par ces outils ou tes scripts, et ses images avec Read ;
- `labeling/carte-des-etiquettes.md` (**en entier**) : les phénomènes de l'expert, ses règles de lecture, ses faux amis, le contexte des stations ;
- `labeling/carte-des-etiquettes.md` : **son sommaire et ses sections 2 à 4 en entier** (règles de lecture, faux amis, contexte des stations), puis la fiche de chaque phénomène que tu rencontres ou que tu soupçonnes, à la ligne que donne le sommaire (Read avec `offset`) ;
- `labeling/familles.md` (**en entier**) : les familles des étiquettes, leurs frontières, ce qui ne s'étiquette pas ;
- `docs/displacement/domaine/chaine-de-mesure.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
- `events/carte-des-evenements.md` et la base d'events comme le dit `.claude/skills/read-event/SKILL.md`.
- `labeling/regles-d-etiquetage.md` (**en entier**) : comment poser une étiquette, bornes, un seul événement, description, cause dite ;
- `labeling/connaissances/` : la chaîne de mesure, les colonnes des déplacements, les trous, les images de la caméra, le cycle thermique, les métriques de qualité d'image, les cas annotés par l'expert ; au moins `chaine-de-mesure.md`, `colonnes-des-deplacements.md` et `les-trous.md`, le reste au besoin.
Rien d'autre : ni `labeling/manual/`, ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni `events-learner/`, `support/`, `agent-diagnostic/`, ni la sortie ou le code des détecteurs. On mesure ce que tu tires des données avec la documentation. Tu listes ce que tu as lu dans « Sources lues ».
Toute la connaissance métier du labeling est dans `labeling/` : rien d'autre, ni `labeling/manual/`, ni `events/` (ce que les events apprennent est dans la carte), ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni `events-learner/`, `support/`, `agent-diagnostic/`, ni la sortie ou le code des détecteurs. On mesure ce que tu tires des données avec la documentation. Tu listes ce que tu as lu dans « Sources lues ».
## Tes outils
Ceux de `lire-les-donnees`, avec `--debut`, `--fin` du lot (une marge avant ou après si un phénomène lent le demande) et `--sortie <dossier de sortie>`. En plus de ce que ce skill permet, tu peux écrire tes scripts dans `<dossier de sortie>/outils/` et les lancer : bibliothèque standard, figures par `.venv/bin/python` et matplotlib ; lire les CSV bruts est permis. Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie. Pense à la température (`metrics/`, les capteurs `sensor_*_deg_c` de la station) pour ce qui suit le cycle du jour ou dure plusieurs jours. Ne recopie jamais les identifiants de `metrics/` (`SIM_CCID`, `ip_*`).
Ceux de `lire-les-donnees`, avec `--debut`, `--fin` du lot (une marge avant ou après si un phénomène lent le demande) et `--sortie <dossier de sortie>`. En plus de ce que ce skill permet, tu peux écrire tes scripts dans `<dossier de sortie>/outils/` et les lancer (`python3`, ou `.venv/bin/python` pour matplotlib, numpy, Pillow), et lancer une boucle `for` sur un outil de lecture ou sur tes scripts ; lire les CSV bruts est permis. Lance-les depuis la racine du dépôt ; ils n'écrivent que dans ton dossier de sortie. Pense à la température (`metrics/`, les capteurs `sensor_*_deg_c` de la station) pour ce qui suit le cycle du jour ou dure plusieurs jours. Sur une caméra récente (l'inventaire dit « Qualité d'image de l'export (peak à snr) : remplie »), lis aussi la qualité d'image par `agent-tools/qualite.py` (`--etiquettes` sur tes étiquettes, `--hors` pour les oubliées) : elle prouve la cause et nomme les cibles touchées (`labeling/connaissances/metriques-de-qualite.md`). Ne recopie jamais les identifiants de `metrics/` (`SIM_CCID`, `ip_*`).
## Déroulé
1. **Lis le lot** comme le dit `lire-les-donnees`, en entier : tout ce qui rend les courbes non plates, et ce que l'expert regarde (la carte, section 2).
2. **Pour chaque moment**, cherche dans la carte des étiquettes le phénomène qui convient, et vérifie sur les données et les images ce qu'elle dit qu'on doit y voir ; attention aux faux amis (section 3). Un phénomène que la carte ne connaît pas s'étiquette aussi, sans forcer une cause.
2. **Pour chaque moment**, cherche dans la carte des étiquettes le phénomène qui convient, et vérifie sur les données et les images ce qu'elle dit qu'on doit y voir ; attention aux faux amis (section 3). Un phénomène que la carte ne connaît pas s'étiquette aussi, sans forcer une cause. Un phénomène trouvé une fois se cherche sur **tout le lot** et se traite pareil à chaque fois : les matins froids, par exemple, se listent tous par `jours.py --bornes` (pose et `corr`) face à la température (`metriques.py`). Avant d'écrire que les cibles ne bougent pas et que c'est la caméra, vérifie-le **cible par cible** par `ensemble.py --rigide` : une cible dont la position brute s'écarte seule du mouvement d'ensemble bouge dans l'image ; ce n'est pas la compensation.
3. **Écris tes étiquettes**, puis ton analyse.
## Les étiquettes
Une ligne JSON par étiquette, **ajoutée** à la fin de `labeling/auto/<STATION>.jsonl`, au format de celles de l'expert :
Une ligne JSON par étiquette, dans `<dossier de sortie>/etiquettes.jsonl`, au format de celles de l'expert :
```json
{"debut": "2026-10-20T03:15Z", "fin": "2026-10-20T07:45Z", "categorie": "visibilite", "description": "…"}
{"debut": "2026-10-20T03:15Z", "fin": "2026-10-20T07:45Z", "categorie": "Visibility", "description": "…"}
```
- `debut`, `fin` : la mesure **juste avant** le premier point touché sur `corr_x` ou `corr_y` (qui bouge ou qui manque), et la mesure **juste après** le dernier ; une anomalie d'une seule mesure va donc du point d'avant au point d'après, jamais `debut` = `fin`. Au quart d'heure près, UTC, format `AAAA-MM-JJTHH:MMZ`.
- **Une étiquette, un seul événement**, jamais un ensemble d'événements : deux événements, même proches ou mêlés, font deux étiquettes. Un même événement qui se répète (un passage, la pluie de chaque nuit, le déplacement thermique de chaque jour) : une étiquette par fois. Un mouvement dans un sens puis le retour font deux événements, deux étiquettes. Un seul événement qui dure plusieurs jours d'un seul tenant (une montée lente) : une étiquette pour toute sa durée.
- `categorie` : obligatoire, une seule par étiquette : la clé de sa famille dans `labeling/familles.md` (`Visibility`, `Obstruction`, `Thermal displacement`, `Displacement`, `Target issue`, `No data` : la clé est le nom), en suivant ses frontières ; aucune autre clé.
- `description` : comme l'expert l'écrirait, en français, **qualitative, sans valeurs chiffrées** : ce qu'on voit (quelles cibles ou références, avec leurs noms exacts, quelles grandeurs, le retour ou non), la cause et **comment tu l'as sue** (vue sur l'image de telle heure, ou déduite des courbes), la conclusion pour le client (rien à faire, données à ne pas croire, mouvement à surveiller). Une cause non établie se dit telle ; ne dis pas plus que ce que tu as vu.
- `debut`, `fin` : UTC, format `AAAA-MM-JJTHH:MMZ`, à la minute de la mesure ; `categorie` : la clé d'une famille de `labeling/familles.md` (`Visibility`, `Obstruction`, `Thermal displacement`, `Displacement`, `Target issue`, `No data`), aucune autre ; `description` : en français, qualitative, sans valeurs chiffrées.
- **Les règles d'une étiquette sont celles de `labeling/regles-d-etiquetage.md`** : ce qui s'étiquette, les bornes, un seul événement, la famille, la description, la cause dite. Elles priment sur ton intuition et sur une habitude d'un lot précédent.
- Le lot entier est lu : un instant sans étiquette veut dire que `corr_x` et `corr_y` n'y montrent rien.
## Ton analyse
@@ -76,4 +74,4 @@ aucune | - <ce qui a gêné ton travail : consigne floue, chemin, commande>
## Sources lues
```
Heures en UTC, figures citées par leur nom. Réponds en 2 lignes : le nombre d'étiquettes, le chemin de l'analyse.
Heures en UTC, figures citées par leur nom. Avant de rendre, `python3 labeling/controle.py <dossier de sortie>/etiquettes.jsonl` doit dire 0 erreur. Réponds en 2 lignes : le nombre d'étiquettes, le chemin de l'analyse.
+3 -3
View File
@@ -16,10 +16,10 @@ Tu reçois : le dossier de station, le lot (début et fin, UTC), la commande du
- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils et ta façon de lire ;
- le dossier de station, par ces outils, et ses images avec Read ;
- `labeling/carte-des-etiquettes.md` (**en entier**) : les phénomènes de l'expert, ses règles de lecture, ses faux amis, le contexte des stations ;
- `labeling/carte-des-etiquettes.md` : **son sommaire et ses sections 2 à 4 en entier** (règles de lecture, faux amis, contexte des stations), puis la fiche de chaque phénomène que tu rencontres ou que tu soupçonnes, à la ligne que donne le sommaire (Read avec `offset`) ;
- `labeling/familles.md` (**en entier**) : les familles des étiquettes de l'expert, leurs frontières ;
- `docs/displacement/domaine/chaine-de-mesure.md` : le mécanisme ;
- `docs/domaine/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md`, que ce skill cite ;
- `labeling/connaissances/chaine-de-mesure.md` : le mécanisme ;
- `labeling/connaissances/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md`, que ce skill cite ;
- `events/carte-des-evenements.md` : ce qui peut arriver, en familles, les catégories du journal (section 4 : définition de chacune, éventualités du terrain qui la font, détecteurs ; D-074) et les faux amis (section 5) ;
- la base d'events, ta base de connaissance, quand tu veux, avant ta lecture comme pendant : comme le dit `.claude/skills/read-event/SKILL.md` (`events/INDEX.md`, puis les fiches `event.md` qu'il cite, leurs figures et leurs données). Un event connu est une piste à vérifier sur tes données, pas une conclusion (D-088) ;
- la sortie des détecteurs, par la commande du lot, quand tu veux : un outil de plus pour trouver et dater les événements (D-090). Ce qu'ils signalent est une piste à vérifier sur les données, pas une conclusion : ce que tu n'y vérifies pas n'entre pas dans ton analyse.
@@ -0,0 +1,45 @@
---
name: cross-review-labels
description: Revue croisée des étiquettes automatiques (labeling/auto/*.jsonl) sur toutes les stations à la fois — un analyste par famille compare les stations entre elles, pour qu'un même phénomène porte la même étiquette partout, tranche les règles où les revues par station ont divergé et trouve les étiquettes rangées dans une autre famille ; l'orchestrateur applique, règle les conflits, puis une passe de finition reprend ce qui reste. Lancé par l'utilisateur, /cross-review-labels [FAMILLE], après les revues par station (/review-auto-labels).
argument-hint: "[FAMILLE]"
---
# Revue croisée des étiquettes automatiques
Les revues par station (`/review-auto-labels`, D-128) relisent la même tranche que l'étiqueteur et retrouvent, station après station, les mêmes défauts. La revue croisée change de granularité : **une famille, toutes les stations** (D-130). Chaque analyste part des étiquettes et des revues et les améliore ; il ne refait pas l'étiquetage. Tu es l'orchestrateur : tu prépares la table, lances les analystes, appliques, règles les conflits. Tu ne juges pas les étiquettes toi-même.
Dossier : `labeling/auto/revue-croisee/<AAAA-MM-JJ>/`. Ses outils : `outils/table.py` (la table), `outils/appliquer.py` (l'application) ; **copie-les** de la dernière revue croisée dans le nouveau dossier, ne les lance jamais dans l'ancien. Une revue ne s'applique qu'une fois : `appliquer.py` écrit `applique.md` et refuse de rejouer.
## 1. La table
```bash
python3 labeling/auto/revue-croisee/<date>/outils/table.py
```
Elle écrit `index.tsv` (toutes les étiquettes, description coupée) et `par-famille/<famille>.md` (en entier), avec pour chacune son **id** stable `<STATION>-<n>` (`labeling/ids.py`, D-131), sa durée et les stations étiquetées au même moment. Copie `labeling/auto/*.jsonl` dans ton dossier temporaire : c'est l'état d'avant, pour revenir. Une étiquette qu'une autre session modifie pendant la revue garde son id : l'application la retrouve ; mais n'écris rien d'autre dans `labeling/auto/` jusque-là, pour que les analystes jugent ce qui sera modifié.
## 2. Les analystes
Un agent `analyste` par famille (les six, ou celle de l'argument), en parallèle, prompt :
`Revue croisée des étiquettes automatiques, pas un lot de la boucle. Tes consignes : .claude/skills/cross-review-labels/analyste.md. Famille : <famille> (<n> étiquettes, toutes les stations). Dossier de la revue croisée : <dossier> (par-famille/<Famille>.md, index.tsv). Dossier de sortie : <dossier>/<famille>/.`
Ajoute au prompt **les questions où les revues par station ont divergé** pour cette famille (lis leurs « Défauts qui reviennent » et « Questions à l'expert ») : ce sont elles qui font la valeur de la revue croisée. Deux familles partagent une frontière (thermique et visibilité, par exemple) : dis à chacun que l'autre la traite aussi.
## 3. Appliquer
Quand tous ont rendu :
1. Vérifie que `labeling/auto/` n'a pas changé depuis la table (comparaison à la copie) ; si une autre session y a écrit, ne l'écrase pas : refais la table et relance les analystes touchés.
2. Cherche les conflits (une étiquette touchée par deux analystes) et les ajouts qui doublent une étiquette ; `appliquer.py` n'applique pas une étiquette en conflit, tranche-la (`id=<famille>`).
3. `python3 <dossier>/outils/appliquer.py` : les étiquettes modifiées ou ajoutées portent `revue` à la date du jour. Puis `python3 labeling/controle.py` : 0 erreur ; s'il en reste, renvoie l'étiquette à son analyste.
## 4. La finition
Les rendus disent ce qu'un analyste a laissé de côté (« laissé tel quel », « pour un autre relecteur ») : note chaque point dans `<dossier>/reste-a-faire.md` au fil des rendus. Puis une passe de finition, un analyste par station touchée, avec une table refaite (`<dossier>/finition/`, même méthode, ids du fichier du moment) et les règles tranchées des revues croisées.
## 5. Après
- **Les descriptions restent sans valeurs chiffrées** (`labeling/regles-d-etiquetage.md`, section 5) : les mesures vont dans les `revue.md`, pas dans les étiquettes. `labeling/controle.py` les compte après chaque application ; s'il en reste, une réécriture en mots, station par station, où seule la description change (vérifiée par script).
- **Les règles tranchées** entrent dans `labeling/regles-d-etiquetage.md`, les frontières dans `labeling/familles.md`, les nouveaux cas dans la carte (`/labels-map`).
- **Le `releveur`** en fin de processus (règle des processus automatiques, D-060) : il note dans `docs/ameliorations-processus.md` les sections « Difficultés » des revues et les tiennes.
- Commit sur l'accord de l'utilisateur : les étiquettes, les `revue.md`, `modifications.jsonl`, `reste-a-faire.md` (les figures restent hors de git).
@@ -0,0 +1,69 @@
# Revue croisée des étiquettes automatiques : une famille, toutes les stations
Tu es l'analyste, ici relecteur. Chaque station a déjà été relue seule (`/review-auto-labels`, `labeling/auto/revue/<STATION>_*/revue.md`). Ton travail : **comparer les stations entre elles** sur une famille, pour qu'un même phénomène porte la même étiquette partout. Tu pars des étiquettes et des revues, un travail qui a de la valeur : tu critiques, améliores, modifies ou supprimes, **tu ne refais pas l'étiquetage**. Tes propositions sont appliquées sans validation de l'expert : chaque choix dit sa raison et ce que tu as mesuré.
## Ce que tu reçois
Ta famille, le dossier de la revue croisée (`<dossier>`), ton dossier de sortie.
## Ce que tu lis
- `<dossier>/par-famille/<famille>.md` : toutes les étiquettes de ta famille, en entier, avec leur id stable (`<STATION>-<n>`, D-131), leur durée et les stations étiquetées au même moment (`simultanées`, étiquettes de moins de 24 h) ;
- `<dossier>/index.tsv` : toutes les étiquettes de toutes les familles, la description coupée, **pour trouver tes phénomènes rangés dans une autre famille** ;
- `labeling/familles.md` et `labeling/regles-d-etiquetage.md` : les règles, ton barème ; `labeling/carte-des-etiquettes.md` : **son sommaire et ses sections 2 à 4 en entier** (règles de lecture, faux amis, contexte des stations), puis la fiche de chaque phénomène de ta famille et de ses frontières, à la ligne que donne le sommaire (Read avec `offset`) ; `labeling/connaissances/` au besoin ;
- les revues par station, au besoin, et les étiquettes de l'expert, `labeling/manual/<STATION>.jsonl` ; une phrase « d'après l'expert » est un fait, ne la contredis que si les données la démentent ;
- les données, par `.claude/skills/lire-les-donnees/SKILL.md` et tes scripts : **seulement pour trancher**, sur un échantillon (une étiquette typique par phénomène et par station) et sur les étiquettes qui font écart. Pas une relecture de chaque étiquette.
## Ce que tu fais
1. **Ranger tes étiquettes en phénomènes**, d'après leur signature (ce qui est touché, quand, combien de temps, le retour), pas d'après la cause ou la famille écrites ; la carte donne les phénomènes connus, les autres se nomment.
2. **Comparer les stations, phénomène par phénomène** : même famille, bornes posées sur le même principe (compte tenu de la cadence), même façon de dire la cause et la conclusion. Un écart se justifie par les données (station sans l'effet, autre ouvrage) ; sinon c'est une incohérence : choisis la règle, applique-la à toutes les stations.
3. **Les règles divergentes entre revues** : les revues par station ont parfois tranché autrement la même question. Tranche-la une fois pour toutes ; les questions connues pour ta famille sont dans ton prompt.
4. **Tes phénomènes ailleurs** : dans `index.tsv`, les étiquettes d'une autre famille qui ont la signature d'un de tes phénomènes ; vérifie-les et propose leur famille.
5. **Ce qui se passe au même moment sur plusieurs stations** (`simultanées`) : une cause commune (plateforme, météo d'une région, bâtiment) se dit pareil sur chacune.
## Ta sortie
`<sortie>/revue.md` :
```markdown
# Revue croisée : <famille>, toutes les stations
## Bilan
<étiquettes et stations ; phénomènes trouvés ; modifiées, retirées, ajoutées ; les incohérences qui reviennent>
## Phénomènes
### <nom>
- **Stations et étiquettes** : <ids>
- **Traitement** : cohérent | incohérent : <en quoi>
- **Décision** : <la règle retenue, sa raison, ce que tu as mesuré> | aucune
## Règles tranchées
<chaque question où les revues divergeaient : ce que tu retiens, pourquoi>
## Étiquettes d'autres familles
<ids, ce qu'elles sont, la famille proposée> | aucune
## Nouveaux cas
<ce que la carte et `familles.md` ne disent pas encore : phénomène, variante, contexte de station, frontière ; avec ses étiquettes et ta source> | aucun
## Pour l'etiqueteur et `familles.md`
<les règles à écrire pour que ces incohérences ne reviennent pas>
## Difficultés
aucune | - <consigne floue, chemin, commande>
```
Et `<sortie>/modifications.jsonl`, une ligne par changement, **rien pour une étiquette gardée** :
```json
{"id": "SNCF01#12", "action": "modifier", "etiquette": {"debut": "...", "fin": "...", "categorie": "...", "description": "..."}}
{"id": "SNCF01#14", "action": "retirer", "raison": "..."}
{"station": "SNCF01", "action": "ajouter", "etiquette": {"debut": "...", "fin": "...", "categorie": "...", "description": "..."}}
```
Une étiquette d'une autre famille se modifie de même (son id) ; l'orchestrateur règle les cas où deux relecteurs touchent la même. Tu ne modifies ni `labeling/auto/`, ni `docs/`, ni la carte, ni `familles.md`. **Commandes ajoutées à celles de `lire-les-donnees`** (qui permet à l'appelant d'en ajouter) : tes scripts de `<sortie>/outils/`, lancés par `python3` ou `.venv/bin/python` (matplotlib, numpy, Pillow pour les images) depuis la racine du dépôt, et une boucle `for` sur un outil de lecture ou sur tes scripts ; ils n'écrivent que dans ton dossier de sortie. Le reste des règles d'usage du skill vaut pour toi. Ne recopie jamais les identifiants de `metrics/`.
**Tes mesures vont dans `revue.md`, jamais dans les étiquettes** : une description proposée dit en mots ce que tes chiffres montrent (« nettement », « presque toutes les cibles »), sans degrés, pixels, bruits ni pourcentages ; un texte ne se recopie pas d'un jour à l'autre. Avant de rendre, écris les étiquettes de tes lignes `modifier` et `ajouter` dans un fichier (une par ligne) et lance `python3 labeling/controle.py <ce fichier>` : 0 erreur attendue.
Réponds en 5 lignes : le bilan, les règles tranchées, le chemin de la revue.
+3 -3
View File
@@ -7,7 +7,7 @@ argument-hint: "data/<STATION> [--ameliorer]"
# detector-learner : les détecteurs face aux étiquettes
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `labeling/auto/`, écrites en amont par l'`etiqueteur` (D-106) : le diagnostic est déjà fait, il n'y a ni analyste ni autre vérité ici (D-116, D-118). Le but est d'aligner les détecteurs le mieux possible sur l'ensemble des étiquettes de `labeling/auto/` ; la station de la séance montre où regarder. Tu appelles les trois agents des détecteurs dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `labeling/auto/`, écrites en amont par l'`etiqueteur` et relues (D-106, D-130) : le diagnostic est déjà fait, il n'y a ni analyste ni autre vérité ici (D-116, D-118). Le but est d'aligner les détecteurs le mieux possible sur l'ensemble des étiquettes de `labeling/auto/` ; la station de la séance montre où regarder. Tu appelles les trois agents des détecteurs dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout.
## 1. Mise en place
@@ -19,7 +19,7 @@ Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes de `la
**Commande du journal**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier> --du <début> --au <fin>`. **Commande des capteurs**, pour le critique : `python3 .claude/skills/detector-learner/capteurs.py <dossier> --du <début> --au <fin>` (la cadence des mesures, puis les capteurs de chaque événement, dont la commande du journal ne donne que le nombre).
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `<STATION>` est le score de la séance ; les autres blocs, la non-régression.
**Le benchmark**, la seule mesure de la séance : `python3 .claude/skills/detector-learner/regression.py --seance <SEANCE>_<STATION> --etape <étape> > <séance>/benchmark-<étape>.txt 2>&1`. Le score par famille et par instant sur chaque station de `labeling/auto/`, puis leur `Total`, versé dans `detector-learner/historique.csv`, qui dit si les détecteurs font mieux d'une séance à l'autre. Le bloc `<STATION>` est le score de la séance, et ses instants signalés à tort, une non-régression ; les autres blocs, la non-régression (D-123).
## 2. Dans l'ordre
@@ -34,7 +34,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
L'upgrader commite lui-même chaque suggestion gardée, avec son benchmark `<séance>/benchmark-K-S<n>.txt`, message `Detector-learner <STATION>: modification K, S<n>` : le contrôle peut ainsi en faire retirer une seule.
Puis le benchmark, étape `modification K`, dans `<séance>/benchmark-K.txt`.
Commit `detectors/ vues-deplacements/contexte/seuils-du-journal.md <séance>/ detector-learner/historique.csv` (sans les fichiers déjà modifiés notés au §1), message `Detector-learner <STATION>: modification K`.
4. **Detectors-control** (`detectors-control`), qui ne regarde pas la station de la séance :
4. **Detectors-control** (`detectors-control`), qui ne regarde de la station de la séance que ses instants signalés à tort :
`Station de la séance : <STATION>. Modification : <séance>/modification-K.md. Benchmark : <séance>/benchmark-avant.txt → <séance>/benchmark-K.txt, à relancer par python3 .claude/skills/detector-learner/regression.py (sans --etape) ; après chaque suggestion : <séance>/benchmark-K-S*.txt. Base : <base de la séance>. Passage K sur 3. Écris <séance>/validation-K.md.`
Commit `<séance>/`, message `Detector-learner <STATION>: control K (<verdict>)`.
- `accepté` ou `garder` : va au bilan.
+2 -2
View File
@@ -16,12 +16,12 @@ p.add_argument("dossier")
p.add_argument("--du", required=True)
p.add_argument("--au", required=True)
a = p.parse_args()
jour = lambda d: datetime.strptime(d, "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
debut, fin = jour(a.du), jour(a.au)
mesures = categories.charger(a.dossier)
lot = {s: k for s, ms in mesures.items() if (k := [m for m in ms if debut - timedelta(days=3) <= m["t"] < fin])}
ts = sorted({m["t"] for ms in lot.values() for m in ms if m["t"] >= debut})
pas = [(b - a).total_seconds() / 60 for a, b in zip(ts, ts[1:])]
print(f"cadence : {statistics.median(pas):.0f} min (médiane des pas entre mesures)" if pas else "cadence : pas de mesure")
for v in (v for v in categories.evenements(lot, fin) if v["end"] >= categories.iso(debut)) if lot else []:
for v in (v for v in categories.evenements(lot, fin, categories.charger_temperature(a.dossier)) if v["end"] >= categories.iso(debut)) if lot else []:
print(v["start"], "→", v["end"], f"{v['category']:<20}", "|", ", ".join(sorted(v["sensors"])) or "tous les capteurs")
+19 -31
View File
@@ -31,7 +31,7 @@ RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", ".
sys.path.insert(0, os.path.join(RACINE, "detectors"))
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "analyser-lot"))
import categories # noqa: E402 (il met lui-même agent-tools sur le chemin)
from donnees import charger, instant, iso # noqa: E402
from donnees import charger, charger_temperature, instant, iso # noqa: E402
from etiquettes import defauts, vocabulaire # noqa: E402
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
@@ -61,11 +61,11 @@ def marquer(cs, spans):
return out
def evenements(mesures, debut, fin):
def evenements(mesures, debut, fin, temperature=None):
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique (comme la commande du lot)."""
h, b = instant(debut) - HISTORIQUE, instant(fin)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
return [v for v in (categories.evenements(tranche) if tranche else []) if v["end"] >= debut]
return [v for v in (categories.evenements(tranche, temperature=temperature) if tranche else []) if v["end"] >= debut]
def detectes(mesures, debut, fin):
@@ -112,16 +112,20 @@ def etiquettes_auto(station, debut, fin):
def familles_lot(dossier, debut, fin, etiq=None):
"""Score d'un lot par famille et par instant (D-112) -> ({famille: [étiquetés, signalés, les deux]}, étiquettes).
Un instant : une heure du lot où un capteur au moins a une mesure ; il reçoit les familles des étiquettes qui le
couvrent, bornes comprises, et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/."""
couvrent, bornes exclues (sauf un trou, sans mesure dedans), et celles des événements des détecteurs. etiq : les étiquettes, sinon labeling/auto/."""
# ponytail: par instant et non par capteur, les étiquettes ne disent leurs capteurs que dans le texte ; un champ
# capteurs dans l'étiquette, si cette finesse manque
mesures = charger(dossier)
if etiq is None:
etiq = etiquettes_auto(os.path.basename(os.path.normpath(dossier)), debut, fin)
evts = evenements(mesures, debut, fin)
evts = evenements(mesures, debut, fin, charger_temperature(dossier))
instants = sorted({t for _, t in cases(mesures, debut, fin)})
# bornes exclues : elles sont la mesure saine d'avant et d'après (D-111) ; un trou, sans mesure dedans, les garde
vides = {i for i, e in enumerate(etiq) if not any(e["debut"] < t < e["fin"] for t in instants)}
paires = []
for t in sorted({t for _, t in cases(mesures, debut, fin)}):
a = {e.get("categorie", "sans famille") for e in etiq if e["debut"] <= t <= e["fin"]} - {"None"}
for t in instants:
a = {e.get("categorie", "sans famille") for i, e in enumerate(etiq)
if e["debut"] < t < e["fin"] or (i in vides and e["debut"] <= t <= e["fin"])} - {"None"}
d = {v["category"] for v in evts if v["start"] <= t <= v["end"]}
paires.append((a, d))
return compter(paires), etiq
@@ -176,31 +180,15 @@ def lots(dossier, chemins, explicite):
def test():
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09) : une étiquette (D-111) ne compte que les instants entre ses bornes,
la mesure saine d'avant et celle d'après ; un trou, sans mesure entre ses bornes, compte ses deux bornes."""
dossier = os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND")
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
cs = cases(mesures, debut, fin)
spans = detectes(mesures, debut, fin)
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
det = marquer(cs, spans)
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
cat = next(s[3] for s in spans if validite({s[3]}))
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
assert ajout == [len(cs), 0, 0], ajout
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
assert validite({"dilatation_thermique", "a_verifier"}) is None
# par famille (D-112) : chaque catégorie du journal a sa famille, sauf saut_bref ; les événements des détecteurs pris
# pour étiquettes, sauts brefs à part, donnent chaque famille trouvée et juste en entier
corr = familles()
assert set(categories.CATEGORIES) - set(corr) == {"saut_bref"}, corr
etiq = [{"debut": v["start"], "fin": v["end"], "categorie": corr[v["category"]]}
for v in evenements(mesures, debut, fin) if v["category"] != "saut_bref"]
n, _ = familles_lot(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"), debut, fin, etiq)
assert n and all(x[0] == x[1] == x[2] for k, x in n.items() if k != "saut_bref"), n
a, b, c = sorted({t for _, t in cases(charger(dossier), debut, fin)})[10:13]
n, _ = familles_lot(dossier, debut, fin, [{"debut": a, "fin": c, "categorie": "X"}])
assert n["X"][0] == 1, n
n, _ = familles_lot(dossier, debut, fin, [{"debut": a, "fin": b, "categorie": "X"}])
assert n["X"][0] == 2, n
print("test : bon")
+2 -2
View File
@@ -7,7 +7,7 @@ argument-hint: "data/<STATION> [--du AAAA-MM-JJ] [--au AAAA-MM-JJ] [--ameliorer]
# events-learner : la boucle automatique
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes du lot, écrites en amont par l'`etiqueteur` dans `labeling/auto/<STATION>.jsonl` (D-106, D-112) ; tu appelles les trois agents dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout. Spec : `vues-deplacements/contexte/events-learner.md`.
Tu es l'orchestrateur. La vérité de la séance, ce sont les étiquettes du lot, écrites en amont par l'`etiqueteur`, relues et versées dans `labeling/auto/<STATION>.jsonl` (D-106, D-112, D-130) ; tu appelles les trois agents dans l'ordre, tu transmets leurs rendus et tu commites ; en fin de séance, le releveur note leurs difficultés. **Tu ne juges rien toi-même** : tu lis seulement les lignes de verdict. **Tu ne poses aucune question à l'utilisateur** : la séance tourne seule jusqu'au bout. Spec : `vues-deplacements/contexte/events-learner.md`.
## 1. Mise en place
@@ -23,7 +23,7 @@ Un seul lot, numéroté `01` (`NN` ci-dessous) : de `--du` 00:00Z (sinon le prem
**Commande du lot**, donnée telle quelle aux agents : `python3 detectors/categories.py <dossier>`, plus `--du` et `--au` s'ils sont donnés. Exemple : `--du 2026-10-05 --au 2026-10-09`.
**Les étiquettes du lot** : les lignes de `labeling/auto/<STATION>.jsonl` qui touchent la plage, écrites avant la séance par l'`etiqueteur` (`@etiqueteur data/<STATION> du <début> au <fin>`, lancé par l'utilisateur) : une étiquette par anomalie vue sur `corr_x` et `corr_y`, sa famille (`labeling/familles.md`) et sa description ; un instant sans étiquette veut dire que les courbes corrigées n'y montrent rien (D-111). Contrôle : `python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin>` (les bornes du lot) ; s'il sort en erreur (« Aucune étiquette »), dis-le et arrête-toi, sans commit : le lot est à étiqueter d'abord. Tu ne modifies jamais ce fichier.
**Les étiquettes du lot** : les lignes de `labeling/auto/<STATION>.jsonl` qui touchent la plage, écrites avant la séance par l'`etiqueteur` (`@etiqueteur data/<STATION> du <début> au <fin>`, lancé par l'utilisateur) puis relues et versées par `/review-auto-labels` (D-130) : une étiquette par anomalie vue sur `corr_x` et `corr_y`, sa famille (`labeling/familles.md`) et sa description ; un instant sans étiquette veut dire que les courbes corrigées n'y montrent rien (D-111). Contrôle : `python3 .claude/skills/events-learner/score.py <dossier> --du <début> --au <fin>` (les bornes du lot) ; s'il sort en erreur (« Aucune étiquette »), dis-le et arrête-toi, sans commit : le lot est à étiqueter d'abord. Tu ne modifies jamais ce fichier.
## 3. Le lot, dans l'ordre
+2 -2
View File
@@ -10,9 +10,9 @@ Le phénomène, le fichier des étiquettes (une ligne chacune : `station`, `debu
- `.claude/skills/lire-les-donnees/SKILL.md` (lis-le en premier) : tes outils ;
- les dossiers de station des étiquettes, par ces outils ou tes scripts, et leurs images avec Read ;
- `docs/displacement/domaine/chaine-de-mesure.md` : le mécanisme ;
- `labeling/connaissances/chaine-de-mesure.md` : le mécanisme ;
- `labeling/carte-des-etiquettes.md` (**en entier**) et `labeling/familles.md` : les phénomènes déjà documentés, les familles et leurs frontières ;
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md` ;
- `events/carte-des-evenements.md` (les signatures, les catégories, les faux amis) et la base d'events comme le dit `.claude/skills/read-event/SKILL.md`.
Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni les leçons d'autres phénomènes dans `labeling/lecons/`. Tu listes ce que tu as lu dans « Sources lues ».
+7 -4
View File
@@ -1,6 +1,6 @@
---
name: labels-map
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues de l'expert (labeling/manual/*.jsonl) — les phénomènes qu'il a étiquetés, ce qu'on voit pour chacun, comment il en a su la cause, ses règles de lecture et ses faux amis, chaque phrase sourcée par ses étiquettes. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels).
description: Écrire ou refaire la carte des étiquettes (labeling/carte-des-etiquettes.md) à partir des étiquettes revues (celles de l'expert, labeling/manual/, et les automatiques revues, labeling/auto/), des events (events/) et des cas de labeling/connaissances/ — les phénomènes, ce qu'on voit pour chacun, comment on en a su la cause, les règles de lecture et les faux amis, chaque phrase sourcée. Lancé par l'utilisateur, /labels-map, après une revue des étiquettes (/review-labels, /review-auto-labels, /cross-review-labels).
disable-model-invocation: true
---
@@ -12,7 +12,9 @@ La carte est **dérivée** des étiquettes : elle se refait en entier à chaque
## 1. Lire les étiquettes
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre.
Toutes les lignes de `labeling/manual/*.jsonl` (`debut`, `fin`, `description`, `revue`). N'entrent dans la carte que celles qui portent `revue` ; les autres sont listées en fin de carte, « en attente de revue », une ligne chacune. Lis-les **toutes en entier** avant d'écrire : un phénomène se reconnaît d'une station à l'autre. Plus les lignes de `labeling/auto/*.jsonl` qui portent `revue` : des étiquettes de l'etiqueteur relues par l'analyste (`/review-auto-labels`, `/cross-review-labels`, D-128, D-130) ; elles entrent dans la carte avec la même clé, mais l'expert prime : une contradiction avec lui va en section 6, pas dans la fiche. Elles sont près d'un millier : lis-les par famille (la table de la dernière revue croisée, `labeling/auto/revue-croisee/<date>/outils/table.py`), et pars des sections « Phénomènes » et « Nouveaux cas » des revues, qui les ont déjà rangées.
**Les events et les cas** : les events (`events/INDEX.md`, puis `events/E-xxx/event.md`, clé `[E-xxx]`) sont des cas de ces mêmes stations, aux noms codés : rattache chacun à sa station et à ses étiquettes par ses dates et sa signature, et cite-les ensemble. Les cas de `labeling/connaissances/` (cas annotés par l'expert, incident de Barcelone, cycle thermique) entrent de même. Quand un event, l'expert et une étiquette automatique se lisent différemment, compile au plus près de la réalité : les données tranchent (`lire-les-donnees`), l'expert prime sauf si elles le démentent, et le point va en section 6 comme question à l'expert. Toute la connaissance métier du labeling est dans `labeling/` : ce qu'un event apprend entre dans la carte.
Chaque étiquette a une **clé** courte, qui sert de source partout dans la carte : `STATION JJ.MM HH:MM` (son `debut`, UTC), par exemple `NIEDERHORN 30.09 21:00`.
@@ -39,7 +41,7 @@ Un phénomène est **ce qui arrive**, au niveau où l'expert l'explique : « un
- **La cause, et comment l'expert l'a sue** : vue (sur quelle image), ou déduite (de quoi) ; ou « non établie ».
- **Ce qu'on en conclut** : pour l'ouvrage et pour les mesures (rien à faire, zone à ignorer, à vérifier, intervention).
- **Variantes** : ce qui change d'une étiquette à l'autre (plus fort, moins de capteurs, combiné à autre chose).
- **Étiquettes** : les clés, la principale d'abord ; « (une station) » si toutes viennent de la même.
- **Étiquettes** : toutes les clés de l'expert, la principale d'abord ; des automatiques, au plus six exemples, les plus nets, de stations différentes si possible, puis leur compte par station (« et 41 autres : NORDEND 22, WILDSTRUBEL 12, SNCF01 7 ») ; puis les events ; « (une station) » si toutes viennent de la même.
```
Chaque phrase vient d'une étiquette au moins ; quand elle n'en vient que d'une parmi plusieurs, sa clé suit la phrase entre crochets. Les mots de l'expert sont gardés, son incertitude aussi (« sans doute », « peut-être », « non établi ») : ne la change ni en certitude ni en doute.
@@ -56,6 +58,7 @@ Chaque phrase vient d'une étiquette au moins ; quand elle n'en vient que d'une
## 4. Contrôler avant de rendre
0. `python3 .claude/skills/labels-map/sommaire.py` : le sommaire en tête de la carte, une ligne par fiche avec sa ligne dans le fichier (les lecteurs lisent le sommaire et les sections 2 à 4, puis les fiches utiles) ; à relancer après toute retouche.
1. `python3 .claude/skills/labels-map/controle.py` : aucune clé inconnue, aucune étiquette revue absente ; chaque chiffre qui reste se justifie (nom de capteur, heure d'une image, « presque à 1 » de l'expert).
2. Relis chaque fiche **phrase à phrase face au texte de ses clés**. Ce qui s'y glisse le plus :
- une prudence de l'expert devenue un fait (« suggère », « plausible », « sans doute », « peut-être ») ;
@@ -70,5 +73,5 @@ Puis rends à l'utilisateur, court : le nombre de phénomènes, de règles, de f
## Règles
- Tu n'écris que `labeling/carte-des-etiquettes.md` ; les étiquettes et la carte des événements ne se modifient pas ici.
- Rien que ce que disent les étiquettes : ni la documentation, ni les données, ni les events ; la carte est la mémoire de l'expert, pas une synthèse du projet. La carte des événements ne sert qu'aux noms des familles et à la section 5.
- Rien que ce que disent les étiquettes revues, les events et les cas de `labeling/connaissances/` ; les données seulement pour trancher une contradiction. La carte est la mémoire de ce qui a été étiqueté, pas une synthèse du projet. La carte des événements sert aux noms des familles, à ses faux amis et à la section 5.
- Vocabulaire des conclusions : `confirmed` / `strongly supported` / `consistent with` / `possible` / `insufficient evidence` / `not observed` quand il faut qualifier ; pas de pseudo-probabilités.
+29 -14
View File
@@ -1,36 +1,51 @@
"""Contrôle de la carte des étiquettes face à labeling/manual/*.jsonl (skill labels-map).
"""Contrôle de la carte des étiquettes (skill labels-map).
python3 .claude/skills/labels-map/controle.py
Rend : clés citées inconnues, étiquettes revues absentes, où chaque étiquette est citée,
les chiffres hors clés (à justifier un par un : nom de capteur, heure d'une image).
Rend : clés citées inconnues (ni étiquette de l'expert, ni automatique), events cités inconnus,
étiquettes revues de l'expert absentes, où chaque étiquette de l'expert est citée,
les chiffres hors clés et hors comptes « et N autres » (à justifier un par un : nom de capteur, heure d'une image).
Les étiquettes automatiques ne sont citées qu'en exemples : leur absence n'est pas une erreur.
"""
import glob
import json
import os
import re
CLE = r"[A-Z][A-Z_]{3,} \d\d\.\d\d \d\d:\d\d"
CLE = r"[A-Z][A-Z0-9_]{3,} \d\d\.\d\d \d\d:\d\d"
EVENT = r"E-\d{3}"
def cle(station, debut):
return f"{station} {debut[8:10]}.{debut[5:7]} {debut[11:16]}"
revues = {}
for chemin in sorted(glob.glob("labeling/manual/*.jsonl")):
station = os.path.basename(chemin)[: -len(".jsonl")]
for ligne in open(chemin, encoding="utf-8"):
e = json.loads(ligne)
revues[cle(station, e["debut"])] = "revue" in e
def lire(motif):
cles = {}
for chemin in sorted(glob.glob(motif)):
station = os.path.basename(chemin)[: -len(".jsonl")]
for ligne in open(chemin, encoding="utf-8"):
if ligne.strip():
e = json.loads(ligne)
cles[cle(station, e["debut"])] = "revue" in e
return cles
expert = lire("labeling/manual/*.jsonl")
auto = lire("labeling/auto/*.jsonl")
events = set(re.findall(EVENT, open("events/INDEX.md", encoding="utf-8").read()))
carte = open("labeling/carte-des-etiquettes.md", encoding="utf-8").read()
citees = set(re.findall(CLE, carte))
print("Clés inconnues :", sorted(citees - set(revues)) or "aucune")
print("Revues absentes :", [k for k, r in revues.items() if r and k not in citees] or "aucune")
print("Clés inconnues :", sorted(citees - set(expert) - set(auto)) or "aucune")
print("Events inconnus :", sorted(set(re.findall(EVENT, carte)) - events) or "aucun")
print("Revues de l'expert absentes :", [k for k, r in expert.items() if r and k not in citees] or "aucune")
print("Automatiques citées :", len(citees & set(auto)), "sur", len(auto))
sections = re.split(r"\n(?=#{2,4} )", carte)
for k in sorted(revues):
for k in sorted(expert):
titres = [s.splitlines()[0].lstrip("# ")[:40] for s in sections if k in s]
print(f" {k}{'' if revues[k] else ' (non revue)'} : {' | '.join(titres)}")
print(f" {k}{'' if expert[k] else ' (non revue)'} : {' | '.join(titres)}")
reste = re.sub(CLE, "", carte)
reste = re.sub(EVENT, "", reste)
reste = re.sub(r"et \d+ autres?\s*:[^)\n]*", "", reste)
print("Chiffres hors clés :", sorted(set(re.findall(r"\S*\d\S*", reste))))
print(len(carte.splitlines()), "lignes")
+45
View File
@@ -0,0 +1,45 @@
"""Sommaire de la carte des étiquettes (skill labels-map) : une ligne par fiche, avec sa ligne dans le fichier,
pour qu'un lecteur lise le sommaire et les sections 2 à 4, puis seulement les fiches qui le concernent.
python3 .claude/skills/labels-map/sommaire.py # (ré)écrit le bloc entre <!-- sommaire --> et <!-- /sommaire -->
La ligne d'une fiche : son titre, la première phrase de « Ce qui se passe », et `l. N` (Read avec offset N).
"""
import re
P = "labeling/carte-des-etiquettes.md"
DEBUT, FIN = "<!-- sommaire -->", "<!-- /sommaire -->"
texte = open(P, encoding="utf-8").read()
if DEBUT in texte: # l'ancien bloc s'enlève d'abord, il se refait
avant, reste = texte.split(DEBUT, 1)
texte = avant.rstrip("\n") + "\n\n" + reste.split(FIN, 1)[1].lstrip("\n")
lignes = texte.split("\n")
ancre = next(i for i, l in enumerate(lignes) if l.startswith("## 1."))
def bloc(decalage):
out = [DEBUT, "## Sommaire", "",
"Lire le sommaire et les sections 2 à 4 en entier, puis la fiche de chaque phénomène rencontré (Read avec `offset` à sa ligne).", ""]
for i, l in enumerate(lignes):
if l.startswith("### ") and i > ancre and not l.startswith("### Les règles") and not l.startswith("### Celles"):
out.append(f"- **{l[4:]}**")
elif l.startswith("#### "):
suite = "\n".join(lignes[i + 1:i + 6])
m = re.search(r"\*\*Ce qui se passe\*\*\s*:\s*(.+?[.;])(\s|$)", suite)
out.append(f" - {l[5:]} (l. {i + 1 + decalage})" + (f" : {m.group(1)}" if m else ""))
for i, l in enumerate(lignes):
if l.startswith("## ") and i > ancre and not l.startswith("## 1."):
out.append(f"- **{l[3:]}** (l. {i + 1 + decalage})")
return out + [FIN, ""]
n = len(bloc(0)) # le bloc s'insère avant « ## 1. » : les fiches descendent de sa longueur
nouveau = lignes[:ancre] + bloc(n) + lignes[ancre:]
open(P, "w", encoding="utf-8").write("\n".join(nouveau))
final = open(P, encoding="utf-8").read().split("\n")
for l in bloc(n): # contrôle : chaque `l. N` tombe sur son titre
m = re.search(r"^\s*- (?:\*\*)?(.+?)(?:\*\*)? \(l\. (\d+)\)", l)
if m:
assert final[int(m.group(2)) - 1].lstrip("#").strip() == m.group(1), l
print(sum(1 for l in bloc(n) if "(l. " in l), "entrées ;", len(final), "lignes")
+21 -13
View File
@@ -9,8 +9,9 @@ Une caméra suit des cibles (réflecteurs) fixées sur un ouvrage ; son propre m
## À lire d'abord
- `docs/domaine/colonnes-des-deplacements.md` : formats des exports et sens des colonnes (**en premier**) ;
- `docs/domaine/pieges-des-donnees.md`.
- `labeling/connaissances/colonnes-des-deplacements.md` : formats des exports et sens des colonnes (**en premier**) ;
- `docs/domaine/pieges-des-donnees.md` et `labeling/connaissances/les-trous.md` ;
- sur une station dont l'export porte les métriques de qualité d'image (`peak` à `snr` : la ligne « Qualité d'image de l'export » d'`inventaire.py`), `labeling/connaissances/metriques-de-qualite.md`.
## Les outils
@@ -18,13 +19,17 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
| Commande | Ce qu'elle rend |
|---|---|
| `python3 agent-tools/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), **ce que contient chaque source** sur la fenêtre (colonnes de l'export, de la pose et de `quality/`, avec le nombre de lignes qui ont une valeur, « vide » sinon ; noms des métriques système de `metrics/` ; images et images différentielles ; des noms et des comptes, jamais de valeurs), images (heures couvertes), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent), par capteur, les mesures rejetées datées (suites de pas consécutifs), puis le **nombre de références retenues par la compensation** (`inlier` = 1) à chaque instant et les suites datées où des références ne le sont pas, lesquelles et pourquoi (`r` rejetée, `0` écartée par la compensation, `vide`). Une mesure est rejetée quand son `error_value` dépasse le seuil du capteur, **références comprises** |
| `python3 agent-tools/resume.py <dossier> [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err` |
| `.venv/bin/python agent-tools/graphique.py <dossier> [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau |
| `.venv/bin/python agent-tools/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B]] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : avec la dispersion entre capteurs en bande grise ; sur les panneaux `x`, `y`, en plus, **chaque référence globale à part** (un trait chacune) et la **médiane des cibles seules** (trait noir) ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis `x_cibles`, `y_cibles` (médiane des cibles seules), puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis ceux de `x`, `y` de chaque référence globale (marqués `(rejetée)` quand la mesure l'est, avec le nombre de mesures rejetées de la référence), puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Avec `--rigide BASE`, un PNG **rigide** de plus : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant `BASE` (translation, rotation, échelle, estimé par médianes : une cible qui saute seule ne le tire pas ; `--sans A,B` en retire des cibles), et, pour chaque capteur, le **résidu** `dx`, `dy` (position brute moins sa position à `BASE` transportée par ce mouvement, en px) ; panneaux : `dx`, `dy` de chaque référence globale face à la médiane et au 10e-90e centile des cibles, `|résidu|` des cibles (médiane, 90e centile), rotation et échelle ajustées, `reproj_err` des références ; imprime la table au pas (`rot_deg`, `echelle`, `tx`, `ty`, `cib_med`, `cib_max`, `dx`, `dy` de chaque référence) et, par capteur, min, max et valeur au dernier instant de `dx`, `dy`. Contrairement à l'écart à la médiane, ce résidu ne dépend pas de la place du capteur dans l'image quand la scène tourne ou change d'échelle. Les graduations du PNG « commun » sont toutes les 1 à 12 h selon la fenêtre. Le pas par défaut est de 15 min, la cadence des mesures : un pas d'une heure aplatit un pic d'un à quatre pas, date à l'heure et efface une agitation de `x`, `y` ; ne l'élargis pas pour lire un lot. `--min 1` liste aussi les instants où un seul capteur sort de son niveau (un pic de capteur seul n'est pas dans la liste par défaut, qui demande 5 capteurs). **Regarde les PNG avec Read** |
| `python3 agent-tools/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage ; colonne `rejetées` : combien des mesures de la plage le sont (et `extrême rejetée`), `(rejetée : …)` après un plus grand saut dont un bout l'est. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord. `--min-mesures N` n'imprime que les plages d'au moins N mesures (et dit combien sur le total) : sur un lot de plusieurs jours, les plages d'un pas se comptent par centaines et noient les paliers longs ; lis d'abord avec `--min-mesures 6`, puis sans |
| `.venv/bin/python agent-tools/jours.py <dossier> [--colonnes corr_x,corr_y,error_value] [--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Ce qui revient d'un jour à l'autre, sur les mesures acceptées seulement. 1. **Niveau de chaque nuit** (heures `--nuit` H1-H2 UTC, à cheval sur minuit, datée du jour où elle commence), par capteur et par colonne : médiane, MAD, nombre de mesures, et le bruit propre ; puis, d'une nuit à la suivante, la **marche** (différence des médianes, en unités et en bruits) et **où elle se place** (« entre A et B » : là où la suite des mesures de nuit des deux nuits se coupe le mieux entre les deux niveaux ; B au début de la nuit suivante : la coupure tombe de jour, entre les deux nuits). Une marche de quelques bruits, une dérive d'une nuit à l'autre, et deux colonnes qui marchent au même instant s'y lisent, même quand le capteur a plusieurs niveaux dans le lot. 2. **Jours superposés** : PNG **parheure-<colonne>**, un petit graphique par capteur, en abscisse l'heure du jour, une courbe par jour, chaque mesure moins le niveau de la dernière nuit commencée (nuit grisée, cadre du 1er au 99e centile, le titre dit combien de mesures sortent du cadre) ; table : par créneau de `--pas` de l'heure du jour, les capteurs dont l'écart dépasse `--k` bruits, du même côté, au moins `--jours` jours, avec le nombre de jours et la médiane de ces écarts. Ce qui revient chaque jour à la même heure, sur un capteur ou plusieurs, s'y groupe, même quand cela ne dure qu'une à trois mesures. Le choix de `--nuit` : des heures où le cycle du jour (`error_value`, pose de la caméra) est retombé. **Regarde les PNG avec Read** |
| `.venv/bin/python agent-tools/vignettes.py <dossier> --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--fixe] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur à chaque heure (le centre du cadre est écrit sous chaque vignette : quand `x`, `y` sautent, le cadre se déplace d'autant, et une tache qui entre dans le cadre semble apparaître) ; `--fixe` garde pour chaque capteur le cadre de la première heure et marque d'une croix rouge les `x`, `y` de chaque heure ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible |
| `python3 agent-tools/inventaire.py <dossier> [--debut T] [--fin T] [--fichiers]` | Fichiers par type (au-delà de 5 par type : le nombre, le premier et le dernier ; `--fichiers` pour la liste complète, à n'utiliser que pour chercher un fichier précis), **ce que contient chaque source** sur la fenêtre (colonnes de l'export, de la pose et de `quality/`, avec le nombre de lignes qui ont une valeur, « vide » sinon ; noms des métriques système de `metrics/` ; images et images différentielles ; des noms et des comptes, jamais de valeurs), images : par suites d'écarts égaux entre deux images (à 5 min près, sur la fenêtre si elle est donnée ; une ligne par changement d'écart : un trou se date par ses deux images), poses de la caméra (nombre, période, instants de mesure sans recalage), période, cadence, mesures manquantes, capteurs (référence ou cible, seuil d'erreur, mesures rejetées) : ces comptes portent sur **toute la période**. Avec `--debut`/`--fin` (sur un lot : ceux du lot), une section de plus pour la fenêtre : les pas absents datés (pour tous les capteurs, ou lesquels manquent), par capteur, les mesures rejetées datées (suites de pas consécutifs), puis le **nombre de références retenues par la compensation** (`inlier` = 1) à chaque instant et les suites datées où des références ne le sont pas, lesquelles et pourquoi (`r` rejetée, `0` écartée par la compensation, `vide`). Une mesure est rejetée quand son `error_value` dépasse le seuil du capteur, **références comprises**. Quand `pattern_type` est vide, un capteur est une référence s'il porte `reproj_err` ou `inlier` (la ligne « pattern_type vide pour N capteurs » le dit) ; une colonne de l'export que tous les capteurs ne portent pas dit combien la portent. Quand `inlier` est vide sur la fenêtre, les références retenues sont lues sur `reproj_err` rempli (le titre le dit) ; une marque autre que `r` ou `vide` est la valeur d'`inlier` (ex. `-1`). « Relevés en double » : un export (souvent nommé d'après le projet du client) dont les relevés sont déjà dans les autres ; avec 0 valeur différente, il ne change rien à la lecture, sinon les outils gardent celui du dernier fichier dans l'ordre des noms. Une suite qui finit le même jour n'écrit que l'heure de sa fin. La ligne « Qualité d'image de l'export (peak à snr) » dit si les six métriques de qualité sont remplies (alors `qualite.py`) ou vides. Sur un mois, la sortie avec `--debut`/`--fin` dépasse ce qu'un appel affiche : lis chaque section par un tube vers `grep` (ex. `| grep -A40 '^Références retenues'`, `| grep '^ PR04 '`) |
| `python3 agent-tools/resume.py <dossier> [--colonne C] [--stat median\|min\|max] [--pas 1h] [--niveau periode\|fenetre] [--capteurs A,B] [--debut T] [--fin T] [--instants T1,T2] [--marque]` | Niveau habituel de chaque capteur (médiane, MAD, min, max) sur toute la période, ou sur la fenêtre `--debut`/`--fin` avec `--niveau fenetre` (pour un lot : un changement de niveau dans le lot ne se compare pas à des semaines d'autres mesures), puis un tableau par pas de temps. Colonnes : `error_value`, `corr_x`, `corr_y`, `relative_x`, `relative_y`, `x`, `y`, `sigma0`, `reproj_err`, et les six métriques de qualité d'image `peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` (valeurs brutes ; face à une référence calme, `qualite.py`). L'en-tête des capteurs se répète toutes les 24 lignes. `--marque` : `*` après la valeur quand une mesure du pas est rejetée (`x`, `y`, `error_value` d'une mesure rejetée restent remplis), `o` quand une mesure du pas a inlier = 0. `--instants T1,T2` : seulement les pas qui contiennent ces instants (les valeurs de tous les capteurs à quelques heures choisies). Avec `--pas` égal à la cadence, `--niveau fenetre --marque`, c'est la table par instant et par capteur d'une colonne : une colonne par lancement |
| `.venv/bin/python agent-tools/graphique.py <dossier> [--capteurs A,B] [--colonnes C1,C2] [--debut T] [--fin T] [--zone T1/T2 ...] [--sortie D]` | Un PNG des séries ; chaque `--zone` est grisée ; il imprime son chemin. Colonnes : celles de `resume.py`, métriques de qualité comprises (valeurs brutes). **Regarde-le avec Read** : tu lis mieux un graphique qu'un tableau |
| `.venv/bin/python agent-tools/ensemble.py <dossier> [--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5] [--residus corr_x,corr_y,error_value|non] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B] [--suivre A,B]] [--table T1/T2|non] [--capteurs A,B] [--debut T] [--fin T] [--sortie D]` | Tous les capteurs ensemble, chacun face à sa médiane et sa MAD sur la fenêtre. Deux PNG : **commun** (médiane entre capteurs de `x`, `y`, `sigma0` : avec la dispersion entre capteurs en bande grise ; sur les panneaux `x`, `y`, en plus, **chaque référence globale à part** (un trait chacune) et la **médiane des cibles seules** (trait noir) ; et, à chaque pas, le nombre de capteurs dont `--colonne` dépasse sa médiane de plus de `--k` MAD ; en tête, si le dossier a `camera/`, la **pose de la caméra**, valeurs brutes, un point par recalage, le trait coupé aux instants de mesure sans recalage) et **multiples** (un petit graphique par capteur, une échelle chacun : un palier d'un seul capteur s'y voit). Imprime aussi la **table de la médiane commune** (une ligne par pas de `--pas` : l'heure et l'écart à la médiane de la fenêtre de `x`, `y`, `sigma0`, puis `x_cibles`, `y_cibles` (médiane des cibles seules), puis la pose brute de la caméra, colonnes `cam_pan`, `cam_tilt`, `cam_rotation`, `cam_scale`, `cam_sigma0`, vides sans recalage) avec le minimum et le maximum de chaque colonne et leur instant, puis ceux de `x`, `y` de chaque référence globale (marqués `(rejetée)` quand la mesure l'est, avec le nombre de mesures rejetées de la référence), puis les instants de mesure sans pose (suites datées), puis les instants où au moins `--min` capteurs dépassent ensemble, avec leurs noms. Trois PNG de plus, **residus-corr_x**, **residus-corr_y**, **residus-error_value** (`--residus`) : un petit graphique par capteur de la colonne moins le niveau propre du capteur (sa médiane sur la fenêtre ; avec `--hors T1/T2`, celle du reste de la fenêtre, hors du moment lu), une échelle chacun, zéro en pointillé : un écart de quelques centièmes sur `corr`, caché dans les bandes parallèles de `graphique.py`, s'y voit ; imprime pour chaque capteur le niveau, le bruit propre (médiane des écarts entre deux mesures) et l'écart min/max par pas avec leur instant, en unités et en bruits ; `--residus non` : aucun de ces PNG ni de ces tables. Avec `--autres`, des PNG **residus-…-autres** de plus : chaque capteur moins sa propre médiane **et moins la médiane des autres capteurs au même instant** (ce que tous partagent, le reste de la compensation d'un mouvement commun, s'annule ; ce qui est propre reste), et, par capteur, la pente et la corrélation r de ce résidu sur la médiane commune de `x`, `y`, `sigma0` : un creux qui reste après `--autres` n'est pas un reste partagé par tous ; une pente élevée avec r proche de ±1 sur `y` commun dit qu'il est proportionnel au mouvement commun (gain propre au capteur), sans r ni pente il est indépendant du mouvement. Avec `--rigide BASE`, un PNG **rigide** de plus : à chaque mesure, le mouvement d'ensemble des cibles depuis l'instant `BASE` (translation, rotation, échelle, estimé par médianes : une cible qui saute seule ne le tire pas ; `--sans A,B` en retire des cibles), et, pour chaque capteur, le **résidu** `dx`, `dy` (position brute moins sa position à `BASE` transportée par ce mouvement, en px) ; panneaux : `dx`, `dy` de chaque référence globale face à la médiane et au 10e-90e centile des cibles, `|résidu|` des cibles (médiane, 90e centile), rotation et échelle ajustées, `reproj_err` des références ; imprime la table au pas (`rot_deg`, `echelle`, `tx`, `ty`, `cib_med`, `cib_max`, `dx`, `dy` de chaque référence, et de chaque capteur de `--suivre A,B` : la suite pas à pas d'une cible) et, par capteur, min, max et valeur au dernier instant de `dx`, `dy`. Les mesures rejetées n'entrent ni dans l'ajustement, ni dans la bande des cibles, `cib_med`, `cib_max`, ni dans les colonnes de la table : sur plusieurs jours, des voitures garées ou des rejets de nuit ne noient plus le reste ; sur le PNG, une référence rejetée est une croix (l'échelle est celle des mesures acceptées, une croix loin est hors cadre) ; le résumé par capteur les donne à part (`; N rejetées : min …, max …`, et `(rejetée)` après une dernière valeur rejetée). Contrairement à l'écart à la médiane, ce résidu ne dépend pas de la place du capteur dans l'image quand la scène tourne ou change d'échelle. Les tables par pas (médiane commune, `--rigide`) répètent leur en-tête toutes les 24 lignes ; `--table T1/T2` ne les imprime qu'entre T1 et T2 (`non` : pas du tout), niveaux, min, max, PNG et le reste restant sur toute la fenêtre : sur un lot d'un mois, lis d'abord avec `--table non`, puis relance avec `--table` sur le jour d'un moment (mêmes niveaux, ce que ne donnerait pas une fenêtre `--debut`/`--fin` plus courte). Les graduatioLine truncated
| `python3 agent-tools/plages.py <dossier> [--colonnes error_value,corr_x,corr_y] [--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--glissant N|DUREE] [--instants N] [--capteurs A,B] [--debut T] [--fin T]` | Par colonne et par capteur, aux mesures (pas natif, jamais moyennées) : niveau (médiane de la fenêtre), bruit propre, **plus grand saut** d'une mesure à la suivante (valeur, en bruits, les deux instants) ; puis les **plages** où le capteur s'écarte de son niveau de plus de `--k` bruits : début, fin, nombre de mesures, extrême (signé, en unités et en bruits) et son instant ; deux plages du même sens à moins de `--fusion` n'en font qu'une, les mesures rejetées ne coupent pas une plage ; colonne `rejetées` : combien des mesures de la plage le sont (et `extrême rejetée`), `(rejetée : …)` après un plus grand saut dont un bout l'est. Sert à dater le début et la fin d'un moment d'un capteur sans relancer dix tableaux. Un bruit `0` (et « - » en bruits, aucune plage) : les valeurs sont constantes à l'arrondi près (écarts sous 1e-9), comme le `corr` des références quand la compensation n'en retient que deux (voir Conventions) ; même chose dans `ensemble.py --residus` et `jours.py`. Quand un épisode long fausse la médiane de la fenêtre (le capteur y passe la moitié du lot), `--hors T1/T2` calcule niveau et bruit hors de l'épisode ; une plage qui touche le bord de la fenêtre est datée au bord. `--min-mesures N` n'imprime que les plages d'au moins N mesures (et dit combien sur le total) : sur un lot de plusieurs jours, les plages d'un pas se comptent par centaines et noient les paliers longs ; lis d'abord avec `--min-mesures 6`, puis sans. `--glissant N` (N mesures de part et d'autre) ou `--glissant 1d` (les mesures à moins d'une durée) : le niveau de chaque mesure est la médiane de ses voisines, sans elle ; une dérive longue ou un palier suivent ce niveau local, seuls restent les écarts plus brefs que la fenêtre (la colonne niveau du tableau et le bruit ne changent pas ; avec `--hors`, seul le bruit se calcule hors de l'épisode). `--instants N` : à la fin, les instants où au moins N capteurs sont hors niveau sur l'une des colonnes, avec chaque capteur et son écart signé en bruits (`cx` corr_x, `cy` corr_y, `ev` error_value), les capteurs rejetés à cet instant (parmi `--capteurs` : en retirer les capteurs toujours rejetés allège la liste), et chaque référence : `error_value` (`r` si rejetée) / inlier |
| `.venv/bin/python agent-tools/jours.py <dossier> [--colonnes corr_x,corr_y,error_value] [--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--bornes [--lissage N] [--fraction F]] [--debut T] [--fin T] [--sortie D]` | Ce qui revient d'un jour à l'autre, sur les mesures acceptées seulement. 1. **Niveau de chaque nuit** (heures `--nuit` H1-H2 UTC, à cheval sur minuit, datée du jour où elle commence), par capteur et par colonne : médiane, MAD, nombre de mesures, et le bruit propre ; puis, d'une nuit à la suivante, la **marche** (différence des médianes, en unités et en bruits) et **où elle se place** (« entre A et B » : là où la suite des mesures de nuit des deux nuits se coupe le mieux entre les deux niveaux ; B au début de la nuit suivante : la coupure tombe de jour, entre les deux nuits). Une marche de quelques bruits, une dérive d'une nuit à l'autre, et deux colonnes qui marchent au même instant s'y lisent, même quand le capteur a plusieurs niveaux dans le lot. 2. **Jours superposés** : PNG **parheure-<colonne>**, un petit graphique par capteur, en abscisse l'heure du jour, une courbe par jour, chaque mesure moins le niveau de la dernière nuit commencée (nuit grisée, cadre du 1er au 99e centile, le titre dit combien de mesures sortent du cadre) ; table : par créneau de `--pas` de l'heure du jour, les capteurs dont l'écart dépasse `--k` bruits, du même côté, au moins `--jours` jours, avec le nombre de jours et la médiane de ces écarts. Ce qui revient chaque jour à la même heure, sur un capteur ou plusieurs, s'y groupe, même quand cela ne dure qu'une à trois mesures. 3. **Bornes de chaque jour**, avec `--bornes` : pour la médiane des cibles de chaque colonne et pour la pose de la caméra (`pan`, `tilt`, `rotation`, `scale`, `sigma0`, si `camera/` existe), l'écart au niveau de la nuit qui précède chaque jour (un jour va de la fin d'une nuit à la fin de la suivante ; avec `--capteurs`, la médiane de ces capteurs, avec un seul, le sien). Par jour : nombre de mesures, la première et la dernière ; premier et dernier instant au-delà de `--k` bruits, avec la mesure juste avant et juste après, au pas natif ; max et min signés avec leur instant ; la suite de mesures au-delà de `--k` bruits qui entoure le plus grand des deux ; la nuit suivante moins la nuit de référence. Un jour sans mesure le dit ; une nuit de référence qui n'est pas la précédente est nommée. Chaque ligne de jour commence par le nom court de sa suite (`corr_x`, `pose_tilt`…) : sur un mois, `| grep '^pose_tilt '` en lit une, `| grep ' 12/10 '` un jour. `--lissage N` : l'écart de chaque mesure est la médiane des N mesures du jour centrées sur elle (bruit et `--k` inchangés ; PNG : lissé en bleu, brut en gris) : un point isolé ne coupe plus la suite autour de l'extrême et ne fait plus un premier ou un dernier dépassement. `--fraction F` : le seuil de chaque jour est F fois le plus grand |écart| de ce jour (imprimé sur sa ligne, `seuil …`), au lieu de `--k` bruits : quand le bruit au pas natif est sans rapport avec l'ampleur du cycle (pose très bruitée, ou très lisse). PNG **bornes** : l'écart sur le lot, premier → dernier dépassement grisé clair, suite autour de l'extrême grisée foncé, max et min marqués. Le choix de `--nuit` : des heures où le cycle du jour (`error_value`, pose de la caméra) est retombé. **Regarde les PNG avec Read** |
| `.venv/bin/python agent-tools/metriques.py <dossier> [--noms A,B] [--pas 1h] [--stat median\|min\|max] [--contre temperature] [--lissage 24h] [--metriques-seules] [--debut T] [--fin T] [--sortie D]` | Les métriques système de `metrics/` (une valeur par heure), jamais les identifiants (`SIM_CCID`, `ip*`). Imprime les métriques disponibles avec leur nombre de valeurs sur la fenêtre (« vide » : aucune), puis une table par pas de `--pas` : `temperature` (médiane des composants `sensor_*_deg_c`, celle que lisent les détecteurs), chaque métrique de `--noms` (défaut : les `*_deg_c` et `BusVoltage`), puis, sauf `--metriques-seules`, `cib_corr_x`, `cib_corr_y` (médiane sur les cibles de `corr` moins le niveau propre de chaque cible, mesures acceptées) et la pose brute de la caméra (`cam_pan` … `cam_sigma0`) ; une case vide est sautée, une métrique texte (`link`, `BatteryState`, `last_sync`) est rendue telle quelle. Puis, par colonne : pas remplis, min et max avec leur instant ; la corrélation r et la pente de chaque colonne sur `--contre` (avec `--lissage 24h`, sur sa moyenne glissante, colonne `<contre>_lisse`) ; les suites datées de pas sans aucune métrique. Un PNG : températures sur un panneau (médiane en noir), chaque autre métrique sur le sien, puis `cib_corr_x`, `cib_corr_y` et la pose, trait coupé sur un trou. **Regarde-le avec Read** |
| `.venv/bin/python agent-tools/stations.py <dossier> <dossier> [...] [--colonnes temperature,cam_tilt,cam_rotation,cam_scale,cib_corr_x,cib_corr_y] [--pas 1h] [--stat median\|min\|max] [--table T1/T2\|non] [--debut T] [--fin T] [--sortie D]` | **Plusieurs stations sur une même ligne de temps** (stations voisines, même bâtiment). Colonnes possibles : `temperature` (comme `metriques.py`), `cam_pan` … `cam_sigma0` (pose brute), `cib_corr_x`, `cib_corr_y` (comme `metriques.py`), `rej_cibles`, `rej_refs` (nombre de cibles, de références rejetées, le plus grand du pas). Imprime par station la période, la cadence et le nombre d'instants ; puis les **trous** : les suites de pas sans mesure ou sans température, avec les stations où elles manquent (un trou commun à plusieurs stations sur une seule ligne) ; puis la table par pas (une colonne `STATION:colonne` chacune, tabulations ; `--table` comme `ensemble.py`) ; puis, par colonne et par paire de stations, r des valeurs et r des pas d'une valeur à la suivante (un mouvement commun se voit sur les pas, une tendance commune sur les valeurs), avec n. PNG **stations** : un panneau par colonne, un trait par station (température brute, le reste moins sa médiane), et une bande par station des pas sans mesure. Prends `--pas` égal à la cadence la plus lente des stations ; sur un mois à `1h`, lis d'abord avec `--table non`. **Regarde-le avec Read** |
| `python3 agent-tools/qualite.py <dossier> [--calme T1/T2,T3/T4] [--commun] [--table M] [--pas 15min] [--seuil 0.5] [--capteurs A,B] [--debut T] [--fin T]` ; `... --etiquettes F [--numeros 3,7] [--marge 60] [--bords]` ; `... --etiquettes F --hors [--min 1] [--sauf "Thermal displacement"]` ; `.venv/bin/python agent-tools/qualite.py <dossier> --figure [--metriques flux,snr,dominance] [--etiquettes F] [--zone T1/T2 ...] [--sortie D]` ; `python3 agent-tools/qualite.py --essai` | Les six **métriques de qualité d'image** (`peak`, `flux`, `sharpness`, `fwhm`, `dominance`, `snr` ; définitions : `labeling/connaissances/metriques-de-qualite.md`), sur les stations qui les ont (sinon : « Aucune métrique de qualité », et rien d'autre). Chaque mesure devient un **rapport** à la **référence calme** de son capteur : la médiane de la métrique sur ses mesures des fenêtres `--calme`, à la même heure UTC du jour (sans `--calme` : tout le dossier) ; 1 = comme la référence, < 1 plus bas, > 1 plus haut ; pour `fwhm` et `dominance`, c'est la hausse qui dit une image dégradée ; mesures rejetées comprises. Sans option : le `peak` maximal du dossier, puis par capteur (`r` = référence) les mesures rejetées, `pk/max` (peak médian sur la fenêtre divisé par ce maximum : à 1, la tache touche le plafond de l'image, son `peak` ne bouge plus et sa `sharpness` suit l'exposition : lis plutôt `flux`, `snr`), et pour chaque métrique le rapport médian et l'extrême avec son instant ; puis la médiane des cibles et des références. `--commun` : par pas, la médiane des rapports des cibles / des références pour chaque métrique (ce qui touche toute la scène, visibilité ou turbulence ; `--pas 1d` pour voir en un écran sur quels jours la référence tient). `--table M` : par pas, le rapport de `M` de chaque capteur (`*` : une mesure rejetée), leur médiane et combien passent `--seuil` (sous, ou au-dessus de 1/`--seuil` pour `fwhm`, `dominance`) : une cible qui s'éteint et revient. `--etiquettes F` (un JSON par ligne, `debut`, `fin`, `categorie`) : par étiquette numérotée, le rapport médian des cibles et des références sur l'heure d'avant, la plage et l'heure d'après (`cib 0.96\|0.26\|0.79`, `--marge` minutes), puis les capteurs **touchés** sur la plage (flux ou snr sous `--seuil`, ou dominance au-dessus de 1/`--seuil`), avec leur pire flux, du plus bas au plus haut ; `--bords` : par instant de la plage élargie, le nombre de capteurs touchés et la médiane des cibles de flux, snr, dominance (`<` dans la plage), pour dater le premier et le dernier instant dégradé. `--hors` : les suites d'instants qu'aucune étiquette ne couvre (hors familles `--sauf`) où au moins `--min` capteurs sont touchés, avec les capteurs et leur pire flux : des candidats aux étiquettes oubliées, à vérifier sur `corr_x`, `corr_y`. `--figure` (au lieu des tables) : PNG **qualite-commun** (un panneau par métrique, échelle log : médiane des cibles en noir, des références en rouge, bande grise du 10e au 90e centile des cibles : une gêne de toute la scène déplace la médiane, une occultation de quelques cibles ne déplace que le bas de la bande) et un PNG **qualite-<métrique>** par `--metriques` (un petit graphique par capteur, références en rouge) ; `--etiquettes` y grise chaque étiquette d'une couleur par famille, `--zone` des plages. **Regarde les PNG avec Read** |
| `.venv/bin/python agent-tools/vignettes.py <dossier> --capteurs A,B --heures T1,T2 [--rayon 100] [--contraste [MIN,MAX]] [--fixe] [--zone X,Y,L,H] [--sortie D]` | Une planche de vignettes à pleine résolution : une ligne par capteur, une colonne par heure, centrées sur la position brute (`x`, `y`) du capteur à chaque heure (le centre du cadre est écrit sous chaque vignette : quand `x`, `y` sautent, le cadre se déplace d'autant, et une tache qui entre dans le cadre semble apparaître) ; `--fixe` garde pour chaque capteur le cadre de la première heure et marque d'une croix rouge les `x`, `y` de chaque heure ; pixels non retouchés, l'éclat se compare d'une vignette à l'autre ; imprime pour chaque vignette le fond (médiane), le 99e centile et le pic (niveaux de gris 0 à 255) ; sans image à l'heure demandée, prend la plus proche et imprime l'écart (l'heure réelle est dans le titre). Une tache faible ou déformée est invisible telle quelle : `--contraste MIN,MAX` met toutes les vignettes en gris avec le même étirement (sans valeur : du 1er centile au maximum de la planche, écrasé par un pixel saturé ; choisis alors MIN,MAX d'après le fond et le pic imprimés, ex. `10,40`), `--rayon 30` à `50` grossit ; compare la forme et le pic avant, pendant et après un épisode, à la même heure de la journée. **Regarde-la avec Read** : une image entière lue par Read est réduite, un petit réflecteur y devient illisible. Un cadre que le bord de l'image coupe est signalé (« cadre coupé par le bord de l'image (L × H px) ») : sur certaines stations, `x`, `y` ne sont pas des pixels (valeurs proches de 0) et le cadre tombe dans le coin ; regarde alors la scène par `--zone`. `--zone X,Y,L,H` (pixels de l'image d'origine : coin haut gauche, largeur, hauteur, comme `gif.py`) : la même zone à chaque heure, côte à côte (jusqu'à 4 par ligne), même étirement avec `--contraste` ; `--capteurs` devient facultatif, et ceux qui sont donnés sont marqués d'une croix et de leur nom. Pour la scène autour des cibles (objet au premier plan, phares, éclairage), préfère-la à un grand `--rayon`. Chaque vignette est rendue un pixel pour un pixel jusqu'à 1000 px de côté, mais Read réduit un PNG large : avec un grand `--rayon` ou une grande `--zone`, trois ou quatre heures par planche |
| `.venv/bin/python agent-tools/gif.py <dossier> --debut T --fin T [--largeur 720] [--duree 700] [--max 150] [--zone X,Y,L,H] [--sortie D]` | Un GIF des images de la caméra entre `--debut` et `--fin` inclus, recadrées au besoin sur `--zone`, mises à `--largeur` px, date et heure UTC écrites en bas à droite ; au-delà de `--max` images, `--max` à intervalle régulier ; imprime l'heure de chaque image, puis le chemin et la taille du GIF. Sert à joindre la scène à une réponse au client ; Read ne lit pas un GIF : pour regarder, `vignettes.py --zone` |
| `ls <dossier>/images/ \| grep <AAAAMMJJ>T<HHMM>Z`, puis Read sur le fichier trouvé (Read ne prend pas de motif) | L'image entière de la caméra à cette heure (UTC), pour la scène (occultation, éclairage, météo) |
`--sortie <dossier>` : là où celui qui t'appelle range tes figures ; il te le donne.
@@ -33,16 +38,19 @@ Lance-les depuis la racine du dépôt. Ils rendent des valeurs, jamais des verdi
- Instants : `2026-01-01T00:00Z` ; une heure sans fuseau est lue en UTC ; `--fin` inclut la minute indiquée. Sur un lot, `--debut` et `--fin` du lot.
- Bash ne sert qu'à lancer ces outils, `ls`, `grep` et `date`, une commande par appel, sans boucle `for` (un tube vers `grep` est permis) : les permissions sont accordées commande par commande. Si le répertoire courant n'est pas la racine du dépôt, `cd <racine> && <commande>` compte pour une commande. N'écris aucun autre script. Celui qui t'appelle peut ajouter des commandes à cette liste.
- **Une sortie trop longue pour un appel** (au-delà de quelques centaines de lignes, coupée à l'affichage) : raccourcis-la d'abord par les options de l'outil (`--table non` puis `--table T1/T2`, `--min-mesures`, `--capteurs`, `--colonnes`, une fenêtre plus courte), ou lis-en une section par un tube vers `grep` (`| grep -A40 '^Titre'`, `| grep '^pose_tilt '`). Si tu dois la relire plusieurs fois, range-la dans le dossier de sortie dans le même appel (`<commande> > <sortie>/<nom>.txt`) et lis ce fichier par Read (`offset`, `limit`) ou par `grep` : pas de `head`, `tail`, `sed`, `cut`. Les outils créent eux-mêmes leur dossier de sortie : pas de `mkdir`.
- Un nom de capteur qui porte une apostrophe (`COLH20'''`, `REFP''21`) se met entre guillemets doubles dans le shell : `--capteurs "COLH20'''",COLI22`.
- Chaque PNG se regarde avec Read : un PNG que tu n'as pas regardé n'a rien montré.
- Une mesure rejetée (`error_value` au-dessus du seuil) n'est pas une mesure : la station vide les `corr` d'une cible rejetée, mais laisse ceux d'une **référence** rejetée, souvent absurdes ; les outils les vident (`corr`, plages, résidus, sauts ne portent que sur les mesures acceptées). Ses `x`, `y` restent : avant de citer un saut de `x`, `y`, regarde s'il est marqué `(rejetée)` ; une mesure rejetée ne se cite pas comme un mouvement.
- **Métriques de qualité d'image** (`qualite.py`) : elles disent **pourquoi** une mesure se dégrade, là où `error_value` dit seulement qu'elle se dégrade ; elles prouvent une cause et nomment les cibles touchées. Ce qu'elles ont montré sur LENZSPITZE (à confirmer sur chaque station) : `flux` coupé (près de 0) sur un groupe de cibles, les autres intactes, le temps d'une à quelques mesures : ces cibles sont cachées (la liste se lit sur le flux à chaque fois, pas sur la liste habituelle ; une cible cachée peut rester sous son seuil d'erreur, et son point est faux) ; `flux` en baisse sur toute la scène, plus fort sur les cibles lointaines : visibilité réduite ; `sharpness` en baisse et `dominance` en hausse, `flux` entier : l'image tremble (turbulence) ; rien ne bouge : ni l'image ni la vue, à chercher dans le mouvement. Un flux entier dément une occultation. `fwhm`, tronquée au disque, bouge peu ; sur une tache au plafond (`pk/max` à 1), elle baisse quand la tache s'assombrit. **La référence calme décide de tout** : prends `--calme` sur des heures calmes du **même régime de l'image** que la plage lue. Quand l'éclairage ou l'exposition change (après un trou, une intervention), une référence de l'autre côté fausse les rapports d'un facteur deux ou trois : `--commun --pas 1d` sur le lot montre ce changement (médianes des cibles et des références loin de 1 des jours entiers, puis à 1) ; prends alors une référence de chaque côté et lis chaque côté avec la sienne. Les jours calmes sont souvent des jours de cycle thermique : une lecture du thermique contre eux est circulaire.
- Une mesure rejetée (`error_value` au-dessus du seuil) n'est pas une mesure : la station vide les `corr` d'une cible rejetée, mais laisse ceux d'une **référence** rejetée, souvent absurdes ; les outils les vident (`corr`, plages, résidus, sauts ne portent que sur les mesures acceptées). Quand la compensation ne retient que **deux références**, leur `corr` vaut 0 (à 1e-13 près) : elle passe exactement par elles ; leur bruit s'imprime `0` et leurs écarts en bruits « - » ; ne lis rien dans ces valeurs, lis les références par `x`, `y` (`ensemble.py --rigide`) et `error_value`. Ses `x`, `y` restent : avant de citer un saut de `x`, `y`, regarde s'il est marqué `(rejetée)` ; une mesure rejetée ne se cite pas comme un mouvement.
## La méthode
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, ce que contient chaque source, images, poses de la caméra, période, cadence, capteurs). Une colonne remplie que les outils ne montrent pas (par exemple les six colonnes de qualité d'image, `peak` à `snr`, sur certaines stations) ou une source qu'aucun outil ne lit (`metrics/`, `images_diff/`) reste une donnée : sache qu'elle existe. Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. Lis les rejets des **références** autant que ceux des cibles : un capteur rejeté aux mêmes heures chaque jour fait un moment à lui seul (dis sa part de mesures rejetées et ses heures, jour par jour) ; quand c'est une référence, dis avec combien de références la compensation tourne alors (la liste des références retenues). Quand plusieurs cibles sautent ensemble d'un pas, ou que la compensation tombe (pas de pose), regarde d'abord dans cette liste quelles références ont été perdues à cet instant.
2. **Large d'abord** : `ensemble.py` sur le lot, d'abord ; **la pose de la caméra en premier** (panneaux du haut, colonnes `cam_` de la table) : quand la caméra tourne (`pan`, `tilt`, `rotation`), change d'échelle (`scale`), quand son recalage se dégrade (`sigma0`) et quand elle n'est pas recalée (trait coupé, instants sans pose), datés au pas natif ; chaque moment des capteurs se lit ensuite face à elle : pendant un mouvement ou un trou de recalage, ou caméra immobile. La pose est calculée à partir des références globales : un changement de pose (ou une montée de `sigma0`) ne se lit comme un mouvement de la caméra que si **les cibles bougent aussi dans l'image** ; regarde, sur les panneaux `x`, `y`, les traits des références face au trait noir des cibles seules (et la colonne `x_cibles`, `y_cibles` de la table). Si seules des références bougent dans l'image et que les cibles restent immobiles, ce sont ces références qui ont bougé : la pose et les `corr` de toutes les cibles en sont faussés, sans mouvement brut des cibles ; dis quelles références et de combien. Si tout bouge ensemble, références et cibles, c'est la caméra ou la scène ; regarde alors si les `corr` reviennent. Dès que la pose tourne ou change d'échelle, l'écart à la médiane ne dit plus qui bouge seul (chaque capteur s'en écarte selon sa place dans l'image) : avant d'écrire « tout bouge ensemble », relance avec `--rigide BASE`, `BASE` un instant calme avant le premier mouvement, et lis le PNG **rigide** et sa table : une référence dont le résidu reste loin du 10e-90e centile des cibles, ou un `reproj_err` des références qui ne revient pas, veut dire que la compensation reste faussée par ces références et que les paliers de `corr` en viennent en partie ; dis lesquelles, de combien, jusqu'à quand ; un `|résidu|` des cibles qui monte dit qu'elles ne bougent pas comme un bloc. Puis la médiane de `x`, `y` (position brute, références comprises), les références une à une, les cibles seules et `sigma0` disent ce qui bouge dans l'image, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Sur un lot de plus de deux jours, lance ensuite `jours.py` (avant de lire les pas isolés de `plages.py`) : ce qui revient chaque jour à la même heure se lit d'abord sur ses PNG **parheure** et sa table par créneau, et fait un moment par heure du jour (dis quels capteurs, combien de jours sur combien, l'ampleur, ce que fait la pose de la caméra à cette heure-là), pas un moment par jour ni rien du tout parce que chaque pas est court ; puis lis sa table des **niveaux de nuit**, pour tout capteur qui a déjà fait un palier ou dont `--hors` ne suffit pas (plusieurs niveaux dans le lot) : chaque marche d'une nuit à l'autre se date par son « entre A et B », et une marche d'`error_value` et une de `corr` au même instant se relient ; une dérive lente se lit d'une nuit à l'autre. Puis `graphique.py` sur tous les capteurs, `error_value` puis `corr_x`, `corr_y` (ou `relative_x`, `relative_y`), références et cibles ; `resume.py` sur ces colonnes avec un pas large (6h ou 1d).
1. **Inventaire** : ce qui est disponible, ce qui manque (fichiers, ce que contient chaque source, images, poses de la caméra, période, cadence, capteurs). Une colonne remplie que les outils ne montrent pas ou une source qu'aucun outil ne lit (`images_diff/`) reste une donnée : sache qu'elle existe. Les six colonnes de qualité d'image (`peak` à `snr`), remplies sur les caméras récentes, se lisent par `qualite.py`. `metrics/` se lit par `metriques.py` : une coupure des mesures se lit face aux pas sans métrique et à la tension (`--noms BusVoltage,BusCurrent,Power,BatteryPercent --metriques-seules` sur la coupure) ; des métriques toutes vides (« vide » sur chaque nom) sont une donnée absente, pas une température stable. Sur un lot, relance-le avec `--debut`/`--fin` du lot : les pas absents et les rejets du lot, datés ; ceux de la période entière ne disent rien du lot. Lis les rejets des **références** autant que ceux des cibles : un capteur rejeté aux mêmes heures chaque jour fait un moment à lui seul (dis sa part de mesures rejetées et ses heures, jour par jour) ; quand c'est une référence, dis avec combien de références la compensation tourne alors (la liste des références retenues). Quand plusieurs cibles sautent ensemble d'un pas, ou que la compensation tombe (pas de pose), regarde d'abord dans cette liste quelles références ont été perdues à cet instant.
2. **Large d'abord** : `ensemble.py` sur le lot, d'abord (sur un lot de plus de quelques jours, avec `--table non`, puis `--table T1/T2` sur les jours à lire) ; **la pose de la caméra en premier** (panneaux du haut, colonnes `cam_` de la table) : quand la caméra tourne (`pan`, `tilt`, `rotation`), change d'échelle (`scale`), quand son recalage se dégrade (`sigma0`) et quand elle n'est pas recalée (trait coupé, instants sans pose), datés au pas natif ; chaque moment des capteurs se lit ensuite face à elle : pendant un mouvement ou un trou de recalage, ou caméra immobile. La pose est calculée à partir des références globales : un changement de pose (ou une montée de `sigma0`) ne se lit comme un mouvement de la caméra que si **les cibles bougent aussi dans l'image** ; regarde, sur les panneaux `x`, `y`, les traits des références face au trait noir des cibles seules (et la colonne `x_cibles`, `y_cibles` de la table). Si seules des références bougent dans l'image et que les cibles restent immobiles, ce sont ces références qui ont bougé : la pose et les `corr` de toutes les cibles en sont faussés, sans mouvement brut des cibles ; dis quelles références et de combien. Si tout bouge ensemble, références et cibles, c'est la caméra ou la scène ; regarde alors si les `corr` reviennent. Dès que la pose tourne ou change d'échelle, l'écart à la médiane ne dit plus qui bouge seul (chaque capteur s'en écarte selon sa place dans l'image) : avant d'écrire « tout bouge ensemble », relance avec `--rigide BASE`, `BASE` un instant calme avant le premier mouvement, et lis le PNG **rigide** et sa table : une référence dont le résidu reste loin du 10e-90e centile des cibles, ou un `reproj_err` des références qui ne revient pas, veut dire que la compensation reste faussée par ces références et que les paliers de `corr` en viennent en partie ; dis lesquelles, de combien, jusqu'à quand ; un `|résidu|` des cibles qui monte dit qu'elles ne bougent pas comme un bloc. Puis la médiane de `x`, `y` (position brute, références comprises), les références une à une, les cibles seules et `sigma0` disent ce qui bouge dans l'image, avant de lire `corr` ; lis la table imprimée (heure, valeur) pour dater le début, la fin et le retour du mouvement et pour voir un niveau qui ne revient pas, et ne les devine pas sur l'axe du PNG : un creux de `corr` qui suit un mouvement de la médiane brute est le reste de la compensation, pas un mouvement propre des capteurs touchés ; les petits multiples d'`error_value` montrent un palier durable d'un capteur, le compte les instants où beaucoup de capteurs montent ensemble. Sur tout lot, sans attendre un soupçon, regarde les PNG **residus** (`corr_x`, `corr_y`, `error_value`) : chaque capteur face à son propre niveau, c'est là que se voient un capteur seul qui monte ou descend, un `corr` qui dérive de quelques centièmes, un palier propre à un capteur sous un mouvement commun ; la table dit de combien (en bruits) et quand. Pour séparer, sur une cible dont `corr` baisse sous un mouvement commun fort, un reste de compensation d'un mouvement propre, relance avec `--autres` (le reste partagé disparaît, la pente sur `x`, `y` commun dit s'il est proportionnel). Sur un lot de plus de deux jours, lance ensuite `jours.py` (avant de lire les pas isolés de `plages.py`) : ce qui revient chaque jour à la même heure se lit d'abord sur ses PNG **parheure** et sa table par créneau, et fait un moment par heure du jour (dis quels capteurs, combien de jours sur combien, l'ampleur, ce que fait la pose de la caméra à cette heure-là), pas un moment par jour ni rien du tout parce que chaque pas est court ; puis lis sa table des **niveaux de nuit**, pour tout capteur qui a déjà fait un palier ou dont `--hors` ne suffit pas (plusieurs niveaux dans le lot) : chaque marche d'une nuit à l'autre se date par son « entre A et B », et une marche d'`error_value` et une de `corr` au même instant se relient ; une dérive lente se lit d'une nuit à l'autre. Pour ce qui revient chaque jour et s'étiquette jour par jour (cycle thermique, réchauffement et refroidissement), relance `jours.py --bornes` plutôt que de fixer les mêmes heures pour tous les jours : chaque jour se date sur sa ligne, la suite autour de l'extrême pour le cycle, le max et le min pour un aller et un retour (le matin et l'après-midi) ; les mesures « avant » et « après » donnent les bornes au pas natif (à une cadence de 1 h ou de 4 h, un événement va de la mesure d'avant à celle d'après). Prends `--nuit` sur des heures où la pose et `error_value` sont retombées (figure **parheure**) : si le premier dépassement tombe au début du jour (« avant - ») et le dernier à sa fin chaque jour, la nuit choisie n'est pas calme ; change `--nuit` ou passe à `--capteurs` pour les cibles qui portent le cycle. Quand la caméra dérive toute la nuit, prends une nuit courte juste avant le matin (`--nuitLine truncated
3. **Puis zoome** : `resume.py` à 15min (`--stat max` pour le pic réel d'un capteur), et `graphique.py` sur les fenêtres et les capteurs qui bougent.
4. **Chaque capteur face à son propre niveau habituel** (sa médiane et sa MAD), jamais à un seuil absolu ; sur un lot, le niveau se calcule sur le lot (`--niveau fenetre`, `ensemble.py`), pas sur la période entière.
5. **Chaque moment retenu se date et se mesure au pas natif de 15 min** : début, fin et maximum lus sur la table à 15 min (`ensemble.py` par défaut, `resume.py --pas 15min`), jamais sur un tableau à l'heure ; lis aussi `ensemble.py --min 1` pour les capteurs seuls, et `plages.py` sur le lot (d'abord avec `--min-mesures 6`) pour avoir, par capteur, début, fin, extrême et plus grand saut au pas natif (relance-le avec `--hors` autour d'un épisode long pour dater son retour au niveau, ne conclus pas « ne revient pas » sans l'avoir lu), et les tables de `x`, `y` sur les fenêtres où ils s'agitent.
5. **Chaque moment retenu se date et se mesure au pas natif de 15 min** : début, fin et maximum lus sur la table à 15 min (`ensemble.py` par défaut, `resume.py --pas 15min`), jamais sur un tableau à l'heure ; lis aussi `ensemble.py --min 1` pour les capteurs seuls, et `plages.py` sur le lot (d'abord avec `--min-mesures 6`) pour avoir, par capteur, début, fin, extrême et plus grand saut au pas natif (relance-le avec `--hors` autour d'un épisode long pour dater son retour au niveau, ne conclus pas « ne revient pas » sans l'avoir lu ; quand le lot a une dérive longue ou plusieurs paliers (les plages se comptent par centaines, ou une moitié du lot est « hors niveau »), relance-le avec `--glissant` (quelques mesures, ou une durée de quelques heures à un jour selon la cadence) et `--instants 2` : les écarts brefs sous la dérive sortent seuls, et la liste par instant dit quels capteurs s'écartent ensemble, lesquels sont rejetés et ce que font les références à cet instant ; un écart de toutes les cibles avec les références au même instant se lit face à la pose de la caméra), et les tables de `x`, `y` sur les fenêtres où ils s'agitent. Sur une station qui a les métriques de qualité, pour chaque moment : `qualite.py --table flux --capteurs …` (ou `--etiquettes F --numeros N --bords` sur une étiquette) dit quelles cibles sont cachées (flux coupé) ou voilées, de quel instant à quel instant ; écris-les par leur nom.
6. **Les images** : vignettes (avec `--contraste` pour une cible faible) espacées, une toutes les 2 à 3 h, plus serrées là où les courbes bougent, toujours avec un capteur témoin non touché, à une heure avant, pendant et après (à la même heure de la journée si possible) ; quand `x`, `y` d'un capteur sautent entre deux vignettes (centre du cadre écrit sous chacune), relance avec `--fixe` avant de dire qu'une tache apparaît ou disparaît ; l'image entière pour la scène (occultation, éclairage, météo).
## Ce que la lecture rend
+19 -9
View File
@@ -12,6 +12,11 @@ Modèle à suivre : `modele.typ` (BREITHORN, octobre 2026, validé dans sa struc
## Ce que veut l'utilisateur (2026-11-03)
- **Une présentation pour le client, qui vend le système** (D-127) : on ne critique pas notre propre système, on ne s'incrimine pas. Pas de « mal compensé », « la correction ne le compense plus correctement », « la redondance est perdue », « les courbes sont moins fiables », « une seule correction ne peut pas toutes les compenser ». Dire le fait et sa cause extérieure : « REFPOU22 n'est plus visible ; la compensation continue sur deux références », « les courbes suivent ce mouvement commun de la caméra ».
- **Les tassements d'abord, `corr_y`** : c'est ce que regarde le client. Les figures montrent le déplacement vertical (`corr_y`) ; `corr_x` seulement là où le phénomène ne se voit qu'en horizontal (BREITHORN : la parallaxe, gardée, dite par la géométrie : des cibles à 9 m, d'autres à 20 à 60 m, un même mouvement de la caméra ne se voit pas pareil sur toutes). Chiffrer la stabilité verticale quand elle se voit (médiane journalière de chaque cible sur le mois). **`corr_x` et `corr_y` sont en pixels, pas en mm** (`labeling/connaissances/colonnes-des-deplacements.md`) : écrire « 0,2 px ».
- **Pas de diapositive sur un trou de données** (une nuit sans mesures), ni dans le résumé ni dans la conclusion.
- **La conclusion** : ce qu'expliquent les variations des courbes et ce qui reste stable, pas « ce qui rend les mesures moins fiables ».
- **Aller droit aux faits** : pas de page « En bref », pas de description sous le titre ; la page de titre dit seulement que c'est un point de situation, la station et la période.
- **Chaque diapositive se suffit** : elle montre le cas et donne le diagnostic, image à l'appui (l'image de la cause quand elle se voit : le véhicule, l'obstacle).
- **Donner le diagnostic, pas une consigne** : jamais « à ignorer », « ne pas croire », « à ne pas lire comme ». Dire ce qui se passe et ce que cela implique, pour amener le client à la bonne conclusion : « le véhicule cache ces cibles ; leurs sauts tombent quand il est là, et tout revient au matin ».
@@ -21,7 +26,7 @@ Modèle à suivre : `modele.typ` (BREITHORN, octobre 2026, validé dans sa struc
- **Des légendes qui se lisent seules** : sous chaque graphique, dire ce que montre chaque panneau (la grandeur : déplacement horizontal `corr_x` ou vertical `corr_y`, tilt ou pan en degrés), les cibles, la période, ce que veulent dire le gris et les pointillés ; dans la figure aussi, l'axe à côté du nom de chaque cible. Le lecteur ne doit rien deviner.
- **Les courbes, pas les cibles** : « les courbes de POUI19 dérivent », pas « POUI19 dérive » ; seul ce qui est mesuré dans l'image (« les cibles ne bougent pas dans l'image ») se dit des cibles.
- **Nommer seulement ce qui se voit** : une tache lumineuse sur le véhicule, c'est « des reflets », pas « ses phares ».
- **Une référence perdue** : avec deux références, dire que la redondance est perdue ; la correction « ne le compense plus correctement », pas « ne le compense plus ».
- **Une référence perdue** : c'est le message, il ne nous met pas en cause : le système était stable à l'installation, le réseau de référence a été altéré depuis. Une diapositive avant / après (courbes `corr_y` du mois, pointillé à la disparition, écart-type avant et après : MICHIGAN, 0,014 px puis 0,10 px) ; l'agitation qui suit s'y rattache (« c'est ce que donne un réseau de référence altéré »), sans accent sur la température. Dater le saut commun à la disparition.
- **Un état qui dure depuis le début** (deux cibles trop proches) : le dater du début des données si les images le montrent, pas de la première étiquette ; dater à part le saut qu'il a provoqué (MICHIGAN : trop proches depuis le 3, saut le 5).
- **Par mois** : la présentation couvre le mois du rapport (« c'est un rapport sur tout le mois d'octobre »). Si le rapport couvre moins, l'étendre d'abord (`/support <STATION> --du <1er> --au <dernier jour>`, ou un agent de support par station, en gardant le diagnostic déjà validé par l'expert).
@@ -32,23 +37,28 @@ Modèle à suivre : `modele.typ` (BREITHORN, octobre 2026, validé dans sa struc
| 1 | `title-slide` | `kicker: [Point de situation]`, `title: [<STATION>]`, `subtitle: [Du <premier jour des données> au <dernier> <mois année>]` ; rien d'autre (ni description, ni image) |
| 2 | `content-slide`, eyebrow « Résumé » | « Ce qui s'est passé en <mois> » : la chronologie, une ligne numérotée (`+`) par événement, dans l'ordre de leur premier jour : `+ #strong[<dates>] : <l'événement en quelques mots>.` |
| 3 à n | une par événement, eyebrow « Événement <numéro du résumé> » | le titre de l'événement, 2 ou 3 puces (**Quand**, **Cibles** si utile, **Ce qu'on voit**), puis `#strong[Diagnostic] : …` en paragraphe ; l'image à droite |
| n+1 | `content-slide` | « Conclusions », puis les puces : une par fait qui rend les mesures moins fiables, dans l'ordre d'importance, sans aucune instruction |
| n+1 | `content-slide` | « Conclusions », puis les puces : ce qui reste stable, puis la cause de chaque variation, dans l'ordre d'importance, sans aucune instruction |
| n+2 | `closing-slide` | « Nous restons à votre disposition », adresse par défaut |
- **Les événements** : un par constat du rapport ; quand un constat mêle deux phénomènes que l'utilisateur distingue, les séparer (BREITHORN : le mouvement de la caméra et la parallaxe, qui fait que certaines cibles le suivent). Plus de cinq événements : le lint signale « 6 bullets », c'est accepté pour le résumé.
- **Diapositive d'événement** : `two-column-slide`, image à droite (`#image("images/x.png")` puis une légende `#emph[...]` d'une ligne). Ratio selon l'image (largeur / hauteur, dans l'en-tête du PNG) : ≥ 1,4 → `"40-60"` ; vignettes presque carrées (≤ 1,3) → `"60-40"`. Sans image (une nuit sans mesure) : `content-slide`, mêmes puces et diagnostic.
- **Diapositive d'événement** : `two-column-slide`, image à droite (`#image("images/x.png")` puis une légende `#emph[...]` d'une ligne). Ratio selon l'image (largeur / hauteur, dans l'en-tête du PNG) : ≥ 1,4 → `"40-60"` ; vignettes presque carrées (≤ 1,3) → `"60-40"`. Sans image : `content-slide`, mêmes puces et diagnostic.
- **Une image par événement**, la plus parlante : l'image de la cause si elle se voit, sinon la courbe, plage grisée.
- `lang: "fr"` ; toute heure en UTC, dite ; les « on ne peut pas l'affirmer » du rapport restent dans le diagnostic (« la cause n'est pas établie »).
## 2. Les images
Toutes dans le dossier du rapport, à côté de `presentation.typ` : celles du rapport d'abord. Il en faut d'autres quand :
Toutes dans le dossier du rapport, à côté de `<station>.typ` : celles du rapport d'abord. Il en faut d'autres quand :
- **la cause se voit dans l'image de la caméra** et le rapport n'en a qu'une vignette : recadrages éclaircis côte à côte, d'abord un instant sans la cause, puis avec :
```bash
.venv/bin/python .claude/skills/presentation/image-de-la-cause.py data/<STATION> <x> <y> support/<dossier>/<nom>.png \
20261028T1200Z="28.10 12:00 UTC : rien devant" 20261025T1200Z="25.10 12:00 UTC : un véhicule"
```
(x, y : le « centre du cadre » de la cible sur une vignette de `vignettes.py`). Les scènes intérieures sont sombres même de jour : chercher l'instant où la cause se voit le mieux (de jour, ou ses phares la nuit) ;
- **les courbes en `corr_y`**, avec au besoin la caméra et la température au-dessus, les plages grisées et un trait pointillé (la perte d'une référence) ; le nom de chaque cible porte « (corr_y) » :
```bash
.venv/bin/python .claude/skills/presentation/figure-y.py data/<STATION> support/<dossier>/<nom>.png 2026-10-03T00:00Z 2026-11-01T00:00Z \
--cam tilt,pan [--temp] --cibles A,B,C [--zone D/F ...] [--ligne T] [--hauteur 5] # --toutes : toutes les cibles, pour choisir
```
- **un événement de la caméra** : montrer le tilt **et** le pan (`camera/`, `median_tilt` et `median_pan`, deux panneaux, en degrés), et la rotation (`median_rotation`) quand c'est elle qui bouge (BREITHORN, nuits du 28 au 30.10 : la rotation en haut, les cibles en bas, les mêmes plages grisées) ; pour la parallaxe, le tilt en haut et les cibles en bas, chacune avec son axe dans la légende de la figure ;
- **une figure à plusieurs panneaux** (tilt, pan, température, cibles) dans une colonne : la faire large (`figsize=(12.5, 6.4)`, rapport ≈ 2), sinon la diapositive déborde de 20 à 30 mm ;
- **des vignettes** (`vignettes.py`) : leurs titres donnent déjà la cible et l'heure ; légende courte, « Au-dessus de chaque image : la cible et l'heure UTC ; croix rouge : le point mesuré. »
@@ -57,25 +67,25 @@ Toute image nouvelle va dans le dossier du rapport, et se regarde avec Read avan
## 3. Écrire, compiler, vérifier
Le source est **`support/<dossier>/presentation.typ`**, versionné avec le rapport ; le partir de `modele.typ`, et ne référencer que des images du dossier, par leur nom seul (`#image("<nom>.png")`) : il se compile alors aussi sur place (VS Code, Tinymist), grâce au lien `brand/` à la racine du dépôt, que le script crée, et à `.vscode/settings.json`. L'utilisateur le modifie aussi lui-même (`run.md`, « Compiler la présentation »).
Le source est **`support/<dossier>/<station>.typ`** (nom de la station en minuscules, `breithorn.typ`), versionné avec le rapport ; le partir de `modele.typ`, et ne référencer que des images du dossier, par leur nom seul (`#image("<nom>.png")`) : il se compile alors aussi sur place (VS Code, Tinymist), grâce au lien `brand/` à la racine du dépôt, que le script crée, et à `.vscode/settings.json`. L'utilisateur le modifie aussi lui-même (`run.md`, « Compiler la présentation »).
```bash
bash .claude/skills/presentation/compiler.sh support/<dossier> # PDF dans support/<dossier>/presentation.pdf, et le nombre de débordements (doit être 0)
bash .claude/skills/presentation/compiler.sh support/<dossier> # PDF dans support/<dossier>/<station>.pdf, et le nombre de débordements (doit être 0)
cd ~/docfactory-presentation && python3 brand/tools/build.py <station>-situation --png # une image par page, dans build/, à regarder avec Read
```
Le script copie le source et les images dans la fabrique (`documents/<station>-situation/`, une copie : ne pas la modifier), compile et rapporte le PDF. Une page qui déborde : `pdftotext -f N -l N support/<dossier>/presentation.pdf - | grep Overflow`.
Le script copie le source et les images dans la fabrique (`documents/<station>-situation/`, une copie : ne pas la modifier), compile et rapporte le PDF. Une page qui déborde : `pdftotext -f N -l N support/<dossier>/<station>.pdf - | grep Overflow`.
- Typst ≥ 0.14 (`~/.local/bin`). Build qui refuse la charte (« added … :Zone.Identifier ») : `find ~/docfactory-presentation -name '*:Zone.Identifier' -delete`.
- **Lint** : `bare-image` est attendu (pas de `#fig` dans le gabarit de présentation) ; `[budget]` : raccourcir (une puce ≤ 16 mots, le lint compte `;`, `:` et `#strong[Quand]`).
- **Débordement** (« Overflow +N mm » en rouge ; la page : `pdftotext -f N -l N`) : puce ou diagnostic plus court, légende sur une ligne, ou ratio `"60-40"`. Jamais réduire la police.
- **Noms à apostrophes** (COLH21', COLH20''') : `COLH20\'\'\'`, sinon Typst en fait des guillemets.
- Pas de taille de police, de couleur, de `place`, `grid` ni `v` : la charte décide (`brand/` ne se modifie pas).
- Regarder le résumé, chaque diapositive à image et la conclusion. « PROJET unversioned » en haut : normal, la fabrique n'est pas un dépôt git.
- Regarder le résumé, chaque diapositive à image et la conclusion. En haut à droite, « Sandouville » : la ligne `#show regex("PROJET.*")` du modèle remplace le tampon « PROJET unversioned » de la charte (la fabrique n'est pas un dépôt git).
## 4. Rendre
Le PDF est déjà dans `support/<dossier>/presentation.pdf` : l'envoyer par `SendUserFile`, dire ce qui a changé ou a été laissé dans le rapport. Pas de commit avant la validation de l'utilisateur.
Le PDF est déjà dans `support/<dossier>/<station>.pdf` : l'envoyer par `SendUserFile`, dire ce qui a changé ou a été laissé dans le rapport. Pas de commit avant la validation de l'utilisateur.
## Ce qui n'a pas marché
+8 -7
View File
@@ -1,6 +1,6 @@
#!/usr/bin/env bash
# Compile la présentation d'un dossier support/ (presentation.typ et ses images) avec la fabrique Typst AIMsight,
# puis remet le PDF à côté du rapport, en presentation.pdf.
# Compile la présentation d'un dossier support/ (<station>.typ et ses images) avec la fabrique Typst AIMsight,
# puis remet le PDF à côté du rapport, en <station>.pdf (nom de la station en minuscules).
# Usage, depuis la racine du dépôt : bash .claude/skills/presentation/compiler.sh support/<dossier>
set -euo pipefail
dossier=$(realpath "$1")
@@ -9,11 +9,12 @@ racine=$(cd "$(dirname "$0")/../../.." && pwd)
# brand/ à la racine du dépôt, lien vers la charte de la fabrique : le source se compile aussi sur place (VS Code, Tinymist)
[ -e "$racine/brand" ] || ln -s "$F/brand" "$racine/brand"
station=$(basename "$dossier" | cut -d_ -f2) # <date>_<STATION>_rapport-situation
slug=$(echo "$station" | tr '[:upper:]' '[:lower:]')-situation
nom=$(echo "$station" | tr '[:upper:]' '[:lower:]')
slug=$nom-situation
mkdir -p "$F/documents/$slug"
cp "$dossier/presentation.typ" "$F/documents/$slug/main.typ"
cp "$dossier/$nom.typ" "$F/documents/$slug/main.typ"
cp "$dossier"/*.png "$F/documents/$slug/"
(cd "$F" && python3 brand/tools/build.py "$slug")
cp "$F/build/$slug-draft.pdf" "$dossier/presentation.pdf"
n=$(pdftotext "$dossier/presentation.pdf" - | grep -c Overflow || true)
echo "$dossier/presentation.pdf : $n diapositive(s) qui débordent"
cp "$F/build/$slug-draft.pdf" "$dossier/$nom.pdf"
n=$(pdftotext "$dossier/$nom.pdf" - | grep -c Overflow || true)
echo "$dossier/$nom.pdf : $n diapositive(s) qui débordent"
+80
View File
@@ -0,0 +1,80 @@
"""Figure de présentation : panneaux caméra (tilt, pan, rotation), température, puis corr_y des cibles.
Usage : .venv/bin/python .claude/skills/presentation/figure-y.py data/STATION sortie.png DEBUT FIN --cam tilt,pan --temp --cibles A,B
[--zone D/F ...] [--ligne T] [--toutes] (--toutes : corr_y de toutes les cibles, pour explorer)
"""
import argparse
import os
import sys
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..", "agent-tools"))
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, charger_camera, charger_temperature, est_reference, filtrer, instant # noqa: E402
NOMS = {"tilt": "Tilt de la caméra (°)", "pan": "Pan de la caméra (°)", "rotation": "Rotation de la caméra (°)"}
def coupee(points, trou_h=6):
"""[(t, v)] -> listes x, y avec None aux trous de plus de trou_h heures (le trait ne relie pas le trou)."""
xs, ys, prec = [], [], None
for t, v in points:
if prec and (t - prec).total_seconds() > trou_h * 3600:
xs.append(prec)
ys.append(None)
xs.append(t)
ys.append(v)
prec = t
return xs, [float("nan") if v is None else v for v in ys]
a = argparse.ArgumentParser()
a.add_argument("dossier")
a.add_argument("sortie")
a.add_argument("debut", type=instant)
a.add_argument("fin", type=instant)
a.add_argument("--cam", default="")
a.add_argument("--temp", action="store_true")
a.add_argument("--cibles", default="")
a.add_argument("--toutes", action="store_true")
a.add_argument("--zone", action="append", default=[])
a.add_argument("--ligne", action="append", default=[])
a.add_argument("--hauteur", type=float, default=6.4)
o = a.parse_args()
mes = charger(o.dossier)
cibles = [c for c in mes if not est_reference(mes[c])] if o.toutes else [c for c in o.cibles.split(",") if c]
panneaux = [c for c in o.cam.split(",") if c] + (["temp"] if o.temp else []) + (["y"] if cibles else [])
fig, axes = plt.subplots(len(panneaux), 1, figsize=(12.5, o.hauteur), sharex=True, squeeze=False,
gridspec_kw={"height_ratios": [1] * (len(panneaux) - 1) + [2 if cibles else 1]})
axes = axes[:, 0]
cam = [p for p in charger_camera(o.dossier) if o.debut <= p["t"] <= o.fin]
for ax, p in zip(axes, panneaux):
if p in NOMS:
ax.plot(*coupee([(q["t"], q[p]) for q in cam if q[p] is not None]), color="#444", lw=1.2)
ax.set_ylabel(NOMS[p].replace(" (", "\n("), fontsize=10)
elif p == "temp":
ax.plot(*coupee([(t, v) for t, v in charger_temperature(o.dossier) if o.debut <= t <= o.fin]), color="#c0392b", lw=1.2)
ax.set_ylabel("Température de\nla station (°C)", fontsize=10)
else:
for c in cibles:
pts = [(m["t"], m["corr_y"]) for m in filtrer(mes[c], o.debut, o.fin) if m["corr_y"] is not None]
ax.plot(*coupee(pts), lw=1.3, label=f"{c} (corr_y)")
ax.set_ylabel("Déplacement vertical\ncorr_y (px)", fontsize=10)
ax.legend(fontsize=8 if o.toutes else 10, ncol=4 if o.toutes else len(cibles), loc="best")
for z in o.zone:
d, f = z.split("/")
ax.axvspan(instant(d), instant(f), color="#bbb", alpha=0.45, lw=0)
for t in o.ligne:
ax.axvline(instant(t), color="#333", ls="--", lw=1)
ax.grid(alpha=0.3)
axes[-1].set_xlim(o.debut, o.fin)
axes[-1].xaxis.set_major_locator(mdates.DayLocator(interval=max(1, (o.fin - o.debut).days // 8)))
axes[-1].xaxis.set_major_formatter(mdates.DateFormatter("%d.%m"))
fig.tight_layout()
fig.savefig(o.sortie, dpi=110)
print(o.sortie)
+3
View File
@@ -9,6 +9,9 @@
lang: "fr",
)
// Le tampon « PROJET <révision> » de la charte devient le nom du projet.
#show regex("PROJET.*"): "Sandouville"
#title-slide(
kicker: [Point de situation],
title: [BREITHORN],
@@ -0,0 +1,55 @@
---
name: review-auto-labels
description: Revue des étiquettes de l'etiqueteur sur une plage choisie par l'utilisateur (un lot pas encore versé, labeling/auto/etiqueteur/<STATION>_<début>/etiquettes.jsonl, ou les étiquettes non relues de labeling/auto/<STATION>.jsonl) — l'analyste juge chaque étiquette face aux données (bornes, un seul événement, famille, description, oubliées) et propose des étiquettes corrigées ; l'expert répond à ses questions, ou laisse s'appliquer les choix de l'analyste ; les étiquettes relues entrent dans labeling/auto/. Lancé par l'utilisateur, /review-auto-labels <STATION> <début> <fin>.
argument-hint: "<STATION> <début> <fin>"
---
# Revue des étiquettes automatiques
L'`etiqueteur` étiquette seul, dans son dossier (`labeling/auto/etiqueteur/`, D-105, D-106, D-130) ; ses étiquettes sont la vérité des détecteurs (D-118). Ici, l'agent `analyste` les relit sur une plage pour en améliorer la qualité ; l'expert, c'est l'utilisateur, décide. Tu es l'orchestrateur : tu lances l'analyste, relaies ses questions, appliques ce que l'expert valide. **Tu ne juges pas la revue toi-même.**
## 1. La plage
Arguments : la station et la plage (`début`, `fin`, UTC, au jour ou à l'heure), choisie par l'utilisateur ; s'il en manque, demande-les. Les étiquettes à relire : celles d'un lot de l'etiqueteur pas encore versé (`labeling/auto/etiqueteur/<STATION>_<début>/etiquettes.jsonl`, D-130 : l'etiqueteur n'écrit plus dans `labeling/auto/`), ou, pour un lot ancien, celles de `labeling/auto/<STATION>.jsonl` dont le `debut` tombe dans la plage et qui ne portent pas `revue`. Celles qui le portent sont déjà relues : elles ne se relisent pas et restent telles quelles. Aucune à relire : dis-le et arrête. Dossier de sortie : `labeling/auto/revue/<STATION>_<début, AAAA-MM-JJ>/`.
## 2. L'analyste relit
L'outil Agent, `subagent_type: analyste`, prompt :
`Revue des étiquettes de l'etiqueteur, pas un lot de la boucle. Tes consignes : .claude/skills/review-auto-labels/analyste.md. Station : data/<STATION>/. Plage revue : <début> → <fin> ; <n> étiquettes à relire dans <le fichier du lot, ou labeling/auto/<STATION>.jsonl (celles sans `revue`)>, analyses de l'etiqueteur dans labeling/auto/etiqueteur/<STATION>_*/. Dossier de sortie : <dossier>.`
Attends sa notification.
**Plusieurs stations voisines** (même bâtiment, même site, d'après l'expert), déjà relues une à une : un seul analyste vérifie leur cohérence, consignes `.claude/skills/review-auto-labels/coherence.md`, dossier `labeling/auto/revue/coherence_<STATIONS>_<début>/`, une proposition par station touchée (`etiquettes-proposees-<STATION>.jsonl`, toutes les étiquettes de la plage). Ses étiquettes portent déjà `revue` : sur l'accord de l'expert, elles remplacent toutes celles de la plage.
## 3. L'expert tranche
Si l'utilisateur a dit d'appliquer sans sa validation (D-130), saute les questions : les choix que l'analyste dit faire sans réponse s'appliquent ; donne-lui seulement le bilan et les choix qui le touchent (une indication de lui que les données contredisent). Sinon, donne à l'utilisateur le bilan de la revue et ses deux défauts principaux, puis les questions de la section « Questions à l'expert », numérotées, chacune avec les étiquettes qu'elle touche, et le lien vers `revue.md`. Il répond dans la conversation ; il peut aussi refuser une correction.
Puis mets `etiquettes-proposees.jsonl` en accord avec ses réponses : la famille qu'il a tranchée, sa réponse dite dans la description (« d'après l'expert : … »), une correction refusée remise comme avant. Chaque étiquette appliquée porte `"revue": "<AAAA-MM-JJ>"`, la date du jour (le script de l'étape 4 l'ajoute), comme les étiquettes manuelles revues (D-103) : c'est par ce champ que `/labels-map` les fait entrer dans la carte.
## 4. Appliquer
Contrôle d'abord les proposées : `python3 labeling/controle.py <dossier>/etiquettes-proposees.jsonl`, 0 erreur attendue ; sinon renvoie-les à l'analyste. Puis, sur l'accord de l'utilisateur (ou d'office s'il a dit d'appliquer sans validation), remplace les étiquettes non revues de la plage par les proposées, datées et triées, en gardant les autres (hors plage, ou déjà revues) ; un lot pas encore versé n'a rien à remplacer, ses étiquettes s'ajoutent :
```bash
python3 - <STATION> <début> <fin> <dossier> <AAAA-MM-JJ> <<'EOF'
import json, sys
st, du, au, d, date = sys.argv[1:]
p = f'labeling/auto/{st}.jsonl'
def relue(e): return du <= e['debut'] < au and 'revue' not in e
anciennes = [json.loads(l) for l in open(p) if l.strip()] if __import__('os').path.exists(p) else []
garde = [e for e in anciennes if not relue(e)]
neuves = [dict(json.loads(l), revue=date) for l in open(f'{d}/etiquettes-proposees.jsonl') if l.strip()]
toutes = sorted(garde + neuves, key=lambda e: (e['debut'], e['fin']))
open(p, 'w').writelines(json.dumps(e, ensure_ascii=False) + '\n' for e in toutes)
print(len(anciennes) - len(garde), 'remplacées,', len(garde), 'gardées,', len(neuves), 'appliquées')
EOF
```
Puis `python3 labeling/ids.py <STATION>` (un id stable aux étiquettes versées, D-131) et `python3 labeling/controle.py <STATION>` : 0 erreur.
`<début>` et `<fin>` au format des étiquettes (`AAAA-MM-JJTHH:MMZ`). Puis :
- les réponses de l'expert qui valent au-delà de ces étiquettes (une règle de lecture, un contexte de station) : dis-lui qu'elles entreront dans la carte au prochain `/labels-map` ;
- la section « Pour l'etiqueteur » de la revue : propose-la à l'utilisateur, sans l'appliquer ; une leçon retenue va dans `labeling/regles-d-etiquetage.md` ou `labeling/familles.md` ;
- commit sur sa validation : les étiquettes, `revue.md` et `etiquettes-proposees.jsonl` (les figures restent hors de git).
@@ -0,0 +1,68 @@
# Revue des étiquettes de l'etiqueteur
Tu es l'analyste, ici relecteur. L'`etiqueteur` a étiqueté un lot (`labeling/auto/etiqueteur/<STATION>_<début>/etiquettes.jsonl`, pas encore versé ; ou, pour un lot ancien, les lignes sans `revue` de `labeling/auto/<STATION>.jsonl`) ; ton travail : **juger chaque étiquette face aux données et proposer de quoi l'améliorer**. **Tu pars de ses étiquettes et de son analyse, un travail qui a de la valeur : tu les critiques, les améliores, les modifies ou les supprimes ; tu ne refais pas l'étiquetage** : pas de nouvelle analyse de toute la plage, chaque vérification porte sur une étiquette (sa plage, ses heures, ses images), et sur ce qui se passe entre les étiquettes, pour les oubliées. Tu ne modifies pas `labeling/auto/` : l'expert (l'utilisateur) décide de tes propositions, ou laisse s'appliquer ce que tu dis faire sans sa réponse (D-130) ; dis-le donc pour chaque question.
## Ce que tu reçois
La station, la plage revue (UTC), le dossier de sortie.
## Ce que tu lis
- `labeling/regles-d-etiquetage.md`, en entier : **les règles qu'une étiquette doit suivre**, ton barème ; et l'introduction de `.claude/agents/etiqueteur.md` (ce qui s'étiquette) ;
- `labeling/familles.md`, en entier ; `labeling/carte-des-etiquettes.md` : **son sommaire et ses sections 2 à 4 en entier** (règles de lecture, faux amis, contexte des stations), puis la fiche de chaque phénomène que tu rencontres ou que tu soupçonnes, à la ligne que donne le sommaire (Read avec `offset`) ;
- `.claude/skills/lire-les-donnees/SKILL.md`, puis le dossier de station par ces outils, tes scripts et ses images ;
- les étiquettes à relire (celles que te donne l'orchestrateur) ; et celles de `labeling/auto/<STATION>.jsonl` qui portent `revue` : **déjà relues, tu ne les relis pas** ; elles restent telles quelles, hors de tes propositions, et comptent pour juger les oubliées (une anomalie qu'elles couvrent n'est pas oubliée) et la cohérence aux bords du lot ;
- l'analyse de l'etiqueteur et ses figures, `labeling/auto/etiqueteur/<STATION>_*/analyse.md`, avec ses étiquettes : c'est ton point de départ ; ce qu'il a mesuré, tu ne le remesures que pour vérifier une étiquette qui te paraît fausse ;
- `labeling/connaissances/` : au moins `chaine-de-mesure.md`, `colonnes-des-deplacements.md` et `les-trous.md`, le reste au besoin. Toute la connaissance métier du labeling est dans `labeling/`.
Une phrase « d'après l'expert » dans une étiquette est un fait donné par l'expert : ne la contredis que si les données la démentent, et dis lesquelles.
## Ce que tu vérifies, étiquette par étiquette
1. **Bornes** : la mesure juste avant le premier point touché sur `corr_x`/`corr_y`, la mesure juste après le dernier ; ni trop large, ni trop courte.
2. **Un seul événement** : deux événements mêlés se scindent ; deux étiquettes du même événement se fusionnent ; un aller et son retour font deux étiquettes.
3. **Famille** : la bonne selon les frontières de `familles.md`.
4. **Description** : exacte (les cibles nommées sont bien celles touchées, le sens, le retour), cause et preuve dites (image de telle heure, ou déduite), rien de plus que ce qui se voit, sans chiffres, conclusion pour le client.
5. **Oubliées** : ce qui bouge ou manque sur `corr_x`/`corr_y` entre les étiquettes, vu d'un passage des outils sur ces seuls intervalles, ou étiqueté à tort (ce qui ne touche pas les courbes).
Vérifie sur les données, pas sur le texte : chaque verdict cite ce que tu as mesuré ou vu.
**Tes mesures vont dans `revue.md`, jamais dans les étiquettes** : une description dit en mots ce que tes chiffres montrent (« nettement plus que la nuit », « presque toutes les cibles »), sans degrés, pixels, bruits ni pourcentages ; un même texte ne se recopie pas d'un jour à l'autre, chaque étiquette dit ce que fait son jour.
## Ta sortie
`<dossier de sortie>/revue.md` :
```markdown
# Revue des étiquettes automatiques : <STATION>, <début> → <fin> (UTC)
## Bilan
<nombre d'étiquettes : gardées telles quelles, à corriger, à retirer ; oubliées ; les défauts qui reviennent>
## Étiquettes
### <n>. <début> → <fin>, <famille>
- **Verdict** : bonne | bornes | famille | description | scinder | fusionner avec <n> | retirer
- **Constaté** : <ce que montrent les données, l'image de telle heure>
- **Proposition** : <la ou les lignes JSON corrigées> | aucune
## Oubliées
<plage, ce qui se voit, la ligne JSON proposée> | aucune
## Questions à l'expert
<ce que seul l'expert peut trancher (une cause, une famille contestée, une indication de lui que les données semblent contredire), une question par point, avec les étiquettes qu'elle touche ; ta proposition dit ce que tu ferais sans sa réponse> | aucune
## Nouveaux cas
<chaque phénomène ou variante que la carte des étiquettes et `familles.md` ne décrivent pas encore : les étiquettes qui le montrent, ce qui se voit, comment le reconnaître, ta source ; tu n'écris pas dans `docs/` ni la carte, un documentaliste les intègre> | aucun
## Pour l'etiqueteur
<les règles ou la documentation à revoir pour que ces défauts ne reviennent pas : sa consigne, la carte, les familles>
## Difficultés
aucune | - <consigne floue, chemin, commande>
## Sources lues
```
Plus `<dossier de sortie>/etiquettes-proposees.jsonl` : les étiquettes à relire telles que tu les proposes (gardées, corrigées, ajoutées), prêtes à remplacer les anciennes. Avant de rendre, `python3 labeling/controle.py <dossier de sortie>/etiquettes-proposees.jsonl` doit dire 0 erreur. Dans `revue.md`, une étiquette se désigne par son `id` (`<STATION>-<n>`, D-131) ; une étiquette d'un lot pas encore versé, qui n'en a pas, par sa ligne dans le fichier relu. Garde l'`id` d'une étiquette que tu corriges ; une ajoutée n'en a pas, elle le recevra au versement. **Commandes ajoutées à celles de `lire-les-donnees`** (qui permet à l'appelant d'en ajouter) : tes scripts de `<dossier de sortie>/outils/`, lancés par `python3` ou `.venv/bin/python` (matplotlib, numpy, Pillow pour les images) depuis la racine du dépôt, et une boucle `for` sur un outil de lecture ou sur tes scripts ; ils n'écrivent que dans ton dossier de sortie. Le reste des règles d'usage du skill vaut pour toi. Ne recopie jamais les identifiants de `metrics/`.
Réponds en 3 lignes : le bilan, les deux défauts principaux, le chemin de la revue.
@@ -0,0 +1,59 @@
# Cohérence des étiquettes de plusieurs stations voisines
Tu es l'analyste, ici relecteur. Plusieurs stations voient le même lieu ou le même climat (d'après l'expert, par exemple : dans le même bâtiment). Leurs étiquettes (`labeling/auto/<STATION>.jsonl`), déjà relues une à une, doivent **se tenir entre elles** : ton travail est de le vérifier face aux données et de proposer de quoi les accorder. Tu ne modifies pas `labeling/auto/` : l'expert (l'utilisateur) décide.
## Ce que tu reçois
Les stations, ce que l'expert dit de leur voisinage, la plage (UTC), le dossier de sortie.
## Ce que tu lis
- `labeling/regles-d-etiquetage.md`, en entier : les règles d'une étiquette, ton barème ;
- `labeling/familles.md`, en entier ; `labeling/carte-des-etiquettes.md` : **son sommaire et ses sections 2 à 4 en entier** (règles de lecture, faux amis, contexte des stations), puis la fiche de chaque phénomène que tu rencontres ou que tu soupçonnes, à la ligne que donne le sommaire (Read avec `offset`) ;
- `.claude/skills/lire-les-donnees/SKILL.md`, puis les dossiers des stations par ces outils, tes scripts et leurs images ; **Commandes ajoutées à celles de `lire-les-donnees`** (qui permet à l'appelant d'en ajouter) : tes scripts de `<dossier de sortie>/outils/`, lancés par `python3` ou `.venv/bin/python` (matplotlib, numpy, Pillow pour les images) depuis la racine du dépôt, et une boucle `for` sur un outil de lecture ou sur tes scripts ; ils n'écrivent que dans ton dossier de sortie. Le reste des règles d'usage du skill vaut pour toi. ;
- les étiquettes de la plage de chaque station, et les revues déjà faites, `labeling/auto/revue/<STATION>_*/revue.md`, **après** ta propre lecture des données.
Une phrase « d'après l'expert » est un fait donné par l'expert : ne la contredis que si les données la démentent, et dis lesquelles.
## Ce que tu vérifies
1. **Ce qui est commun** : pose les étiquettes des stations sur une même ligne de temps. Un phénomène qui tient au lieu (température, nuits froides, panne commune, passage d'un véhicule, mouvement du bâtiment) doit se voir aux mêmes heures sur chaque station où les données le montrent. Mesure-le sur chacune : températures des boîtiers, poses des caméras, `corr` des cibles.
2. **Même phénomène, même étiquette** : famille, cause dite, conclusion pour le client ; bornes cohérentes compte tenu de la cadence de chaque station. Une différence entre stations se justifie par leurs données (une station sans l'effet, une caméra mieux compensée), sinon c'est une incohérence.
3. **Les manques** : un événement étiqueté sur une station, présent dans les données d'une autre à la même heure, sans étiquette chez elle ; ou étiqueté chez elle d'une autre façon.
4. **Ce que le voisinage apprend** : une cause « non établie » sur une station qu'une autre établit (vue sur ses images), un mouvement commun aux caméras (le bâtiment lui-même, ou sa température), des contradictions entre descriptions (lieu, température, mécanisme).
Chaque constat cite ce que tu as mesuré ou vu, station par station.
## Ta sortie
`<dossier de sortie>/revue.md` :
```markdown
# Cohérence des étiquettes : <STATIONS>, <début> → <fin> (UTC)
## Bilan
<ce qui se tient, les incohérences, les manques ; les défauts qui reviennent>
## Ligne de temps commune
<une ligne par moment commun : date, ce que montre chaque station, son étiquette (ou aucune)>
## Incohérences
### <n>. <moment>, <stations>
- **Constaté** : <les données de chaque station>
- **Proposition** : <les lignes JSON corrigées ou ajoutées, chacune précédée de sa station> | aucune
## Ce que le voisinage apprend
<causes établies d'une station à l'autre, mouvement commun, ce qu'il faudrait écrire dans les étiquettes>
## Questions à l'expert
<ce que seul l'expert peut trancher, une question par point, avec les étiquettes qu'elle touche ; ta proposition dit ce que tu ferais sans sa réponse> | aucune
## Difficultés
aucune | - <consigne floue, chemin, commande>
## Sources lues
```
Plus `<dossier de sortie>/etiquettes-proposees-<STATION>.jsonl`, pour chaque station où tu changes quelque chose : **toutes** ses étiquettes de la plage telles que tu les proposes (gardées, corrigées, ajoutées), prêtes à remplacer les anciennes. Tes scripts dans `<dossier de sortie>/outils/`, lancés depuis la racine du dépôt, n'écrivent que dans ton dossier de sortie. Ne recopie jamais les identifiants de `metrics/`.
Réponds en 3 lignes : le bilan, les deux incohérences principales, le chemin de la revue.
+1 -1
View File
@@ -48,7 +48,7 @@ Dis le nombre d'étiquettes à revoir, puis prends la première.
- **Faits** : chaque affirmation, face à ta mesure ; un écart de chiffre qui ne change pas le sens ne vaut pas une question.
- **Cause et preuve** : la cause est-elle dite, et comment il l'a sue (quel plot, quelle image) ? Sinon, demande-le (`run.md`, « Étiqueter des données »). S'il dit voir sur les images ce que tu ne vois pas, sa parole tient : la revue note que tu ne l'as pas vu, sans insister.
- **Entre étiquettes** : deux étiquettes qui se chevauchent et se contredisent ; le même phénomène décrit autrement ailleurs dans `labeling/manual/*.jsonl`. **Un phénomène déjà étiqueté à la station** (un autre passage de train, la même pluie) : dis-le ; un exemple par phénomène lui suffit d'ordinaire, il garde ou retire.
- **Face à la documentation** : `events/carte-des-evenements.md` et `docs/displacement/domaine/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
- **Face à la documentation** : `events/carte-des-evenements.md` et `labeling/connaissances/chaine-de-mesure.md`, la section utile seulement (`grep -n '^#'`). Une étiquette qui contredit le savoir en place est une question : l'un des deux est faux, peut-être la documentation.
4. Présente-la, court :
- en titre, son rang (« 3/8 ») et ses bornes ; puis son texte, tel quel, en citation ;
- ce que tu as vérifié et qui tient, en une ou deux lignes ;
+17
View File
@@ -7,3 +7,20 @@ __pycache__/
data/
graphify-out/
/brand
# l'étiqueteur : seuls son analyse et ses scripts sont versionnés (D-126)
labeling/auto/etiqueteur/**
!labeling/auto/etiqueteur/**/
!labeling/auto/etiqueteur/*/analyse.md
!labeling/auto/etiqueteur/*/etiquettes.jsonl
!labeling/auto/etiqueteur/*/outils/*.py
# la revue des étiquettes automatiques : seuls la revue et les étiquettes proposées sont versionnées (D-128)
labeling/auto/revue/**
!labeling/auto/revue/**/
!labeling/auto/revue/*/revue.md
!labeling/auto/revue/*/etiquettes-proposees*.jsonl
# la revue croisée des étiquettes automatiques : seuls les revues, les modifications et les scripts sont versionnés (D-130)
labeling/auto/revue-croisee/**
!labeling/auto/revue-croisee/**/
!labeling/auto/revue-croisee/**/*.md
!labeling/auto/revue-croisee/**/modifications.jsonl
!labeling/auto/revue-croisee/**/outils/*.py
+12 -12
View File
@@ -8,7 +8,7 @@ Diagnostic proactif pour **AIMsight**, un système de surveillance optique de d
Cadrage du product owner : sous-projet G, santé des sites et notifications au client (`docs/aimsight/AIMsight_handoff_G_site_health.md`). Sa dernière section liste les écarts de ce dépôt, à arbitrer par l'utilisateur.
## État et prochaine étape (au 2026-10-30)
## État et prochaine étape (au 2026-11-05)
- **Domaines système, livrés en prototype** : Energy (D-020, D-043), Storage (D-034, D-035), Cellular (D-031, D-037), Temperature (D-040) ; chacun avec ses analyses, sa couleur du jour, sa figure du site, son bloc dans la vue client, sa notification support et son guide (D-039, D-041). Seul Energy repose sur des events de l'expert ; les autres ont des seuils provisoires et attendent le spécialiste.
- **Maquettes du site** (D-022, D-039) : client « System Summary », une page par station, un bloc par domaine ; support « Home », une notification par station et par domaine Orange ou Red, liée à la vue client (D-025).
@@ -18,7 +18,7 @@ Cadrage du product owner : sous-projet G, santé des sites et notifications au c
- **En attente** : agents LLM côté serveur (D-027) et enquête par API (D-042), documents seulement ; communication avec la caméra (dev container, D-038), en attente de la doc de l'API REST ; détection des sauts et tendances (D-055, onglet `Displacements`), très expérimentale.
- **Prochaine étape** :
- journal du matin : les points ouverts du plan vivant, sur les consignes de l'utilisateur ; un point validé n'est plus repris ;
- les étiquettes de l'expert (`labeling/`, D-098, D-100) : 24, revues avec l'utilisateur par `/review-labels` le 2026-11-02 (D-103), sauf celle de PS_DES_COUDRES, sans données ; rangées par phénomène dans `labeling/carte-des-etiquettes.md` (`/labels-map`, D-104), à revoir par l'utilisateur, puis lue par l'`etiqueteur`, qui étiquette seul un lot (`labeling/auto/`, D-105, D-106) ; puis le premier `/labels-learner` (D-099, point 69 du plan), sur la perte de référence, lancé par l'utilisateur ;
- les étiquettes : 24 de l'expert (`labeling/manual/`, revues par `/review-labels`, D-103) ; 991 de l'`etiqueteur` (`labeling/auto/`, 11 stations), toutes relues par station (`/review-auto-labels`, D-128) puis croisées par famille (`/cross-review-labels`, D-130), sans validation de l'expert ; toute la connaissance du labeling est dans `labeling/` (D-130) ; à trancher par l'utilisateur : les contradictions entre lui et les étiquettes automatiques (section 6 de la carte) ; puis le premier `/labels-learner` (D-099, point 69 du plan), lancé par l'utilisateur ;
- la première séance de `/detector-learner` (D-116) : les détecteurs sur les seules étiquettes de `labeling/auto/`, sans base d'events, garde-fou sur les autres stations étiquetées, lancée par l'utilisateur ; le releveur et l'améliorateur, communs aux processus automatiques, dans une autre conversation ;
- les écarts du handoff, dont « consistent with » face aux phrases catégoriques du journal, quand l'utilisateur les arbitre ;
- Cellular, Storage, Temperature : les réponses du spécialiste (`docs/<domaine>/domaine/questions-pour-l-expert.md`, pour Temperature la question 1 de `point-de-depart.md`), puis corrections et guides.
@@ -61,7 +61,7 @@ python3 detectors-view/compare.py [data/<STATION> --du D --au F] # étiquette
python3 labeling/labeling.py [data/<STATION> --du D --au F] # l'expert étiquette : un plot, une plage, du texte, Add
python3 view/view.py [data/<STATION> --du D --au F] # les images IRON : parcourir, zoomer
python3 .claude/skills/detector-learner/regression.py # benchmark : détecteurs face à toutes les étiquettes de labeling/auto/
bash .claude/skills/presentation/compiler.sh support/<dossier> # présentation d'un rapport : presentation.typ → presentation.pdf
bash .claude/skills/presentation/compiler.sh support/<dossier> # présentation d'un rapport : <station>.typ → <station>.pdf
pdftotext -layout "docs/aimsight/<fichier>.pdf" - # lire un PDF AIMsight
python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .venv
```
@@ -94,9 +94,9 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
- `AIMsight FAQ.pdf`, `AIMsight Test Manual.pdf` (en réalité le manuel de la station) : signaux, colonnes CSV, alimentation, schedules. `Mur de soutènement GN-1.472.pdf`, `GN-5.054.pdf` : rapports d'analyse remis au client (mai 2026, en français).
- `collecteur_system_info.py` : copie de référence du collecteur embarqué (INA219, table OCV LiFePO4, compensation IR 0,34 Ω), source des unités. Ne pas modifier.
- Ces documents prévoient un LLM pour la synthèse : la couche déterministe reste 100 % analytique ; la couche d'agents côté serveur (D-027) reprend l'idée, en exploration.
- `domaine/` : savoir métier commun, une note courte par question : `ce-que-mesure-la-station.md` (format CSV, métriques, unités ; la consommation est mesurée, pas l'apport), `pieges-des-donnees.md`, `colonnes-des-deplacements.md`, `images-de-la-camera.md` (IRON, la scène ; DIFF, les réflecteurs).
- `domaine/` : savoir métier commun, une note courte par question : `ce-que-mesure-la-station.md` (format CSV, métriques, unités ; la consommation est mesurée, pas l'apport), `pieges-des-donnees.md` (les trous : `labeling/connaissances/les-trous.md`) ; le savoir des déplacements est dans `labeling/connaissances/` (D-130).
- `energy/`, `storage/`, `cellular/`, `temperature/` : un dossier par domaine système : `analyses/` (fiches, 70-120 l ; modèle `.claude/skills/nouvelle-analyse/modele-fiche.md`), `domaine/` (savoir métier, `point-de-depart.md`, `questions-pour-l-expert.md`), `guide/` (~90 l, client puis support ; la partie 1 est affichée dans la vue client), la matrice `.drawio`. Energy : `domaine/cas-annotes-par-l-expert.md` (diagnostics de 5 stations, vérité de référence), guide de 200 l en brouillon.
- `displacement/` : `cadrage.md` (158 l, séries optiques, D-044) ; `domaine/` : `ce-que-regarde-le-client.md` (sauts et tendances, D-055), `cas-annotes-par-l-expert.md` (les deux rapports d'analyse, sans données), `incident-de-barcelone.md` (E-004 : mouvement réel selon l'expert, instabilité des références selon la doc), `cycle-thermique.md`.
- `displacement/` : `cadrage.md` (158 l, séries optiques, D-044) ; `domaine/` : `ce-que-regarde-le-client.md` (sauts et tendances, D-055) ; le reste de son savoir est dans `labeling/connaissances/`.
- `agents/` : `rapport-exploratoire.md` (292 l, agents LLM côté serveur, D-027), `enquete-a-la-demande.md` (233 l, D-042), `agent-diagnostic.md` (377 l, spec de l'agent), `pipelines-ia.drawio` (les processus automatiques, une page chacun).
- `ameliorations-faq.md` : idées pour la prochaine FAQ. `ameliorations-processus.md` : difficultés des processus automatiques, tenu par le `releveur` (D-060).
- `superpowers/` : specs et plans (110-1 450 l), historique non maintenu ; vivants : le plan `plans/2026-10-23-journal-du-matin.md` (1 440 l, index en tête) et `specs/2026-10-28-support-agent-design.md`. La spec d'une nouvelle analyse s'écrit dans sa fiche.
@@ -104,16 +104,16 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
### Déplacements
- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069).
- `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, contrat `detect(mesures)`, classés en événements par `categories.py`, la famille pour catégorie ; `archive/` : versions écartées.
- `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, contrat `detect(mesures)` (plus, s'il la déclare, la température de la station, D-124), classés en événements par `categories.py`, la famille pour catégorie ; `archive/` : versions écartées.
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, étiquettes de `labeling/` (auto, sinon manual) en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`), par `/review-event` et par `compare.py` : les étiquettes face aux détecteurs, ligne par famille, et le score, sous le data loader (port 8769).
- `labeling/` : l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène.
- `labeling/` : **toute la connaissance métier du labeling** (D-130) : `regles-d-etiquetage.md` (comment poser une étiquette), `familles.md`, `carte-des-etiquettes.md`, `connaissances/` (chaîne de mesure, colonnes des déplacements, trous, images de la caméra, cycle thermique, métriques de qualité, cas annotés, incident de Barcelone) ; `controle.py` (les étiquettes automatiques face aux règles) ; `ids.py` (l'id stable de chacune, D-131) ; `auto/revue-croisee/<date>/` (`/cross-review-labels`). Et l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107), relues seulement (D-130) ; dans `auto/etiqueteur/<STATION>_<début du lot>/` ses étiquettes avant revue (`etiquettes.jsonl`), son analyse et ses scripts, versionnés, ses figures hors de git (D-126) ; `auto/revue/<STATION>_<début>/` : leur revue par l'analyste, `/review-auto-labels` (D-128) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène.
- `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références).
- `detector-learner/` : les séances de `/detector-learner` (D-116), une par dossier `<séance>_<STATION>/`, et `historique.csv`, le benchmark séance après séance ; ses scripts (`regression.py`, le benchmark ; `score.py`, `capteurs.py`, `comparaison.py`, la page de fin) dans `.claude/skills/detector-learner/`.
- `events-learner/`, `aiguiser/` : les séances de `/events-learner` et de `/aiguiser`, retiré (D-084, D-097), une par dossier `<séance>_<STATION>/` (`lot-NN/`, `bilan.md`) ; historique, à ne lire que sur demande.
- `events/` : **la base d'events, connaissance métier qui grandit** (D-048, D-080) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`.
- `agent-tools/` : les outils de lecture des agents (D-081) : `donnees.py` (lecture commune, aussi des détecteurs), `inventaire`, `resume`, `plages`, `jours`, `ensemble`, `graphique`, `vignettes`, `gif` ; mode d'emploi : skill `lire-les-donnees` ; optimisés ou complétés par le `tool-builder` (D-097), hors de `/events-learner` depuis D-112.
- `events/` : la base d'events (D-048, D-080), cas codés des mêmes stations ; ce qu'ils apprennent est dans la carte des étiquettes, `events/` en garde l'archive et les données (D-130) : `INDEX.md` (le registre, seule porte d'entrée ; mode d'emploi : skill `read-event`, D-085), un dossier `E-xxx/` par event (`event.md` lisible d'abord par un humain, figures, données codées, `etiquettes.json`), validé par l'utilisateur ou « (appris) » par `/events-learner` en attendant `/review-event` ; `carte-des-evenements.md` (familles, catégories du journal, faux amis ; elle apprend de chaque event validé, D-087) et `eventualites-et-categories.drawio`. Un event n'y entre que par `/new-event`, lancé par l'utilisateur, ou par l'event-builder de `/events-learner`.
- `agent-tools/` : les outils de lecture des agents (D-081) : `donnees.py` (lecture commune, aussi des détecteurs), `inventaire`, `resume`, `plages`, `jours`, `ensemble`, `graphique`, `vignettes`, `gif`, `qualite`, `stations` (plusieurs stations sur une même ligne de temps) ; mode d'emploi : skill `lire-les-donnees` ; optimisés ou complétés par le `tool-builder` (D-097), hors de `/events-learner` depuis D-112.
- `agent-diagnostic/` : consignes (`instructions.md`, 146 l) et rapports de l'agent de diagnostic (D-082). Appel : `@agent-diagnostic data/<STATION>/ [question]`.
- `support/` : un dossier par demande d'un client (D-079), `<date>_<STATION>_<sujet>/` : `demande.md`, `analyse.md`, `reponse.md` (le mail prêt à envoyer), GIF des images ; ou `<date>_<STATION>_rapport-situation/` : `rapport.md`, ses images, `presentation.typ` (le source) et `presentation.pdf`. Contient des mails et images de clients.
- `support/` : un dossier par demande d'un client (D-079), `<date>_<STATION>_<sujet>/` : `demande.md`, `analyse.md`, `reponse.md` (le mail prêt à envoyer), GIF des images ; ou `<date>_<STATION>_rapport-situation/` : `rapport.md`, ses images, `<station>.typ` (le source) et `<station>.pdf`, nom de la station en minuscules. Contient des mails et images de clients.
- `extraction/` : pompage `pomper.py` des données de la plateforme (D-056), en lecture seule, lancé par l'utilisateur dans le dev container de l'application de référence `~/monitoring-dashboard` ; sans argument, il met à jour jusqu'à maintenant les stations de `stations.txt` (D-096) ; mode d'emploi `extraction/README.md`.
### Code, données, configuration
@@ -124,9 +124,9 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
- Jeux de travail : VERMONT pour Energy (D-009, le plus long historique) ; WEISSHORN pour Storage (D-034) ; WEISSHORN et NORDEND pour Cellular (D-030, D-032) et Temperature (D-040) ; à pomper s'ils manquent.
- WEISSHORN et NORDEND contiennent des identifiants (`SIM_CCID`, `ip`, `ip_*`) : ne pas les recopier.
- Les données des events restent, codées, dans `events/`.
- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/detector-learner` (`detectors-critic`, `detectors-upgrader`, `detectors-control`), `analyste`, `tool-builder` et `event-builder` (hors de la séance depuis D-112), `revue` (`/review-event`), `documentaliste` (`/labels-learner`, D-099), `etiqueteur` (étiquettes automatiques, D-106), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `presentation` (D-114), `detector-learner` (D-116), `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `labels-learner` (D-099), `review-labels` (D-103), `labels-map` (D-104), `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite).
- `.claude/` : `rules/analyses.md` ; `agents/` : `diagnostic`, ceux de `/detector-learner` (`detectors-critic`, `detectors-upgrader`, `detectors-control`), `analyste`, `tool-builder` et `event-builder` (hors de la séance depuis D-112), `revue` (`/review-event`), `documentaliste` (`/labels-learner`, D-099), `etiqueteur` (étiquettes automatiques, D-106), `releveur` et `ameliorateur` (D-060, D-071) ; `skills/` : `support`, `presentation` (D-114), `detector-learner` (D-116), `events-learner`, `analyser-lot`, `lire-les-donnees`, `read-event`, `new-event`, `review-event`, `labels-learner` (D-099), `review-labels` (D-103), `review-auto-labels` (D-128), `cross-review-labels` (D-130), `labels-map` (D-104), `anonymize-event` (D-049, D-050), `nouvelle-analyse`, `nouveau-domaine` ; `settings.json` (lecture de `.env` interdite).
- `.devcontainer/` : environnement de dev en conteneur (D-038), réseau de l'hôte pour joindre la caméra. `out/` : pages et JSON générés.
- Tout est versionné (D-014), sauf `out/`, `data/`, `.venv/`, `__pycache__/`, `graphify-out/` et `.env`.
- Tout est versionné (D-014), sauf `out/`, les figures et sorties de `labeling/auto/etiqueteur/`, `data/`, `.venv/`, `__pycache__/`, `graphify-out/` et `.env`.
## Règles de travail
@@ -37,7 +37,7 @@ L'`error_value` de REF_G passe de 0,084 (médiane, MAD 0,010) à 0,55-0,67, soit
- Le 12/10 dans l'après-midi, quelques points isolés (REF_D 0,33, REF_G et REF_CT 0,23) reviennent au pas suivant ; 3 instants manquent, chacun isolé.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; `AIMsight FAQ.pdf` (grep « error value ») ; l'export « advanced », par les outils ; les images 20261013T2200Z et 20261014T0200Z. Contexte fourni par l'environnement sans avoir été ouvert : un `git status` qui cite d'anciens rapports supprimés sur cette station, dont l'un a « nuit-13-14-10 » dans son nom ; une consigne de style de code (« ponytail »). Je ne m'en suis pas servi, mais le nom de fichier évoque la même nuit.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; `AIMsight FAQ.pdf` (grep « error value ») ; l'export « advanced », par les outils ; les images 20261013T2200Z et 20261014T0200Z. Contexte fourni par l'environnement sans avoir été ouvert : un `git status` qui cite d'anciens rapports supprimés sur cette station, dont l'un a « nuit-13-14-10 » dans son nom ; une consigne de style de code (« ponytail »). Je ne m'en suis pas servi, mais le nom de fichier évoque la même nuit.
- **Données** : export « advanced » 15 min (15 capteurs, dont 3 références) ; 24 images horaires du 13/10 12:00Z au 14/10 11:00Z ; un export horaire, non lu. **Manquant** : métriques système, export HDF5 (flux, SNR, netteté), météo, angles caméra, images de la nuit du 12 au 13. Ce que ça empêche de conclure : on ne peut pas départager la rosée sur les réflecteurs de la buée sur le hublot ; la première nuit ne peut pas être vue sur image ; l'ampleur ne peut pas être donnée en mm.
- **Seuil de repérage** : médiane + 6 MAD du capteur, sur des maxima par 6 h.
@@ -41,7 +41,7 @@ REF_G passe d'un coup de 0,08 à 0,54-0,67 d'`error_value` (médiane 0,084), REF
- Il y a quelques pics isolés d'`error_value` des références en journée (12/10 12:00-16:00) et 3 instants manquants isolés. Chacun revient au pas suivant.
## Annexe
- **Sources lues** : agents/diagnostic/instructions.md ; docs/domaine/colonnes-des-deplacements.md ; docs/domaine/pieges-des-donnees.md ; AIMsight_agentic_support_project_context.md §4, §12, §13 ; AIMsight_reference_quality_event_explainer_roadmap.md §4.3 ; AIMsight FAQ.pdf (grep 'error value') ; agents/diagnostic/cas/INDEX.md (vide) ; export advanced et 2 images entières de data/PS_DES_COUDRES/, via les outils. L'environnement a fourni un instantané git (branche, commits récents) que je n'ai pas utilisé. CLAUDE.md n'a pas été ouvert.
- **Sources lues** : agents/diagnostic/instructions.md ; labeling/connaissances/colonnes-des-deplacements.md ; docs/domaine/pieges-des-donnees.md ; AIMsight_agentic_support_project_context.md §4, §12, §13 ; AIMsight_reference_quality_event_explainer_roadmap.md §4.3 ; AIMsight FAQ.pdf (grep 'error value') ; agents/diagnostic/cas/INDEX.md (vide) ; export advanced et 2 images entières de data/PS_DES_COUDRES/, via les outils. L'environnement a fourni un instantané git (branche, commits récents) que je n'ai pas utilisé. CLAUDE.md n'a pas été ouvert.
- **Données** : export advanced 15 min (15 capteurs, 3 références) ; 24 images horaires du 13/10 12:00 au 14/10 11:00. L'export horaire est présent mais n'a pas été lu. **Manquant** : métriques système, export HDF5 (Flux, Peak Intensity, SNR), mouvement caméra (pan/tilt), météo et humidité, images avant le 13/10 12:00. Ce que ça empêche de conclure : confirmer la buée plutôt qu'un brouillard ou un obstacle, et voir la scène de la première occurrence. `corr_x`/`corr_y` ne sont pas en mm, donc les amplitudes restent en unités d'export.
- **Seuil de repérage** : `error_value` au-dessus de la médiane + 6 MAD du capteur, sur les tableaux à 6 h puis 15 min.
@@ -37,7 +37,7 @@ REF_G : `error_value` de 0,53 à 0,67 de 23:45 à 03:30, contre 0,084 d'habitude
- Cycle quotidien de `corr_y` (BJ_D, PBJ_C, PM_C/D, BJ_C) tous les jours de la période, en partie aussi dans la fenêtre.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; `agents/diagnostic/cas/INDEX.md` (vide) ; l'export advanced et 3 images de `data/PS_DES_COUDRES/`. Contexte fourni par l'environnement sans que je l'aie ouvert : statut git, et une mention de `CLAUDE.md` dans `colonnes-des-deplacements.md`. Je ne l'ai pas utilisé.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; `agents/diagnostic/cas/INDEX.md` (vide) ; l'export advanced et 3 images de `data/PS_DES_COUDRES/`. Contexte fourni par l'environnement sans que je l'aie ouvert : statut git, et une mention de `CLAUDE.md` dans `colonnes-des-deplacements.md`. Je ne l'ai pas utilisé.
- **Données** : export advanced (15 min, 525 instants), 24 images horaires du 13/10 12:00 au 14/10 11:00 ; **manquant** : métriques système, transformation caméra (pan, tilt, rotation, scale), météo, unités de `corr_x` (pas en mm). Ce que ça empêche de conclure : je ne peux pas départager brume et rosée, ni chiffrer en mm l'effet sur l'ouvrage. Le poids de chaque référence dans la solution reste inconnu.
- **Seuil de repérage** : médiane + 6 MAD de chaque capteur sur toute la période.
@@ -38,7 +38,7 @@ REF_G passe de 0,08 à 0,53 en 30 min à 23:45-00:00. Elle culmine à 0,67 (57 M
- Les `error_value` de plusieurs cibles touchent leur maximum de la période cette nuit, mais restent à 9 MAD au plus et sous leur seuil.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; FAQ (passages sur l'`error value`, par `pdftotext | grep`) ; `agents/diagnostic/cas/INDEX.md` ; `agents/diagnostic/cas/C-001_PS_DES_COUDRES_2026-10-13/cas.md` (pas ses figures) ; export « advanced » par les outils ; images 20261013T2100Z et 20261014T0200Z. Le contexte d'environnement (statut git, dont le message de commit « Add case C-001 ») a été fourni sans être ouvert, et n'a pas servi.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; FAQ (passages sur l'`error value`, par `pdftotext | grep`) ; `agents/diagnostic/cas/INDEX.md` ; `agents/diagnostic/cas/C-001_PS_DES_COUDRES_2026-10-13/cas.md` (pas ses figures) ; export « advanced » par les outils ; images 20261013T2100Z et 20261014T0200Z. Le contexte d'environnement (statut git, dont le message de commit « Add case C-001 ») a été fourni sans être ouvert, et n'a pas servi.
- **Données** : export « advanced » 15 min (525 instants, 3 manquants hors fenêtre), 24 images horaires du 13/10 12:00 au 14/10 11:00 ; **manquant** : métriques système, météo, HDF5 (Flux, SNR, Peak Intensity). Ce que ça empêche de conclure : la cause (brume, rosée ou buée) ne peut pas être confirmée ; la baisse de flux des références n'est vue que sur les vignettes.
- **Seuil de repérage** : `error_value` à plus de médiane + 6 MAD du capteur ; pour `corr_x`, un saut d'un pas de 15 min hors de la dispersion de la série voisine.
@@ -36,7 +36,7 @@ REF_G passe de 0,08 à 0,53 en moins d'une heure, puis culmine à 0,67 (57 MAD)
- Dans la fenêtre, les `error_value` des cibles sont un peu plus hautes que d'habitude (≤ 9 MAD ; maximum de la période pour certaines), sans rejet.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 (et la liste des titres des deux documents) ; `agents/diagnostic/cas/INDEX.md` ; `agents/diagnostic/cas/C-001_S01_2026-10-13/cas.md` (pas ses figures) ; images `20261013T2100Z`, `20261014T0200Z` et vignettes. L'environnement a fourni, sans que je l'ouvre, un état git dont les messages de commit citent C-001 ; je ne m'en suis pas servi.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 (et la liste des titres des deux documents) ; `agents/diagnostic/cas/INDEX.md` ; `agents/diagnostic/cas/C-001_S01_2026-10-13/cas.md` (pas ses figures) ; images `20261013T2100Z`, `20261014T0200Z` et vignettes. L'environnement a fourni, sans que je l'ouvre, un état git dont les messages de commit citent C-001 ; je ne m'en suis pas servi.
- **Données** : 1 export « advanced » (cadence 15 min, aucun instant manquant dans la fenêtre) ; 24 images horaires (2026-10-13T12:00Z → 2026-10-14T11:00Z) ; 1 export horaire, non lu. **Manquant** : métriques système, météo, export HDF5 (flux, SNR), paramètres de la transformation caméra, images de la nuit précédente. Ce que ça empêche de conclure : la cause (brume ou rosée) reste inférée, et l'effet des références sur la compensation ne se mesure pas directement.
- **Seuil de repérage** : médiane + 6 MAD du capteur sur toute la période.
@@ -37,7 +37,7 @@ Les trois références (CTR02, CTR03, CTR04) montent tour à tour à une `error_
- 5 mesures manquantes (le 28/07 entre 08:30 et 10:45, le 30/07 à 01:00) et pas d'image le 28/07 à 09:00 : métriques système non lues à la demande, donc pas de cause attribuée.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; FAQ (grep `error value`) ; `agents/diagnostic/cas/INDEX.md` ; `agents/diagnostic/cas/C-001/cas.md` (figures non ouvertes) ; images de `data/NORDEND/images/` citées plus haut. Fourni par l'environnement sans être ouvert : statut git et commits récents (non utilisés).
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; FAQ (grep `error value`) ; `agents/diagnostic/cas/INDEX.md` ; `agents/diagnostic/cas/C-001/cas.md` (figures non ouvertes) ; images de `data/NORDEND/images/` citées plus haut. Fourni par l'environnement sans être ouvert : statut git et commits récents (non utilisés).
- **Données** : export advanced (15 min, 22 capteurs) et 96 images horaires ; **manquant** : `inlier` exploitable, angles de la caméra, export HDF5 (flux, SNR), métriques système (écartées par la question). Ce que ça empêche de conclure : quelles références la compensation a réellement retenues, et la cause des 5 mesures manquantes.
- **Seuil de repérage** : `error_value` des références au-dessus de 0,2, à comparer à 0,03–0,1 hors épisode ; paliers de `corr_y` communs à toutes les cibles et supérieurs à 10 MAD.
@@ -63,7 +63,7 @@ Le 03/09 à 03:00 et 03:15, l'`error_value` de PB1_2 passe de 0,15 à 0,97 (mesu
- L'`error_value` de R3 reste près de son seuil toute la période (médiane 0,58 pour un seuil de 0,6), et son `reproj_err` n'est rempli que sur 149 mesures sur 288 (`resume.py --colonne reproj_err --pas 6h --stat max`).
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `agents/diagnostic/cas/INDEX.md` ; l'export « advanced » de `data/WILDSTRUBEL/displacement/`, via les outils ; les images entières `20260903T0300Z_9948680.jpg` et `20260904T1400Z_9962376.jpg`. Le contexte git (statut, commits récents) a été fourni par l'environnement : non utilisé. Non lus : les sections AIMsight (contexte support §4, §12, §13 ; roadmap §4.3) et la FAQ.
- **Sources lues** : `agents/diagnostic/instructions.md`, `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `agents/diagnostic/cas/INDEX.md` ; l'export « advanced » de `data/WILDSTRUBEL/displacement/`, via les outils ; les images entières `20260903T0300Z_9948680.jpg` et `20260904T1400Z_9962376.jpg`. Le contexte git (statut, commits récents) a été fourni par l'environnement : non utilisé. Non lus : les sections AIMsight (contexte support §4, §12, §13 ; roadmap §4.3) et la FAQ.
- **Données** : l'export « advanced » (288 instants, aucun manquant), l'export horaire (non lu par les outils) et 72 images horaires. **Manquant** : les métriques système et les images aux instants des sauts (sauf le 04/09 à 14:00). Ce que ça empêche de conclure : la cause de chaque saut, ce qui a masqué PB1_2 à 03:15, et un problème système ne peut pas être écarté (même si aucun trou n'est observé).
- **Seuil de repérage** : |`corr`| > 1 (plus de 30 MAD pour tous les capteurs) et un écart du niveau de nuit de plus d'environ 2 MAD, comparé jour à jour.
@@ -60,7 +60,7 @@ Sur l'image entière, des formes faibles et mobiles, non identifiées, apparaiss
- Hors fenêtre et non examinés : le décrochage des références vers 00:00 (cité en A2), et 3 rejets de PR-284.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; FAQ AIMsight (grep « error value ») ; `agents/diagnostic/cas/INDEX.md` (aucune fiche ouverte, aucun cas proche) ; images du 19/09 à 05:40, 06:10, 06:20, 06:30, 06:40 et 07:30. Le contexte d'environnement (statut git) a été fourni sans être utilisé.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; FAQ AIMsight (grep « error value ») ; `agents/diagnostic/cas/INDEX.md` (aucune fiche ouverte, aucun cas proche) ; images du 19/09 à 05:40, 06:10, 06:20, 06:30, 06:40 et 07:30. Le contexte d'environnement (statut git) a été fourni sans être utilisé.
- **Données** : un export « advanced » (29 capteurs, 432 instants), un export horaire (non lu) et 432 images ; **manquant** : métriques système, angles de caméra, export HDF5 (Sharpness, Flux, SNR), contexte du site. Ce manque empêche de séparer un mouvement réel d'un artefact de compensation, et de dire ce qui a masqué PR_BG.
- **Seuil de repérage** : visuel, par rapport au niveau du 18/09 (avant l'événement). La médiane sur toute la période est dominée par l'état d'après le 19/09 06:40 : elle ne sert pas de niveau habituel ici.
@@ -41,7 +41,7 @@ La station a mesuré sans interruption, mais les déplacements corrigés ne sont
- Le niveau habituel de toute la période est faussé, car les décalages couvrent plus de la moitié de l'export. La comparaison s'est faite à la veille (18.09).
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12 et §13, `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3, la FAQ (grep « error value »), `agents/diagnostic/cas/INDEX.md`, `agents/diagnostic/cas/C-004/cas.md` (sans ses figures) ; les images et l'export « advanced » de data/CLARIDEN/. Aucun contexte d'environnement (`CLAUDE.md`) n'a été ouvert.
- **Sources lues** : `agents/diagnostic/instructions.md`, `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12 et §13, `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3, la FAQ (grep « error value »), `agents/diagnostic/cas/INDEX.md`, `agents/diagnostic/cas/C-004/cas.md` (sans ses figures) ; les images et l'export « advanced » de data/CLARIDEN/. Aucun contexte d'environnement (`CLAUDE.md`) n'a été ouvert.
- **Données** : un export « advanced » au pas de 10 min, sans mesure manquante (432 instants, 29 capteurs dont 5 références), et 432 images ; l'export horaire n'a pas été lu. **Manquant** : métriques système, export HDF5 (Sharpness, Flux, SNR), données des autres instruments du chantier. Ce que ça empêche de conclure : la qualité d'image des cibles au-delà de l'`error_value`, et une confirmation indépendante du mouvement et de son amplitude.
- **Seuil de repérage** : écart visible au niveau de la veille sur les graphiques, puis vérification à la cadence native ; jamais un critère de conclusion.
@@ -101,7 +101,7 @@ Train de marchandises devant les cibles le 01.10 à 12:00 : [image](../../../../
- Trois heures n'ont ni mesure ni image : 01.10 01:00, 01.10 13:00 et 02.10 12:00. Rien n'a été acquis ou conservé à ces heures ; la cause n'est pas établie.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; `agents/diagnostic/cas/INDEX.md`, fiches C-001, C-003, C-004 ; données de `data/NIEDERHORN/` (export « advanced » par les outils, les trois premières lignes des deux exports par `grep`, images par Read). Contexte fourni par l'environnement sans que je l'aie ouvert : état git, consigne de style « ponytail » ; pas utilisés. La FAQ PDF n'a pas été lue.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §4, §12, §13 ; `docs/aimsight/AIMsight_reference_quality_event_explainer_roadmap.md` §4.3 ; `agents/diagnostic/cas/INDEX.md`, fiches C-001, C-003, C-004 ; données de `data/NIEDERHORN/` (export « advanced » par les outils, les trois premières lignes des deux exports par `grep`, images par Read). Contexte fourni par l'environnement sans que je l'aie ouvert : état git, consigne de style « ponytail » ; pas utilisés. La FAQ PDF n'a pas été lue.
- **Données** : export « advanced » horaire, 35 capteurs (5 références `global_ref`, 15 cibles, 15 références locales `ref`, traitées comme des cibles) ; export horaire (non utilisé) ; 69 images, du 01.10 00:00 au 03.10 23:00. Les images sont en UTC, comme les mesures : le train visible le 01.10 à 12:00Z tombe sur la mesure rejetée de 12:00Z. **Manquant** : métriques système, météo, angles de la caméra (`camera_pan|tilt`), images avant le 01.10 00:00 (donc pas d'image du passage du 30.09 à 22:00) et mesures après le 03.10 21:00. **Ce que ça empêche de conclure** : la cause des trois heures sans données, la cause du mouvement de la caméra (A1) et le retour à la normale d'A1 le 03.10.
- **Seuil de repérage** : `error_value` au-dessus de la médiane + 6 MAD du capteur ; pour `corr_x` et `corr_y`, un écart de plus de 4 MAD qui dure plus d'un pas.
@@ -43,7 +43,7 @@ En un seul pas de 15 min, PR17 passe de 0,08 à 0,17 en `corr_x` et de +0,10 à
- Les rejets fréquents de CTR01 (*local reference*), PR09, PR04 et PR07 se concentrent dans les épisodes communs ; ils ne sont pas diagnostiqués ici.
## Annexe
- **Sources lues** : `agents/diagnostic/instructions.md` ; `docs/domaine/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §12 ; `agents/diagnostic/cas/INDEX.md` ; les fiches C-001, C-004 et C-005 (texte seul, pas leurs figures) ; l'export « advanced », lu par les outils ; 4 images entières (voir Commandes). L'environnement a aussi fourni, sans que je les ouvre, le contenu de `vues-deplacements/CLAUDE.md` et l'état git : je ne m'en suis pas servi.
- **Sources lues** : `agents/diagnostic/instructions.md` ; `labeling/connaissances/colonnes-des-deplacements.md` ; `docs/domaine/pieges-des-donnees.md` ; `docs/aimsight/AIMsight_agentic_support_project_context.md` §12 ; `agents/diagnostic/cas/INDEX.md` ; les fiches C-001, C-004 et C-005 (texte seul, pas leurs figures) ; l'export « advanced », lu par les outils ; 4 images entières (voir Commandes). L'environnement a aussi fourni, sans que je les ouvre, le contenu de `vues-deplacements/CLAUDE.md` et l'état git : je ne m'en suis pas servi.
- **Données** : export « advanced » à 15 min (22 capteurs, dont 3 références) ; 985 images. **Manquant** : métriques système, météo, export HDF5 (luminosité, SNR) ; l'export horaire n'a pas été lu. **Ce que ça empêche de conclure** : on ne peut pas confirmer la pluie, ni mesurer l'éclat de PR17 pour départager une goutte, un dépôt ou une toile.
- **Seuil de repérage** : palier comparé à la variation d'un pas à l'autre avant l'événement, et aux voisines PR16 et PR18. La MAD de PR17 sur toute la période est gonflée par le palier lui-même, je ne l'ai donc pas utilisée.
+24 -4
View File
@@ -1,16 +1,18 @@
"""Lecture des données d'une station pour l'agent de diagnostic (bibliothèque standard).
Formats : docs/domaine/colonnes-des-deplacements.md. Toute heure est en UTC.
Formats : labeling/connaissances/colonnes-des-deplacements.md. Toute heure est en UTC.
"""
import csv
import glob
import os
import re
import statistics
from datetime import datetime, timezone
# Colonnes numériques de l'export « advanced » ; une case vide devient None.
NUM = ("x", "y", "error_value", "error_threshold", "relative_x", "relative_y",
"corr_x", "corr_y", "reproj_err", "inlier", "sigma0")
"corr_x", "corr_y", "reproj_err", "inlier", "sigma0",
"peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes seulement (LENZSPITZE)
# Pose de la caméra (camera/, pompage) : pan, tilt, rotation [deg], scale, sigma0 (résidu du recalage).
POSE = ("pan", "tilt", "rotation", "scale", "sigma0")
IMAGE_RE = re.compile(r"^(\d{8}T\d{4})Z_")
@@ -66,6 +68,19 @@ def charger(dossier):
return {s: [d[t] for t in sorted(d)] for s, d in par.items()}
def charger_temperature(dossier):
"""Températures de la carte de la station (metrics/, sensor_*_deg_c) -> [(t, °C)] triées : la médiane des composants à
chaque heure ; [] sans ces métriques. Les composants montent et descendent ensemble (l'étiqueteur lit « les
températures de tous les composants ») ; la médiane écarte la pointe d'un seul, le GPU qui calcule (D-124)."""
par = {}
for chemin in glob.glob(os.path.join(dossier, "metrics", "*_deg_c_*.csv")):
with open(chemin, newline="") as f:
for r in csv.DictReader(f):
if (v := _nombre(r.get("metric") or "")) is not None:
par.setdefault(instant(r["time_utc"]), []).append(v)
return [(t, statistics.median(v)) for t, v in sorted(par.items())]
def charger_camera(dossier):
"""Mouvements de la caméra du dossier -> [pose] triées par t ; pose : t et les colonnes de POSE (float ou None).
@@ -83,8 +98,13 @@ def charger_camera(dossier):
def est_reference(mesures):
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible."""
return mesures[0]["pattern_type"] == "global_ref"
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible. Certains exports ont pattern_type vide,
sur toute la période ou au début : on lit alors le premier pattern_type rempli et, s'il n'y en a aucun, reproj_err
ou inlier remplis (références seulement : labeling/connaissances/colonnes-des-deplacements.md)."""
t = next((m["pattern_type"] for m in mesures if m["pattern_type"]), None)
if t is not None:
return t == "global_ref"
return any(m["reproj_err"] is not None or m["inlier"] is not None for m in mesures)
def rejetee(m):
+78 -33
View File
@@ -2,7 +2,7 @@
Usage : .venv/bin/python agent-tools/ensemble.py data/PS_DES_COUDRES/
[--colonnes x,y,sigma0] [--colonne error_value] [--pas 15min] [--k 5] [--min 5]
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B]] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
[--residus corr_x,corr_y,error_value] [--hors T1/T2] [--autres] [--rigide BASE [--sans A,B] [--suivre A,B]] [--table T1/T2|non] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
Chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane et MAD de la fenêtre).
Deux PNG, dont les chemins sont imprimés :
@@ -20,7 +20,8 @@ Deux PNG, dont les chemins sont imprimés :
donné : le niveau est alors celui du reste de la fenêtre, pas celui du moment lu), une échelle par capteur, zéro en
pointillé ; un écart de quelques centièmes sur une colonne `corr` que les bandes parallèles de `graphique.py` cachent
s'y voit. Imprime, par capteur, le niveau, le bruit propre (médiane des écarts entre deux mesures consécutives) et
l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits.
l'écart minimum et maximum de la médiane par pas de --pas, avec leur instant, en unités de la colonne et en bruits
(bruit 0 et « - » en bruits : valeurs constantes à l'arrondi près, 1e-9 ; --residus non : aucun PNG de résidus).
Avec --autres, chaque capteur est de plus ramené à l'écart à la médiane des AUTRES capteurs au même instant (on
retranche, à chaque mesure, la médiane des autres capteurs de la même colonne moins leur niveau propre) : ce qui est
partagé par tous (le reste de la compensation d'un mouvement commun) s'annule, ce qui est propre au capteur reste.
@@ -32,15 +33,22 @@ Deux PNG, dont les chemins sont imprimés :
capteur, le résidu dx, dy = position brute moins sa position à BASE transportée par ce mouvement [px]. Panneaux :
dx et dy de chaque référence globale (un trait chacune) face à la médiane et au 10e-90e centile des cibles ;
médiane et 90e centile de |résidu| des cibles ; rotation et échelle ajustées ; reproj_err des références. Imprime
la table par pas de --pas (rot_deg, echelle, tx, ty, cib_med, cib_max, puis dx, dy de chaque référence), puis par
capteur le min et le max de dx, dy avec leur instant et la valeur au dernier instant.
la table par pas de --pas (rot_deg, echelle, tx, ty, cib_med, cib_max, puis dx, dy de chaque référence et de chaque
capteur de --suivre A,B), puis par capteur le min et le max de dx, dy avec leur instant et la valeur au dernier
instant. Les mesures rejetées n'entrent ni dans l'ajustement, ni dans la bande et la médiane des cibles, cib_med,
cib_max, ni dans les colonnes de la table ; sur le PNG, celles des références sont des croix, qui ne fixent pas l'échelle ; dans le résumé par
capteur, elles viennent à part (nombre, min et max).
Imprime aussi la table de la médiane commune (une ligne par pas de --pas : heure, écart à la médiane de la fenêtre
pour chaque colonne de --colonnes, puis <colonne>_cibles, la médiane des cibles seules, puis la pose brute de la caméra, vide sans recalage) puis le minimum et le maximum de chaque colonne avec leur instant, et ceux de chaque référence globale ; pour dater
un début ou une fin, la table est au pas de --pas (défaut 15min, la cadence des mesures ; un pas plus large,
1h par ex., aplatit un pic d'un à quatre pas et date à l'heure).
Imprime aussi, pour chaque instant où au moins --min capteurs dépassent leur médiane de plus de --k MAD,
le nombre et les capteurs (--min 1 : aussi les instants où un seul capteur sort de son niveau), et les instants de
mesure sans pose de la caméra (pas de recalage). Rend des valeurs, pas de verdict.
mesure sans pose de la caméra (pas de recalage).
Les tables par pas (médiane commune, --rigide) répètent leur en-tête toutes les 24 lignes. Avec --table T1/T2, elles ne
s'impriment qu'entre T1 et T2 (« non » : pas du tout) ; niveaux, minimum et maximum, PNG et le reste portent toujours sur
toute la fenêtre --debut/--fin : sur un mois, on lit tout le reste, puis la table d'un jour aux mêmes niveaux.
Rend des valeurs, pas de verdict.
"""
import argparse
import math
@@ -56,7 +64,7 @@ import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import COLONNES, RACINE, borne # noqa: E402
from resume import duree # noqa: E402
from resume import bruit_propre, duree # noqa: E402
def niveau(ms, col):
@@ -86,12 +94,14 @@ def rigide(o, noms, series, temps, base, station):
t_b = min(temps, key=lambda t: abs(t - o.rigide))
pos = {s: {m["t"]: (m["x"], m["y"]) for m in series[s] if m["x"] is not None and m["y"] is not None} for s in noms}
sans = set(o.sans.split(",")) - {""}
acc = {s: {m["t"] for m in series[s] if not rejetee(m)} for s in noms} # mesures acceptées : seules à entrer dans l'ajustement et les statistiques des cibles
refs = [s for s in noms if series[s] and est_reference(series[s])]
cib = [s for s in noms if s not in refs and t_b in pos[s]]
ajust = [s for s in cib if s not in sans]
ajust = [s for s in cib if s not in sans and t_b in acc[s]]
suivis = [s for s in o.suivre.split(",") if s and s not in refs]
res, fit = {s: {} for s in noms}, {} # res : {capteur: {t: (dx, dy)}} ; fit : {t: (rotation deg, échelle, tx, ty, |r| médiane, max des cibles)}
for t in temps:
ok = [s for s in ajust if t in pos[s]]
ok = [s for s in ajust if t in pos[s] and t in acc[s]]
if len(ok) < 2:
continue
a, b, tx, ty = similitude([pos[s][t_b] for s in ok], [pos[s][t] for s in ok])
@@ -99,7 +109,7 @@ def rigide(o, noms, series, temps, base, station):
if t in pos[s] and t_b in pos[s]:
(x0, y0), (x, y) = pos[s][t_b], pos[s][t]
res[s][t] = (x - (a * x0 - b * y0 + tx), y - (b * x0 + a * y0 + ty))
r = [math.hypot(*res[s][t]) for s in cib if t in res[s]]
r = [math.hypot(*res[s][t]) for s in cib if t in res[s] and t in acc[s]]
fit[t] = (math.degrees(math.atan2(b, a)), math.hypot(a, b), tx, ty, statistics.median(r), max(r))
if not fit:
print(f"\n--rigide : moins de deux cibles avec x, y à {iso(t_b)} et ensuite.")
@@ -109,16 +119,23 @@ def rigide(o, noms, series, temps, base, station):
panneaux = [("dx", 0), ("dy", 1)]
fig, axes = plt.subplots(6, 1, sharex=True, figsize=(14, 18), squeeze=False)
for ax, (nom, k) in zip(axes[:2, 0], panneaux):
band = [sorted(res[s][t][k] for s in cib if t in res[s]) for t in tf]
band = [sorted(res[s][t][k] for s in cib if t in res[s] and t in acc[s]) for t in tf]
q = [statistics.quantiles(v, n=10, method="inclusive") if len(v) >= 2 else [v[0]] * 9 for v in band]
ax.fill_between(tf, [x[0] for x in q], [x[-1] for x in q], color="0.85", label="cibles : 10e-90e centile")
ax.plot(tf, [statistics.median(v) for v in band], "-", lw=1.2, color="k", label="cibles : médiane")
for i, s in enumerate(refs):
ax.plot(list(res[s]), [v[k] for v in res[s].values()], "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
ta = [t for t in res[s] if t in acc[s]]
ax.plot(ta, [res[s][t][k] for t in ta], "-", lw=0.9, color=f"C{(i + 1) % 10}", label=f"{s} (réf.)")
cadre = ax.get_ylim() # l'échelle des mesures acceptées : une référence rejetée loin est hors cadre
for i, s in enumerate(refs):
tr = [t for t in res[s] if t not in acc[s]]
if tr: # mesures rejetées : à part, une croix chacune, hors du trait
ax.plot(tr, [res[s][t][k] for t in tr], "x", ms=3, color=f"C{(i + 1) % 10}", label=f"{s} rejetée")
ax.set_ylim(cadre)
ax.set_ylabel(f"{nom} [px]\nposition brute moins\nle mouvement des cibles")
ax.legend(loc="upper left", fontsize=8, ncol=1 + len(refs) // 4)
axes[2, 0].plot(tf, [fit[t][4] for t in tf], "-", lw=1, color="k", label="cibles : médiane de |résidu|")
p90 = {t: statistics.quantiles([math.hypot(*res[s][t]) for s in cib if t in res[s]], n=10, method="inclusive")[-1] for t in tf}
p90 = {t: statistics.quantiles([math.hypot(*res[s][t]) for s in cib if t in res[s] and t in acc[s]], n=10, method="inclusive")[-1] for t in tf}
axes[2, 0].plot(tf, [p90[t] for t in tf], "-", lw=0.8, color="C3", label="cibles : 90e centile de |résidu| (le max est dans la table)")
axes[2, 0].set_ylabel("|résidu| des cibles [px]")
axes[2, 0].legend(loc="upper left", fontsize=8)
@@ -137,7 +154,7 @@ def rigide(o, noms, series, temps, base, station):
axes[-1, 0].set_xlim(tf[0], tf[-1])
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
fig.suptitle(f"{station} : mouvement d'ensemble (translation, rotation, échelle) ajusté sur {len(ajust)} cibles depuis {iso(t_b)} (pointillé), "
"résidu de chaque capteur (heures UTC)")
"résidu de chaque capteur, mesures acceptées (croix : référence rejetée) (heures UTC)")
fig.tight_layout(rect=(0, 0, 1, 1 - 0.4 / fig.get_figheight()))
chemin = base.format("rigide")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
@@ -146,8 +163,9 @@ def rigide(o, noms, series, temps, base, station):
print(f"\nMouvement d'ensemble ajusté sur les cibles depuis {iso(t_b)} : {', '.join(ajust)}"
+ (f" (hors ajustement : {', '.join(sorted(sans & set(cib)))})" if sans & set(cib) else "")
+ f".\nRésidu = position brute moins la position de {iso(t_b)} transportée par ce mouvement [px] ; médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
cols = ["rot_deg", "echelle", "tx", "ty", "cib_med", "cib_max"] + [f"{s}_{c}" for s in refs for c in ("dx", "dy")]
+ f".\nRésidu = position brute moins la position de {iso(t_b)} transportée par ce mouvement [px] ; mesures rejetées hors de l'ajustement, "
f"de cib_med, cib_max et des colonnes des capteurs (à part dans le résumé par capteur) ; médiane par pas de {int(o.pas.total_seconds() // 60)} min{' (table : ' + o.table + ')' if o.table else ''} :")
cols = ["rot_deg", "echelle", "tx", "ty", "cib_med", "cib_max"] + [f"{s}_{c}" for s in refs + suivis for c in ("dx", "dy")]
minuit = tf[0].replace(hour=0, minute=0, second=0, microsecond=0)
t0 = minuit + ((tf[0] - minuit) // o.pas) * o.pas
par_pas = {}
@@ -155,19 +173,33 @@ def rigide(o, noms, series, temps, base, station):
ligne = par_pas.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {})
for c, v in zip(cols, fit[t]):
ligne.setdefault(c, []).append(v)
for s in refs:
if t in res[s]:
for s in refs + suivis:
if t in res[s] and t in acc[s]:
ligne.setdefault(f"{s}_dx", []).append(res[s][t][0]), ligne.setdefault(f"{s}_dy", []).append(res[s][t][1])
w = max(10, max(len(c) for c in cols) + 1)
print(f"{'instant':17}" + "".join(f"{c:>{w}}" for c in cols))
for t in sorted(par_pas):
entete = f"{'instant':17}" + "".join(f"{c:>{w}}" for c in cols)
for i, t in enumerate(t for t in sorted(par_pas) if o.dans_table(t)):
if i % 24 == 0:
print(entete)
print(f"{iso(t):17}" + "".join(f"{statistics.median(par_pas[t][c]):{w}.{7 if c == 'echelle' else 3}g}" if c in par_pas[t] else " " * w for c in cols))
print("\nPar capteur, mesures acceptées : min et max de dx, dy, valeur au dernier instant ; puis les rejetées à part :")
for s in noms:
if res[s]:
for k, c in ((0, "dx"), (1, "dy")):
lo = min(res[s].items(), key=lambda x: x[1][k])
hi = max(res[s].items(), key=lambda x: x[1][k])
print(f"{s:9}{' (réf.)' if s in refs else ' '} {c} min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}, au dernier instant {res[s][tf[-1]][k] if tf[-1] in res[s] else math.nan:+.3g}")
bons = {t: v for t, v in res[s].items() if t in acc[s]}
rej = {t: v for t, v in res[s].items() if t not in acc[s]}
for k, c in ((0, "dx"), (1, "dy")):
ligne = f"{s:9}{' (réf.)' if s in refs else ' '} {c}"
if bons:
lo, hi = min(bons.items(), key=lambda x: x[1][k]), max(bons.items(), key=lambda x: x[1][k])
der = res[s].get(tf[-1])
ligne += (f" min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}, au dernier instant "
f"{der[k] if der else math.nan:+.3g}{' (rejetée)' if der and tf[-1] not in acc[s] else ''}")
else:
ligne += " aucune mesure acceptée"
if rej:
lo, hi = min(rej.items(), key=lambda x: x[1][k]), max(rej.items(), key=lambda x: x[1][k])
ligne += f" ; {len(rej)} rejetées : min {lo[1][k]:+.3g} à {iso(lo[0])}, max {hi[1][k]:+.3g} à {iso(hi[0])}"
if bons or rej:
print(ligne)
def main():
@@ -178,11 +210,14 @@ def main():
a.add_argument("--pas", default="15min", type=duree, help="pas des tables et des courbes en bleu (défaut 15min, la cadence des mesures : un pas plus large aplatit et décale les événements courts)")
a.add_argument("--k", type=float, default=5, help="écart compté, en MAD de la fenêtre")
a.add_argument("--min", type=int, default=5, help="nombre de capteurs à partir duquel un instant est imprimé")
a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur ('' : aucune)")
a.add_argument("--residus", default="corr_x,corr_y,error_value", help="colonnes tracées moins le niveau propre de chaque capteur (« non » ou '' : aucune)")
a.add_argument("--hors", help="T1/T2 : le niveau propre des résidus se calcule hors de ce moment")
a.add_argument("--autres", action="store_true", help="résidus de plus ramenés à la médiane des autres capteurs au même instant, avec pente et corrélation sur le mouvement commun")
a.add_argument("--rigide", type=instant, metavar="BASE", help="résidus face au mouvement d'ensemble des cibles (translation, rotation, échelle) depuis l'instant BASE")
a.add_argument("--sans", default="", help="A,B : cibles laissées hors de l'ajustement de --rigide (leur résidu reste tracé)")
a.add_argument("--suivre", default="", help="A,B : avec --rigide, dx, dy de ces capteurs ajoutés à la table au pas (les références y sont déjà)")
a.add_argument("--table", default="", metavar="T1/T2|non",
help="tables par pas imprimées seulement entre T1 et T2 (« non » : pas du tout) ; le reste sur toute la fenêtre")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
@@ -194,11 +229,18 @@ def main():
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
residus = [c for c in o.residus.split(",") if c]
residus = [c for c in o.residus.split(",") if c and c != "non"] # '' ou « non » : aucune, comme --table
hors = tuple(instant(x) for x in o.hors.split("/")) if o.hors else None
if hors and len(hors) != 2:
sys.exit("--hors attend T1/T2.")
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes + residus + [o.colonne], COLONNES, "Colonnes")):
if o.table in ("", "non"):
o.dans_table = lambda t: o.table == ""
else:
bornes = [instant(x) for x in o.table.split("/")]
if len(bornes) != 2:
sys.exit("--table attend T1/T2 ou non.")
o.dans_table = lambda t: bornes[0] <= t <= bornes[1]
for demandes, connus, quoi in ((noms, par, "Capteurs"), ([s for s in o.suivre.split(",") if s], noms, "Capteurs de --suivre (pris parmi --capteurs)"), (colonnes + residus + [o.colonne], COLONNES, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
@@ -272,7 +314,9 @@ def main():
axes[-1, 0].set_ylabel(f"capteurs au-dessus\nde médiane + {o.k:g} MAD\n({o.colonne})")
axes[-1, 0].grid(alpha=0.3)
h = next((h for h in (1, 2, 3, 6, 12) if (temps[-1] - temps[0]).total_seconds() / 3600 / h <= 20), 24)
axes[-1, 0].xaxis.set_major_locator(mdates.HourLocator(byhour=range(0, 24, h)))
jours = (temps[-1] - temps[0]).total_seconds() / 86400
# au-delà de 20 jours, une graduation par jour se chevauche : tous les n jours, au plus 20 graduations
axes[-1, 0].xaxis.set_major_locator(mdates.HourLocator(byhour=range(0, 24, h)) if h < 24 else mdates.DayLocator(interval=math.ceil(jours / 20)))
axes[-1, 0].set_xlim(temps[0], temps[-1])
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
for ax in axes[:, 0]:
@@ -300,9 +344,11 @@ def main():
lignes_t.setdefault(t0 + ((t - t0) // o.pas) * o.pas, {}).setdefault(col + "_cibles", []).append(v)
cols_t = colonnes + [c + "_cibles" for c in refs_par_col] + ["cam_" + c for c in pose_cols]
print(f"\nMédiane commune (écart à la médiane de la fenêtre){' et pose brute de la caméra (cam_, vide sans recalage)' if pose_cols else ''}, "
f"médiane par pas de {int(o.pas.total_seconds() // 60)} min :")
print(f"{'instant':17}" + "".join(f"{c:>13}" for c in cols_t))
for t in sorted(lignes_t):
f"médiane par pas de {int(o.pas.total_seconds() // 60)} min{' (table : ' + o.table + ')' if o.table else ''} :")
entete = f"{'instant':17}" + "".join(f"{c:>13}" for c in cols_t)
for i, t in enumerate(t for t in sorted(lignes_t) if o.dans_table(t)):
if i % 24 == 0:
print(entete)
print(f"{iso(t):17}" + "".join(f"{statistics.median(lignes_t[t][c]):13.{6 if c.startswith('cam_') else 4}g}" if c in lignes_t[t] else " " * 13 for c in cols_t))
for col in cols_t:
if communes[col]:
@@ -385,8 +431,7 @@ def main():
if not lv:
ax.axis("off")
continue
d = [abs(b[col] - a_[col]) for a_, b in zip(ms, ms[1:])]
bruit = statistics.median(d) if d else 0
bruit = bruit_propre([m[col] for m in ms])
if autres:
res = {}
for m in ms:
+4 -2
View File
@@ -3,7 +3,8 @@
Usage : .venv/bin/python agent-tools/graphique.py data/PS_DES_COUDRES/
[--capteurs CAPTEUR_A,CAPTEUR_B] [--colonnes error_value,corr_x,corr_y] [--debut ...] [--fin ...]
[--zone DEBUT/FIN ...] [--sortie DOSSIER]
Un panneau par colonne, une courbe par capteur, heures UTC ; chaque --zone est grisée.
Un panneau par colonne, une courbe par capteur, heures UTC ; chaque --zone est grisée. Colonnes : error_value, corr_x, corr_y,
relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; face à une référence calme : qualite.py).
Imprime le chemin du PNG (out/diagnostic/, ou --sortie : le dossier du rapport, pour une figure de preuve).
"""
import argparse
@@ -17,6 +18,7 @@ import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, est_reference, filtrer, instant # noqa: E402
from resume import QUALITE # noqa: E402
RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), ".."))
COLONNES = ("error_value", "corr_x", "corr_y", "relative_x", "relative_y", "x", "y", "sigma0", "reproj_err")
@@ -50,7 +52,7 @@ def main():
sys.exit(f"Aucun export « advanced » dans {o.dossier} (voir inventaire.py).")
noms = o.capteurs.split(",") if o.capteurs else sorted(par, key=lambda s: (not est_reference(par[s]), s))
colonnes = o.colonnes.split(",")
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES, "Colonnes")):
for demandes, connus, quoi in ((noms, par, "Capteurs"), (colonnes, COLONNES + QUALITE, "Colonnes")):
absents = [x for x in demandes if x not in connus]
if absents:
sys.exit(f"{quoi} inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(connus))}.")
+94 -30
View File
@@ -4,11 +4,16 @@ Usage : python3 agent-tools/inventaire.py data/PS_DES_COUDRES/ [--debut T] [--fi
Les comptes portent sur toute la période. Avec --debut et/ou --fin, une section de plus liste, sur cette fenêtre,
les pas absents (datés, avec les capteurs qui n'ont pas de mesure) et, par capteur, les mesures rejetées (datées,
en suites de pas consécutifs ; rejetée : error_value au-dessus du seuil, références comprises), puis le nombre de
références retenues par la compensation (inlier = 1) à chaque instant et, datées, les suites d'instants où des
références ne le sont pas (lesquelles, et pourquoi : rejetée, inlier 0, inlier vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
références retenues par la compensation (inlier = 1 ; inlier vide sur la fenêtre : reproj_err rempli) à chaque instant
et, datées, les suites d'instants où des références ne le sont pas (lesquelles, et pourquoi : rejetée, valeur d'inlier,
vide). Mouvements de la caméra (camera/) : nombre de poses, période, et les instants de mesure
sans pose (pas de recalage), sur toute la période puis sur la fenêtre. Avant les comptes, ce que contient chaque source
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides, les noms
des métriques système de metrics/, les images et les images différentielles. Rend des valeurs, pas de verdict.
(sur la fenêtre, sinon toute la période) : les colonnes de l'export, de la pose et de quality/, remplies ou vides (avec,
pour une colonne de l'export que tous les capteurs ne portent pas, combien la portent), les noms des métriques système
de metrics/, les images et les images différentielles. Les relevés en double (même capteur, même instant dans deux
exports, ou deux fois dans un) sont comptés par export. Images : par suite d'écarts égaux entre deux images (à 5 min
près ; sur la fenêtre si elle est donnée). Une suite datée qui finit le même jour n'écrit que l'heure de sa fin.
Rend des valeurs, pas de verdict.
"""
import argparse
import collections
@@ -20,10 +25,41 @@ import statistics
from datetime import datetime, timedelta, timezone
from donnees import charger, charger_camera, est_reference, filtrer, heure_image, instant, iso, rejetee, trouver
from resume import QUALITE
METRIQUE_RE = re.compile(r"^(.+?)_(\d{4})_(\d{2})_(\d{2})_\d{2}_\d{2}") # NIEDERHORN_BusCurrent_2026_09_22_00_00 to ….csv
def suite(a, b, n):
"""Une suite datée : le début en entier, la fin sans la date quand elle tombe le même jour."""
if n == 1:
return iso(a)
return f"{iso(a)} → {iso(b)[11:] if iso(a)[:10] == iso(b)[:10] else iso(b)} ({n})"
def doubles(chemins):
"""Relevés (même capteur, même instant) déjà lus dans un export précédent ou plus haut dans le même : charger n'en
garde qu'un, celui du dernier fichier dans l'ordre des noms. Une ligne par export qui en a."""
vus, lignes = {}, []
for p in chemins:
n = deja = autres = 0
with open(p, newline="") as fh:
for r in csv.DictReader(fh):
n += 1
cle = (r["sensor_name"].strip(), r["time_utc"])
val = tuple(v.strip() for k, v in r.items() if k not in ("sensor_name", None))
if cle in vus:
deja += 1
autres += vus[cle] != val
vus[cle] = val
if deja:
lignes.append(f" {os.path.basename(p)} : {deja} sur {n} déjà lus, dont {autres} de valeurs différentes")
if lignes:
print("Relevés en double (même capteur, même instant dans un export déjà lu, dans l'ordre des noms ; "
"les outils gardent celui du dernier fichier) :")
print("\n".join(lignes))
def liste(chemins, tout):
"""Un dossier de pompage compte des centaines de fichiers : au-delà de 5, le premier et le dernier seulement."""
if tout or len(chemins) <= 5:
@@ -38,8 +74,9 @@ def liste(chemins, tout):
def fichiers(f, tout=False):
print(f"Exports « advanced » (source des mesures) : {len(f['advanced'])}")
liste(f["advanced"], tout)
doubles(f["advanced"])
print(f"Exports horaires : {len(f['horaire'])} (non lus par les outils : moyennes horaires, "
"heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)")
"heure locale sans fuseau ; voir labeling/connaissances/colonnes-des-deplacements.md)")
liste(f["horaire"], tout)
print(f"Mouvements de la caméra (pose à chaque recalage) : {len(f['camera'])}")
liste(f["camera"], tout)
@@ -48,8 +85,9 @@ def fichiers(f, tout=False):
def remplies(chemins, debut, fin):
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}), colonnes dans l'ordre des en-têtes."""
lignes, compte = 0, {}
"""CSV d'une source -> (lignes de la fenêtre, {colonne: lignes avec une valeur}, {colonne: capteurs qui en ont une}),
colonnes dans l'ordre des en-têtes ; capteurs : sensor_name, s'il y en a."""
lignes, compte, qui = 0, {}, collections.defaultdict(set)
for p in chemins:
with open(p, newline="") as fh:
r = csv.DictReader(fh)
@@ -63,7 +101,9 @@ def remplies(chemins, debut, fin):
for c in compte:
if (row.get(c) or "").strip():
compte[c] += 1
return lignes, compte
if row.get("sensor_name"):
qui[c].add(row["sensor_name"].strip())
return lignes, compte, qui
def contenu(dossier, f, debut=None, fin=None):
@@ -77,8 +117,15 @@ def contenu(dossier, f, debut=None, fin=None):
for titre, chemins in (("Export « advanced »", f["advanced"]), ("Pose de la caméra (camera/)", f["camera"]),
("Qualité d'image (quality/)", autres.pop("quality", []))):
if chemins:
n, compte = remplies(chemins, debut, fin)
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}" if k else f"{c} vide" for c, k in compte.items()))
n, compte, qui = remplies(chemins, debut, fin)
tous = set().union(*qui.values())
def porte(c): # nombre de capteurs qui portent la colonne, quand ce ne sont pas tous
return f" ({len(qui[c])} capteurs sur {len(tous)})" if tous and len(qui[c]) < len(tous) else ""
print(f" {titre} : {n} lignes ; " + ", ".join(f"{c} {k}{porte(c)}" if k else f"{c} vide" for c, k in compte.items()))
if chemins is f["advanced"]:
q = [c for c in QUALITE if compte.get(c)]
print(f" Qualité d'image de l'export (peak à snr) : " + (f"remplie ({', '.join(q)}) ; lue par qualite.py, "
"labeling/connaissances/metriques-de-qualite.md" if q else "vide"))
jours = collections.Counter() # métrique -> jours (un CSV par métrique et par jour) dans la fenêtre
for p in autres.pop("metrics", []):
m = METRIQUE_RE.match(os.path.basename(p))
@@ -89,7 +136,7 @@ def contenu(dossier, f, debut=None, fin=None):
nom = m.group(1)
jours[nom.split("_", 1)[1] if "_" in nom else nom] += 1
if jours:
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; aucun outil ne les lit) : {len(jours)} : "
print(f" Métriques système (metrics/, un CSV par métrique et par jour ; lues par metriques.py) : {len(jours)} : "
+ ", ".join(f"{k} ({n} j)" for k, n in sorted(jours.items())))
for titre, chemins in (("Images de la caméra", f["images"]),
("Images différentielles (images_diff/ ; aucun outil ne les lit)", glob.glob(os.path.join(dossier, "images_diff", "*")))):
@@ -100,20 +147,28 @@ def contenu(dossier, f, debut=None, fin=None):
print(" Autres : " + ", ".join(f"{k} ({len(v)})" for k, v in sorted(autres.items())))
def images(chemins):
def images(chemins, debut=None, fin=None):
heures = sorted(h for h in map(heure_image, chemins) if h)
print(f"Images : {len(chemins)}" + (f", du {iso(heures[0])} au {iso(heures[-1])}" if heures else ""))
inconnues = [p for p in chemins if heure_image(p) is None]
if inconnues:
print(f" noms sans heure reconnue : {len(inconnues)}")
if heures:
manquantes = []
for a, b in zip(heures, heures[1:]):
h = a + timedelta(hours=1)
while h < b:
manquantes.append(iso(h))
h += timedelta(hours=1)
print(f" heures pleines sans image entre la première et la dernière : {', '.join(manquantes) or 'aucune'}")
heures = [h for h in heures if filtrer([{"t": h}], debut, fin)]
if len(heures) < 2:
return
# Suites d'images à écart régulier (arrondi à 5 min, ce qui absorbe les quelques secondes de retard d'une prise) :
# une ligne par changement d'écart, sans rien perdre des heures couvertes.
suites = [] # [première, dernière, écart en min, nombre d'écarts]
for a, b in zip(heures, heures[1:]):
e = round((b - a).total_seconds() / 300) * 5
if suites and suites[-1][2] == e:
suites[-1][1], suites[-1][3] = b, suites[-1][3] + 1
else:
suites.append([a, b, e, 1])
quoi = "sur la fenêtre" if debut or fin else "entre la première et la dernière"
print(f" écart entre deux images {quoi}, par suite d'écarts égaux (à 5 min près) :")
for a, b, e, n in suites:
print(f" {iso(a)} → {iso(b)} : " + (f"{n + 1} images, toutes les {e} min" if n > 1 else f"un écart de {e} min"))
def mesures(par):
@@ -132,6 +187,10 @@ def mesures(par):
noms = sorted(par, key=lambda s: (not est_reference(par[s]), s))
refs = [s for s in noms if est_reference(par[s])]
print(f"\nCapteurs : {len(par)} ({len(refs)} références, {len(par) - len(refs)} cibles)")
vides = [s for s in noms if not any(m["pattern_type"] for m in par[s])]
if vides:
print(f" pattern_type vide pour {len(vides)} capteurs : référence quand reproj_err ou inlier est rempli "
"(références seulement, labeling/connaissances/colonnes-des-deplacements.md)")
print(f"{'capteur':10} {'type':10} {'motif':11} {'seuil':>5} {'mesures':>7} {'rejetées':>8}")
for s in noms:
ms = par[s]
@@ -161,7 +220,7 @@ def camera(dossier, par, debut=None, fin=None):
print(f"Instants de mesure sans pose (pas de recalage) : {sum(x[2] for x in suites)} sur {len(instants)}")
if debut or fin:
for a, b, n, _ in suites:
print(f" {iso(a)}" + ("" if n == 1 else f" → {iso(b)} ({n})"))
print(f" {suite(a, b, n)}")
def fenetre(par, debut, fin):
@@ -196,22 +255,27 @@ def fenetre(par, debut, fin):
else:
suites.append([t, t, 1])
if rej:
print(f" {s} ({len(rej)}) : " + "; ".join(iso(a) if a == b else f"{iso(a)} → {iso(b)} ({n})" for a, b, n in suites))
print(f" {s} ({len(rej)}) : " + "; ".join(suite(a, b, n) for a, b, n in suites))
if not any(rejetee(m) for d in series.values() for m in d.values()):
print(" (aucune)")
refs = [s for s in noms if est_reference(par[s])]
if not any(m["inlier"] is not None for s in refs for m in series[s].values()):
print("Références retenues par la compensation : colonne inlier absente ou vide.")
# inlier dit quelles références la compensation retient ; certains exports ne le remplissent pas (et parfois
# reproj_err seulement) : on prend alors reproj_err rempli, et le titre le dit.
col = next((c for c in ("inlier", "reproj_err") if any(m[c] is not None for s in refs for m in series[s].values())), None)
if col is None:
print("Références retenues par la compensation : colonnes inlier et reproj_err absentes ou vides.")
return
retenue = (lambda m: m["inlier"] == 1) if col == "inlier" else (lambda m: m["reproj_err"] is not None)
def marque(s, t):
m = series[s].get(t)
return "absente" if m is None else "r" if rejetee(m) else "0" if m["inlier"] == 0 else "vide"
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or series[s][t]["inlier"] != 1)) for t in dans]
return "absente" if m is None else "r" if rejetee(m) else "vide" if m[col] is None else f"{m[col]:g}"
hors = [(t, tuple((s, marque(s, t)) for s in refs if t not in series[s] or not retenue(series[s][t]))) for t in dans]
compte = collections.Counter(len(refs) - len(h) for _, h in hors)
print(f"Références retenues par la compensation (inlier = 1) sur {len(refs)}, nombre d'instants : "
quoi = "inlier = 1" if col == "inlier" else "inlier vide sur la fenêtre : reproj_err rempli à la place"
print(f"Références retenues par la compensation ({quoi}) sur {len(refs)}, nombre d'instants : "
+ ", ".join(f"{k} : {compte[k]}" for k in sorted(compte, reverse=True)))
print("Instants où des références ne sont pas retenues (suites de pas consécutifs avec les mêmes références hors ; "
"r = rejetée, 0 = inlier 0, vide = inlier vide) :")
f"r = rejetée, vide = {col} vide, sinon la valeur d'inlier) :")
suites = []
for i, (t, h) in enumerate(hors):
if h and suites and suites[-1][3] == h and suites[-1][4] == i - 1:
@@ -219,7 +283,7 @@ def fenetre(par, debut, fin):
elif h:
suites.append([t, t, 1, h, i])
for a, b, n, h, _ in suites:
print(f" {iso(a) if n == 1 else f'{iso(a)} → {iso(b)} ({n})'} : {len(refs) - len(h)} retenues ; hors : "
print(f" {suite(a, b, n)} : {len(refs) - len(h)} retenues ; hors : "
+ ", ".join(f"{s} ({q})" for s, q in h))
if not suites:
print(" (aucun)")
@@ -230,7 +294,7 @@ def main(dossier, debut=None, fin=None, tout=False):
f = trouver(dossier)
fichiers(f, tout)
contenu(dossier, f, debut, fin)
images(f["images"])
images(f["images"], debut, fin)
par = charger(dossier)
mesures(par)
if par:
+144 -5
View File
@@ -1,7 +1,8 @@
"""Ce qui revient d'un jour à l'autre : niveau de chaque nuit, et jours superposés par heure du jour, pour l'agent de diagnostic.
Usage : .venv/bin/python agent-tools/jours.py data/PS_DES_COUDRES/ [--colonnes corr_x,corr_y,error_value]
[--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--debut ...] [--fin ...] [--sortie DOSSIER]
[--nuit 20-3] [--k 5] [--jours 2] [--pas 15min] [--capteurs A,B] [--bornes [--lissage N] [--fraction F]]
[--debut ...] [--fin ...] [--sortie DOSSIER]
Mesures acceptées seulement : une mesure rejetée (error_value au-dessus du seuil) n'entre nulle part. Une « nuit » :
les heures --nuit H1-H2 (UTC, H1 inclus, H2 exclu, à cheval sur minuit si H1 > H2), datée du jour où elle commence ;
@@ -20,6 +21,26 @@ la nuit en cours au début de la fenêtre compte aussi (ses heures après minuit
même côté, au moins --jours jours différents, avec le nombre de ces jours sur le nombre de jours mesurés et la
médiane de ces écarts (signée, en unités et en bruits) ; un capteur au-dessus certains jours et au-dessous
d'autres est cité deux fois.
3. Avec --bornes : chaque jour face à la nuit qui le précède, pour la médiane des cibles de chaque colonne (avec
--capteurs : la médiane de ces capteurs, références comprises ; un seul capteur : le sien) et pour la pose de la
caméra (pan, tilt, rotation, scale, sigma0) si camera/ existe. Un « jour » : de la fin d'une nuit à la fin de la
suivante (24 h), daté du jour où il commence ; son niveau de référence est celui de la nuit qui vient de finir (sans
elle, la dernière nuit mesurée avant, ou au début du lot la première : nommée, « pas la précédente »). Écart de chaque mesure à ce niveau (médiane des cibles : à chaque
instant, médiane des écarts de chaque cible à son propre niveau de cette nuit) ; bruit : médiane des écarts entre
deux valeurs consécutives de cette suite. Par jour : nombre de mesures, première et dernière ; premier et dernier
instant où |écart| dépasse --k bruits, avec la mesure juste avant et juste après (au pas natif) ; le maximum et le
minimum signés et leur instant ; autour du plus grand des deux en valeur absolue, la suite de mesures consécutives
au-delà de --k bruits du même côté qui le contient, avec la mesure juste avant et juste après ; la nuit suivante
moins la nuit de référence. Un jour sans mesure le dit. Chaque ligne de jour commence par le nom court de la suite
(la colonne, ou pose_tilt…) : `| grep '^pose_tilt '` en garde une, `| grep ' 12/10 '` un jour. Avec --lissage N,
l'écart de chaque mesure est la médiane des N mesures du jour centrées sur elle (le bruit reste celui des mesures,
la figure trace aussi l'écart brut en gris) : un point isolé ne coupe plus la suite autour de l'extrême et ne fait
plus un premier ou un dernier dépassement. Avec --fraction F, le seuil de chaque jour est F fois le plus grand
|écart| de ce jour (au lieu de --k bruits ; il est imprimé sur la ligne du jour) : sur une suite très bruitée, ou
dont le bruit au pas natif est sans rapport avec l'ampleur du cycle. PNG
« bornes » : un panneau par suite, l'écart sur le lot, ±k bruits en pointillé, de chaque jour [premier, dernier]
grisé clair et la suite autour de l'extrême grisée foncé, le maximum et le minimum marqués ; cadré du 1er au 99e
centile élargi de moitié (le titre dit combien de mesures sortent du cadre).
Rend des valeurs, pas de verdict.
"""
import argparse
@@ -27,16 +48,16 @@ import math
import os
import statistics
import sys
from datetime import timedelta
from datetime import datetime, timedelta, timezone
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt # noqa: E402
from donnees import charger, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from donnees import POSE, charger, charger_camera, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import COLONNES, RACINE, borne # noqa: E402
from resume import duree # noqa: E402
from resume import ARRONDI, bruit_propre, duree # noqa: E402
def heures(texte):
@@ -74,6 +95,9 @@ def main():
a.add_argument("--jours", type=int, default=2, help="nombre de jours à partir duquel un capteur est cité à un créneau")
a.add_argument("--pas", default="15min", type=duree, help="largeur des créneaux de l'heure du jour (défaut 15min)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--bornes", action="store_true", help="ajoute, jour par jour, les bornes de l'écart au niveau de la nuit précédente")
a.add_argument("--lissage", type=int, default=1, metavar="N", help="--bornes : écart lissé par la médiane de N mesures centrées (défaut 1 : aucun)")
a.add_argument("--fraction", type=float, metavar="F", help="--bornes : seuil de chaque jour = F fois son plus grand |écart| (au lieu de --k bruits)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG")
@@ -108,7 +132,7 @@ def main():
print(f"{s:9}(moins de 2 valeurs acceptées)")
ax.axis("off")
continue
bruit = bruits[s] = statistics.median(abs(b[1] - a_[1]) for a_, b in zip(ms, ms[1:]))
bruit = bruits[s] = bruit_propre([v for _, v in ms])
nuits = {}
for t, v in ms:
if de_nuit(t, h1, h2):
@@ -189,6 +213,121 @@ def main():
if vide:
print("(aucun)")
if o.bornes:
bornes(o, noms, series, colonnes, station)
def niveaux_de_nuit(pts, h1, h2):
"""[(t, v)] -> {date de la nuit: médiane}."""
nuits = {}
for t, v in pts:
if de_nuit(t, h1, h2):
nuits.setdefault((t - timedelta(hours=h1)).date(), []).append(v)
return {d: statistics.median(v) for d, v in nuits.items()}
def bornes(o, noms, series, colonnes, station):
"""Section 3 : par jour, l'écart au niveau de la nuit qui le précède, pour la médiane des cibles et la pose."""
h1, h2 = o.nuit
duree_nuit = timedelta(hours=(h2 - h1) % 24)
choisis = noms if o.capteurs else [s for s in noms if series[s] and not est_reference(series[s])] or noms
suites = [(f"{col} médiane de {len(choisis)} capteur(s)" if len(choisis) > 1 else f"{col} {choisis[0]}", col,
{s: [(m["t"], m[col]) for m in series[s] if m[col] is not None] for s in choisis}) for col in colonnes]
poses = filtrer(charger_camera(o.dossier), o.debut, o.fin)
suites += [(f"pose {c}", f"pose_{c}", {c: [(p["t"], p[c]) for p in poses if p[c] is not None]}) for c in POSE
if any(p[c] is not None for p in poses)]
tous = [t for _, _, d in suites for p in d.values() for t, _ in p]
t0, t1 = min(tous), max(tous)
nuit_de = lambda t: (t - duree_nuit - timedelta(hours=h1)).date() # nuit qui finit avant t (le jour de t commence à sa fin)
jours = [nuit_de(t0) + timedelta(days=i) for i in range((nuit_de(t1) - nuit_de(t0)).days + 1)]
hm = lambda t: f"{t:%d/%m %H:%M}"
seuil_txt = f"seuil {o.fraction:g} fois le plus grand |écart| du jour" if o.fraction else f"seuil {o.k:g} bruits"
print(f"\n== Bornes de chaque jour : écart au niveau de la nuit qui le précède ({h1} h → {h2} h UTC), {seuil_txt}"
+ (f", écart lissé sur {o.lissage} mesures" if o.lissage > 1 else "") + " ==")
print("jour : de la fin d'une nuit à la fin de la suivante, daté de son début ; « avant », « après » : mesure juste avant le premier "
"dépassement, juste après le dernier ; nuit suivante : son niveau moins celui de la nuit de référence")
fig, axes = plt.subplots(len(suites), 1, sharex=True, figsize=(18, 2.2 * len(suites)), squeeze=False)
for ax, (nom, court, par_capteur) in zip(axes.flat, suites):
niv = {s: niveaux_de_nuit(p, h1, h2) for s, p in par_capteur.items()}
nuits = sorted({d for n in niv.values() for d in n})
ecarts = [] # (jour, nuit de réf., [(t, écart)], écart de la nuit suivante)
for d in jours:
debut = datetime.combine(d, datetime.min.time(), tzinfo=timezone.utc) + timedelta(hours=h1) + duree_nuit
fin = debut + timedelta(days=1)
ref = max((n for n in nuits if n <= d), default=None) or (min(nuits) if nuits else None)
par_t = {}
for s, p in par_capteur.items():
if ref in niv[s]:
for t, v in p:
if debut <= t < fin:
par_t.setdefault(t, []).append(v - niv[s][ref])
suivante = [niv[s][d + timedelta(days=1)] - niv[s][ref] for s in niv if ref in niv[s] and d + timedelta(days=1) in niv[s]]
ecarts.append((debut.date(), d, ref, [(t, statistics.median(e)) for t, e in sorted(par_t.items())],
statistics.median(suivante) if suivante else None))
diffs = [abs(b[1] - a_[1]) for *_, p, _ in ecarts for a_, b in zip(p, p[1:])]
bruit = statistics.median(diffs) if diffs else 0
bruit = bruit if bruit >= ARRONDI else 0
print(f"\n{nom} : bruit {bruit:.3g}")
enb = lambda e: f"{e:+.4g} ({e / bruit:+.1f})" if bruit else f"{e:+.4g}"
h = o.lissage // 2
for jour, d, ref, brut, suiv in ecarts:
if not brut:
print(f"{court} {jour:%d/%m} aucune mesure" + ("" if nuits else " de nuit"))
continue
p = [(t, statistics.median(e for _, e in brut[max(0, i - h):i + h + 1])) for i, (t, _) in enumerate(brut)] if h else brut
seuil = o.fraction * max(abs(e) for _, e in p) if o.fraction else o.k * bruit
ligne = (f"{court} {jour:%d/%m} nuit {ref:%d/%m}" + (" (pas la précédente)" if ref != d else "") + f" | {len(p)} mesures {hm(p[0][0])} → {hm(p[-1][0])} | "
+ (f"seuil {seuil:.4g} | " if o.fraction else ""))
hors = [i for i, (_, e) in enumerate(p) if seuil and abs(e) > seuil]
if hors:
i, j = hors[0], hors[-1]
ligne += (f"> {'seuil' if o.fraction else f'{o.k:g} bruits'} : {len(hors)} mesures, de {hm(p[i][0])} (avant {hm(p[i - 1][0]) if i else '-'}) "
f"à {hm(p[j][0])} (après {hm(p[j + 1][0]) if j + 1 < len(p) else '-'})")
ax.axvspan(p[i][0], p[j][0], color="0.85", lw=0)
else:
ligne += f"jamais > {'seuil' if o.fraction else f'{o.k:g} bruits'}"
haut, bas = max(p, key=lambda x: x[1]), min(p, key=lambda x: x[1])
ligne += f" | max {enb(haut[1])} à {hm(haut[0])}, min {enb(bas[1])} à {hm(bas[0])}"
x = max(range(len(p)), key=lambda i: abs(p[i][1]))
signe = 1 if p[x][1] > 0 else -1
if seuil and signe * p[x][1] > seuil:
i = j = x
while i > 0 and signe * p[i - 1][1] > seuil:
i -= 1
while j + 1 < len(p) and signe * p[j + 1][1] > seuil:
j += 1
ligne += (f" | autour du {'max' if signe > 0 else 'min'} : {j - i + 1} mesures, de {hm(p[i][0])} (avant {hm(p[i - 1][0]) if i else '-'}) "
f"à {hm(p[j][0])} (après {hm(p[j + 1][0]) if j + 1 < len(p) else '-'})")
ax.axvspan(p[i][0], p[j][0], color="0.7", lw=0)
ligne += f" | nuit suivante {enb(suiv)}" if suiv is not None else " | nuit suivante non mesurée"
print(ligne)
if h:
ax.plot([t for t, _ in brut], [e for _, e in brut], "-", lw=0.5, color="0.6")
ax.plot([t for t, _ in p], [e for _, e in p], "-", lw=0.8, color="C0")
ax.plot([haut[0], bas[0]], [haut[1], bas[1]], "o", ms=3, color="C3")
if bruit and not o.fraction:
for y in (o.k * bruit, -o.k * bruit):
ax.axhline(y, color="0.4", ls=":", lw=0.8)
ax.axhline(0, color="0.3", lw=0.5)
tous_e = sorted(e for *_, p, _ in ecarts for _, e in p)
hors_cadre = 0
if tous_e: # cadre du 1er au 99e centile élargi de moitié, comme parheure : un pic isolé n'écrase pas l'échelle
q1, q2 = tous_e[len(tous_e) // 100], tous_e[-1 - len(tous_e) // 100]
marge = (q2 - q1) * 0.5 or 1
ax.set_ylim(q1 - marge, q2 + marge)
hors_cadre = sum(not q1 - marge <= e <= q2 + marge for e in tous_e)
ax.set_title(f"{nom} bruit {bruit:.2g}" + (f" ({hors_cadre} hors cadre)" if hors_cadre else ""), fontsize=9)
ax.grid(alpha=0.3)
ax.tick_params(labelsize=7)
fig.suptitle(f"{station} : écart au niveau de la nuit qui précède chaque jour ({h1} h → {h2} h) ; "
f"grisé clair : du premier au dernier dépassement {'du seuil (' + seuil_txt + ')' if o.fraction else f'de {o.k:g} bruits'}, foncé : la suite autour de l'extrême ; points : max et min du jour"
+ (f" ; écart lissé sur {o.lissage} mesures (bleu), brut (gris)" if o.lissage > 1 else ""))
fig.tight_layout()
chemin = os.path.join(o.sortie, f"{station}_bornes_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
plt.close(fig)
print(chemin)
if __name__ == "__main__":
main()
+264
View File
@@ -0,0 +1,264 @@
"""Métriques système de la station (metrics/ : températures, tension, batterie, lien…), en table et en figure,
face à la médiane des cibles de corr_x, corr_y et à la pose de la caméra.
Usage : .venv/bin/python agent-tools/metriques.py data/PS_DES_COUDRES/
[--noms sensor_A0_deg_c,BusVoltage] [--pas 1h] [--stat median|min|max] [--contre temperature] [--lissage 24h]
[--metriques-seules] [--debut ...] [--fin ...] [--sortie DOSSIER]
Colonnes : `temperature` (médiane des composants sensor_*_deg_c à chaque heure, comme la lisent les détecteurs,
donnees.charger_temperature), puis chaque métrique de --noms (défaut : les *_deg_c et BusVoltage présents), puis,
sauf --metriques-seules, cib_corr_x, cib_corr_y (à chaque mesure, médiane sur les cibles de corr moins le niveau
propre de la cible, sa médiane sur la fenêtre ; mesures acceptées seulement) et la pose brute de la caméra (cam_pan,
cam_tilt, cam_rotation, cam_scale, cam_sigma0). Une case vide d'un CSV de metrics/ est sautée, pas lue comme zéro.
Une métrique texte (BatteryState, link, last_sync…) est rendue telle quelle (la dernière du pas).
Jamais d'identifiant : SIM_CCID et ip* ne sont ni lus ni listés.
Imprime : les métriques disponibles ; la table, une ligne par pas de --pas (début du pas, UTC ; --stat des valeurs du
pas ; « - » : aucune valeur), les pas où aucune métrique n'a de valeur n'y sont pas ; par colonne, le nombre de pas
remplis, le minimum et le maximum avec leur instant ; la corrélation r et la pente (moindres carrés, sur les pas où
les deux ont une valeur) de chaque colonne numérique sur --contre (défaut temperature ; avec --lissage D, sur sa
moyenne glissante centrée sur D, colonne <contre>_lisse) ; les suites datées de pas sans aucune métrique.
Un PNG, chemin imprimé : températures sur un panneau, chaque autre métrique numérique sur le sien, puis cib_corr_x,
cib_corr_y et la pose, aux instants natifs (trait coupé sur un trou). Rend des valeurs, pas de verdict.
"""
import argparse
import csv
import glob
import os
import statistics
import sys
from datetime import date, timedelta
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso # noqa: E402
from graphique import RACINE, borne # noqa: E402
from inventaire import METRIQUE_RE # noqa: E402
from resume import STATS, duree # noqa: E402
def identifiant(nom):
"""Métrique qui porte un identifiant (carte SIM, adresses IP) : jamais lue."""
return nom == "SIM_CCID" or nom.startswith("ip")
def valeur(texte):
v = texte.strip().strip("[]").strip("'\"")
try:
return float(v)
except ValueError:
return v or None
def lire_metriques(dossier, debut, fin):
"""metrics/ -> {nom: [{'t', 'v'}]} triées, sur la fenêtre ; v float ou texte ; case vide sautée ; nom sans valeur : []."""
prefixe = os.path.basename(os.path.normpath(dossier)) + "_"
par = {}
for p in glob.glob(os.path.join(dossier, "metrics", "*.csv")):
m = METRIQUE_RE.match(os.path.basename(p))
if not m:
continue
nom = m.group(1)
nom = nom[len(prefixe):] if nom.startswith(prefixe) else nom.split("_", 1)[-1]
if identifiant(nom):
continue
jour = date(*map(int, m.group(2, 3, 4)))
serie = par.setdefault(nom, {})
if (debut and jour < debut.date() - timedelta(days=1)) or (fin and jour > fin.date()):
continue
with open(p, newline="") as f:
for r in csv.DictReader(f):
if (v := valeur(r.get("metric") or "")) is not None:
serie[instant(r["time_utc"])] = v
return {n: filtrer([{"t": t, "v": s[t]} for t in sorted(s)], debut, fin) for n, s in par.items()}
def cibles(par, col, debut, fin):
"""À chaque mesure, médiane sur les cibles de col moins le niveau propre de la cible (médiane sur la fenêtre)."""
ecarts = {}
for s, ms in par.items():
if est_reference(ms):
continue
ms = [m for m in filtrer(ms, debut, fin) if m[col] is not None]
if ms:
niveau = statistics.median(m[col] for m in ms)
for m in ms:
ecarts.setdefault(m["t"], []).append(m[col] - niveau)
return [{"t": t, "v": statistics.median(v)} for t, v in sorted(ecarts.items())]
def lisser(serie, largeur):
"""Moyenne glissante centrée sur largeur (valeurs numériques)."""
pts = [p for p in serie if isinstance(p["v"], float)]
# ponytail: O(n²), assez pour des métriques horaires sur quelques semaines
return [{"t": p["t"], "v": statistics.fmean(q["v"] for q in pts if abs(q["t"] - p["t"]) <= largeur / 2)} for p in pts]
def fmt(v):
return "-" if v is None else f"{v:.6g}" if isinstance(v, float) else str(v)
def suites(pas_vides, pas):
"""[t] triés -> [(début, fin, n)] de pas consécutifs."""
out = []
for t in pas_vides:
if out and t - out[-1][1] == pas:
out[-1] = (out[-1][0], t, out[-1][2] + 1)
else:
out.append((t, t, 1))
return out
def coupe(serie):
"""Instants et valeurs numériques, NaN inséré sur un écart de plus de 1,5 fois le pas habituel (le trait se coupe)."""
pts = [(p["t"], p["v"]) for p in serie if isinstance(p["v"], float)]
if len(pts) < 3:
return [t for t, _ in pts], [v for _, v in pts]
pas = statistics.median(b[0] - a[0] for a, b in zip(pts, pts[1:]))
ts, vs = [pts[0][0]], [pts[0][1]]
for (a, _), (b, v) in zip(pts, pts[1:]):
if b - a > 1.5 * pas:
ts.append(a + (b - a) / 2)
vs.append(float("nan"))
ts.append(b)
vs.append(v)
return ts, vs
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--noms", help="métriques, séparées par des virgules (défaut : les *_deg_c et BusVoltage présents)")
a.add_argument("--pas", default="1h")
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--contre", default="temperature", help="colonne sur laquelle r et la pente sont calculés")
a.add_argument("--lissage", type=duree, help="moyenne glissante centrée de --contre, ex. 24h")
a.add_argument("--metriques-seules", action="store_true", help="sans cib_corr_x, cib_corr_y ni la pose")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
pas = duree(o.pas)
met = lire_metriques(o.dossier, o.debut, o.fin)
if not met:
print(f"Pas de metrics/ dans {o.dossier}.")
else:
print("Métriques disponibles (valeurs sur la fenêtre ; identifiants SIM_CCID, ip* exclus) : "
+ ", ".join(f"{n} ({len(s)})" if s else f"{n} (vide)" for n, s in sorted(met.items())))
if o.noms:
noms = o.noms.split(",")
if interdits := [n for n in noms if identifiant(n)]:
sys.exit(f"Identifiants, jamais lus : {', '.join(interdits)}.")
if absents := [n for n in noms if n not in met]:
sys.exit(f"Métriques inconnues : {', '.join(absents)}. Connues : {', '.join(sorted(met))}.")
else:
noms = sorted(n for n in met if n.endswith("_deg_c")) + [n for n in ("BusVoltage",) if n in met]
series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(o.dossier)], o.debut, o.fin)}
series.update({n: met[n] for n in noms})
if o.lissage:
if o.contre not in series:
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
series[o.contre + "_lisse"] = lisser(series[o.contre], o.lissage)
metriques = list(series)
if not o.metriques_seules:
par = charger(o.dossier)
for c in ("corr_x", "corr_y"):
series["cib_" + c] = cibles(par, c, o.debut, o.fin)
poses = filtrer(charger_camera(o.dossier), o.debut, o.fin)
for c in POSE:
series["cam_" + c] = [{"t": p["t"], "v": p[c]} for p in poses if p[c] is not None]
reference = o.contre + "_lisse" if o.lissage else o.contre
if reference not in series:
sys.exit(f"--contre {o.contre} : pas une colonne ({', '.join(series)}).")
tous = [p["t"] for s in series.values() for p in s]
if not tous:
sys.exit("Aucune valeur dans la fenêtre demandée.")
t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0)
t1 = o.fin or max(tous)
cases = {} # colonne -> début du pas -> valeurs
for c, s in series.items():
for p in s:
cases.setdefault(c, {}).setdefault(t0 + ((p["t"] - t0) // pas) * pas, []).append(p["v"])
stat = STATS[o.stat]
table = {c: {k: (stat(v) if all(isinstance(x, float) for x in v) else v[-1]) for k, v in d.items()}
for c, d in cases.items()}
grille = [t0 + i * pas for i in range(int((t1 - t0) / pas) + 1)]
colonnes = list(series)
print(f"\n{o.stat} par pas de {o.pas} (début du pas, UTC) ; « - » : aucune valeur ; cib_ : écart au niveau propre des cibles")
print("\t".join(["heure"] + colonnes))
for k in grille:
ligne = [table.get(c, {}).get(k) for c in colonnes]
if any(v is not None for v in ligne):
print("\t".join([iso(k)] + [fmt(v) for v in ligne]))
print(f"\nPar colonne ({len(grille)} pas) :")
for c in colonnes:
d = table.get(c, {})
nums = [(v, k) for k, v in d.items() if isinstance(v, float)]
if not d:
print(f" {c} : vide")
elif nums:
(vmin, kmin), (vmax, kmax) = min(nums), max(nums)
print(f" {c} : {len(d)} pas ; min {fmt(vmin)} ({iso(kmin)}) ; max {fmt(vmax)} ({iso(kmax)})")
else:
ks = sorted(d)
print(f" {c} : {len(d)} pas, texte ; {len(set(d.values()))} valeurs distinctes ; "
f"première {d[ks[0]]} ({iso(ks[0])}) ; dernière {d[ks[-1]]} ({iso(ks[-1])})")
ref = table.get(reference, {})
print(f"\nCorrélation r et pente sur {reference} (par pas où les deux ont une valeur) :")
if not any(isinstance(v, float) for v in ref.values()):
print(f" {reference} vide : aucune")
for c in colonnes:
if c == reference or not ref or not any(isinstance(v, float) for v in table.get(c, {}).values()):
continue
paires = [(ref[k], v) for k, v in table.get(c, {}).items()
if isinstance(v, float) and isinstance(ref.get(k), float)]
try:
r = statistics.correlation(*zip(*paires))
pente = statistics.linear_regression(*zip(*paires)).slope
print(f" {c} : r = {r:+.2f} ; pente = {pente:.4g} par unité de {reference} ; n = {len(paires)}")
except (statistics.StatisticsError, TypeError, ValueError):
print(f" {c} : - (n = {len(paires)})")
vides = [k for k in grille if all(k not in table.get(c, {}) for c in metriques)]
print(f"\nPas sans aucune métrique ({', '.join(metriques)}) : {len(vides)} sur {len(grille)}")
for d, f, n in suites(vides, pas):
print(f" {iso(d)} → {iso(f)} ({n} pas)")
panneaux = {} # titre -> colonnes
for c in colonnes:
if any(isinstance(p["v"], float) for p in series[c]):
cle = "°C" if c.startswith("temperature") or "_deg_c" in c else c
panneaux.setdefault(cle, []).append(c)
if not panneaux:
print("\nRien à tracer.")
return
fig, axes = plt.subplots(len(panneaux), 1, sharex=True, figsize=(14, 2.4 * len(panneaux)), squeeze=False,
layout="constrained")
for ax, (titre, cols) in zip(axes[:, 0], panneaux.items()):
for c in cols:
noir = c in ("temperature", reference)
ax.plot(*coupe(series[c]), ".-", ms=2, lw=1.4 if noir else 0.7, label=c, zorder=3 if noir else 2,
color="k" if c == "temperature" else None)
if len(cols) > 1:
ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
ax.set_ylabel(titre if titre == "°C" else titre.replace("_", "_\n", 1), fontsize=8)
ax.grid(alpha=0.3)
axes[-1, 0].xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
station = os.path.basename(os.path.normpath(o.dossier))
fig.suptitle(f"{station} : métriques, cibles et pose (heures UTC)")
os.makedirs(o.sortie, exist_ok=True)
sortie = os.path.join(o.sortie, f"{station}_metriques_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(sortie, dpi=100, bbox_inches="tight")
print(f"\n{sortie}")
if __name__ == "__main__":
main()
+64 -14
View File
@@ -1,7 +1,8 @@
"""Plages datées par capteur et par colonne, au pas natif des mesures, pour l'agent de diagnostic.
Usage : python3 agent-tools/plages.py data/PS_DES_COUDRES/ [--colonnes error_value,corr_x,corr_y]
[--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--capteurs A,B] [--debut ...] [--fin ...]
[--k 5] [--fusion 1h] [--min-mesures 1] [--hors T1/T2] [--glissant N|DUREE] [--instants N]
[--capteurs A,B] [--debut ...] [--fin ...]
Pour chaque colonne, chaque capteur est comparé à son propre niveau sur la fenêtre --debut/--fin (médiane des
valeurs non vides ; avec --hors T1/T2, celle du reste de la fenêtre, hors du moment lu : utile quand un épisode
@@ -17,14 +18,37 @@ long fausse la médiane) et à son bruit propre (médiane des écarts entre deux
corr_x, corr_y d'une mesure rejetée sont vides, références comprises (donnees.charger). Une plage qui touche le bord de la fenêtre est datée au
bord (le niveau est celui de la fenêtre : un palier durable peut faire de l'autre moitié la « plage »).
Avec --min-mesures N, seules les plages d'au moins N mesures hors niveau sont imprimées (leur nombre total aussi).
Avec --glissant N (un entier : N mesures non vides de part et d'autre) ou --glissant DUREE (6h, 1d : les mesures
à moins de DUREE avant et après), le niveau de chaque mesure est la médiane de ses voisines, sans elle (niveau
local) : une dérive longue ou un palier suivent le niveau, seuls restent les écarts plus brefs que la fenêtre.
La colonne « niveau » du tableau 1 reste la médiane de la fenêtre ; le bruit ne change pas.
3. Avec --instants N : les instants où au moins N capteurs sont hors niveau (sur l'une des colonnes), avec, pour
chacun, les capteurs et l'écart en bruits (cx corr_x, cy corr_y, ev error_value, sinon le nom de la colonne),
les capteurs rejetés à cet instant (parmi --capteurs : en retirer les capteurs toujours rejetés allège la liste),
et chaque référence de la station, --capteurs ou non : error_value (« r » si rejetée) / inlier (« - » vide).
Chaque colonne est lue aux mesures, jamais moyennée par pas. Rend des valeurs, pas de verdict.
"""
import argparse
import bisect
import statistics
import sys
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
from resume import COLONNES, duree
from resume import COLONNES, bruit_propre, duree
ABREGE = {"corr_x": "cx", "corr_y": "cy", "error_value": "ev"}
def locaux(ms, g):
"""Niveau local de chaque mesure (t, v) : médiane des voisines non vides, sans elle ; g entier (mesures de part et
d'autre) ou timedelta (mesures à moins de g) ; None sans voisine."""
ts, vs = [t for t, _ in ms], [v for _, v in ms]
out = []
for i, t in enumerate(ts):
lo, hi = (max(0, i - g), i + g + 1) if isinstance(g, int) else (bisect.bisect_left(ts, t - g), bisect.bisect_right(ts, t + g))
w = vs[lo:i] + vs[i + 1:hi]
out.append(statistics.median(w) if w else None)
return out
def main():
@@ -35,6 +59,9 @@ def main():
a.add_argument("--fusion", default="1h", type=duree, help="deux plages séparées de moins que cela n'en font qu'une")
a.add_argument("--min-mesures", type=int, default=1, help="n'imprime que les plages d'au moins N mesures hors niveau")
a.add_argument("--hors", help="T1/T2 : niveau et bruit se calculent hors de ce moment (les plages se cherchent partout)")
a.add_argument("--glissant", type=lambda x: int(x) if x.isdigit() else duree(x),
help="N (mesures de part et d'autre) ou durée (6h, 1d) : niveau local, médiane des voisines sans la mesure")
a.add_argument("--instants", type=int, help="N : instants où au moins N capteurs sont hors niveau, avec rejets et références")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
@@ -55,6 +82,8 @@ def main():
series = {s: filtrer(par[s], o.debut, o.fin) for s in noms}
if not any(series.values()):
sys.exit("Aucune mesure dans la fenêtre demandée.")
glis = (f"{o.glissant} mesures" if isinstance(o.glissant, int) else f"{int(o.glissant.total_seconds() // 60)} min") if o.glissant is not None else ""
par_instant = {} # iso(t) -> ["capteur.col+écart"] (--instants)
for col in colonnes:
print(f"\n== {col} : niveau, bruit, plus grand saut d'une mesure à la suivante ==")
@@ -72,7 +101,7 @@ def main():
continue
niv = statistics.median(v for _, v in ref)
sauts = [(b[1] - a_[1], a_[0], b[0]) for a_, b in zip(ms, ms[1:])]
bruit = statistics.median(abs(b[1] - a_[1]) for a_, b in zip(ref, ref[1:]))
bruit = bruit_propre([v for _, v in ref])
d, t1, t2 = max(sauts, key=lambda x: abs(x[0]))
bru = f"{d / bruit:9.1f}" if bruit else f"{'-':>9}"
marque = [iso(x) for x in (t1, t2) if x in rej]
@@ -80,27 +109,48 @@ def main():
+ (f" (rejetée : {', '.join(marque)})" if marque else ""))
if not bruit:
continue
groupe = []
for t, v in ms + [(None, 0)]:
if t is not None and abs(v - niv) > o.k * bruit:
if groupe and (t - groupe[-1][0] > o.fusion or (v > niv) != (groupe[-1][1] > niv)): # même sens seul
plages.append((s, groupe, niv, bruit, rej))
lv = locaux(ms, o.glissant) if o.glissant is not None else [niv] * len(ms)
groupe = [] # (t, écart au niveau)
for (t, v), n in zip(ms + [(None, 0)], lv + [None]):
if t is not None and n is not None and abs(v - n) > o.k * bruit:
if groupe and (t - groupe[-1][0] > o.fusion or (v > n) != (groupe[-1][1] > 0)): # même sens seul
plages.append((s, groupe, bruit, rej))
groupe = []
groupe.append((t, v))
groupe.append((t, v - n))
par_instant.setdefault(iso(t), {}).setdefault(s, []).append(f"{ABREGE.get(col, col)}{(v - n) / bruit:+.0f}")
elif t is None and groupe:
plages.append((s, groupe, niv, bruit, rej))
plages.append((s, groupe, bruit, rej))
toutes = len(plages)
plages = [p for p in plages if len(p[1]) >= o.min_mesures]
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' (niveau hors ' + o.hors + ')' if hors else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)"
print(f"\n{col} : plages à plus de {o.k:g} bruits du niveau{' glissant ±' + glis + ' (médiane des voisines)' if glis else ''}{' (niveau hors ' + o.hors + ')' if hors and not glis else ''}{' (bruit hors ' + o.hors + ')' if hors and glis else ''} (fusion {int(o.fusion.total_seconds() // 60)} min)"
+ (f" ; {len(plages)} d'au moins {o.min_mesures} mesures sur {toutes}" if o.min_mesures > 1 else ""))
print(f"{'capteur':9}{'début':<18}{'fin':<18}{'mesures':>8}{'extrême':>10}{'(bruits)':>9} {'à':<17}{'rejetées':>9}")
for s, g, niv, bruit, rej in plages:
t, v = max(g, key=lambda x: abs(x[1] - niv))
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{v - niv:+10.4g}{(v - niv) / bruit:9.1f} {iso(t):<17}"
for s, g, bruit, rej in plages:
t, d = max(g, key=lambda x: abs(x[1]))
print(f"{s:9}{iso(g[0][0]):<18}{iso(g[-1][0]):<18}{len(g):8}{d:+10.4g}{d / bruit:9.1f} {iso(t):<17}"
f"{sum(x[0] in rej for x in g):9}{' extrême rejetée' if t in rej else ''}")
if not plages:
print("(aucune)")
if o.instants is not None:
refs = sorted(s for s in par if est_reference(par[s]))
rej_t, ref_t = {}, {s: {} for s in refs}
for s in set(noms) | set(refs):
for m in filtrer(par[s], o.debut, o.fin):
if rejetee(m) and s in noms:
rej_t.setdefault(iso(m["t"]), []).append(s)
if s in ref_t:
ref_t[s][iso(m["t"])] = m
f = lambda v, fmt: "-" if v is None else format(v, fmt)
lignes = [(t, c) for t, c in sorted(par_instant.items()) if len(c) >= o.instants]
print(f"\nInstants où au moins {o.instants} capteurs sont à plus de {o.k:g} bruits du niveau{' glissant ±' + glis if glis else ''} "
f"({', '.join(colonnes)}) : {len(lignes)} sur {len(par_instant)} instants avec au moins un capteur hors niveau")
print("instant n capteurs hors niveau (écart en bruits) | rejetés | références : error_value (r rejetée) / inlier")
for t, c in lignes:
r = " ".join(f"{s} {f(ref_t[s][t]['error_value'], '.3g')}{'r' if rejetee(ref_t[s][t]) else ''}/{f(ref_t[s][t]['inlier'], 'g')}"
for s in refs if t in ref_t[s])
print(f"{t} {len(c):3} {' '.join(s + '.' + ','.join(v) for s, v in c.items())} | {','.join(rej_t.get(t, [])) or '-'} | {r or '-'}")
if __name__ == "__main__":
main()
+418
View File
@@ -0,0 +1,418 @@
"""Les six métriques de qualité d'image (peak, flux, sharpness, fwhm, dominance, snr) par capteur, face à sa référence calme.
Usage : python3 agent-tools/qualite.py <dossier> [--debut T] [--fin T] [--capteurs A,B] [--calme T1/T2,T3/T4]
[--commun] [--table METRIQUE] [--pas 15min] [--seuil 0.5]
python3 agent-tools/qualite.py <dossier> --etiquettes labeling/auto/X.jsonl [--calme ...] [--debut T] [--fin T]
[--numeros 3,7] [--seuil 0.5] [--marge 60] [--bords] | [--hors [--min 1] [--sauf "Thermal displacement"]]
.venv/bin/python agent-tools/qualite.py <dossier> --figure [--calme ...] [--debut T] [--fin T]
[--metriques flux,snr,dominance] [--etiquettes F] [--zone T1/T2 ...] [--sortie D]
python3 agent-tools/qualite.py --essai (contrôle du calcul du rapport)
Définitions : labeling/connaissances/metriques-de-qualite.md. Colonnes remplies sur les caméras récentes seulement ; sur un dossier où
elles sont vides, l'outil le dit et s'arrête.
Référence d'un capteur : la médiane de chaque métrique sur ses mesures des fenêtres --calme, à la même heure UTC du jour
(24 créneaux ; un créneau sans mesure calme prend la médiane de toutes les heures calmes). Sans --calme : tout le dossier.
Chaque mesure devient un rapport valeur / référence : 1 = comme la référence ; < 1 plus bas ; > 1 plus haut. Pour fwhm et
dominance, c'est la hausse qui dit une image dégradée (tache plus large, second pic plus fort). Mesures rejetées comprises
(la qualité de leur image reste mesurée).
Sans --etiquettes ni --figure :
1. le peak maximal du dossier, puis le résumé par capteur : mesures rejetées, « pk/max » (peak médian du capteur sur la
fenêtre divisé par ce maximum : une tache au plafond de l'image a un peak constant), et pour chaque métrique le rapport médian sur la fenêtre et l'extrême (min pour peak, flux, sharpness, snr ; max pour
fwhm, dominance) avec son instant ; puis les lignes « cibles » et « références » : la médiane des rapports médians ;
2. --commun : par pas de --pas, la médiane des rapports des cibles et celle des références, pour chaque métrique ;
3. --table M : par pas, le rapport de M de chaque capteur (« * » : une mesure du pas rejetée), « méd » (médiane sur les
capteurs) et le nombre de capteurs sous --seuil (au-dessus de 1/--seuil pour fwhm et dominance).
--etiquettes F (un JSON par ligne, debut, fin, categorie), sans --figure : par étiquette (numérotée dans l'ordre du
fichier ; --debut/--fin gardent celles qui y commencent), le rapport médian des cibles et des références sur l'heure
d'avant, la plage et l'heure d'après (--marge minutes) : « cib 0.95|0.40|0.97 » ; puis les capteurs « touchés » sur la
plage (flux ou snr sous --seuil, ou dominance au-dessus de 1/--seuil), avec leur pire rapport de flux, du plus bas au plus
haut (r = référence). --bords : par instant de la plage élargie de --marge, le nombre de capteurs touchés et la médiane
des cibles de flux, snr, dominance (« < » : dans la plage). --hors : à la place, les suites d'instants de --debut à --fin
qu'aucune étiquette ne couvre (hors familles --sauf), où au moins --min capteurs sont touchés (instants à moins de 15 min
groupés), avec les capteurs touchés et leur pire flux.
--figure (matplotlib) : PNG « qualite-commun » : un panneau par métrique, échelle logarithmique, médiane des cibles (noir),
des références (rouge) et bande du 10e au 90e centile des cibles ; PNG « qualite-<métrique> » par --metriques : un petit
graphique par capteur, références en rouge. --etiquettes grise chaque étiquette d'une couleur par famille ; --zone grise
des plages. Trait coupé sur un trou de plus de 30 min. Imprime le chemin de chaque PNG.
Rend des valeurs, pas de verdict. Lancé depuis la racine du dépôt.
"""
import argparse
import bisect
import json
import os
import statistics
import sys
from datetime import timedelta
import donnees
from resume import QUALITE as METRIQUES, duree
HAUT_MAUVAIS = ("fwhm", "dominance") # pour ces deux-là, c'est la hausse qui dit une image dégradée
RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)), ".."))
COULEURS = {"Visibility": "tab:blue", "Obstruction": "tab:orange", "Thermal displacement": "tab:red",
"Displacement": "tab:purple", "Target issue": "tab:brown", "No data": "black"}
def fenetres(texte):
"""'T1/T2,T3/T4' -> [(début, fin)]."""
return [tuple(donnees.instant(b) for b in f.split("/")) for f in texte.split(",")] if texte else []
def dans(t, fen):
return any(a <= t <= b for a, b in fen)
def references(par, calme):
"""{capteur: {métrique: {heure: médiane, None: médiane toutes heures}}} sur les mesures calmes."""
ref = {}
for s, ms in par.items():
ref[s] = {}
for c in METRIQUES:
parh, tout = {}, []
for m in ms:
if m[c] is None or (calme and not dans(m["t"], calme)):
continue
parh.setdefault(m["t"].hour, []).append(m[c])
tout.append(m[c])
r = {h: statistics.median(v) for h, v in parh.items()}
r[None] = statistics.median(tout) if tout else None
ref[s][c] = r
return ref
def rapport(ref, s, c, m):
r = ref[s][c].get(m["t"].hour, ref[s][c][None])
return m[c] / r if m[c] is not None and r else None
def touche(r, c, seuil):
return r is not None and ((c in ("flux", "snr") and r < seuil) or (c == "dominance" and r > 1 / seuil))
def med(v):
return f"{statistics.median(v):.2f}" if v else "-"
def resume(par, ref, noms, refs, pmax):
print(f"peak maximal du dossier : {pmax if pmax is None else f'{pmax:g}'} ; pk/max : peak médian du capteur sur la "
"fenêtre, divisé par ce maximum")
print("Résumé : rapport médian à la référence calme, puis l'extrême et son instant (UTC)")
print(f"{'capteur':>12} {'rej':>4} {'pk/max':>6} " + " ".join(f"{c:>26}" for c in METRIQUES))
meds = {c: {"cibles": [], "références": []} for c in METRIQUES}
for s in noms:
ms = par[s]
if not ms:
continue
cases = []
for c in METRIQUES:
rs = [(rapport(ref, s, c, m), m["t"]) for m in ms]
rs = [x for x in rs if x[0] is not None]
if not rs:
cases.append(f"{'vide':>26}")
continue
md = statistics.median(r for r, _ in rs)
ext = (max if c in HAUT_MAUVAIS else min)(rs, key=lambda x: x[0])
meds[c]["références" if s in refs else "cibles"].append(md)
cases.append(f"{md:6.2f} ({ext[0]:6.2f} {ext[1]:%d/%m %H:%M})")
rej = sum(1 for m in ms if donnees.rejetee(m))
pk = [m["peak"] for m in ms if m["peak"] is not None]
pk = f"{statistics.median(pk) / pmax:6.2f}" if pk and pmax else f"{'-':>6}"
print(f"{s + ('r' if s in refs else ''):>12} {rej:>4} {pk} " + " ".join(cases))
for g in ("cibles", "références"):
print(f"{g:>24} " + " ".join(f"{statistics.median(meds[c][g]):26.2f}" if meds[c][g] else f"{'-':>26}"
for c in METRIQUES))
def par_pas(par, noms, pas):
pas = duree(pas)
debut = min(m["t"] for s in noms for m in par[s]).replace(hour=0, minute=0, second=0, microsecond=0)
return lambda t: debut + (t - debut) // pas * pas
def table(par, ref, noms, c, pas, seuil):
cle, cases = par_pas(par, noms, pas), {}
for s in noms:
for m in par[s]:
r = rapport(ref, s, c, m)
if r is not None:
cases.setdefault(cle(m["t"]), {}).setdefault(s, []).append((r, donnees.rejetee(m)))
haut = c in HAUT_MAUVAIS
print(f"\nTable de {c} / référence, pas de {pas} ('*' : une mesure du pas rejetée)")
w = max(7, *map(len, noms))
entete = f"{'instant':16} " + " ".join(f"{s:>{w}}" for s in noms) + f" {'méd':>6} {'n' + ('>' if haut else '<') + str(seuil):>6}"
for i, k in enumerate(sorted(cases)):
if i % 24 == 0:
print(entete)
ligne, vals = [], []
for s in noms:
v = cases[k].get(s)
if not v:
ligne.append(f"{'':>{w}}")
continue
r = statistics.median(x for x, _ in v)
vals.append(r)
ligne.append(f"{r:{w - 1}.2f}" + ("*" if any(j for _, j in v) else " "))
n = sum(1 for r in vals if (r > 1 / seuil if haut else r < seuil))
print(f"{k:%Y-%m-%d %H:%M} " + " ".join(ligne) + f" {statistics.median(vals):6.2f} {n:>6}")
def commun(par, ref, noms, refs, pas):
"""Par pas : médiane des rapports des cibles, puis des références, pour chaque métrique."""
cle, cases = par_pas(par, noms, pas), {}
for s in noms:
for m in par[s]:
d = cases.setdefault(cle(m["t"]), {c: ([], []) for c in METRIQUES})
for c in METRIQUES:
r = rapport(ref, s, c, m)
if r is not None:
d[c][s in refs].append(r)
print(f"\nMédianes des rapports par pas de {pas} : cibles / références")
entete = f"{'instant':16} " + " ".join(f"{c:>13}" for c in METRIQUES)
for i, k in enumerate(sorted(cases)):
if i % 24 == 0:
print(entete)
print(f"{k:%Y-%m-%d %H:%M} " + " ".join(
f"{statistics.median(cases[k][c][0]) if cases[k][c][0] else float('nan'):6.2f}/"
f"{statistics.median(cases[k][c][1]) if cases[k][c][1] else float('nan'):<6.2f}" for c in METRIQUES))
def lire_etiquettes(chemin):
return [json.loads(ligne) for ligne in open(chemin) if ligne.strip()]
def etiquettes(a, tout, ref, refs, noms, deb, fin):
marge = timedelta(minutes=a.marge)
temps = {s: [m["t"] for m in tout[s]] for s in noms}
garder = {int(n) for n in a.numeros.split(",")} if a.numeros else None
print(f"Référence calme : {a.calme or 'tout le dossier'} ; rapports médians avant|plage|après ({a.marge} min)")
for n, e in enumerate(lire_etiquettes(a.etiquettes), 1):
t0, t1 = donnees.instant(e["debut"]), donnees.instant(e["fin"])
if (garder and n not in garder) or (deb and t0 < deb) or (fin and t0 > fin):
continue
print(f"\n{n}. {e['debut']} → {e['fin']}, {e['categorie']}")
win = {s: tout[s][bisect.bisect_left(temps[s], t0 - marge):bisect.bisect_right(temps[s], t1 + marge)] for s in noms}
parties = [(t0 - marge, t0 - timedelta(seconds=1)), (t0, t1), (t1 + timedelta(seconds=1), t1 + marge)]
for c in METRIQUES:
cases = []
for g in (False, True):
vals = []
for a0, a1 in parties:
v = [rapport(ref, s, c, m) for s in win if (s in refs) == g for m in win[s] if a0 <= m["t"] <= a1]
vals.append(med([x for x in v if x is not None]))
cases.append(("ref " if g else "cib ") + "|".join(vals))
print(f" {c:>9} " + " ".join(cases))
pires = []
for s in noms:
ms = [m for m in win[s] if t0 <= m["t"] <= t1]
if any(touche(rapport(ref, s, c, m), c, a.seuil) for m in ms for c in ("flux", "snr", "dominance")):
fl = [x for x in (rapport(ref, s, "flux", m) for m in ms) if x is not None]
pires.append((min(fl) if fl else 1, s + ("r" if s in refs else "")))
pires.sort()
print(f" touchés ({len(pires)}) : " + ", ".join(f"{s} {f:.2f}" for f, s in pires) if pires else " touchés : aucun")
if a.bords:
inst = {}
for s in win:
for m in win[s]:
d = inst.setdefault(m["t"], {"n": 0, "flux": [], "snr": [], "dominance": []})
rs = {c: rapport(ref, s, c, m) for c in ("flux", "snr", "dominance")}
d["n"] += any(touche(rs[c], c, a.seuil) for c in rs)
if s not in refs:
for c in rs:
if rs[c] is not None:
d[c].append(rs[c])
print(" instant n flux snr dom")
for t in sorted(inst):
d = inst[t]
print(f" {t:%Y-%m-%d %H:%M} {d['n']:>3} {med(d['flux']):>5} {med(d['snr']):>5} {med(d['dominance']):>5}"
+ (" <" if t0 <= t <= t1 else ""))
def hors(a, tout, ref, refs, noms, deb, fin):
sauf = set(a.sauf.split(",")) if a.sauf else set()
couvert = [(donnees.instant(e["debut"]), donnees.instant(e["fin"])) for e in lire_etiquettes(a.etiquettes)
if e["categorie"] not in sauf]
inst = {}
for s in noms:
for m in donnees.filtrer(tout[s], deb, fin):
if dans(m["t"], couvert):
continue
if any(touche(rapport(ref, s, c, m), c, a.seuil) for c in ("flux", "snr", "dominance")):
inst.setdefault(m["t"], {})[s + ("r" if s in refs else "")] = rapport(ref, s, "flux", m) or 0
suites = []
for t in sorted(t for t in inst if len(inst[t]) >= a.min):
if suites and t - suites[-1][-1] <= timedelta(minutes=15):
suites[-1].append(t)
else:
suites.append([t])
print(f"Hors des étiquettes (sauf {a.sauf}) : instants où au moins {a.min} capteurs sont touchés ; {len(suites)} suites")
for su in suites:
pire = {}
for t in su:
for s, f in inst[t].items():
pire[s] = min(pire.get(s, 9), f)
print(f"{su[0]:%Y-%m-%d %H:%M} → {su[-1]:%H:%M} ({len(su)}) : "
+ ", ".join(f"{s} {f:.2f}" for s, f in sorted(pire.items(), key=lambda x: x[1])))
def morceaux(pts, trou=timedelta(minutes=30)):
"""[(t, ...)] -> listes coupées là où deux instants sont à plus de `trou` : un trait ne traverse pas un trou de mesures."""
out = []
for i, x in enumerate(pts):
if not out or x[0] - pts[i - 1][0] > trou:
out.append([])
out[-1].append(x)
return out
def figure(a, par, ref, noms, refs, deb, fin):
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates
import matplotlib.pyplot as plt
plages = [(x, y, "grey") for x, y in fenetres(",".join(a.zone or []))]
if a.etiquettes:
for e in lire_etiquettes(a.etiquettes):
x, y = donnees.instant(e["debut"]), donnees.instant(e["fin"])
if (deb is None or y >= deb) and (fin is None or x <= fin):
plages.append((x, y, COULEURS.get(e["categorie"], "grey")))
station = os.path.basename(os.path.normpath(a.dossier))
t0 = min(m["t"] for s in noms for m in par[s])
t1 = max(m["t"] for s in noms for m in par[s])
suffixe = f"{t0:%Y%m%dT%H%MZ}_{t1:%Y%m%dT%H%MZ}"
os.makedirs(a.sortie, exist_ok=True)
def axe(ax):
for x, y, couleur in plages:
ax.axvspan(x, y, color=couleur, alpha=0.12, lw=0)
ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%M"))
ax.set_yscale("log")
ax.axhline(1, ls=":", c="k", lw=0.8)
ax.set_xlim(t0, t1)
fig, axes = plt.subplots(len(METRIQUES), 1, figsize=(16, 2.4 * len(METRIQUES)), sharex=True)
for ax, c in zip(axes, METRIQUES):
inst = {}
for s in noms:
for m in par[s]:
r = rapport(ref, s, c, m)
if r is not None and r > 0:
inst.setdefault(m["t"], ([], []))[s in refs].append(r)
ts = sorted(inst)
cib = [(t, sorted(inst[t][0])) for t in ts if inst[t][0]]
rfs = [(t, statistics.median(inst[t][1])) for t in ts if inst[t][1]]
for i, mc in enumerate(morceaux(cib)):
ax.fill_between([t for t, _ in mc], [v[len(v) // 10] for _, v in mc], [v[(len(v) * 9) // 10] for _, v in mc],
color="0.8", lw=0, step="mid")
ax.plot([t for t, _ in mc], [statistics.median(v) for _, v in mc], c="k", lw=0.7,
label="cibles (médiane, bande 10-90 %)" if i == 0 else None)
for i, mc in enumerate(morceaux(rfs)):
ax.plot([t for t, _ in mc], [v for _, v in mc], c="tab:red", lw=0.7, label="références (médiane)" if i == 0 else None)
axe(ax)
ax.set_ylabel(c)
axes[0].legend(loc="upper right", fontsize=8)
axes[0].set_title(f"{station} : métriques de qualité / référence calme ({a.calme or 'tout le dossier'}), même heure UTC")
chemin = os.path.join(a.sortie, f"{station}_qualite-commun_{suffixe}.png")
fig.tight_layout()
fig.savefig(chemin, dpi=90)
plt.close(fig)
print(chemin)
for c in a.metriques.split(","):
col = 6
lig = (len(noms) + col - 1) // col
fig, axes = plt.subplots(lig, col, figsize=(3.2 * col, 1.9 * lig), sharex=True, squeeze=False)
for ax, s in zip(axes.flat, noms):
pts = [(m["t"], rapport(ref, s, c, m)) for m in par[s]]
pts = [(t, r) for t, r in pts if r is not None and r > 0]
for mc in morceaux(pts):
ax.plot([t for t, _ in mc], [r for _, r in mc], lw=0.5, c="tab:red" if s in refs else "k")
axe(ax)
ax.set_title(s, fontsize=8, color="tab:red" if s in refs else "k")
ax.tick_params(labelsize=6)
for ax in list(axes.flat)[len(noms):]:
ax.axis("off")
fig.suptitle(f"{station} : {c} / référence calme, par capteur (références en rouge)")
chemin = os.path.join(a.sortie, f"{station}_qualite-{c}_{suffixe}.png")
fig.tight_layout()
fig.savefig(chemin, dpi=80)
plt.close(fig)
print(chemin)
def main():
p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("dossier")
p.add_argument("--debut", type=donnees.instant)
p.add_argument("--fin", type=donnees.instant)
p.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
p.add_argument("--calme", help="fenêtres de la référence, T1/T2,T3/T4 (défaut : tout le dossier)")
p.add_argument("--commun", action="store_true", help="médianes des cibles et des références par pas")
p.add_argument("--table", choices=METRIQUES, help="rapport d'une métrique par pas et par capteur")
p.add_argument("--pas", default="15min", type=lambda x: duree(x) and x, help="15min, 1h, 1d")
p.add_argument("--seuil", type=float, default=0.5, help="« touché » : flux ou snr sous seuil, dominance au-dessus de 1/seuil")
p.add_argument("--etiquettes", help="fichier d'étiquettes (JSON par ligne)")
p.add_argument("--numeros", help="numéros d'étiquettes à lire, 3,7")
p.add_argument("--marge", type=int, default=60, help="minutes avant et après chaque étiquette")
p.add_argument("--bords", action="store_true")
p.add_argument("--hors", action="store_true", help="instants touchés qu'aucune étiquette ne couvre")
p.add_argument("--min", type=int, default=1)
p.add_argument("--sauf", default="Thermal displacement", help="familles ignorées par --hors, A,B")
p.add_argument("--figure", action="store_true", help="PNG (matplotlib : .venv/bin/python)")
p.add_argument("--metriques", default="flux,snr,dominance", help="PNG par capteur de --figure")
p.add_argument("--zone", action="append", help="plage à griser sur les PNG, T1/T2 (répétable)")
p.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier des PNG")
a = p.parse_args()
if a.hors and not a.etiquettes:
p.error("--hors demande --etiquettes")
inconnues = [c for c in a.metriques.split(",") if c not in METRIQUES]
if inconnues:
p.error(f"métriques inconnues : {', '.join(inconnues)} ; connues : {', '.join(METRIQUES)}")
tout = donnees.charger(a.dossier)
if not tout:
sys.exit(f"Aucun export « advanced » dans {a.dossier} (voir inventaire.py).")
if not any(m[c] is not None for ms in tout.values() for m in ms for c in METRIQUES):
sys.exit(f"Aucune métrique de qualité dans {a.dossier} : peak à snr vides (caméra ancienne ; "
"labeling/connaissances/metriques-de-qualite.md).")
noms = a.capteurs.split(",") if a.capteurs else sorted(tout, key=lambda s: (not donnees.est_reference(tout[s]), s))
absents = [s for s in noms if s not in tout]
if absents:
sys.exit(f"Capteurs absents : {', '.join(absents)}. Présents : {', '.join(sorted(tout))}.")
ref = references(tout, fenetres(a.calme))
refs = {s for s in tout if donnees.est_reference(tout[s])}
par = {s: donnees.filtrer(tout[s], a.debut, a.fin) for s in noms}
if not any(par.values()):
sys.exit("Aucune mesure dans la fenêtre demandée.")
if a.figure:
return figure(a, par, ref, noms, refs, a.debut, a.fin)
if a.etiquettes:
return (hors if a.hors else etiquettes)(a, tout, ref, refs, noms, a.debut, a.fin)
pmax = max((m["peak"] for ms in tout.values() for m in ms if m["peak"] is not None), default=None)
print(f"Référence calme : {a.calme or 'tout le dossier'}, par heure UTC du jour (r = référence)")
resume(par, ref, noms, refs, pmax)
if a.commun:
commun(par, ref, noms, refs, a.pas)
if a.table:
table(par, ref, noms, a.table, a.pas, a.seuil)
def essai():
"""Contrôle du rapport à la référence : même heure, repli sur toutes les heures, fenêtre calme respectée."""
from datetime import datetime, timezone
t = lambda j, h: datetime(2026, 10, j, h, tzinfo=timezone.utc) # noqa: E731
vide = dict.fromkeys(METRIQUES)
par = {"A": [dict(vide, t=t(1, 3), flux=10.0), dict(vide, t=t(2, 3), flux=30.0), dict(vide, t=t(2, 5), flux=100.0),
dict(vide, t=t(9, 3), flux=1000.0)]}
ref = references(par, [(t(1, 0), t(3, 0))])
assert ref["A"]["flux"][3] == 20.0 and ref["A"]["flux"][None] == 30.0, ref
assert rapport(ref, "A", "flux", dict(vide, t=t(9, 3), flux=10.0)) == 0.5
assert rapport(ref, "A", "flux", dict(vide, t=t(9, 7), flux=60.0)) == 2.0 # heure sans calme : toutes les heures
assert rapport(ref, "A", "snr", dict(vide, t=t(9, 3), snr=5.0)) is None
assert touche(0.4, "flux", 0.5) and touche(2.5, "dominance", 0.5) and not touche(2.5, "flux", 0.5)
print("essai : ok")
if __name__ == "__main__":
essai() if sys.argv[1:] == ["--essai"] else main()
+32 -5
View File
@@ -2,13 +2,19 @@
Usage : python3 agent-tools/resume.py data/PS_DES_COUDRES/ [--colonne error_value]
[--stat median|min|max] [--pas 1h] [--niveau periode|fenetre] [--capteurs CAPTEUR_A,CAPTEUR_B] [--debut 2026-01-01T00:00Z] [--fin ...]
[--instants T1,T2] [--marque]
1. Niveau habituel de chaque capteur : médiane, MAD (écart absolu médian), min, max, sur toute la période
(défaut) ou, avec --niveau fenetre, sur la fenêtre --debut/--fin seulement (un changement de niveau
dans la fenêtre ne se compare pas à des semaines d'autres mesures).
Colonnes : error_value, corr_x, corr_y, relative_x, relative_y, x, y, sigma0, reproj_err, et les six métriques de qualité d'image (peak à snr, valeurs brutes ; vides sur les
caméras anciennes ; face à une référence calme : qualite.py).
2. Tableau : une ligne par pas de temps (début du pas, UTC), une colonne par capteur, la statistique
choisie sur les mesures du pas. « rej » : toutes les mesures du pas sont rejetées ; « vide » : des mesures,
mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure.
mais la colonne est vide (ex. reproj_err d'une cible) ; « - » : aucune mesure. L'en-tête des capteurs se répète
toutes les 24 lignes. Avec --instants T1,T2 : seulement les pas qui contiennent ces instants. Avec --marque : « * »
après la valeur quand une mesure du pas est rejetée (x, y, error_value d'une mesure rejetée restent remplis),
« o » quand une mesure du pas a inlier = 0 (référence écartée par la compensation).
Rend des valeurs, pas de verdict.
"""
import argparse
@@ -20,6 +26,7 @@ from datetime import timedelta
from donnees import charger, est_reference, filtrer, instant, iso, rejetee
COLONNES = ("error_value", "corr_x", "corr_y", "relative_x", "relative_y", "x", "y", "sigma0", "reproj_err")
QUALITE = ("peak", "flux", "sharpness", "fwhm", "dominance", "snr") # qualité de l'image : caméras récentes ; lue par qualite.py
STATS = {"median": statistics.median, "min": min, "max": max}
@@ -32,6 +39,18 @@ def duree(texte):
return {"min": timedelta(minutes=n), "h": timedelta(hours=n), "d": timedelta(days=n)}[unite]
ARRONDI = 1e-9 # en deçà, un écart entre deux mesures est l'arrondi du calcul de la station, pas un bruit
def bruit_propre(vs):
"""Médiane des écarts absolus entre deux valeurs consécutives ; 0 quand elle est sous ARRONDI (valeurs constantes
à l'arrondi près : le corr des références quand la compensation passe exactement par elles, deux références
retenues), pour qu'un écart ne s'écrive pas en milliards de bruits ; 0 aussi avec moins de deux valeurs."""
d = [abs(b - a) for a, b in zip(vs, vs[1:])]
b = statistics.median(d) if d else 0
return b if b >= ARRONDI else 0
def valeurs(ms, col):
return [m[col] for m in ms if m[col] is not None]
@@ -39,12 +58,14 @@ def valeurs(ms, col):
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--colonne", default="error_value", choices=COLONNES)
a.add_argument("--colonne", default="error_value", choices=COLONNES + QUALITE)
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--pas", default="1h", type=duree)
a.add_argument("--niveau", default="periode", choices=("periode", "fenetre"),
help="période sur laquelle médiane et MAD sont calculées (défaut : toutes les mesures)")
a.add_argument("--capteurs", help="liste séparée par des virgules (défaut : tous)")
a.add_argument("--instants", help="T1,T2 : seulement les pas qui contiennent ces instants")
a.add_argument("--marque", action="store_true", help="* : une mesure du pas rejetée ; o : une mesure du pas avec inlier = 0")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
o = a.parse_args()
@@ -80,14 +101,20 @@ def main():
print(f"\n{o.stat} de {o.colonne} par pas de {o.pas} (début du pas, UTC) :")
print("rej : mesures du pas toutes rejetées ; vide : colonne vide ; - : aucune mesure")
print(f"{'début':17} " + " ".join(f"{s:>9}" for s in noms))
for k in sorted(cases):
if o.marque:
print("* : une mesure du pas au moins est rejetée ; o : une mesure du pas au moins a inlier = 0")
entete = f"{'début':17} " + " ".join(f"{s:>9}" for s in noms)
voulus = {t0 + ((instant(x) - t0) // o.pas) * o.pas for x in o.instants.split(",")} if o.instants else None
for i, k in enumerate(k for k in sorted(cases) if voulus is None or k in voulus):
if i % 24 == 0:
print(entete)
cellules = []
for s in noms:
ms = cases[k].get(s, [])
v = valeurs(ms, o.colonne)
if v:
cellules.append(f"{STATS[o.stat](v):9.5g}")
marque = ("*" if any(map(rejetee, ms)) else "") + ("o" if any(m["inlier"] == 0 for m in ms) else "") if o.marque else ""
cellules.append(f"{STATS[o.stat](v):.5g}{marque}".rjust(9))
else:
cellules.append(f"{'-' if not ms else 'rej' if all(map(rejetee, ms)) else 'vide':>9}")
print(f"{iso(k):17} " + " ".join(cellules))
+194
View File
@@ -0,0 +1,194 @@
"""Plusieurs stations sur une même ligne de temps : température du boîtier, pose de la caméra, corr des cibles, rejets, trous.
Usage : .venv/bin/python agent-tools/stations.py data/BREITHORN data/MICHIGAN data/NEBRASKA
[--colonnes temperature,cam_tilt,cam_rotation,cam_scale,cib_corr_x,cib_corr_y] [--pas 1h] [--stat median|min|max]
[--table T1/T2|non] [--debut ...] [--fin ...] [--sortie DOSSIER]
Pour chaque station (un dossier de station chacune), sur la fenêtre --debut/--fin :
- colonnes possibles : temperature (médiane des composants sensor_*_deg_c, comme metriques.py), cam_pan, cam_tilt,
cam_rotation, cam_scale, cam_sigma0 (pose brute de la caméra), cib_corr_x, cib_corr_y (médiane sur les cibles de
corr moins le niveau propre de chaque cible, mesures acceptées, comme metriques.py), rej_cibles, rej_refs (nombre de
cibles, de références rejetées : le plus grand des instants de mesure du pas) ;
- imprime, par station, la période des mesures, la cadence (pas médian) et le nombre d'instants ; puis les **trous** :
les suites de pas de --pas sans mesure ou sans température, avec les stations où elles manquent (un trou commun à
plusieurs stations y est sur une seule ligne) ; puis la table, une ligne par pas (début du pas, UTC ; --stat des
valeurs du pas ; « - » : aucune valeur), une colonne par station et par colonne, séparées par des tabulations
(--table T1/T2 : seulement entre T1 et T2, « non » : pas du tout ; le reste porte sur toute la fenêtre) ; puis, pour
chaque colonne et chaque paire de stations, la corrélation r des valeurs et celle des pas (différence d'une valeur à
la suivante, sur les pas où les deux stations ont une valeur : un mouvement commun se voit sur les pas, une tendance
commune sur les valeurs), avec le nombre de pas ;
- un PNG « stations » : un panneau par colonne, un trait par station (température brute ; les autres colonnes moins
leur médiane sur la fenêtre, pour se superposer), coupé sur un trou ; trous de mesure grisés sous l'axe, une bande
par station.
Jamais d'identifiant de metrics/ (SIM_CCID, ip*) : seules les températures y sont lues. Rend des valeurs, pas de verdict.
"""
import argparse
import os
import statistics
import sys
import matplotlib
matplotlib.use("Agg")
import matplotlib.dates as mdates # noqa: E402
import matplotlib.pyplot as plt # noqa: E402
from donnees import POSE, charger, charger_camera, charger_temperature, est_reference, filtrer, instant, iso, rejetee # noqa: E402
from graphique import RACINE, borne # noqa: E402
from metriques import cibles, coupe, suites # noqa: E402
from resume import STATS, duree # noqa: E402
COLONNES = ("temperature",) + tuple("cam_" + c for c in POSE) + ("cib_corr_x", "cib_corr_y", "rej_cibles", "rej_refs")
def lire(dossier, debut, fin):
"""Dossier de station -> ({colonne: [{'t', 'v'}]}, [instants de mesure])."""
par = charger(dossier)
series = {"temperature": filtrer([{"t": t, "v": v} for t, v in charger_temperature(dossier)], debut, fin)}
for p in filtrer(charger_camera(dossier), debut, fin):
for c in POSE:
if p[c] is not None:
series.setdefault("cam_" + c, []).append({"t": p["t"], "v": p[c]})
for c in ("corr_x", "corr_y"):
series["cib_" + c] = cibles(par, c, debut, fin)
rej = {} # t -> [cibles rejetées, références rejetées]
for s, ms in par.items():
ref = est_reference(ms)
for m in filtrer(ms, debut, fin):
n = rej.setdefault(m["t"], [0, 0])
n[ref] += rejetee(m)
series["rej_cibles"] = [{"t": t, "v": float(n[0])} for t, n in sorted(rej.items())]
series["rej_refs"] = [{"t": t, "v": float(n[1])} for t, n in sorted(rej.items())]
return series, sorted(rej)
def correlation(a, b):
try:
return f"{statistics.correlation(a, b):+.2f}"
except (statistics.StatisticsError, ValueError):
return "-"
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossiers", nargs="+", help="dossiers de station, au moins deux")
a.add_argument("--colonnes", default="temperature,cam_tilt,cam_rotation,cam_scale,cib_corr_x,cib_corr_y")
a.add_argument("--pas", default="1h", type=duree)
a.add_argument("--stat", default="median", choices=STATS)
a.add_argument("--table", default="", metavar="T1/T2|non", help="table imprimée seulement entre T1 et T2 (« non » : pas du tout)")
a.add_argument("--debut", type=instant)
a.add_argument("--fin", type=instant)
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
colonnes = o.colonnes.split(",")
if absents := [c for c in colonnes if c not in COLONNES]:
sys.exit(f"Colonnes inconnues : {', '.join(absents)}. Connues : {', '.join(COLONNES)}.")
if o.table in ("", "non"):
dans_table = lambda t: o.table == "" # noqa: E731
else:
bornes = [instant(x) for x in o.table.split("/")]
if len(bornes) != 2:
sys.exit("--table attend T1/T2 ou non.")
dans_table = lambda t: bornes[0] <= t <= bornes[1] # noqa: E731
noms = [os.path.basename(os.path.normpath(d)) for d in o.dossiers]
donnees, mesures = {}, {}
for n, d in zip(noms, o.dossiers):
donnees[n], mesures[n] = lire(d, o.debut, o.fin)
tous = [p["t"] for s in donnees.values() for c in s.values() for p in c]
if not tous:
sys.exit("Aucune valeur dans la fenêtre demandée.")
t0 = (o.debut or min(tous)).replace(minute=0, second=0, microsecond=0)
t1 = o.fin or max(tous)
grille = [t0 + i * o.pas for i in range(int((t1 - t0) / o.pas) + 1)]
case = lambda t: t0 + ((t - t0) // o.pas) * o.pas # noqa: E731
print("Stations :")
for n in noms:
ts = mesures[n]
if not ts:
print(f" {n} : aucune mesure dans la fenêtre")
continue
cad = statistics.median(b - a_ for a_, b in zip(ts, ts[1:])) if len(ts) > 1 else None
print(f" {n} : mesures {iso(ts[0])} → {iso(ts[-1])}, {len(ts)} instants, cadence {round(cad.total_seconds() / 60) if cad else '-'} min ; "
+ ", ".join(f"{c} {len(donnees[n].get(c, []))}" for c in colonnes))
# trous : pas sans mesure, sans température, et les stations concernées
avec = {n: {case(t) for t in mesures[n]} for n in noms}
avec_t = {n: {case(p["t"]) for p in donnees[n]["temperature"]} for n in noms}
print(f"\nTrous (pas de {int(o.pas.total_seconds() // 60)} min sans mesure ou sans température), avec les stations où ils manquent :")
cles = {}
for k in grille:
m = tuple(n for n in noms if k not in avec[n])
t = tuple(n for n in noms if k not in avec_t[n])
if m or t:
cles.setdefault((m, t), []).append(k)
lignes = []
for (m, t), ks in cles.items():
for d, f, nb in suites(ks, o.pas):
lignes.append((d, f, nb, m, t))
for d, f, nb, m, t in sorted(lignes):
print(f" {iso(d)} → {iso(f)} ({nb} pas) : sans mesure {','.join(m) or '-'} ; sans température {','.join(t) or '-'}")
if not lignes:
print(" (aucun)")
stat = STATS[o.stat]
table = {} # (station, colonne) -> {pas: valeur}
for n in noms:
for c in colonnes:
cases = {}
for p in donnees[n].get(c, []):
cases.setdefault(case(p["t"]), []).append(p["v"])
table[n, c] = {k: stat(v) for k, v in cases.items()}
entete = [f"{n}:{c}" for n in noms for c in colonnes]
print(f"\n{o.stat} par pas de {int(o.pas.total_seconds() // 60)} min (début du pas, UTC) ; « - » : aucune valeur"
+ (f" (table : {o.table})" if o.table else "") + " :")
if o.table != "non":
print("\t".join(["heure"] + entete))
for k in grille:
if dans_table(k):
v = [table[n, c].get(k) for n in noms for c in colonnes]
if any(x is not None for x in v):
print("\t".join([iso(k)] + ["-" if x is None else f"{x:.6g}" for x in v]))
print("\nCorrélation entre stations, r des valeurs, puis r des pas d'une valeur à la suivante (n : pas où les deux ont une valeur) :")
for c in colonnes:
for i, s1 in enumerate(noms):
for s2 in noms[i + 1:]:
ks = sorted(set(table[s1, c]) & set(table[s2, c]))
v1, v2 = [table[s1, c][k] for k in ks], [table[s2, c][k] for k in ks]
d1, d2 = [b - a_ for a_, b in zip(v1, v1[1:])], [b - a_ for a_, b in zip(v2, v2[1:])]
print(f" {c:12} {s1}-{s2} : r valeurs {correlation(v1, v2)}, r pas {correlation(d1, d2)} (n = {len(ks)})")
fig, axes = plt.subplots(len(colonnes) + 1, 1, sharex=True, figsize=(14, 2.4 * (len(colonnes) + 1)), squeeze=False,
layout="constrained", gridspec_kw={"height_ratios": [3] * len(colonnes) + [0.3 * len(noms)]})
for ax, c in zip(axes[:-1, 0], colonnes):
for i, n in enumerate(noms):
s = donnees[n].get(c, [])
if not s:
continue
med = 0 if c == "temperature" else statistics.median(p["v"] for p in s)
ts, vs = coupe([{"t": p["t"], "v": p["v"] - med} for p in s])
ax.plot(ts, vs, ".-", ms=2, lw=0.8, color=f"C{i % 10}", label=n)
ax.set_ylabel(c if c == "temperature" else f"{c}\nmoins sa médiane", fontsize=8)
ax.grid(alpha=0.3)
ax.legend(loc="upper left", bbox_to_anchor=(1.0, 1.0), fontsize=8)
ax = axes[-1, 0]
for i, n in enumerate(noms):
for k in grille:
if k not in avec[n]:
ax.axvspan(k, k + o.pas, ymin=i / len(noms), ymax=(i + 1) / len(noms), color=f"C{i % 10}", lw=0)
ax.set_yticks([(i + 0.5) / len(noms) for i in range(len(noms))], noms, fontsize=7)
ax.set_ylim(0, 1)
ax.set_ylabel("sans mesure", fontsize=8)
ax.set_xlim(grille[0], grille[-1] + o.pas)
ax.xaxis.set_major_formatter(mdates.DateFormatter("%d/%m\n%H:%MZ"))
fig.suptitle(f"{', '.join(noms)} : même ligne de temps (heures UTC)")
os.makedirs(o.sortie, exist_ok=True)
chemin = os.path.join(o.sortie, f"{'-'.join(noms)}_stations_{borne(o.debut, 'debut')}_{borne(o.fin, 'fin')}.png")
fig.savefig(chemin, dpi=100, bbox_inches="tight")
print(f"\n{chemin}")
if __name__ == "__main__":
main()
+70 -12
View File
@@ -14,7 +14,14 @@ pic imprimés pour chaque vignette). Un --rayon plus petit (30 à 50) grossit. L
Le centre du cadre (px) est écrit sous chaque vignette : quand les x, y de l'export sautent, le cadre se déplace
d'autant. --fixe garde, sur chaque ligne, le cadre centré sur la position de la première heure demandée, et marque
d'une croix rouge les x, y de l'export à chaque heure : une tache qui entre dans le cadre ou en sort ne s'y confond
pas avec une tache qui apparaît.
pas avec une tache qui apparaît. Un cadre que le bord de l'image coupe est signalé (taille de l'image) : sur certains
exports, x, y ne sont pas des pixels (valeurs proches de 0), et le cadre tombe dans le coin de l'image.
--zone X,Y,L,H : la même zone de l'image (pixels de l'image d'origine : coin haut gauche, largeur, hauteur, comme
gif.py) à chaque heure, côte à côte (jusqu'à 4 par ligne, moins quand la zone est large), même étirement avec --contraste ; --capteurs devient facultatif :
ceux qui sont donnés sont marqués d'une croix rouge et de leur nom à leurs x, y de chaque heure. Pour la scène autour
des cibles (premier plan, objet, éclairage), qu'un grand --rayon rendrait trop petite.
Chaque vignette est rendue à sa taille en pixels (un pixel de l'image pour un pixel du PNG) de 260 à 1000 px de côté ;
Read réduit un PNG trop large : avec un grand --rayon ou une grande --zone, peu d'heures par planche.
"""
import argparse
import os
@@ -41,17 +48,21 @@ RACINE = os.path.normpath(os.path.join(os.path.dirname(os.path.abspath(__file__)
def main():
a = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
a.add_argument("dossier")
a.add_argument("--capteurs", required=True, help="liste séparée par des virgules")
a.add_argument("--capteurs", default="", help="liste séparée par des virgules (facultative avec --zone)")
a.add_argument("--heures", required=True, help="heures des images, séparées par des virgules (UTC)")
a.add_argument("--rayon", type=int, default=100, help="demi-côté de la vignette en pixels (défaut 100)")
a.add_argument("--contraste", nargs="?", const="auto", metavar="MIN,MAX", help="niveaux de gris, même étirement pour toute la planche : MIN,MAX (0 à 255) ou, sans valeur, du 1er centile au maximum de la planche")
a.add_argument("--fixe", action="store_true", help="un cadre fixe par capteur (position à la première heure), x, y de chaque heure marqués d'une croix")
a.add_argument("--zone", metavar="X,Y,L,H", help="la même zone de l'image à chaque heure (pixels de l'image d'origine : coin haut gauche, largeur, hauteur)")
a.add_argument("--sortie", default=os.path.join(RACINE, "out", "diagnostic"), help="dossier du PNG")
o = a.parse_args()
par = charger(o.dossier)
images = {heure_image(p): p for p in trouver(o.dossier)["images"]}
noms, heures = o.capteurs.split(","), [instant(h) for h in o.heures.split(",")]
noms, heures = [s for s in o.capteurs.split(",") if s], [instant(h) for h in o.heures.split(",")]
zone = tuple(map(int, o.zone.split(","))) if o.zone else None
if not noms and not zone:
sys.exit("Donne --capteurs, ou --zone X,Y,L,H.")
absents = [s for s in noms if s not in par]
if absents:
sys.exit(f"Capteurs inconnus : {', '.join(absents)}. Connus : {', '.join(sorted(par))}.")
@@ -63,22 +74,47 @@ def main():
if proche[h] != h:
print(f"Pas d'image à {iso(h)} : la plus proche est celle de {iso(proche[h])} (écart {abs(proche[h] - h)}).")
def niveaux(c):
gris = c[..., :3].mean(axis=-1) if c.ndim == 3 else c
return gris * 255 if gris.max() <= 1 and c.dtype.kind == "f" else gris
def mesure(s, t):
return min((m for m in par[s] if m["x"] is not None), key=lambda m: abs(m["t"] - t))
r = o.rayon
coupes, centres, croix = {}, {}, {}
for j, h in enumerate(heures):
img = plt.imread(images[proche[h]])
haut, larg = img.shape[:2]
if zone:
X, Y, L, H = zone
c = img[max(Y, 0):Y + H, max(X, 0):X + L]
if c.size == 0:
sys.exit(f"--zone {o.zone} hors de l'image ({larg} × {haut} px).")
gris = niveaux(c)
coupes[0, j] = (c, gris)
croix[0, j] = [(s, m["x"] - max(X, 0), m["y"] - max(Y, 0)) for s in noms for m in [mesure(s, proche[h])]]
print(f"zone {o.zone} {iso(h)} : {os.path.basename(images[proche[h]])}, fond {centile(gris, 50):.0f}, "
f"p99 {centile(gris, 99):.0f}, pic {gris.max():.0f}"
+ ("" if c.shape[:2] == (H, L) else f", coupée par le bord de l'image ({larg} × {haut} px)")
+ "".join(f" ; {s} x={x + max(X, 0):.1f} y={y + max(Y, 0):.1f}" for s, x, y in croix[0, j]))
continue
for i, s in enumerate(noms):
m = min((m for m in par[s] if m["x"] is not None), key=lambda m: abs(m["t"] - proche[h]))
m = mesure(s, proche[h])
x, y = centres[i] if o.fixe and j else (round(m["x"]), round(m["y"]))
if j == 0:
centres[i] = (x, y)
c = img[max(y - r, 0):y + r, max(x - r, 0):x + r]
if c.size == 0:
sys.exit(f"{s} {iso(h)} : x={m['x']:.1f} y={m['y']:.1f} hors de l'image ({larg} × {haut} px) ; "
"--zone X,Y,L,H regarde une zone fixe.")
croix[i, j] = (m["x"] - max(x - r, 0), m["y"] - max(y - r, 0), x, y)
gris = c[..., :3].mean(axis=-1) if c.ndim == 3 else c
gris = gris * 255 if gris.max() <= 1 and c.dtype.kind == "f" else gris
gris = niveaux(c)
coupes[i, j] = (c, gris)
coupe = x - r < 0 or y - r < 0 or x + r > larg or y + r > haut
print(f"{s} {iso(h)} : x={m['x']:.1f} y={m['y']:.1f} (mesure de {iso(m['t'])}), {os.path.basename(images[proche[h]])}, "
f"fond {centile(gris, 50):.0f}, p99 {centile(gris, 99):.0f}, pic {gris.max():.0f}")
f"fond {centile(gris, 50):.0f}, p99 {centile(gris, 99):.0f}, pic {gris.max():.0f}"
+ (f", cadre coupé par le bord de l'image ({larg} × {haut} px)" if coupe else ""))
bornes = {}
if o.contraste:
if o.contraste == "auto":
@@ -86,14 +122,34 @@ def main():
else:
bornes = dict(zip(("vmin", "vmax"), map(float, o.contraste.split(","))))
print(f"Étirement commun : {bornes['vmin']:.0f} à {bornes['vmax']:.0f} (niveaux de gris, 0 à 255)")
fig, axes = plt.subplots(len(noms), len(heures), figsize=(2.6 * len(heures), 2.8 * len(noms)), squeeze=False)
# Une vignette à sa taille en pixels (à 100 dpi) dès qu'elle dépasse 2,6 pouces : un grand --rayon n'est plus réduit.
cote = max(c.shape[1] for c, _ in coupes.values()) / 100, max(c.shape[0] for c, _ in coupes.values()) / 100
cote = tuple(v * min(1, 10 / max(cote)) for v in cote) # au plus 1000 px de côté par vignette
if zone:
nc = max(1, min(4, len(heures), int(20 // max(2.6, cote[0])))) # planche d'au plus ~2000 px de large : Read la réduit au-delà
nl = -(-len(heures) // nc)
fig, axes = plt.subplots(nl, nc, figsize=(max(2.6, cote[0]) * nc, (max(2.6, cote[1]) + 0.4) * nl), squeeze=False)
for ax in axes.ravel()[len(heures):]:
ax.axis("off")
else:
fig, axes = plt.subplots(len(noms), len(heures), figsize=(max(2.6, cote[0]) * len(heures), (max(2.6, cote[1]) + 0.2) * len(noms)), squeeze=False)
for (i, j), (c, gris) in coupes.items():
ax = axes[i, j]
ax = axes[j // nc, j % nc] if zone else axes[i, j]
if o.contraste:
ax.imshow(gris, cmap="gray", interpolation="nearest", **bornes)
else:
ax.imshow(c, interpolation="nearest")
ax.set_title(f"{noms[i]} {proche[heures[j]].strftime('%d/%m %H:%MZ')}" + ("" if proche[heures[j]] == heures[j] else " (demandée " + heures[j].strftime('%H:%MZ') + ")"), fontsize=9)
ax.set_title(f"{'zone' if zone else noms[i]} {proche[heures[j]].strftime('%d/%m %H:%MZ')}" + ("" if proche[heures[j]] == heures[j] else " (demandée " + heures[j].strftime('%H:%MZ') + ")"), fontsize=9)
if zone:
for s, cx, cy in croix[i, j]:
ax.plot(cx, cy, "+", color="r", ms=10, mew=1)
ax.annotate(s, (cx, cy), xytext=(4, 4), textcoords="offset points", color="r", fontsize=7)
ax.set_xlim(-0.5, c.shape[1] - 0.5)
ax.set_ylim(c.shape[0] - 0.5, -0.5)
ax.set_xlabel(f"zone {o.zone}", fontsize=7)
ax.set_xticks([])
ax.set_yticks([])
continue
cx, cy, x, y = croix[i, j]
if o.fixe:
ax.plot(cx, cy, "+", color="r", ms=10, mew=1)
@@ -101,10 +157,12 @@ def main():
ax.set_xticks([])
ax.set_yticks([])
station = os.path.basename(os.path.normpath(o.dossier))
fig.suptitle(f"{station} : vignettes de {2 * r} px autour de chaque capteur (heures UTC)", fontsize=10)
fig.suptitle(f"{station} : zone {o.zone} (x, y, largeur, hauteur en px ; heures UTC)" if zone else
f"{station} : vignettes de {2 * r} px autour de chaque capteur (heures UTC)", fontsize=10)
os.makedirs(o.sortie, exist_ok=True)
sortie = os.path.join(o.sortie, f"{station}_vignettes_{'-'.join(noms)}_"
quoi = f"zone{o.zone.replace(',', '-')}" + ("_" + "-".join(noms) if noms else "") if zone else "-".join(noms)
sortie = os.path.join(o.sortie, f"{station}_vignettes_{quoi}_"
f"{'-'.join(h.strftime('%d%H%M') for h in heures)}{'_contraste' if o.contraste else ''}{'_fixe' if o.fixe else ''}.png")
fig.savefig(sortie, dpi=100, bbox_inches="tight")
print(sortie)
@@ -33,7 +33,7 @@ Station de 15 capteurs : 3 références (R1, R2, R3), 12 cibles (C1 à C12), cad
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- Dossier de station `out/aiguiser/2026-10-26T1149Z/C-001/` par `inventaire.py`, `resume.py`, `graphique.py`, `ensemble.py`, `vignettes.py`, `ls` ; images lues avec Read : `images/20261014T0200Z_10170391.jpg` et mes planches de vignettes.
- Contexte fourni par l'environnement et que je n'ai pas ouvert : `vues-deplacements/CLAUDE.md` (apparu dans le message du système), `git status`/commits ; je ne m'en suis pas servi.
@@ -33,7 +33,7 @@ Station de 22 capteurs : 3 références globales (R1, R2, R3), 18 cibles `target
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- Dossier de station `out/aiguiser/2026-10-26T1149Z/C-002/` (export « advanced » via les outils ; l'export horaire non lu), images : `20260728T1400Z_9745650.jpg` (par vignettes), `20260728T2100Z_9747046.jpg`, `20260729T1200Z_9749942.jpg`, `20260731T1200Z_9758484.jpg`, `20260731T2100Z_9760147.jpg`, et vignettes d'autres heures.
- Contexte fourni sans l'avoir ouvert : `vues-deplacements/CLAUDE.md` (injecté dans la conversation, non utilisé) ; l'état git (aucun fichier lu).
- Figures dans `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/controle/C-002/lecture/` : `C-002_commun_debut_fin.png`, `C-002_multiples-error_value_debut_fin.png`, `C-002_residus-corr_x_debut_fin.png`, `C-002_residus-corr_y_debut_fin.png`, `C-002_residus-error_value_debut_fin.png`, `C-002_error_value_tous_debut_fin.png`, `C-002_corr_y_tous_debut_fin.png`, `C-002_corr_x_tous_debut_fin.png`, `C-002_vignettes_R1-R3-C7-C16-C9_281400-282100-290300-291200-300000-301600.png`, `C-002_vignettes_C1-C5-C12-C16_290700-291200-291800-300800-311200-312200.png`, `C-002_vignettes_C5-C12-R3_280000-280300-300400-310100-310300-312000.png`.
@@ -28,7 +28,7 @@ Station : 13 capteurs (6 références R1 à R6, 7 cibles C1 à C7), 288 instants
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- Dossier de station `out/aiguiser/2026-10-26T1149Z/C-003/` : par `inventaire.py`, `resume.py`, `ensemble.py`, `graphique.py`, `vignettes.py`, et Read sur les images `20260903T0600Z_9949812.jpg` et `20260903T1200Z_9952175.jpg`.
- Contexte fourni par l'environnement : `vues-deplacements/CLAUDE.md` (apparu comme message système, non ouvert par moi, non utilisé).
- Figures (dans `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/controle/C-003/lecture/`) : `C-003_commun_debut_fin.png`, `C-003_multiples-error_value_debut_fin.png`, `C-003_residus-corr_x_debut_fin.png`, `C-003_residus-corr_y_debut_fin.png`, `C-003_residus-error_value_debut_fin.png`, `C-003_corr_x-error_value_C4-C3-C1_debut_fin.png`, `C-003_vignettes_C4-C6-C3_030200-030400-030600-030800-031200-031600.png`.
@@ -36,7 +36,7 @@ Période : 432 instants à 10 min, aucun pas absent ; 29 capteurs (R1 à R5 = `g
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- le dossier de station `out/aiguiser/2026-10-26T1149Z/C-004/` par `inventaire.py` (période, puis fenêtres 19/09 05:00-09:00, 19/09 17:00-19:00, 19/09 09:00-20/09 21:50), `ensemble.py` (période en pas de 1 h ; 18/09 22:00 → 19/09 09:00 en pas de 15 min ; 20/09 05:30-07:30 en pas de 10 min, table seulement), `resume.py` (`error_value`, max par 10 min, 18/09 17:00-19:30, 20/09 06:00-06:40, 18/09 13:20-14:10), `vignettes.py` (C24, C8, C7, C1, C9, R1 à 7 heures) et Read sur 4 images entières (18/09 13:40, 19/09 06:50, 20/09 06:10, 20/09 06:20) ; figures dans `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/controle/C-004/lecture/`.
- L'environnement m'a injecté, sans que je l'ouvre, le contenu de `vues-deplacements/CLAUDE.md` (et un état git, `userEmail`) : je ne m'en suis pas servi.
- Je n'ai ouvert aucun détecteur, ni base de cas, ni carte des événements, ni autre fichier du dossier de ma lecture.
@@ -29,12 +29,12 @@ Les dates viennent des tables d'`ensemble.py` lancé sur des fenêtres commença
## Difficultés
- `ensemble.py` sur la période entière (pas 60 min) : les étiquettes de la table de la médiane commune sont parfois décalées d'une heure. Les bacs partent de la première mesure (22:00:13), et les mesures horodatées à hh:00:00,x (par exemple 07:00:00,97 le 01/10, 01:00:03 le 02/10, 22:00:00,69 le 01/10) tombent dans le bac précédent. Résultat : la table saute 00:00 le 01/10, 12:00 le 01/10 et 11:00 le 02/10, alors que les instants absents sont 01:00, 13:00 et 12:00, et la fin de table s'arrête à 20:00 au lieu de 21:00. J'ai relancé sur des fenêtres commençant à l'heure pleine pour dater, et j'ai gardé « à ±1 h » pour ce qui ne vient que de la table de la période entière (tables de résidus et instants de dépassement).
- Mon répertoire de travail n'est pas la racine du dépôt ; j'ai utilisé `cd <racine> && <commande>` comme le prévoit le skill, sans difficulté. `sed` et `cut` dans un tube vers `grep` ne sont pas dans la liste du skill : un premier `grep | cut | sed` n'a rien rendu (aucune sortie) ; j'ai refait avec `grep … | cut -c1-32`.
- Le skill parle de « références comprises » pour `x`, `y` mais ne dit pas que, sur cette station, des cibles de motif `ref` (C16–C30, « local reference ») sont dans le même fichier et comptées comme cibles : j'ai dû lire `docs/domaine/colonnes-des-deplacements.md` pour comprendre leur statut.
- Le skill parle de « références comprises » pour `x`, `y` mais ne dit pas que, sur cette station, des cibles de motif `ref` (C16–C30, « local reference ») sont dans le même fichier et comptées comme cibles : j'ai dû lire `labeling/connaissances/colonnes-des-deplacements.md` pour comprendre leur statut.
- Le nom de la station dans le dossier est `C-005` et non un nom de station connu des notes ; les capteurs sont nommés R1…R5 et C1…C30 sans lien avec les noms des notes (PR17, CTR02…). Pas de conséquence pour la lecture.
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- Dossier de station `out/aiguiser/2026-10-26T1149Z/C-005/` : export « advanced » (par les outils, et un `grep` sur les horodatages de R1), images lues avec Read (`20261001T0700Z_10120429.jpg`, `20261003T1600Z_10130134.jpg`) et vignettes.
- Outils : `inventaire.py`, `resume.py`, `graphique.py`, `ensemble.py`, `vignettes.py`.
@@ -35,6 +35,6 @@ Le lot : 22 capteurs (CTR01 `ref`, CTR02 à CTR04 `global_ref`, PR01 à PR18 `ta
- `img1.py`, `img2.py` : pic max et fond de chaque image à la position de chaque capteur ; `crop.py` : gros plans côte à côte (`c_*.png`) ; `coords.py` : position médiane de chaque capteur.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `out/pompage/NORDEND/displacement/NORDEND_advanced_20260901.csv` à `20260903.csv` ; images de `out/pompage/NORDEND/images/` (dont 20260902T0600Z, 20260901T1200Z, 20260903T2200Z et 2300Z, recadrages de PR08, CTR01, PR04/PR07).
- Le contexte de l'environnement m'a fourni `vues-deplacements/CLAUDE.md` (sans que je l'ouvre) : je ne m'en suis pas servi.
@@ -44,7 +44,7 @@
- Une partie des moments du corrigé (images de 05:00 et 11:00 le 1er, 13:00 le 3) n'ont pas été regardés à l'image, faute de temps : marqués « non regardée » dans `corrige.md`.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `out/pompage/NORDEND/displacement/NORDEND_advanced_20260901.csv` à `20260903.csv` ; images de `out/pompage/NORDEND/images/` (20260902T0600Z, 20260901T1200Z, 20260903T2200Z et 2300Z, recadrages).
- `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/corrige.md` (le mien) et `lecture-1.md`. Les figures de `lecture-1/` ne sont pas lues.
- Contexte injecté par l'environnement et non utilisé : `vues-deplacements/CLAUDE.md`.
@@ -47,7 +47,7 @@ aucune (rien de plus que dans l'écart 1)
- `git status` montre `f_images.png` et `img1.json` à la racine du dépôt (non suivis) : sortie de mes scripts d'images du corrigé, sans doute écrits au mauvais endroit ; je n'y ai pas touché.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md` (lus pour le corrigé, non relus ici).
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md` (lus pour le corrigé, non relus ici).
- `out/pompage/NORDEND/displacement/NORDEND_advanced_20260901.csv` à `20260903.csv` (vérification de la médiane de `y`).
- `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/corrige.md`, `lecture-2.md`, `ecart-1.md`. Figures de `lecture-2/` non lues.
- Contexte fourni sans l'avoir ouvert : `vues-deplacements/CLAUDE.md` (non utilisé).
@@ -46,7 +46,7 @@ aucune
- `f_images.png` et `img1.json` sont à la racine du dépôt (sortie de mes scripts d'images du corrigé, `img1.py`) ; je n'y ai pas touché, mais j'ai relu `img1.json` pour vérifier un point. Les fichiers ne sont pas dans `corrige/`.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md` (lus pour le corrigé, non relus).
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md` (lus pour le corrigé, non relus).
- `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/corrige.md`, `lecture-3.md`, `ecart-2.md`.
- `img1.json` (mes pics d'images, une vérification) ; scripts du corrigé `img1.py` (relu).
- Contexte fourni sans l'avoir ouvert : `vues-deplacements/CLAUDE.md` (non utilisé).
@@ -49,7 +49,7 @@ aucune
- `f_images.png` et `img1.json` traînent à la racine du dépôt (sortie de mes scripts d'images) : non touchés.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md` (lus pour le corrigé, non relus).
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md` (lus pour le corrigé, non relus).
- `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/corrige.md`, `lecture-4.md`, `ecart-3.md`.
- `out/pompage/NORDEND/displacement/NORDEND_advanced_20260901.csv` à `20260904.csv` (vérifications ponctuelles : PR08, CTR04, PR15, PR16, PR01, PR04).
- Contexte fourni sans l'avoir ouvert : `vues-deplacements/CLAUDE.md` (non utilisé).
@@ -32,7 +32,7 @@ Niveaux de comparaison : médiane et MAD de `resume.py` sur toute la période (1
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- Dossier `out/pompage/NORDEND` par `inventaire.py` (sortie complète, relue par `grep -v` dans le fichier de sortie conservé par l'outil), `resume.py` et `graphique.py` ; `vignettes.py` ; images entières `20260901T1500Z_9934479.jpg` et `20260903T2300Z_9956658.jpg` avec Read.
- Mes figures, dans `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/lecture-1/`, toutes regardées avec Read.
@@ -33,7 +33,7 @@ Figures dans `lecture-2/`. Niveaux calculés sur le lot (`--niveau fenetre`, `en
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- Dossier de station `out/pompage/NORDEND` : par `inventaire.py`, `ensemble.py`, `graphique.py`, `resume.py`, `vignettes.py`, et `ls` sur `images/` ; images lues avec Read : `20260902T1700Z_9944783.jpg`, `20260902T1900Z_9945625.jpg`.
- Figures (dans `lecture-2/`) : `NORDEND_commun_20260901T0000Z_20260904T0000Z.png`, `NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png`, `NORDEND_corr_x-corr_y_tous_20260901T0000Z_20260904T0000Z.png`, `NORDEND_corr_x-corr_y_PR18-PR16-PR15-PR14-PR17-CTR02-CTR03-CTR04_20260901T0600Z_20260901T1800Z.png`, `NORDEND_corr_x-corr_y_PR18-PR16-PR15-PR14-PR17-CTR02-CTR03-CTR04_20260902T0800Z_20260902T2000Z.png`, `NORDEND_vignettes_PR08-CTR04-PR16-PR02_030400-030500-030600-030700-031200.png`, `NORDEND_vignettes_PR07-PR04-PR02_032100-032200-032300-040000.png`, `NORDEND_vignettes_PR05-PR18-CTR04-PR02_010400-010500-010600-011100-011200.png`, `NORDEND_vignettes_PR18-PR16-CTR02-PR02_020700-020800-020900-021200.png`.
@@ -34,7 +34,7 @@ Niveaux : « écart » = écart de la médiane commune à la médiane de la fen
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- Dossier de station `out/pompage/NORDEND` par `inventaire.py`, `ensemble.py` (lot, 3 zooms 15 min), `graphique.py` (`error_value`, `corr_x`/`corr_y`), `resume.py` (`corr_x`, `corr_y` à 6 h ; `error_value` à 1 h et 15 min), `vignettes.py` (3 planches) et l'image entière `images/20260902T0900Z_9941638.jpg`
- Figures dans `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/lecture-3/`
@@ -35,7 +35,7 @@ Fenêtre : 286 instants présents, pas de 15 min ; 2 trous communs à tous les c
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- Outils lancés sur `out/pompage/NORDEND` : `inventaire.py` (lot), `ensemble.py` (lot ; 18:00-00:00 sur 8 capteurs ; 21:00-00:00 sur 22), `resume.py` (corr_x, error_value, 22:30-00:00), `vignettes.py` (deux planches) ; images entières `20260901T1100Z_9932939.jpg`, `20260902T0800Z_9941177.jpg`.
- Figures dans `vues-deplacements/aiguiser/2026-10-26T1149Z_NORDEND/lot-01/lecture-4/` : `NORDEND_commun_20260901T0000Z_20260904T0000Z.png`, `NORDEND_multiples-error_value_20260901T0000Z_20260904T0000Z.png`, `NORDEND_residus-corr_x_…`, `NORDEND_residus-corr_y_…`, `NORDEND_residus-error_value_…` (lot), les cinq PNG de la fenêtre 03/09 18:00-00:00 (commun, multiples, résidus ×3, lus) et le seul PNG commun de 21:00-00:00 `NORDEND_commun_20260903T2100Z_20260904T0000Z.png` (lu ; les quatre autres PNG de cette fenêtre ne sont pas lus), et les deux planches de vignettes.
- Fourni par l'environnement, non utilisé : `vues-deplacements/CLAUDE.md` (carte du chantier). Rien d'autre.
@@ -29,7 +29,7 @@ Exports « advanced » (source des mesures) : 29
out/pompage/NORDEND/displacement/NORDEND_advanced_20260927.csv
out/pompage/NORDEND/displacement/NORDEND_advanced_20260928.csv
out/pompage/NORDEND/displacement/NORDEND_advanced_20260929.csv
Exports horaires : 0 (non lus par les outils : moyennes horaires, heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)
Exports horaires : 0 (non lus par les outils : moyennes horaires, heure locale sans fuseau ; voir labeling/connaissances/colonnes-des-deplacements.md)
Autres fichiers : 841
out/pompage/NORDEND/NORDEND_BusCurrent_2026_09_01_00_00 to 2026_09_01_23_00.csv
out/pompage/NORDEND/NORDEND_BusCurrent_2026_09_02_00_00 to 2026_09_02_23_00.csv
@@ -38,4 +38,4 @@ Station : 22 capteurs, un pas de 15 min. 3 références globales (CTR02, CTR03,
- gros_plans.py, pr04_serie.py : découpes des images (PR04, PR17), luminosite.py : essai de mesure de luminosité (peu fiable : fond bruité, résultat non retenu).
## Sources lues
`docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`, `out/pompage/NORDEND/displacement/NORDEND_advanced_2026090{4..9}.csv` (par mes scripts ; 01 à 03 pour les niveaux de PR17), images de `out/pompage/NORDEND/images/` (par Read et mes découpes). Le contexte `vues-deplacements/CLAUDE.md` m'a été fourni par l'environnement : non ouvert par moi, non utilisé. Aucun outil de `agents/diagnostic/outils/`, ni skill, ni détecteur.
`labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`, `out/pompage/NORDEND/displacement/NORDEND_advanced_2026090{4..9}.csv` (par mes scripts ; 01 à 03 pour les niveaux de PR17), images de `out/pompage/NORDEND/images/` (par Read et mes découpes). Le contexte `vues-deplacements/CLAUDE.md` m'a été fourni par l'environnement : non ouvert par moi, non utilisé. Aucun outil de `agents/diagnostic/outils/`, ni skill, ni détecteur.
@@ -36,7 +36,7 @@ La lecture est bonne : tous les moments importants du corrigé sont trouvés, av
- **Ce qu'il faudrait** : une vignette qui étire le contraste de la même façon pour toutes les images d'une planche (ou donne le pic et le fond de la tache), avec un grossissement suffisant pour juger la forme, et un moyen de comparer avant, pendant et après un épisode sur une cible.
## Nouveautés
- PR17, 05/09 : le saut de +0,14 de `corr_y` (≈ 8 mm selon le facteur de `docs/domaine/colonnes-des-deplacements.md`) tombe 12 h après une montée lente de son `error_value` et s'accompagne d'un `y` brut +0,12 px par rapport aux autres capteurs, sans image qui le montre : « Une cible a sauté et reste décalée » ou « Cible heurtée », non tranché ; la carte le décrit déjà.
- PR17, 05/09 : le saut de +0,14 de `corr_y` (≈ 8 mm selon le facteur de `labeling/connaissances/colonnes-des-deplacements.md`) tombe 12 h après une montée lente de son `error_value` et s'accompagne d'un `y` brut +0,12 px par rapport aux autres capteurs, sans image qui le montre : « Une cible a sauté et reste décalée » ou « Cible heurtée », non tranché ; la carte le décrit déjà.
- PR04 : épisode de 49 h dont `error_value` ne revient pas à la normale la nuit, cible dont la tache est déformée sur les images : pas un rejet jour/nuit ni la buée de la carte (une partie des capteurs, quelques heures) ; c'est plutôt « Feuilles, plante » ou « Cible sale », mais sur 49 h nuits comprises, aucune ligne ne le décrit tel quel.
- CTR01 (référence locale) : bosse de `error_value` de 0,10 à 0,40 chaque après-midi, retombée brutale vers 16:30, sans répercussion sur les autres capteurs : proche de « Éclairage, voisin trop brillant » mais sur une référence ; non décrit pour une `ref`.
@@ -47,6 +47,6 @@ La lecture est bonne : tous les moments importants du corrigé sont trouvés, av
- `awk`, `ls`, `PIL` et `numpy` étaient présents dans le `.venv` ; aucune commande n'a échoué.
## Sources lues
- Avant le corrigé : `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`, exports « advanced » de `out/pompage/NORDEND/displacement/` (04 au 09/09, 01 à 03 pour PR17), images de `out/pompage/NORDEND/images/` par Read et mes découpes ; `vues-deplacements/CLAUDE.md` fourni par l'environnement, non ouvert, non utilisé.
- Avant le corrigé : `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`, exports « advanced » de `out/pompage/NORDEND/displacement/` (04 au 09/09, 01 à 03 pour PR17), images de `out/pompage/NORDEND/images/` par Read et mes découpes ; `vues-deplacements/CLAUDE.md` fourni par l'environnement, non ouvert, non utilisé.
- Après le corrigé : `vues-deplacements/aiguiser/2026-10-26T1334Z_NORDEND/lot-01/lecture-1.md` (pas ses figures ni son dossier `lecture-1/`).
- Aucun outil de `agents/diagnostic/outils/`, ni skill, ni détecteur, ni base de cas.
@@ -40,7 +40,7 @@ Autres constats, sans ligne de moment : error_value suit un cycle quotidien de
- Un rappel d'environnement m'a livré le contenu de `vues-deplacements/CLAUDE.md` (carte du chantier, boucle, aiguiser, règles) sans que je l'ouvre ; je ne m'en suis pas servi.
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`.
- `.claude/skills/lire-les-donnees/SKILL.md`, `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`.
- Dossier `out/pompage/NORDEND`, par `inventaire.py`, `ensemble.py`, `resume.py`, `vignettes.py`, `ls` sur `images/`, et Read sur les figures citées et sur trois images entières (`20260908T1200Z_9993265.jpg`, `20260908T1300Z_9993522.jpg`, `20260908T2000Z_9995309.jpg`).
- Contexte reçu et non ouvert : `vues-deplacements/CLAUDE.md` (fourni par l'environnement après ma première lecture d'images) ; je ne m'en suis pas servi. `CLAUDE.md` racine non ouvert.
- Rien d'autre dans `vues-deplacements/aiguiser/…/lot-01/` n'a été ouvert.
@@ -48,6 +48,6 @@ Niveaux de la fenêtre (ensemble.py) : bruit propre de `corr` entre 0,001 (CTR04
- Le dépôt contenait des fichiers non suivis `f_images.png` et `img1.json` à la racine (git status) : je ne les ai pas ouverts.
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`, `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`.
- `.claude/skills/lire-les-donnees/SKILL.md`, `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`.
- Dossier `out/pompage/NORDEND` par `inventaire.py`, `ensemble.py` (avec et sans `--min 1`), `resume.py`, `vignettes.py` ; images entières `20260908T1200Z`, `20260908T1300Z`, `20260908T1800Z`, `20260908T2000Z`, `20260907T2000Z` ; mes propres figures de `lecture-2/`.
- Contexte fourni par l'environnement, non ouvert par moi : `vues-deplacements/CLAUDE.md` m'a été présenté automatiquement en cours de lecture (rappel système) ; je ne m'en suis pas servi. Le `gitStatus` du contexte (liste des commits récents) est aussi apparu : je ne l'ai pas utilisé. Je n'ai lu ni détecteurs, ni base de cas, ni autre fichier du dossier de lecture.
@@ -41,7 +41,7 @@ Fenêtre : 379 instants, 22 capteurs (3 références CTR02-04, CTR01 « ref » l
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`
- Dossier `out/pompage/NORDEND` par les outils : `inventaire.py`, `ensemble.py` (par défaut, `--min 1 --autres`, 3 lancements), `plages.py` (4 lancements, dont un à `--hors`), `vignettes.py` (3 planches) ; images lues avec Read : `20260908T1900Z_9995068.jpg` (entière) et les planches ci-dessus ; PNG : `NORDEND_commun_…`, `NORDEND_multiples-error_value_…`, `NORDEND_residus-corr_x_…`, `NORDEND_residus-corr_y_…`, `NORDEND_residus-error_value_…`, `NORDEND_residus-corr_x-autres_…`, `NORDEND_residus-corr_y-autres_…` (le PNG `…residus-error_value-autres…` a été produit mais pas regardé : je ne le cite pas).
- Le fichier de sortie persisté par l'environnement pour `plages.py` (`.claude/projects/…/tool-results/bxxjtja8g.txt`), lu avec Read.
- Contexte fourni par l'environnement et non ouvert : `vues-deplacements/CLAUDE.md` (non utilisé).
@@ -39,7 +39,7 @@ Station : 29 capteurs à 10 min, 144 mesures par jour et par capteur, aucune mes
- `centroides.py` : centroïde de chaque tache dans l'image à plusieurs instants, comparé au déplacement de `x/y` de l'export (pour séparer ce qui bouge dans l'image de ce que fait le suivi).
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `data/CLARIDEN/displacement/CLARIDEN_advanced_20260912.csv` à `…_20260925.csv` (contexte avant et après la fenêtre), `data/CLARIDEN/camera/CLARIDEN_camera_*.csv`, des images de `data/CLARIDEN/images/` (vues entières : 18/09 10:50 et 13:40 ; gros plans par `vignettes.py` ; toutes celles du 16 au 19/09 par `luminosite.py` et quelques-unes par `centroides.py`).
- Le dossier `displacement/` contient aussi `L9 BCN_advanced_20260917_20260920.csv` (du 17/09 22:00 au 20/09 21:50) et `L9 BCN_20260918_to_20260920_1hour.csv` : vérifié par `doublon.py` : ses 12 528 lignes (29 capteurs) sont toutes identiques à celles de CLARIDEN. C'est un doublon, et je ne l'ai pas compté : un outil qui charge tous les `*advanced*` du dossier compterait ces 72 h deux fois.
- Après la lecture 2 : `lecture-2.md` et ses figures `CLARIDEN_vignettes_PR-284-PR-283_…png`, `CLARIDEN_multiples-error_value_…png`, `CLARIDEN_commun_…png`, pour vérifier ses dires.
@@ -41,7 +41,7 @@ Aucun moment en trop : tout ce que la lecture décrit est dans les données (vé
- Ma première lecture des pics (MAD sur 24 h glissantes) ratait les montées lentes. Je l'ai vu en lisant la lecture, et je l'ai corrigé par `montees.py`.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `data/CLARIDEN/displacement/CLARIDEN_advanced_*.csv` (12 au 25/09), `data/CLARIDEN/camera/*.csv`, les images de `data/CLARIDEN/images/` par mes scripts et par Read.
- `vues-deplacements/aiguiser/2026-10-26T1729Z_CLARIDEN/lot-01/corrige.md` (le mien) et `lecture-1.md`, lue seulement après l'écriture du corrigé ; je n'ai pas ouvert les figures de `lecture-1/`.
- Non utilisés : `vues-deplacements/CLAUDE.md` (injecté), le skill, les outils et les détecteurs.
@@ -44,7 +44,7 @@ Le moment clé (18/09 23:00 → 19/09 06:30, les références globales bougent s
- Comme à l'écart 1, il faut numpy (par le `.venv`) pour lire les images (`taches.py`) et pour l'ajustement de `rigide.py`. Les autres scripts restent en bibliothèque standard.
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `data/CLARIDEN/displacement/CLARIDEN_advanced_*.csv` et `L9 BCN_advanced_20260917_20260920.csv` (comparé par `doublon.py`), `data/CLARIDEN/camera/*.csv`, des images de `data/CLARIDEN/images/` par `vignettes.py` et `taches.py`.
- `vues-deplacements/aiguiser/2026-10-26T1729Z_CLARIDEN/lot-01/corrige.md` (repris sur cinq points, signalés dans le texte), `ecart-1.md`, `lecture-2.md` et les trois figures de `lecture-2/` citées plus haut.
- Nouveaux scripts dans `corrige/` : `colonne.py`, `doublon.py`, `taches.py`, `refs_cibles.py`, `rigide.py` ; figure `img_pr283_reset.png`.
@@ -39,7 +39,7 @@ Aucun manque n'est une faute d'outil ou de mode d'emploi : chacun se voyait sur
- `taches.py` et le nouveau `zone.py` (gros plan d'une zone à coordonnées données, cadre fixe) passent par le `.venv` pour lire les images (numpy, matplotlib).
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `data/CLARIDEN/displacement/CLARIDEN_advanced_*.csv`, lus par `corrige/colonne.py` (`PR_BG`, `PR-284`, `D-303-B`, références à 10:50 et à 22:00) et par un calcul de MAD sur les références à 10:50. Des images de `data/CLARIDEN/images/`, lues par `taches.py` (`P-298-C` du 19/09 05:00 au 20:00) et par `zone.py` (19/09, de 18:20 à 19:00).
- `vues-deplacements/aiguiser/2026-10-26T1729Z_CLARIDEN/lot-01/corrige.md`, repris sur trois points (signalés dans le texte : `PR-291` et `D-302-C` à 10:50, `P-298-C` à 06:40, présence à 18:40), `ecart-2.md`, `lecture-3.md`. Trois figures de `lecture-3/` : `CLARIDEN_multiples-error_value_…png`, `CLARIDEN_residus-error_value_…png`, `CLARIDEN_x-y-corr_x-corr_y-error_value_D-303-A-D-303-B_…png`.
- Non utilisés : `vues-deplacements/CLAUDE.md` (injecté), les fichiers `modification-*.md` et `lecture-1.md` / `lecture-2.md` (non ouverts), le skill, les outils et les détecteurs.
@@ -33,7 +33,7 @@ Cadence de 10 min (pas 15 min dans le skill), 577 instants, aucun pas absent, 57
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- `data/CLARIDEN/` par `inventaire.py`, `ensemble.py` (lot ; puis 18/09 12:00 → 20/09 00:00 avec `--autres`), `plages.py` (error_value avec `--hors` ; corr_x, corr_y du 16/09 22:00 au 19/09 06:30), `resume.py` (error_value à 6 h ; `x`, `y` de PR_BG et D-303-B à 10 min), `graphique.py`, `vignettes.py` ; images entières des 16/09 21:50 et 22:00, 18/09 13:40, 19/09 06:00, 06:10, 06:30 et 06:50.
- Figures, dans `vues-deplacements/aiguiser/2026-10-26T1729Z_CLARIDEN/lot-01/lecture-1/` : `CLARIDEN_commun_20260916T0000Z_20260920T0000Z.png`, `CLARIDEN_multiples-error_value_20260916T0000Z_20260920T0000Z.png`, `CLARIDEN_residus-corr_x_20260916T0000Z_20260920T0000Z.png`, `CLARIDEN_residus-corr_y_20260916T0000Z_20260920T0000Z.png`, `CLARIDEN_residus-error_value_20260916T0000Z_20260920T0000Z.png`, `CLARIDEN_residus-corr_x-autres_20260918T1200Z_20260920T0000Z.png`, `CLARIDEN_residus-corr_y-autres_20260918T1200Z_20260920T0000Z.png`, `CLARIDEN_x-y-corr_x-corr_y-error_value_PR_BG-D-306-B-D-303-A-D-303-B_20260916T0000Z_20260920T0000Z.png`, `CLARIDEN_vignettes_PR_BG-D-303-B-D-303-C_180600-190600-190620-190700-190820-191200.png`, `CLARIDEN_vignettes_PR_BG_190600-190610-190620-190700-190820-191200_contraste.png`, `CLARIDEN_vignettes_P-298-B-P-299-A-P-301-B-D-304-B_181040-181050-181320-181340-181430.png`, `CLARIDEN_vignettes_D-303-A-D-303-B-D-302-C_162150-162210-171900-172100-181530-181540-192100.png`, `CLARIDEN_vignettes_PR-284-PR-283_191800-191820-191830-191850-191910_contraste.png`, `CLARIDEN_vignettes_PR-283-PR_BG-PR-284_161200-162150-162200-171200.png`. Produites mais pas regardées : le « commun », le « multiples » et les résidus sans `--autres` de la fenêtre 18/09 12:00 → 20/09 00:00, et `residus-error_value-autres`.
@@ -33,7 +33,7 @@ Cadence de la station : 10 min (pas médian de l'inventaire), pas 15 min. Les ta
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- `data/CLARIDEN/`, par `inventaire.py`, `ensemble.py` (avec et sans `--autres --min 1`), `plages.py`, `resume.py`, `graphique.py`, `vignettes.py` et `ls` sur `displacement/` et `images/`
- Images entières : `20260919T0600Z_10055571.jpg`, `20260919T0620Z_10055668.jpg`, `20260919T0650Z_10055778.jpg`, `20260918T1340Z_10051765.jpg`
@@ -38,7 +38,7 @@ Autres figures regardées : `CLARIDEN_commun_20260916T0000Z_20260920T0000Z.png`,
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- `data/CLARIDEN/` par les outils du skill (`inventaire.py`, `ensemble.py` avec `--rigide` et `--autres`, `plages.py`, `graphique.py`, `vignettes.py`), `ls` de `displacement/`, `camera/` et `images/`
- Images entières avec Read : `20260919T0600Z_10055571.jpg`, `20260919T0650Z_10055778.jpg`, `20260918T1050Z_10051123.jpg`, `20260918T1340Z_10051765.jpg`, `20260919T1840Z_10058662.jpg`
@@ -3,7 +3,7 @@ Exports « advanced » (source des mesures) : 15
15 fichiers, du premier au dernier (--fichiers pour la liste complète) :
data/CLARIDEN/displacement/CLARIDEN_advanced_20260912.csv
data/CLARIDEN/displacement/L9 BCN_advanced_20260917_20260920.csv
Exports horaires : 1 (non lus par les outils : moyennes horaires, heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)
Exports horaires : 1 (non lus par les outils : moyennes horaires, heure locale sans fuseau ; voir labeling/connaissances/colonnes-des-deplacements.md)
data/CLARIDEN/displacement/L9 BCN_20260918_to_20260920_1hour.csv
Mouvements de la caméra (pose à chaque recalage) : 14
14 fichiers, du premier au dernier (--fichiers pour la liste complète) :
@@ -43,7 +43,7 @@ Station : 13 capteurs à 15 min, 384 instants sur 384 attendus (aucun trou dans
- `corrige/camera_fenetre.py` : pose de la caméra et médianes `x`, `y` brutes (mesures acceptées, par rapport à la nuit du 24/09) sur une fenêtre (ajouté pour l'écart 2).
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `data/WILDSTRUBEL/displacement/*_advanced_*.csv` (24 au 29/09 ; lot 24 → 28/09, le reste comme contexte), `data/WILDSTRUBEL/camera/*.csv`, images de `data/WILDSTRUBEL/images/` (26/09 03:45, 04:00, 05:00, 07:00, 07:15 ; 25/09 12:00, 12:15 ; 24/09 09:15 ; gros plans du 24/09 02:15–03:00, 05:30–06:00, 06:15–06:30, 09:00–09:30, du 25/09 02:30–03:00, 03:00, 08:45–09:15, 12:00, 16:00, et du 26–27/09 12:00) ; pour l'écart 2, images entières du 25/09 05:30 et 06:30. `metrics/` non lu.
- Pour l'écart 3, `dump.py`, `horaire.py` et `camera_fenetre.py` relancés sur les fenêtres discutées (marches de nuit de PA1_2, résidus du lever, bosse de `corr_y`, 24/09 09:15, 25/09 07:15–08:00, 25/09 13:45).
- Contexte fourni par l'environnement sans que je l'ouvre : `vues-deplacements/CLAUDE.md` (injecté pendant la séance), et une consigne de style de code (« ponytail ») ; je ne m'en suis pas servi.
@@ -48,7 +48,7 @@ La lecture est riche, et elle trouve presque tous les moments qui comptent : le
- La consigne laisse ouverte la façon de juger une faute « mode d'emploi » plutôt que « lecteur » sans lire le skill. Je l'ai tranchée d'après ce que la lecture dit avoir lancé et lu (D2 : l'inventaire cité donnait les comptes).
## Sources lues
- `docs/domaine/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `labeling/connaissances/colonnes-des-deplacements.md`, `docs/domaine/pieges-des-donnees.md`, `docs/displacement/domaine/carte-des-evenements.md`.
- `data/WILDSTRUBEL/displacement/`, `camera/`, `images/` par mes scripts (`corrige/`) et avec Read (voir `corrige.md`).
- `vues-deplacements/aiguiser/2026-10-27T0843Z_WILDSTRUBEL/lot-01/corrige.md` (le mien) et `lecture-1.md`, lue après avoir écrit le corrigé. Je n'ai pas ouvert les figures de `lecture-1/` : les valeurs citées dans la lecture m'ont suffi, et je les ai vérifiées dans les données.
- Injectés sans que je les ouvre et non utilisés : `vues-deplacements/CLAUDE.md`, une consigne de style de code, l'état git.
@@ -53,7 +53,7 @@ La lecture est juste sur tous les moments forts du lot, et elle voit trois chose
- Les heures de `displacement/` portent des secondes (`00:00:22`), pas celles de `camera/`. Mon premier script de pose ne trouvait donc aucune mesure à apparier. J'ai apparié les instants en tronquant les secondes.
## Sources lues
- `docs/displacement/domaine/carte-des-evenements.md` (relue pour les nouveautés). `docs/domaine/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md` lues lors du corrigé.
- `docs/displacement/domaine/carte-des-evenements.md` (relue pour les nouveautés). `labeling/connaissances/colonnes-des-deplacements.md` et `docs/domaine/pieges-des-donnees.md` lues lors du corrigé.
- `data/WILDSTRUBEL/displacement/` et `camera/`, par mes scripts de `corrige/` (`dump.py`, `horaire.py`, `nuits.py`, et le nouveau `camera_fenetre.py`). Images `20260925T0530Z_10090041.jpg` et `20260925T0630Z_10090269.jpg` (Read).
- `lot-01/corrige.md` (le mien, complété après cette lecture : à-coup de 09:30, 25/09 couvert, bosse de `corr_y` de PB1_2, pas du 25/09 à 08:00, niveaux de nuit de PA1_2), `lot-01/ecart-1.md`, `lot-01/lecture-2.md`, `lot-01/modification-1.md`. Je n'ai pas ouvert les figures de `lecture-2/` : les valeurs citées m'ont suffi, et je les ai vérifiées dans les données.
- Injectés sans que je les ouvre, non utilisés : `vues-deplacements/CLAUDE.md`, une consigne de style de code, l'état git.
@@ -41,7 +41,7 @@ Station : 13 capteurs (6 références globales PA1_2, PA_8, PB3_2, R1, R2, R3 ;
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- `data/WILDSTRUBEL/` par les outils : `inventaire.py`, `ensemble.py` (`--min 1`, puis `--rigide 2026-09-24T01:00Z`), `plages.py` (`corr_x`, `corr_y`, `--k 8`), `resume.py` (`corr_x`, PB2_2, PB1_2, PB4), `graphique.py`, `vignettes.py` (3 planches) ; images entières `20260926T0530Z_10095880.jpg` et `20260926T0800Z_10096551.jpg`.
- Figures dans `vues-deplacements/aiguiser/2026-10-27T0843Z_WILDSTRUBEL/lot-01/lecture-1/` : `WILDSTRUBEL_commun_20260924T0000Z_20260928T0000Z.png`, `WILDSTRUBEL_multiples-error_value_….png`, `WILDSTRUBEL_residus-corr_x_….png`, `WILDSTRUBEL_residus-corr_y_….png`, `WILDSTRUBEL_rigide_….png`, `WILDSTRUBEL_x-y-error_value-corr_x-corr_y_PB2_2-PB1_2-PB4_20260924T0000Z_20260924T0530Z.png`, trois planches de vignettes. `WILDSTRUBEL_residus-error_value_….png` produit mais non regardé (la table imprimée et les multiples m'ont suffi).
@@ -45,7 +45,7 @@ Station : 13 capteurs (6 références globales PA1_2, PA_8, PB3_2, R1, R2, R3 ;
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- `data/WILDSTRUBEL`, par `inventaire.py`, `ensemble.py` (dont `--rigide 2026-09-24T03:00Z --autres --min 1`), `plages.py`, `resume.py`, `graphique.py` et `vignettes.py`, tous sur le lot.
- Images entières (Read) : `20260926T0300Z_10095316.jpg`, `20260926T0500Z_10095778.jpg`, `20260926T0800Z_10096551.jpg`, `20260925T0530Z_10090041.jpg`, `20260925T0630Z_10090269.jpg`.
@@ -41,7 +41,7 @@ Dossier : 13 capteurs (6 références globales PA1_2, PA_8, PB3_2, R1, R2, R3 ;
## Sources lues
- `.claude/skills/lire-les-donnees/SKILL.md`
- `docs/domaine/colonnes-des-deplacements.md`
- `labeling/connaissances/colonnes-des-deplacements.md`
- `docs/domaine/pieges-des-donnees.md`
- `data/WILDSTRUBEL/` par les outils du skill (`inventaire.py`, `ensemble.py` avec `--min 1`, puis `--rigide 2026-09-24T03:00Z --autres`, `plages.py --min-mesures 6`, `jours.py`, `resume.py`, `graphique.py`, `vignettes.py`) et les images entières 20260925T0500Z, 20260926T0500Z et 20260926T0715Z avec Read.
- Fourni par l'environnement sans que je l'ouvre : le contenu de `vues-deplacements/CLAUDE.md`, injecté dans mon contexte en cours de lecture. Je ne m'en suis pas servi.
@@ -3,7 +3,7 @@ Exports « advanced » (source des mesures) : 6
6 fichiers, du premier au dernier (--fichiers pour la liste complète) :
data/WILDSTRUBEL/displacement/WILDSTRUBEL_advanced_20260924.csv
data/WILDSTRUBEL/displacement/WILDSTRUBEL_advanced_20260929.csv
Exports horaires : 0 (non lus par les outils : moyennes horaires, heure locale sans fuseau ; voir docs/domaine/colonnes-des-deplacements.md)
Exports horaires : 0 (non lus par les outils : moyennes horaires, heure locale sans fuseau ; voir labeling/connaissances/colonnes-des-deplacements.md)
Mouvements de la caméra (pose à chaque recalage) : 6
6 fichiers, du premier au dernier (--fichiers pour la liste complète) :
data/WILDSTRUBEL/camera/WILDSTRUBEL_camera_20260924.csv
@@ -0,0 +1,53 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
Displacement 11/171 (6 %) 11/11 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/71 (54 %) 38/38 (100 %)
Visibility — 0/25 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
Displacement — 0/2433 (0 %)
No data — 0/4 (0 %)
Obstruction — 0/191 (0 %)
Target issue 1147/1147 (100 %) 1147/2433 (47 %)
Thermal displacement 406/1080 (38 %) 406/889 (46 %)
Visibility 174/256 (68 %) 174/287 (61 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 0/9 (0 %) 0/1 (0 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 46/135 (34 %) 46/46 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
Displacement 1/53 (2 %) 1/2 (50 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 13/91 (14 %) 13/13 (100 %)
Visibility 0/10 (0 %) —
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
No data 0/2 (0 %) —
Obstruction 0/6 (0 %) 0/83 (0 %)
Thermal displacement 316/332 (95 %) 316/318 (99 %)
Visibility 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
Displacement — 0/3 (0 %)
Obstruction 105/294 (36 %) 105/191 (55 %)
Thermal displacement — 0/126 (0 %)
Visibility 106/290 (37 %) 106/111 (95 %)
Total
trouvées justes
Displacement 12/233 (5 %) 12/2450 (0 %)
No data 6/8 (75 %) 6/10 (60 %)
Obstruction 143/371 (39 %) 143/503 (28 %)
Target issue 1411/1413 (100 %) 1411/2697 (52 %)
Thermal displacement 781/1638 (48 %) 781/1392 (56 %)
Visibility 291/667 (44 %) 291/436 (67 %)
@@ -0,0 +1,53 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
Displacement 171/171 (100 %) 171/171 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/71 (54 %) 38/38 (100 %)
Visibility — 0/25 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
Displacement — 0/2433 (0 %)
No data — 0/4 (0 %)
Obstruction — 0/191 (0 %)
Target issue 1147/1147 (100 %) 1147/2433 (47 %)
Thermal displacement 406/1080 (38 %) 406/889 (46 %)
Visibility 174/256 (68 %) 174/287 (61 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 9/9 (100 %) 9/159 (6 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 46/135 (34 %) 46/46 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
Displacement 1/53 (2 %) 1/2 (50 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 13/91 (14 %) 13/13 (100 %)
Visibility 0/10 (0 %) —
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
No data 0/2 (0 %) —
Obstruction 0/6 (0 %) 0/83 (0 %)
Thermal displacement 316/332 (95 %) 316/318 (99 %)
Visibility 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
Displacement — 0/3 (0 %)
Obstruction 105/294 (36 %) 105/191 (55 %)
Thermal displacement — 0/126 (0 %)
Visibility 106/290 (37 %) 106/111 (95 %)
Total
trouvées justes
Displacement 181/233 (78 %) 181/2768 (7 %)
No data 6/8 (75 %) 6/10 (60 %)
Obstruction 143/371 (39 %) 143/503 (28 %)
Target issue 1411/1413 (100 %) 1411/2697 (52 %)
Thermal displacement 781/1638 (48 %) 781/1392 (56 %)
Visibility 291/667 (44 %) 291/436 (67 %)
@@ -0,0 +1,53 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
Displacement 171/171 (100 %) 171/171 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/71 (54 %) 38/38 (100 %)
Visibility — 0/25 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
Displacement — 0/2433 (0 %)
No data — 0/4 (0 %)
Obstruction — 0/191 (0 %)
Target issue 1147/1147 (100 %) 1147/2433 (47 %)
Thermal displacement 406/1080 (38 %) 406/889 (46 %)
Visibility 174/256 (68 %) 174/287 (61 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 9/9 (100 %) 9/159 (6 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 46/135 (34 %) 46/46 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
Displacement 1/53 (2 %) 1/1 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 13/91 (14 %) 13/13 (100 %)
Visibility 0/10 (0 %) —
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
No data 0/2 (0 %) —
Obstruction 0/6 (0 %) 0/83 (0 %)
Thermal displacement 316/332 (95 %) 316/318 (99 %)
Visibility 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
Displacement — 0/3 (0 %)
Obstruction 105/294 (36 %) 105/191 (55 %)
Thermal displacement — 0/126 (0 %)
Visibility 106/290 (37 %) 106/111 (95 %)
Total
trouvées justes
Displacement 181/233 (78 %) 181/2767 (7 %)
No data 6/8 (75 %) 6/10 (60 %)
Obstruction 143/371 (39 %) 143/503 (28 %)
Target issue 1411/1413 (100 %) 1411/2697 (52 %)
Thermal displacement 781/1638 (48 %) 781/1392 (56 %)
Visibility 291/667 (44 %) 291/436 (67 %)
@@ -0,0 +1,55 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
Displacement 171/171 (100 %) 171/171 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/71 (54 %) 38/38 (100 %)
Visibility — 0/25 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
Displacement — 0/2433 (0 %)
No data — 0/4 (0 %)
Obstruction — 0/191 (0 %)
Target issue 1147/1147 (100 %) 1147/2433 (47 %)
Thermal displacement 406/1080 (38 %) 406/889 (46 %)
Visibility 174/256 (68 %) 174/287 (61 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 9/9 (100 %) 9/159 (6 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 46/135 (34 %) 46/46 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
Displacement 1/53 (2 %) 1/1 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 13/91 (14 %) 13/13 (100 %)
Visibility 0/10 (0 %) —
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
No data 0/2 (0 %) —
Obstruction 0/6 (0 %) 0/83 (0 %)
Thermal displacement 316/332 (95 %) 316/318 (99 %)
Visibility 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
Displacement — 0/3 (0 %)
Obstruction 105/294 (36 %) 105/191 (55 %)
Thermal displacement — 0/126 (0 %)
Visibility 106/290 (37 %) 106/111 (95 %)
Total
trouvées justes
Displacement 181/233 (78 %) 181/2767 (7 %)
No data 6/8 (75 %) 6/10 (60 %)
Obstruction 143/371 (39 %) 143/503 (28 %)
Target issue 1411/1413 (100 %) 1411/2697 (52 %)
Thermal displacement 781/1638 (48 %) 781/1392 (56 %)
Visibility 291/667 (44 %) 291/436 (67 %)
historique : detector-learner/historique.csv (version b54deb3)
@@ -0,0 +1,55 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
Displacement 11/171 (6 %) 11/11 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/71 (54 %) 38/38 (100 %)
Visibility — 0/25 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
Displacement — 0/2433 (0 %)
No data — 0/4 (0 %)
Obstruction — 0/191 (0 %)
Target issue 1147/1147 (100 %) 1147/2433 (47 %)
Thermal displacement 406/1080 (38 %) 406/889 (46 %)
Visibility 145/222 (65 %) 145/287 (51 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 0/9 (0 %) 0/1 (0 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 0/135 (0 %) —
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
Displacement 1/53 (2 %) 1/3 (33 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 0/91 (0 %) —
Visibility 0/10 (0 %) —
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
No data 0/2 (0 %) —
Obstruction 0/6 (0 %) 0/83 (0 %)
Thermal displacement 316/332 (95 %) 316/318 (99 %)
Visibility 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
Displacement — 0/3 (0 %)
Obstruction 105/294 (36 %) 105/191 (55 %)
Thermal displacement — 0/126 (0 %)
Visibility 106/290 (37 %) 106/111 (95 %)
Total
trouvées justes
Displacement 12/233 (5 %) 12/2451 (0 %)
No data 6/8 (75 %) 6/10 (60 %)
Obstruction 143/371 (39 %) 143/503 (28 %)
Target issue 1411/1413 (100 %) 1411/2697 (52 %)
Thermal displacement 722/1638 (44 %) 722/1333 (54 %)
Visibility 262/633 (41 %) 262/436 (60 %)
historique : detector-learner/historique.csv (version 03ce530)
@@ -0,0 +1,55 @@
BREITHORN : 2026-10-03T00:00Z → 2026-11-01T00:00Z, 26 étiquettes
trouvées justes
Displacement 171/171 (100 %) 171/171 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Obstruction 38/71 (54 %) 38/38 (100 %)
Visibility — 0/25 (0 %)
JUNGFRAU : 2026-09-30T00:00Z → 2026-10-26T00:00Z, 22 étiquettes
trouvées justes
Displacement — 0/2433 (0 %)
No data — 0/4 (0 %)
Obstruction — 0/191 (0 %)
Target issue 1147/1147 (100 %) 1147/2433 (47 %)
Thermal displacement 406/1080 (38 %) 406/889 (46 %)
Visibility 174/256 (68 %) 174/287 (61 %)
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 9/9 (100 %) 9/159 (6 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 46/135 (34 %) 46/46 (100 %)
NEBRASKA : 2026-10-07T00:00Z → 2026-11-01T00:00Z, 8 étiquettes
trouvées justes
Displacement 1/53 (2 %) 1/1 (100 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 13/91 (14 %) 13/13 (100 %)
Visibility 0/10 (0 %) —
NORDEND : 2026-08-10T00:00Z → 2026-08-16T00:00Z, 19 étiquettes
trouvées justes
No data 0/2 (0 %) —
Obstruction 0/6 (0 %) 0/83 (0 %)
Thermal displacement 316/332 (95 %) 316/318 (99 %)
Visibility 11/111 (10 %) 11/13 (85 %)
WILDSTRUBEL : 2026-09-01T00:00Z → 2026-09-07T00:00Z, 30 étiquettes
trouvées justes
Displacement — 0/3 (0 %)
Obstruction 105/294 (36 %) 105/191 (55 %)
Thermal displacement — 0/126 (0 %)
Visibility 106/290 (37 %) 106/111 (95 %)
Total
trouvées justes
Displacement 181/233 (78 %) 181/2767 (7 %)
No data 6/8 (75 %) 6/10 (60 %)
Obstruction 143/371 (39 %) 143/503 (28 %)
Target issue 1411/1413 (100 %) 1411/2697 (52 %)
Thermal displacement 781/1638 (48 %) 781/1392 (56 %)
Visibility 291/667 (44 %) 291/436 (67 %)
historique : detector-learner/historique.csv (version 0d43a4c)
@@ -0,0 +1,59 @@
# Bilan — /detector-learner MICHIGAN, 2026-11-03T1423Z
- **Plage** : 2026-10-05 → 2026-11-01 (UTC), celle des étiquettes ; **13 étiquettes** de `labeling/auto/MICHIGAN.jsonl`.
- **Base de la séance** : `03ce530`. Commits (`git log --oneline 03ce530..HEAD`) :
- `eb40210` benchmark ; `2bafe70` critique (suggestions) ;
- `b34d2b7` modification 1, S1 ; `d231ed0` modification 1, S2 ; `b54deb3` modification 1, S4 ; `2c6ac20` modification 1 ;
- `0d43a4c` contrôle 1 (accepté) ;
- `bb1fd1a` (Labeling: no hover on bars…) : commit d'une autre session, pendant la séance, hors des chemins de la séance.
- **Critique** : suggestions (4). S1 : une glissade commune de la caméra hors du cycle de 24 h n'est pas Thermal displacement. S2 : la règle des 20 heures distinctes par jour aveugle le thermique et la dérive lente à une mesure toutes les 4 h. S3 : une excursion commune de quelques mesures n'est pas vue comme un saut revenu. S4 : un pic commun revenu à la mesure suivante sort en « Large shift ».
- **Consigne de l'utilisateur** : aucune transmise aux agents. Pendant la séance, l'utilisateur a dit que MICHIGAN et NEBRASKA sont dans le même bâtiment, et qu'on peut ignorer la contradiction des étiquettes entre stations (voir « À trancher »).
- **Modification** : gardée en 1 passage, S1, S2 (partie dérive lente) et S4 ; S3 et la partie thermique de S2 non faites.
- S1 : `thermal_displacement.py`, voie `glissades` (sorte « Camera thermal movement »), `ECART = 3` ; la sorte entre dans `HOTES` de `categories.py`.
- S2 : `displacement.py`, un jour de la dérive lente compte selon la cadence de la station ; `_commune` retire le « Slow drift » d'une dérive commune de la caméra.
- S4 : `displacement.py`, le retour d'un saut se juge sur une heure de mesures, plus sur 4 mesures.
## Score de MICHIGAN, avant → fin
| Famille | trouvées | justes |
|---|---|---|
| Displacement | 0/9 → 9/9 | 0/1 → 9/159 |
| No data | 2/2 → 2/2 | 2/2 → 2/2 |
| Target issue | 132/133 → 132/133 | 132/132 → 132/132 |
| Thermal displacement | 0/135 → 46/135 | — → 46/46 |
## Autres stations, avant → fin (lignes changées)
- BREITHORN, Displacement : trouvées 11/171 → 171/171 ; justes 11/11 → 171/171 (S2).
- NEBRASKA, Displacement : justes 1/3 → 1/1 ; Thermal displacement : trouvées 0/91 → 13/91, justes — → 13/13 (S1).
- JUNGFRAU, Visibility : trouvées 145/222 → 174/256, justes 145/287 → 174/287 : vient des étiquettes (`labeling/auto/JUNGFRAU.jsonl` modifié par une autre session pendant la séance), pas des détecteurs (vérifié par le contrôle).
## Total, avant → fin
- Displacement : trouvées 12/233 → 181/233 ; justes 12/2451 → 181/2767.
- Thermal displacement : trouvées 722/1638 → 781/1638 ; justes 722/1333 → 781/1392.
- Visibility : trouvées 262/633 → 291/667 ; justes 262/436 → 291/436 (étiquettes de JUNGFRAU).
- No data, Obstruction, Target issue : inchangés.
## À trancher par l'utilisateur
Limites de la critique :
- L2, L4, L7 à L13 (Thermal displacement) : leur famille vient des températures des composants (baisses brèves, baisse du mois), que les détecteurs ne voient pas ; la glissade commune des positions brutes (S1) n'en est qu'un signe, « consistent with » un mouvement thermique de la caméra, pas une preuve. L10 (27.10), où l'étiquette dit le lien à la température moins net, restera douteux. Il faudrait la température pour l'établir.
- L1 (05.10, Displacement) : la cause (reconfiguration de COLH21' et REFH22', deux capteurs jusque-là sur le même point) vient des vignettes ; les détecteurs peuvent au mieux y voir une marche durable, ce qui suffit à la famille.
- L3 (09.10, Target issue) : la cause de la perte de REFPOU22 (prisme masqué, tourné ou enlevé) ne se voit que sur les images ; la famille, elle, est trouvée.
« À trancher » de la modification 1 (l'utilisateur a dit en séance qu'on peut ignorer cette contradiction) :
- **Les excursions de la caméra du 28 au 30.10.** BREITHORN étiquette Displacement le 28.10 00:00 → 12:00, le 28.10 16:00 → 29.10 12:00 et le 29.10 20:00 → 30.10 12:00 (rotation et échelle de la caméra, cibles en sens opposés). MICHIGAN étiquette Thermal displacement le 28.10 04:00 → 16:00, le 28.10 16:00 → 29.10 12:00 et le 29.10 20:00 → 30.10 12:00 (glissade commune des positions brutes). Mêmes nuits, retour à midi dans les deux cas. Ce qu'elles empêchent : baisser `ECART` (à 2, des instants Displacement de BREITHORN deviennent Thermal), ou faire de toute excursion commune de la caméra un Thermal displacement.
- **La dérive lente d'octobre, caméra qui s'incline.** BREITHORN étiquette Displacement du 03.10 au 01.11 (quatre étiquettes, six cibles qui dérivent avec la caméra). NEBRASKA étiquette Thermal displacement du 16.10 20:00 au 01.11 (toutes les cibles), et MICHIGAN du 09.10 12:00 au 01.11 (toutes les cibles). Ce qu'elles empêchent : une seule famille pour la dérive lente commune ; aujourd'hui, BREITHORN la garde en « Slow drift » et NEBRASKA ne la signale pas.
## Suggestions non traitées
- **S1, dérive commune en Thermal displacement** : fait reculer NEBRASKA en Thermal justes (~100 % → 63 %) ; `_commune` retire seulement le « Slow drift » de la famille Displacement. Sur MICHIGAN, la dérive n'est commune qu'à 3 ou 4 cibles et reste « Slow drift ».
- **S2, partie thermique** : rendre `HEURES_MIN` et le profil de `_axe` relatifs à la cadence demande de refaire le profil, les heures chaudes et la nuit, pensés en 24 heures fixes ; et un cycle trouvé à cadence lâche couperait la voie des glissades.
- **S3** : le seul cas Displacement visé (17.10 16:00 → 18.10 04:00) chevauche une glissade de la caméra ; il resterait au mieux un instant, pour un seuil commun plus bas que `K_PIC`, risqué à 15 min.
- **L1** : le bruit de la série se calcule sur toute la série, plus agitée après la perte d'une référence ; le saut tombe sous `K_DURABLE`.
## Erreurs
- La plage donnée par `regression.plage()` (`2026-10-05T00:00Z`, `2026-11-01T00:00Z`) fait échouer `categories.py` et `capteurs.py`, qui n'acceptent que `AAAA-MM-JJ` (`ValueError: unconverted data remains: T00:00Z`). Le critique les a relancées en `AAAA-MM-JJ` ; l'orchestrateur a ensuite donné la commande du journal sous cette forme à l'upgrader (même plage, `--au` exclu).
- Fichiers déjà modifiés au début de la séance : aucun. Mais `labeling/auto/JUNGFRAU.jsonl` a été modifié par une autre session **pendant** la séance (non commité) : `benchmark-avant.txt` est fait sur les anciennes étiquettes de JUNGFRAU, les suivants sur les nouvelles. Ni l'upgrader ni le contrôle n'y ont touché ; tous deux ont recomparé sur un benchmark relancé.
@@ -0,0 +1,131 @@
# Critique des détecteurs, MICHIGAN, 2026-10-05T00:00Z → 2026-11-01T00:00Z (UTC)
**Verdict** : suggestions
## 1. Les étiquettes
13 étiquettes : Thermal displacement 9, Displacement 2, Target issue 1, No data 1.
| # | Bornes (UTC) | Famille | Capteurs nommés | Ce qu'elle voit |
|---|---|---|---|---|
| L1 | 05.10 12:00 → 05.10 20:00 | Displacement | COLH21', REFH22' | marche de corr_y (un peu corr_x) des deux seuls capteurs à 16:00, qui reste ; cause déduite des vignettes : reconfiguration des deux capteurs |
| L2 | 06.10 00:00 → 06.10 08:00 | Thermal displacement | « la plupart des cibles » | creux bref de corr_y d'une mesure (04:00), petit ; positions brutes de tous les capteurs, références comprises, glissent ensemble (la caméra bouge) |
| L3 | 09.10 08:00 → 01.11 00:00 | Target issue | REFPOU22 (référence) | référence perdue entre 08:00 et 12:00 le 09.10, rejetée jusqu'à la fin ; à 12:00 toutes les cibles sautent ensemble (compensation sur REF42 et REFG43N seules) |
| L4 | 09.10 12:00 → 01.11 00:00 | Thermal displacement | toutes les cibles | dérive lente de trois semaines, corr_x monte, corr_y descend, d'un seul tenant, pas plus marqué les 17 et 18.10 ; positions brutes de tous les capteurs et des deux références glissent ensemble |
| L5 | 15.10 20:00 → 16.10 12:00 | No data | tous | trois mesures manquent pour tous les capteurs |
| L6 | 17.10 12:00 → 18.10 08:00 | Displacement | toutes les cibles | toutes les cibles s'agitent ensemble trois mesures (16:00, 20:00, 04:00) puis reviennent ; positions brutes des cibles quasi immobiles, seule la pose calculée bascule ; cause non établie |
| L7 | 19.10 00:00 → 19.10 12:00 | Thermal displacement | toutes les cibles | corr_y de toutes les cibles plonge deux mesures, corr_x à la seconde, retour à midi ; glissade commune des positions brutes, références comprises |
| L8 | 23.10 20:00 → 24.10 12:00 | Thermal displacement | toutes les cibles | baisse commune de corr_y (un peu corr_x) de minuit au matin, retour vers midi ; glissade commune des positions brutes ; petit écart |
| L9 | 25.10 16:00 → 26.10 16:00 | Thermal displacement | toutes les cibles | baisse commune de corr_y le soir, de corr_x le matin, retour l'après-midi ; glissade commune des positions brutes |
| L10 | 26.10 20:00 → 27.10 20:00 | Thermal displacement | toutes les cibles | montée commune de corr_y nuit et matin, retour le soir ; la caméra se relève ; lien à la température moins net |
| L11 | 28.10 04:00 → 28.10 16:00 | Thermal displacement | toutes les cibles | corr_x plonge une mesure (08:00), revient à midi ; corr_y aussi, revient à la mesure suivante ; glissade commune des positions brutes |
| L12 | 28.10 16:00 → 29.10 12:00 | Thermal displacement | toutes les cibles | descente nette de corr_x et corr_y, la plus forte du mois, retour d'un coup à midi ; glissade commune des positions brutes |
| L13 | 29.10 20:00 → 30.10 12:00 | Thermal displacement | toutes les cibles | même forme que L12, retour à midi |
## 2. Ce qu'ont trouvé les détecteurs
Commande du journal (lancée au format `AAAA-MM-JJ`, voir « Difficultés ») : `python3 detectors/categories.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1`
```
2026-10-09T12:00Z → 2026-10-31T20:00Z Target issue grisé | Degraded target | 1 capteurs | absorbés : —
2026-10-15T20:00Z → 2026-10-16T12:00Z No data gardé | No data | tous les capteurs | absorbés : —
2026-10-28T08:00Z → 2026-10-28T08:00Z Displacement gardé | Large shift | 12 capteurs | absorbés : —
```
Commande des capteurs : `python3 .claude/skills/detector-learner/capteurs.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1`
```
cadence : 240 min (médiane des pas entre mesures)
2026-10-09T12:00Z → 2026-10-31T20:00Z Target issue | REFPOU22
2026-10-15T20:00Z → 2026-10-16T12:00Z No data | tous les capteurs
2026-10-28T08:00Z → 2026-10-28T08:00Z Displacement | COLH18S''', COLH19N', COLH19N'', COLH20'', COLH21, COLH21', COLH21'', POUH18', POUH19N', POUH20', POUH21'', REFH22'
```
Cadence : une mesure toutes les 4 h, six par jour UTC.
## 3. Comparaison
| Événement ou étiquette | Jugement | Pourquoi |
|---|---|---|
| E Target issue 09.10 12:00 → 31.10 20:00, REFPOU22 / L3 | juste | même capteur ; début à la première mesure touchée (l'étiquette part de la mesure d'avant, D-111), fin à la dernière mesure ; le saut commun de 12:00 fait partie de L3 et n'est pas signalé à part, à juste titre |
| E No data 15.10 20:00 → 16.10 12:00 / L5 | juste | mêmes bornes, tous les capteurs |
| E Displacement « Large shift » 28.10 08:00, 12 capteurs / L11 | famille fausse | L11 en fait un Thermal displacement : la caméra bouge (glissade commune des positions brutes, références comprises) ; sorte fausse aussi : « Large shift » dit « tout a bougé et est resté », or corr_x revient à la mesure suivante (12:00) ; bornes : un instant seul face à 08:00 et 12:00 touchés, écart mineur ; capteurs : 12, l'étiquette dit « toutes les cibles », nombre total de cibles non vérifiable avec la commande des capteurs |
| L1 Displacement 05.10 16:00, COLH21', REFH22' | manquant | marche durable de deux cibles, la sorte « Lasting shift » de displacement.py ; cas isolé dans la plage (à la 5e mesure de la plage), pas de suggestion ; au detectors-upgrader de voir si le seuil sous K (K_DURABLE + PALIER, niveaux journaliers) ou le début de plage l'écarte |
| L2 Thermal 06.10 04:00, la plupart des cibles | manquant | excursion commune d'une mesure, petite, avec glissade des positions brutes de tous les capteurs ; thermal_displacement.py ne connaît que le cycle de 24 h (S1) ; petit écart |
| L4 Thermal 09.10 12:00 → 01.11, toutes les cibles | manquant | dérive lente commune de trois semaines ; ni thermal_displacement.py ni la dérive lente de displacement.py ne peuvent la voir : leurs jours exigent 20 heures distinctes mesurées, la station n'en a que 6 (S2) ; et même vue, la dérive lente serait Displacement, pas Thermal (S1) |
| L6 Displacement 17.10 16:00 → 18.10 04:00, toutes les cibles | manquant | agitation commune de toutes les cibles, trois mesures, puis retour : un « Sudden jump, back to normal » attendu de displacement.py, qui ne l'a pas vu (S3) ; c'est la seule excursion commune de la station sans glissade des positions brutes : elle doit rester Displacement |
| L7 Thermal 19.10 00:00 → 12:00, toutes les cibles | manquant | excursion commune de deux mesures avec glissade des positions brutes : rien (S1, S3) |
| L8 Thermal 23.10 20:00 → 24.10 12:00, toutes les cibles | manquant | même forme, petit écart (S1, S3) |
| L9 Thermal 25.10 16:00 → 26.10 16:00, toutes les cibles | manquant | même forme, sur une journée (S1, S3) |
| L10 Thermal 26.10 20:00 → 27.10 20:00, toutes les cibles | manquant | montée commune, caméra qui se relève (S1, S3) ; lien à la température moins net selon l'étiquette |
| L11 Thermal 28.10 04:00 → 16:00, toutes les cibles | famille fausse | voir l'événement du 28.10 08:00 ci-dessus (S1, S4) |
| L12 Thermal 28.10 16:00 → 29.10 12:00, toutes les cibles | manquant | la plus forte excursion commune du mois, plusieurs mesures, retour d'un coup à midi : rien (S1, S3) |
| L13 Thermal 29.10 20:00 → 30.10 12:00, toutes les cibles | manquant | même forme que L12 (S1, S3) |
En résumé : les deux familles « de station » (Target issue, No data) sont justes ; tout ce qui bouge ensemble sur toutes les cibles (huit excursions communes, la dérive de trois semaines) est manqué, sauf une mesure prise pour un gros saut durable.
## 4. Score
Bloc MICHIGAN de `benchmark-avant.txt` (par instant) :
```
MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes
trouvées justes
Displacement 0/9 (0 %) 0/1 (0 %)
No data 2/2 (100 %) 2/2 (100 %)
Target issue 132/133 (99 %) 132/132 (100 %)
Thermal displacement 0/135 (0 %) —
```
Il confirme la comparaison : Thermal displacement entièrement manqué (135 instants, surtout L4), Displacement manqué (L1, L6) et le seul instant Displacement des détecteurs (28.10 08:00) faux. Le même benchmark donne aussi Thermal displacement 0/91 à NEBRASKA (et 0/126 à WILDSTRUBEL) : le défaut n'est pas propre à cette station.
## 5. Suggestions
### S1 : une glissade commune de la caméra hors du cycle de 24 h n'est pas reconnue comme Thermal displacement
- **Défaut** : quand toutes les cibles s'écartent ensemble de leur niveau (quelques mesures à une journée, puis retour, ou une dérive lente) et qu'en même temps les positions brutes x, y de tous les capteurs, références comprises, glissent ensemble (la caméra bouge, les cibles ne bougent pas entre elles), les étiquettes en font un Thermal displacement ; le détecteur thermique ne le voit que si la forme se répète chaque jour à la même heure. C'est le défaut principal de la station : 9 étiquettes sur 13.
- **Exemple** : 28.10 16:00 → 29.10 12:00 (toutes les cibles, la plus forte du mois) ; aussi 19.10 00:00 → 12:00, 23.10 20:00 → 24.10 12:00, 25.10 16:00 → 26.10 16:00, 28.10 04:00 → 16:00 (pris pour un « Large shift »), 29.10 20:00 → 30.10 12:00, et la dérive du 09.10 12:00 au 01.11.
- **Détecteur** : `thermal_displacement.py` (sortes « Camera thermal expansion / contraction ») ; règle en cause : `_episodes` et `cycle` ne donnent un épisode que pour un profil de 24 h répété d'un jour à l'autre (REPRO, JOUR) ; un épisode isolé, non périodique, n'a aucune voie.
- **Ce qu'il faudrait** : une seconde voie, sans périodicité : un épisode de la caméra quand, sur la même plage, la plupart des cibles s'écartent de leur niveau d'avant dans corr_x ou corr_y **et** que les positions brutes de la plupart des capteurs, références comprises, se déplacent ensemble, dans le même sens, pendant ces mesures (mode commun des positions brutes, faible dispersion entre capteurs) ; l'épisode porte sur tous les capteurs, comme la voie caméra actuelle, et reste un hôte des sauts revenus (le nom de la sorte doit être dans `HOTES` de `categories.py`). Une dérive lente commune de même nature (corr et positions brutes de tous qui glissent ensemble sur des jours) prendrait la même famille plutôt que « Slow drift ». La condition sur les positions brutes est la frontière : L6 (17.10 12:00 → 18.10 08:00), où les positions brutes ne bougent pas nettement et seule la pose calculée bascule, doit rester Displacement.
- **Risque** : une caméra heurtée puis revenue, ou qui glisse sur son support pour une raison mécanique, serait dite thermique ; une gêne de visibilité qui déplace toutes les taches (réfraction) pourrait passer pour une glissade : exiger une glissade lisse, de même sens pour tous, pas un bruit ; sur les stations où le cycle quotidien de la caméra est déjà trouvé (NORDEND, 95 %), ne pas dédoubler ses épisodes (fusion avec ceux de même sorte).
### S2 : les jours « complets » en heures distinctes aveuglent le thermique et la dérive lente à une cadence de 4 h
- **Défaut** : un jour ne compte que s'il a au moins 20 heures distinctes mesurées ; à une mesure toutes les 4 h, un jour en a 6 : aucun jour ne compte, le cycle thermique (corr et positions brutes) et la dérive lente ne peuvent rien trouver, quelle que soit la donnée.
- **Exemple** : la dérive commune de toutes les cibles du 09.10 12:00 au 01.11 00:00 (L4, 135 instants), sans aucun événement.
- **Détecteur** : `thermal_displacement.py` (`HEURES_MIN` dans `_axe`, et le profil qui exige les 24 heures : `len(profil) < 24`) et `displacement.py`, dérive lente (`HEURES` dans `_derive`).
- **Ce qu'il faudrait** : juger un jour complet d'après la cadence propre de la station (la part des mesures attendues ce jour-là, ou la part de la journée couverte), et bâtir le profil du jour sur les créneaux que la station mesure, pas sur 24 heures fixes. Avec S1, la dérive commune de la caméra irait en Thermal displacement ; sans S1, elle sortirait en « Slow drift » (Displacement), famille fausse mais vue.
- **Risque** : à 6 points par jour, la ressemblance d'un jour aux autres est plus bruitée : faux cycles quotidiens possibles sur les stations à cadence lâche (la sinusoïde, qui demande plus de 48 points, reste un garde-fou pour l'ouvrage, pas pour la caméra) ; les stations à 15 min ou à l'heure ne doivent pas changer si la règle est une part des mesures attendues.
### S3 : une excursion commune de toutes les cibles, sur quelques mesures, n'est pas vue comme un saut revenu
- **Défaut** : toutes les cibles s'écartent ensemble pendant 2 à 4 mesures puis reviennent, et displacement.py n'en voit rien : le saut se juge cible par cible à K bruits (ou K_DURABLE s'il reste), et le pic commun (`_pics`) ne regarde qu'une mesure entourée de deux voisines du même côté. Sur huit excursions communes de la station, une seule est vue.
- **Exemple** : 17.10 16:00, 20:00, 18.10 04:00 (L6, toutes les cibles, corr_x puis corr_y) ; aussi 19.10 matin, 28.10 16:00 → 29.10 12:00, 29.10 20:00 → 30.10 12:00.
- **Détecteur** : `displacement.py` (sorte attendue « Sudden jump, back to normal ») ; règles `_sauts` (K par cible) et `_pics` (un pas, PIC_MIN cibles).
- **Ce qu'il faudrait** : étendre le pic commun à une excursion commune de quelques mesures : au moins une part des cibles qui s'écartent ensemble, du même côté, de leur niveau d'avant, plus loin que leur bruit ordinaire (seuil plus bas que K, puisqu'il faut le consensus de plusieurs cibles), et reviennent en moins d'un jour : un saut revenu pour chacune. Avec S1, ceux qui ont la glissade de la caméra seraient absorbés par l'épisode thermique ; L6 resterait Displacement.
- **Risque** : sur une station dont la compensation laisse passer une vague quotidienne, ou pendant une pluie qui agite toutes les cibles, des excursions communes en plus ; elles doivent être absorbées par leur hôte (thermique, visibilité), sinon elles grossissent Displacement à tort ; garder PIC_MIN ou une part des cibles pour ne pas réagir à une ou deux cibles bruyantes.
### S4 : un pic commun revenu à la mesure suivante est classé « Large shift » à une cadence lâche
- **Défaut** : un saut est dit revenu s'il retrouve son niveau BASE mesures de suite (4 mesures, soit 16 h à cette cadence) dans le jour ; quand l'excursion suivante commence avant, le pic d'une mesure devient « lasting », et sur la plupart des cibles « Large shift » (jamais absorbé, « tout a bougé »).
- **Exemple** : 28.10 08:00, 12 capteurs (COLH18S''', COLH19N', …, REFH22'), « Large shift » ; corr_x revient à 12:00, puis l'excursion de 16:00 commence (L11, L12).
- **Détecteur** : `displacement.py`, sorte « Large shift » ; règle du retour dans `_sauts` (BASE compté en mesures, commentaire « 1 h à 15 min ») et `_episode` (un seul « lasting » fait le groupe durable).
- **Ce qu'il faudrait** : juger le retour en durée plutôt qu'en nombre de mesures (BASE pensé pour 1 h), ou tenir pour revenu un saut dont la mesure suivante est déjà revenue près du niveau d'avant quand c'est un pic commun à plusieurs cibles (la règle du pic commun le voit déjà : elle ne devrait pas céder devant un « lasting » de la même cible au même instant).
- **Risque** : un vrai mouvement suivi d'une mesure aberrante qui ressemble au niveau d'avant serait dit revenu et grisé ; à cadence fine, une durée plus courte que 4 mesures rendrait les retours plus faciles : garder l'équivalence actuelle à 15 min.
## 6. Limites
- L2, L4, L7 à L13 (Thermal displacement) : leur famille vient des températures des composants (baisses brèves, baisse du mois), que les détecteurs ne voient pas ; la glissade commune des positions brutes (S1) n'en est qu'un signe, « consistent with » un mouvement thermique de la caméra, pas une preuve. L10 (27.10), où l'étiquette dit le lien à la température moins net, restera douteux. Il faudrait la température pour l'établir.
- L1 (05.10, Displacement) : la cause (reconfiguration de COLH21' et REFH22', deux capteurs jusque-là sur le même point) vient des vignettes ; les détecteurs peuvent au mieux y voir une marche durable, ce qui suffit à la famille.
- L3 (09.10, Target issue) : la cause de la perte de REFPOU22 (prisme masqué, tourné ou enlevé) ne se voit que sur les images ; la famille, elle, est trouvée.
## Difficultés
- Les commandes du journal et des capteurs, données avec `--du 2026-10-05T00:00Z --au 2026-11-01T00:00Z`, échouent toutes deux (`ValueError: unconverted data remains: T00:00Z`) : `categories.py` et `capteurs.py` n'acceptent que `AAAA-MM-JJ`. Relancées avec `--du 2026-10-05 --au 2026-11-01` (`--au` est exclu : même plage) ; j'ai lu `capteurs.py` pour le vérifier.
- La commande des capteurs ne donne pas le nombre total de cibles de la station : « toutes les cibles » des étiquettes ne peut pas être comparé aux 12 capteurs de l'événement du 28.10.
## Sources lues
- `labeling/auto/MICHIGAN.jsonl`
- `labeling/familles.md` (en entier)
- sortie de `python3 detectors/categories.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1` (et l'erreur de la forme `T00:00Z`)
- sortie de `python3 .claude/skills/detector-learner/capteurs.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1` (et l'erreur de la forme `T00:00Z`)
- `detector-learner/2026-11-03T1423Z_MICHIGAN/benchmark-avant.txt` (le fichier entier ; bloc MICHIGAN, et les lignes Thermal displacement de NEBRASKA et WILDSTRUBEL)
- `detectors/categories.py`, `detectors/thermal_displacement.py`, `detectors/displacement.py`
- `.claude/skills/detector-learner/capteurs.py` (pour le format des dates)
@@ -0,0 +1,97 @@
# MICHIGAN : modification 1
## Ce qui a changé
**S1, commit b34d2b7** : `detectors/thermal_displacement.py`, `detectors/categories.py`
- Règle ajoutée dans `thermal_displacement.py`, `glissades(mesures)`, une troisième voie de `detect` qui ne tourne que si les deux voies du cycle de 24 h (courbes corrigées, puis positions brutes) ne donnent rien. Un instant est une glissade de la caméra si deux conditions sont réunies : les positions brutes x ou y d'au moins `PART` (0,5) des capteurs, références comprises, s'écartent du même côté d'au moins `ECART` bruits de leur médiane du jour d'avant ; et corr_x ou corr_y d'au moins `PART` des cibles font de même. Le bruit est la médiane des pas de chaque série. Les glissades à moins d'un jour l'une de l'autre font un seul épisode, sur tous les capteurs.
- Constante ajoutée : `ECART = 3` (bruits). À 2, la règle prenait aussi des instants Displacement d'une autre station.
- Sorte ajoutée : « Camera thermal movement », de la famille Thermal displacement. Elle a sa propre phrase, en anglais. Elle entre dans `HOTES` de `categories.py` : un saut revenu qui la chevauche y est absorbé. Les sortes existantes (« expansion », « contraction ») disent un sens par rapport à la chaleur du jour, que cette voie ne connaît pas.
- Registre : ligne `ECART` ajoutée. Docstring : paragraphe « Glissade commune, sans cycle ».
**S2 (partie dérive lente), commit d231ed0** : `detectors/displacement.py`
- Règle modifiée dans `_derive` : un jour compte s'il a au moins `HEURES` heures mesurées sur 24, rapporté aux heures que la station mesure. Avant : au moins 20 heures distinctes. Exemple : 5 heures sur 6 à une mesure toutes les 4 h ; une station à 15 min ou à l'heure garde 20 sur 24. La valeur de `HEURES` (20) ne change pas.
- Règle ajoutée dans `derive`, `_commune` : la dérive est celle de la caméra, et le détecteur ne rend aucun « Slow drift », si deux conditions sont réunies : au moins `GROS` (0,5) des cibles dérivent du même côté sur corr_x ou corr_y ; et au moins `GROS` des capteurs, références comprises, dérivent du même côté sur leurs positions brutes x ou y. Pas de constante nouvelle : `GROS` est la part des cibles d'un « Large shift ».
- Registre : lignes `HEURES` et `GROS` complétées. Docstring : points 1 et 5 de la dérive lente.
**S4, commit b54deb3** : `detectors/displacement.py`
- Règle modifiée dans `_sauts` : un saut est revenu si une heure de mesures de suite est à moins de la moitié du saut. Avant : `BASE` mesures de suite. Le nombre de mesures vient de la cadence de la série, `round(1 h / pas)`, entre 1 et `BASE`. Il reste 4 à 15 min et vaut 1 à 4 h. `BASE` (4) garde son rôle pour le niveau d'avant.
- Registre : ligne `BASE` complétée. Docstring : point 2.
## Pourquoi
- **S1** : quand la caméra bouge avec la température sans revenir chaque jour à la même heure, toutes les cibles s'écartent ensemble de leur niveau, et toutes les positions brutes glissent avec elles. Les étiquettes en font un Thermal displacement, mais le détecteur ne connaissait que le cycle de 24 h répété. La condition sur les positions brutes est la frontière : une bascule de la seule pose calculée, positions brutes immobiles, reste aux sauts.
- **S2** : à cadence lâche, aucun jour n'atteignait 20 heures distinctes, et la dérive lente ne pouvait rien voir. Rendre le seuil relatif à la cadence la rend visible. Mais une dérive commune à toutes les cibles et à toutes les positions brutes est étiquetée Thermal displacement : la laisser en « Slow drift » faisait reculer une autre station (Displacement justes), d'où la règle `_commune`. La faire passer en Thermal displacement faisait reculer la même station en Thermal justes : voir « Pas corrigé ».
- **S4** : le retour d'un saut se jugeait sur 4 mesures, pensées comme une heure à 15 min, soit 16 h à une mesure toutes les 4 h. Un pic commun revenu à la mesure suivante devenait alors « Large shift » quand l'excursion suivante commençait avant. Jugé sur une heure, il redevient un saut revenu, absorbé par son hôte.
## Avant / après sur la station
Avant (`python3 detectors/categories.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1`) :
```
2026-10-09T12:00Z → 2026-10-31T20:00Z Target issue grisé | Degraded target | 1 capteurs | absorbés : —
2026-10-15T20:00Z → 2026-10-16T12:00Z No data gardé | No data | tous les capteurs | absorbés : —
2026-10-28T08:00Z → 2026-10-28T08:00Z Displacement gardé | Large shift | 12 capteurs | absorbés : —
```
Après (même commande, aucune ligne `sauté`) :
```
2026-10-03T00:00Z → 2026-10-31T20:00Z Displacement gardé | Slow drift | 4 capteurs | absorbés : Slow drift 10-03T00:00, Slow drift 10-03T00:00, Slow drift 10-03T00:00
2026-10-09T12:00Z → 2026-10-31T20:00Z Target issue grisé | Degraded target | 1 capteurs | absorbés : —
2026-10-09T12:00Z → 2026-10-09T12:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-11T12:00Z → 2026-10-11T12:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-15T20:00Z → 2026-10-16T12:00Z No data gardé | No data | tous les capteurs | absorbés : —
2026-10-18T04:00Z → 2026-10-18T04:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-19T08:00Z → 2026-10-20T04:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-21T08:00Z → 2026-10-22T16:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-24T00:00Z → 2026-10-25T00:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-26T08:00Z → 2026-10-27T00:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : —
2026-10-28T08:00Z → 2026-10-30T20:00Z Thermal displacement gardé | Camera thermal movement | 17 capteurs | absorbés : Sudden jump, back to normal 10-28T08:00
```
Lecture :
- Les glissades tombent toutes dans la dérive thermique étiquetée (L4, 09.10 12:00 → 01.11). Elles couvrent L7 (19.10 08:00), L8 (24.10 00:00), L9 (26.10 08:00-12:00), L10 (26.10 20:00 → 27.10 00:00), L11 (28.10 08:00), L12 et L13 (28.10 08:00 → 30.10 20:00).
- Le « Large shift » du 28.10 08:00 est devenu un saut revenu, absorbé dans le Thermal displacement (S4).
- L2 (06.10 04:00) reste manquée : les positions brutes glissent, mais les courbes corrigées des cibles ne s'écartent pas assez.
- L'instant 18.10 04:00 de L6 (Displacement) est pris en Thermal : les positions brutes de 10 capteurs sur 17 y glissent du même côté. Il est aussi dans L4, donc juste au score.
- Le « Slow drift » sur 4 cibles (COLH18', COLH19N', POUH18', POUH19N') est nouveau : la dérive de L4 vue, mais dans la famille Displacement, comme la critique le prévoyait sans S1 pour la dérive. Seules 3 ou 4 cibles sur 14 passent les critères de la dérive : elle n'est pas « commune » au sens de `_commune`.
Bloc MICHIGAN, avant → après :
```
Displacement 0/9 (0 %) 0/1 (0 %) → 9/9 (100 %) 9/159 (6 %)
Thermal displacement 0/135 (0 %) — → 46/135 (34 %) 46/46 (100 %)
```
No data et Target issue sont inchangés. Les 9 instants Displacement trouvés le sont par la dérive lente, qui couvre L1 et L6 sans les voir pour eux-mêmes.
## Non-régression
Lignes changées dans les autres blocs (benchmark avant relancé sur l'état de départ, voir « Difficultés ») :
```
BREITHORN Displacement 11/171 (6 %) 11/11 (100 %) → 171/171 (100 %) 171/171 (100 %) (S2)
NEBRASKA Displacement 1/53 (2 %) 1/3 (33 %) → 1/53 (2 %) 1/1 (100 %) (S1 : 1/2, S4 : 1/1)
NEBRASKA Thermal displacement 0/91 (0 %) — → 13/91 (14 %) 13/13 (100 %) (S1)
```
JUNGFRAU, NORDEND et WILDSTRUBEL sont inchangés. Aucun recul.
Total :
```
Displacement 12/233 (5 %) 12/2451 (0 %) → 181/233 (78 %) 181/2767 (7 %)
Thermal displacement 722/1638 (44 %) 722/1333 (54 %) → 781/1638 (48 %) 781/1392 (56 %)
```
Benchmarks : `benchmark-1-S1.txt`, `benchmark-1-S2.txt`, `benchmark-1-S4.txt`.
## À trancher par l'utilisateur
Ces étiquettes n'ont fait reculer aucune station : les règles les séparent par la condition « positions brutes de la plupart des capteurs, du même côté ». Elles bornent les règles.
- **Les excursions de la caméra du 28 au 30.10.** BREITHORN étiquette Displacement le 28.10 00:00 → 12:00, le 28.10 16:00 → 29.10 12:00 et le 29.10 20:00 → 30.10 12:00 (rotation et échelle de la caméra, cibles en sens opposés). MICHIGAN étiquette Thermal displacement le 28.10 04:00 → 16:00, le 28.10 16:00 → 29.10 12:00 et le 29.10 20:00 → 30.10 12:00 (glissade commune des positions brutes). Mêmes nuits, retour à midi dans les deux cas. Ce qu'elles empêchent : baisser `ECART` (à 2, des instants Displacement de BREITHORN deviennent Thermal), ou faire de toute excursion commune de la caméra un Thermal displacement.
- **La dérive lente d'octobre, caméra qui s'incline.** BREITHORN étiquette Displacement du 03.10 au 01.11 (quatre étiquettes, six cibles qui dérivent avec la caméra). NEBRASKA étiquette Thermal displacement du 16.10 20:00 au 01.11 (toutes les cibles), et MICHIGAN du 09.10 12:00 au 01.11 (toutes les cibles). Ce qu'elles empêchent : une seule famille pour la dérive lente commune ; aujourd'hui, BREITHORN la garde en « Slow drift » et NEBRASKA ne la signale pas.
## Pas corrigé
- **S1, dérive commune en Thermal displacement.** Faire passer une dérive lente commune (cibles et positions brutes) en Thermal displacement fait reculer NEBRASKA en Thermal justes : environ 100 % → 63 %. L'épisode de la dérive part du premier jour complet (07.10), avant l'étiquette thermique (16.10 20:00), sur des jours étiquetés Displacement. La règle `_commune` ne fait donc que retirer ce « Slow drift » de la famille Displacement, sans le signaler ailleurs. Sur MICHIGAN, la dérive n'est commune qu'à 3 ou 4 cibles et reste « Slow drift ».
- **S2, partie thermique.** Rendre `HEURES_MIN` et le profil de `_axe` relatifs à la cadence demande de refaire le profil, les heures chaudes et la nuit (`NUIT`, `ecarts`), tous pensés en 24 heures fixes : trop lourd. Et un cycle trouvé à cadence lâche couperait la voie des glissades, qui ne tourne que sans cycle.
- **S3, excursion commune revenue en Displacement.** Le seul cas Displacement visé (17.10 16:00 → 18.10 04:00) chevauche à 04:00 une glissade de la caméra : un saut revenu y serait absorbé en Thermal displacement. Il resterait au mieux un instant, au prix d'un seuil commun plus bas que `K_PIC`, qui risque de prendre la vague quotidienne des stations à 15 min.
- **L1 (marche durable de deux cibles au début de la plage, pas de suggestion).** Le saut fait environ 16 bruits face au bruit des jours d'avant, mais le bruit d'une série se calcule sur toute la série, beaucoup plus agitée après la perte d'une référence. Il tombe alors sous `K_DURABLE`. Un bruit local serait une règle nouvelle, à effets larges.
## Difficultés
- Le benchmark relancé sur l'état de départ, sans modification, ne redonnait pas `benchmark-avant.txt` : la ligne Visibility de JUNGFRAU et le Total Visibility différaient. `labeling/auto/JUNGFRAU.jsonl` était modifié sans être commité au début de la séance, sans doute par une autre session ; `labeling/labeling.py` l'a été aussi pendant la séance, puis commité par elle (bb1fd1a). J'ai comparé chaque suggestion à ce benchmark relancé, pas au fichier `benchmark-avant.txt`, et je n'ai touché à aucun de ces fichiers.
@@ -0,0 +1,29 @@
# MICHIGAN : contrôle 1
**Verdict** : accepté
## Réponses
1. Les détecteurs se chargent : aucune ligne `sauté` dans les benchmarks avant, S1, S2, S4 ni après ; la commande relancée redonne `benchmark-1.txt` à l'identique.
2. Aucune autre station ne recule, à aucune suggestion : BREITHORN, JUNGFRAU, NEBRASKA, NORDEND et WILDSTRUBEL restent égales ou montent, famille par famille.
3. Le code reste simple : S4 tient en 2 lignes (le retour d'un saut se juge sur une heure, selon la cadence) ; S2 rend `HEURES` relatif à la cadence et ajoute `_commune` (8 lignes, sans constante nouvelle) ; S1 ajoute une troisième voie à `thermal_displacement.py` (`glissades`, ~45 lignes, une constante `ECART`). C'est à la mesure de ce que dit « Pourquoi » : un mouvement thermique de la caméra sans cycle de 24 h et des règles qui supposaient une mesure toutes les 15 min.
4. Interdits respectés : toujours six détecteurs, un par famille ; « Camera thermal movement » sort avec `kind` « Thermal displacement » ; les noms de stations n'apparaissent que dans les docstrings et le registre, pour dire d'où vient la règle, jamais dans une condition ; pas de capteur ni de date codés ; `detect(mesures)` et clés des épisodes inchangés ; bibliothèque standard seulement ; registre à jour (`ECART` ajouté, `BASE`, `GROS`, `HEURES` complétés).
## Non-régression
Avant → après (`benchmark-avant.txt` → `benchmark-1.txt`), hors station de la séance :
- BREITHORN, Displacement, trouvées : 11/171 (6 %) → 171/171 (100 %) ; justes : 11/11 (100 %) → 171/171 (100 %) (vient de S2)
- JUNGFRAU, Visibility : 145/222 (65 %) → 174/256 (68 %) ; justes : 145/287 (51 %) → 174/287 (61 %). Ce changement vient des étiquettes (`labeling/auto/JUNGFRAU.jsonl` modifié dans l'arbre de travail), pas des détecteurs : les détecteurs de la base, relancés sur les étiquettes actuelles, donnent déjà 174/256 et 174/287.
- NEBRASKA, Displacement, justes : 1/3 (33 %) → 1/2 (50 %) avec S1 → 1/1 (100 %) avec S4
- NEBRASKA, Thermal displacement : trouvées 0/91 (0 %) → 13/91 (14 %) ; justes — → 13/13 (100 %) (vient de S1)
Total :
- Displacement : trouvées 12/233 (5 %) → 181/233 (78 %) ; justes 12/2451 (0 %) → 181/2767 (7 %)
- Thermal displacement : trouvées 722/1638 (44 %) → 781/1638 (48 %) ; justes 722/1333 (54 %) → 781/1392 (56 %)
- Visibility : trouvées 262/633 (41 %) → 291/667 (44 %) ; justes 262/436 (60 %) → 291/436 (67 %) (vient des étiquettes de JUNGFRAU, voir plus haut)
## Remarques
aucune
## Difficultés
- `labeling/auto/JUNGFRAU.jsonl` est modifié dans l'arbre de travail, sans commit : `benchmark-avant.txt` a été fait sur les anciennes étiquettes, les benchmarks suivants sur les nouvelles, ce qui change les chiffres de JUNGFRAU Visibility et du Total sans que les détecteurs y soient pour rien. Pour départager, j'ai relancé `regression.py` avec les détecteurs de la base (dans un worktree temporaire, supprimé ensuite) sur les étiquettes actuelles. Le mieux serait que le benchmark avant soit refait quand les étiquettes changent pendant une séance.
- Le bloc de la station de la séance fait partie des fichiers de benchmark : on ne peut pas lire le fichier sans le voir. Je l'ai filtré dès la première comparaison et je ne m'en suis pas servi.
- Le dossier de travail temporaire contenait déjà des fichiers d'un autre agent (`journal-S*.txt`, `glis.py`…). Je ne les ai pas lus.
+99
View File
@@ -179,3 +179,102 @@ date,seance,etape,version,station,famille,etiquetees,signalees,les_deux
2026-11-03T13:34Z,2026-11-03T1317Z_BREITHORN,modification 2,8e94f02+,Total,saut_bref,0,14,0
2026-11-03T13:34Z,2026-11-03T1317Z_BREITHORN,modification 2,8e94f02+,Total,No data,8,10,6
2026-11-03T13:34Z,2026-11-03T1317Z_BREITHORN,modification 2,8e94f02+,Total,Visibility,458,439,145
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,BREITHORN,Displacement,171,11,11
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,BREITHORN,No data,2,2,2
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,BREITHORN,Obstruction,71,38,38
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,BREITHORN,Visibility,0,25,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,JUNGFRAU,Displacement,0,2433,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,JUNGFRAU,No data,0,4,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,JUNGFRAU,Obstruction,0,191,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,JUNGFRAU,Target issue,1147,2433,1147
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,JUNGFRAU,Thermal displacement,1080,889,406
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,JUNGFRAU,Visibility,222,287,145
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,MICHIGAN,Displacement,9,1,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,MICHIGAN,No data,2,2,2
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,MICHIGAN,Target issue,133,132,132
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,MICHIGAN,Thermal displacement,135,0,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NEBRASKA,Displacement,53,3,1
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NEBRASKA,No data,2,2,2
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NEBRASKA,Target issue,133,132,132
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NEBRASKA,Thermal displacement,91,0,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NEBRASKA,Visibility,10,0,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NORDEND,No data,2,0,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NORDEND,Obstruction,6,83,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NORDEND,Thermal displacement,332,318,316
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,NORDEND,Visibility,111,13,11
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,WILDSTRUBEL,Displacement,0,3,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,WILDSTRUBEL,Obstruction,294,191,105
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,WILDSTRUBEL,Thermal displacement,0,126,0
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,WILDSTRUBEL,Visibility,290,111,106
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,Total,Displacement,233,2451,12
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,Total,No data,8,10,6
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,Total,Obstruction,371,503,143
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,Total,Target issue,1413,2697,1411
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,Total,Thermal displacement,1638,1333,722
2026-11-03T14:23Z,2026-11-03T1423Z_MICHIGAN,avant,03ce530,Total,Visibility,633,436,262
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,BREITHORN,Displacement,171,171,171
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,BREITHORN,No data,2,2,2
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,BREITHORN,Obstruction,71,38,38
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,BREITHORN,Visibility,0,25,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,JUNGFRAU,Displacement,0,2433,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,JUNGFRAU,No data,0,4,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,JUNGFRAU,Obstruction,0,191,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,JUNGFRAU,Target issue,1147,2433,1147
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,JUNGFRAU,Thermal displacement,1080,889,406
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,JUNGFRAU,Visibility,256,287,174
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,MICHIGAN,Displacement,9,159,9
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,MICHIGAN,No data,2,2,2
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,MICHIGAN,Target issue,133,132,132
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,MICHIGAN,Thermal displacement,135,46,46
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NEBRASKA,Displacement,53,1,1
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NEBRASKA,No data,2,2,2
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NEBRASKA,Target issue,133,132,132
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NEBRASKA,Thermal displacement,91,13,13
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NEBRASKA,Visibility,10,0,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NORDEND,No data,2,0,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NORDEND,Obstruction,6,83,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NORDEND,Thermal displacement,332,318,316
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,NORDEND,Visibility,111,13,11
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,WILDSTRUBEL,Displacement,0,3,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,WILDSTRUBEL,Obstruction,294,191,105
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,WILDSTRUBEL,Thermal displacement,0,126,0
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,WILDSTRUBEL,Visibility,290,111,106
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,Total,Displacement,233,2767,181
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,Total,No data,8,10,6
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,Total,Obstruction,371,503,143
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,Total,Target issue,1413,2697,1411
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,Total,Thermal displacement,1638,1392,781
2026-11-03T14:37Z,2026-11-03T1423Z_MICHIGAN,modification 1,b54deb3,Total,Visibility,667,436,291
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,BREITHORN,Displacement,171,171,171
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,BREITHORN,No data,2,2,2
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,BREITHORN,Obstruction,71,38,38
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,BREITHORN,Visibility,0,25,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,JUNGFRAU,Displacement,0,2433,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,JUNGFRAU,No data,0,4,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,JUNGFRAU,Obstruction,0,191,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,JUNGFRAU,Target issue,1147,2433,1147
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,JUNGFRAU,Thermal displacement,1080,889,406
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,JUNGFRAU,Visibility,256,287,174
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,MICHIGAN,Displacement,9,159,9
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,MICHIGAN,No data,2,2,2
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,MICHIGAN,Target issue,133,132,132
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,MICHIGAN,Thermal displacement,135,46,46
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NEBRASKA,Displacement,53,1,1
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NEBRASKA,No data,2,2,2
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NEBRASKA,Target issue,133,132,132
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NEBRASKA,Thermal displacement,91,13,13
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NEBRASKA,Visibility,10,0,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NORDEND,No data,2,0,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NORDEND,Obstruction,6,83,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NORDEND,Thermal displacement,332,318,316
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,NORDEND,Visibility,111,13,11
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,WILDSTRUBEL,Displacement,0,3,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,WILDSTRUBEL,Obstruction,294,191,105
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,WILDSTRUBEL,Thermal displacement,0,126,0
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,WILDSTRUBEL,Visibility,290,111,106
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,Total,Displacement,233,2767,181
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,Total,No data,8,10,6
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,Total,Obstruction,371,503,143
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,Total,Target issue,1413,2697,1411
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,Total,Thermal displacement,1638,1392,781
2026-11-03T14:39Z,2026-11-03T1423Z_MICHIGAN,fin,0d43a4c,Total,Visibility,667,436,291
1 date seance etape version station famille etiquetees signalees les_deux
179 2026-11-03T13:34Z 2026-11-03T1317Z_BREITHORN modification 2 8e94f02+ Total saut_bref 0 14 0
180 2026-11-03T13:34Z 2026-11-03T1317Z_BREITHORN modification 2 8e94f02+ Total No data 8 10 6
181 2026-11-03T13:34Z 2026-11-03T1317Z_BREITHORN modification 2 8e94f02+ Total Visibility 458 439 145
182 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 BREITHORN Displacement 171 11 11
183 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 BREITHORN No data 2 2 2
184 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 BREITHORN Obstruction 71 38 38
185 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 BREITHORN Visibility 0 25 0
186 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 JUNGFRAU Displacement 0 2433 0
187 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 JUNGFRAU No data 0 4 0
188 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 JUNGFRAU Obstruction 0 191 0
189 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 JUNGFRAU Target issue 1147 2433 1147
190 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 JUNGFRAU Thermal displacement 1080 889 406
191 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 JUNGFRAU Visibility 222 287 145
192 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 MICHIGAN Displacement 9 1 0
193 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 MICHIGAN No data 2 2 2
194 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 MICHIGAN Target issue 133 132 132
195 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 MICHIGAN Thermal displacement 135 0 0
196 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NEBRASKA Displacement 53 3 1
197 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NEBRASKA No data 2 2 2
198 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NEBRASKA Target issue 133 132 132
199 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NEBRASKA Thermal displacement 91 0 0
200 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NEBRASKA Visibility 10 0 0
201 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NORDEND No data 2 0 0
202 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NORDEND Obstruction 6 83 0
203 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NORDEND Thermal displacement 332 318 316
204 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 NORDEND Visibility 111 13 11
205 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 WILDSTRUBEL Displacement 0 3 0
206 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 WILDSTRUBEL Obstruction 294 191 105
207 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 WILDSTRUBEL Thermal displacement 0 126 0
208 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 WILDSTRUBEL Visibility 290 111 106
209 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 Total Displacement 233 2451 12
210 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 Total No data 8 10 6
211 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 Total Obstruction 371 503 143
212 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 Total Target issue 1413 2697 1411
213 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 Total Thermal displacement 1638 1333 722
214 2026-11-03T14:23Z 2026-11-03T1423Z_MICHIGAN avant 03ce530 Total Visibility 633 436 262
215 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 BREITHORN Displacement 171 171 171
216 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 BREITHORN No data 2 2 2
217 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 BREITHORN Obstruction 71 38 38
218 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 BREITHORN Visibility 0 25 0
219 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 JUNGFRAU Displacement 0 2433 0
220 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 JUNGFRAU No data 0 4 0
221 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 JUNGFRAU Obstruction 0 191 0
222 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 JUNGFRAU Target issue 1147 2433 1147
223 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 JUNGFRAU Thermal displacement 1080 889 406
224 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 JUNGFRAU Visibility 256 287 174
225 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 MICHIGAN Displacement 9 159 9
226 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 MICHIGAN No data 2 2 2
227 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 MICHIGAN Target issue 133 132 132
228 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 MICHIGAN Thermal displacement 135 46 46
229 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NEBRASKA Displacement 53 1 1
230 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NEBRASKA No data 2 2 2
231 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NEBRASKA Target issue 133 132 132
232 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NEBRASKA Thermal displacement 91 13 13
233 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NEBRASKA Visibility 10 0 0
234 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NORDEND No data 2 0 0
235 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NORDEND Obstruction 6 83 0
236 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NORDEND Thermal displacement 332 318 316
237 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 NORDEND Visibility 111 13 11
238 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 WILDSTRUBEL Displacement 0 3 0
239 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 WILDSTRUBEL Obstruction 294 191 105
240 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 WILDSTRUBEL Thermal displacement 0 126 0
241 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 WILDSTRUBEL Visibility 290 111 106
242 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 Total Displacement 233 2767 181
243 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 Total No data 8 10 6
244 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 Total Obstruction 371 503 143
245 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 Total Target issue 1413 2697 1411
246 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 Total Thermal displacement 1638 1392 781
247 2026-11-03T14:37Z 2026-11-03T1423Z_MICHIGAN modification 1 b54deb3 Total Visibility 667 436 291
248 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c BREITHORN Displacement 171 171 171
249 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c BREITHORN No data 2 2 2
250 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c BREITHORN Obstruction 71 38 38
251 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c BREITHORN Visibility 0 25 0
252 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c JUNGFRAU Displacement 0 2433 0
253 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c JUNGFRAU No data 0 4 0
254 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c JUNGFRAU Obstruction 0 191 0
255 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c JUNGFRAU Target issue 1147 2433 1147
256 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c JUNGFRAU Thermal displacement 1080 889 406
257 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c JUNGFRAU Visibility 256 287 174
258 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c MICHIGAN Displacement 9 159 9
259 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c MICHIGAN No data 2 2 2
260 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c MICHIGAN Target issue 133 132 132
261 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c MICHIGAN Thermal displacement 135 46 46
262 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NEBRASKA Displacement 53 1 1
263 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NEBRASKA No data 2 2 2
264 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NEBRASKA Target issue 133 132 132
265 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NEBRASKA Thermal displacement 91 13 13
266 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NEBRASKA Visibility 10 0 0
267 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NORDEND No data 2 0 0
268 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NORDEND Obstruction 6 83 0
269 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NORDEND Thermal displacement 332 318 316
270 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c NORDEND Visibility 111 13 11
271 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c WILDSTRUBEL Displacement 0 3 0
272 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c WILDSTRUBEL Obstruction 294 191 105
273 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c WILDSTRUBEL Thermal displacement 0 126 0
274 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c WILDSTRUBEL Visibility 290 111 106
275 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c Total Displacement 233 2767 181
276 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c Total No data 8 10 6
277 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c Total Obstruction 371 503 143
278 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c Total Target issue 1413 2697 1411
279 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c Total Thermal displacement 1638 1392 781
280 2026-11-03T14:39Z 2026-11-03T1423Z_MICHIGAN fin 0d43a4c Total Visibility 667 436 291
+1 -1
View File
@@ -44,7 +44,7 @@ def page(dossier, du=None, au=None):
lignes = score.familles()
det = [(v["start"], v["end"], lignes.get(v["category"], v["category"]),
survol(v["label"], v["start"], v["end"], v["sensors"], v["text"]))
for v in score.evenements(mesures, debut, fin)]
for v in score.evenements(mesures, debut, fin, score.charger_temperature(dossier))]
base = [*dict.fromkeys(lignes.values())]
presentes = {s[2] for s in etiq + det}
ordre = [*base, *sorted(presentes - set(base) - {HORS}), *[HORS] * (HORS in presentes)]
+2 -2
View File
@@ -349,7 +349,7 @@ def tableau(evts):
def references(mesures, a, b):
"""Capteurs de la compensation sur la plage : ceux qui ont un reproj_err (docs/domaine/colonnes-des-deplacements.md :
"""Capteurs de la compensation sur la plage : ceux qui ont un reproj_err (labeling/connaissances/colonnes-des-deplacements.md :
références seulement), quel que soit pattern_type, vide sur LENZSPITZE et « target » sur des capteurs de CLARIDEN
qui compensent pourtant (l'utilisateur, 2026-10-28 : retrouver les groupes par les données)."""
return {s for s, ms in mesures.items() if any(m["reproj_err"] is not None for m in ms if a <= m["t"] < b)}
@@ -457,7 +457,7 @@ def page(dossier, du=None, au=None, entete="", annexe="", chemin=None, analyste=
pas = statistics.median(y - x for x, y in zip(temps, temps[1:]))
refs = references(mesures, a, b)
evts = score.evenements(mesures, score.iso(a), score.iso(b))
evts = score.evenements(mesures, score.iso(a), score.iso(b), score.charger_temperature(dossier))
spans = [(v["start"], v["end"], (lignes or {}).get(v["category"], v["category"]),
survol(v["label"], v["start"], v["end"], v["sensors"], v["text"])) for v in evts]
hors = HORS
+13 -9
View File
@@ -18,13 +18,14 @@ Usage : python3 detectors/categories.py <dossier de station> (une ligne par é
la tranche sont montrés ; « rien » pour une tranche calme)
"""
import importlib.util
import inspect
import os
import sys
from datetime import datetime, timedelta, timezone
from pathlib import Path
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, iso # noqa: E402
from donnees import charger, charger_temperature, iso # noqa: E402
# Les familles de labeling/familles.md, dans l'ordre des lignes de la frise ; ignore : zone grisée (None : comme le
# disent ses épisodes : une perte de visibilité totale, une turbulence forte) ; process : bouton Images, rien, ou Images
@@ -40,7 +41,7 @@ CATEGORIES = {
SAUT = "Sudden jump, back to normal" # un saut revenu : sa cause, s'il chevauche un hôte ; sinon Displacement
DECALAGES = {"Lasting shift", "Jump, not back yet", "Large shift"} # à vérifier : jamais absorbés
HOTES = {"Poor visibility", "Brief obstruction", "Heat shimmer", "Thermal expansion", "Thermal contraction",
"Camera thermal expansion", "Camera thermal contraction"} # disent la cause d'un saut revenu qui les chevauche
"Camera thermal expansion", "Camera thermal contraction", "Camera thermal movement"} # disent la cause d'un saut revenu qui les chevauche
MERGE = timedelta(hours=1) # même sorte à moins d'une heure : un seul événement (règle validée, 2026-10-24)
@@ -163,13 +164,16 @@ def classer(episodes, references=frozenset()):
return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"])
def evenements(mesures, fin=None):
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal ; fin : fin
de la fenêtre lue (tri en lot), donnée à trous seul, pour un trou qui la touche."""
def evenements(mesures, fin=None, temperature=None):
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal. Un détecteur
reçoit en plus ce que sa fonction detect déclare : fin, la fin de la fenêtre lue (tri en lot), pour un trou qui la
touche ; temperature, celle de la station (donnees.charger_temperature, D-124)."""
episodes = []
for mod in detecteurs():
try:
episodes += mod.detect(mesures, fin) if mod.__name__ == "journal_no_data" else mod.detect(mesures)
kw = {k: v for k, v in (("fin", fin), ("temperature", temperature or []))
if k in inspect.signature(mod.detect).parameters}
episodes += mod.detect(mesures, **kw)
except Exception as e: # noqa: BLE001
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"})
@@ -187,9 +191,9 @@ if __name__ == "__main__":
# d'historique par défaut, dans la boucle comme dans la vraie application
p.add_argument("--historique", type=int, default=3, help="jours de mesures d'avant donnés aux détecteurs (défaut 3)")
a = p.parse_args()
mesures = charger(a.dossier)
mesures, temperature = charger(a.dossier), charger_temperature(a.dossier)
ts = [m["t"] for ms in mesures.values() for m in ms]
jour = lambda d: datetime.strptime(d, "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
debut = jour(a.du) if a.du else min(ts).replace(hour=0, minute=0, second=0, microsecond=0)
fin = jour(a.au) if a.au else max(ts) + timedelta(seconds=1)
t = debut
@@ -197,7 +201,7 @@ if __name__ == "__main__":
b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin
h = t - timedelta(days=a.historique)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
evs = [v for v in evenements(tranche, b) if v["end"] >= iso(t)] if tranche else []
evs = [v for v in evenements(tranche, b, temperature) if v["end"] >= iso(t)] if tranche else []
if a.tranche:
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
for v in evs:
+30 -6
View File
@@ -6,7 +6,8 @@ target_issue.py.
1. Bruit de la série = médiane des écarts d'une mesure à la suivante ; saut = mesure à K bruits ou plus du niveau
d'avant (médiane des BASE mesures précédentes) ; les BASE premières mesures, faute de niveau d'avant, face au niveau
d'après (médiane des BASE suivantes), un écart y est un saut revenu aussitôt (point 12 du plan, 2026-10-24).
2. Revenu (BASE mesures de suite à moins de la moitié du saut) en moins d'un jour, ou un jour après de retour à sa place
2. Revenu (une heure de mesures de suite à moins de la moitié du saut : BASE à 15 min, une seule à 4 h, boucle
/detector-learner MICHIGAN, modification 1) en moins d'un jour, ou un jour après de retour à sa place
habituelle (premier jour de l'export) ou du jour d'avant : « Sudden jump, back to normal », grisé ; sa cause n'est pas
établie ici (categories.py lui donne celle de la catégorie qui le chevauche, sinon : à vérifier sur les images).
3. Sinon « Lasting shift », jamais grisé (peut-être un vrai mouvement) ; moins d'un jour de recul :
@@ -87,6 +88,8 @@ def _sauts(t, v):
"""Une série (instants, valeurs) -> [(i début, i fin, état)], état 'back', 'lasting' ou 'recent'."""
day = timedelta(hours=BACK_H)
noise = statistics.median(abs(y - x) for x, y in zip(v, v[1:]))
pas = statistics.median(b - a for a, b in zip(t, t[1:])) # cadence de la série
retour = max(1, min(BASE, round(timedelta(hours=1) / pas))) # mesures d'une heure (BASE à 15 min, une à 4 h)
# ponytail: place habituelle = premier jour de l'export, faux s'il commence dans un artefact
ref = statistics.median(x for x, u in zip(v, t) if u < t[0] + day)
lv = {} # niveau de chaque jour UTC ; sa variation ordinaire d'un jour au suivant juge un saut sous K
@@ -103,8 +106,8 @@ def _sauts(t, v):
if abs(v[i] - base) < K_DURABLE * noise:
i += 1
continue
tol = abs(v[i] - base) / 2 # revenu : BASE mesures de suite à moins de la moitié du saut du niveau d'avant
j = next((k for k in range(i + 1, len(v)) if all(abs(x - base) < tol for x in v[k:k + BASE])), len(v))
tol = abs(v[i] - base) / 2 # revenu : une heure de mesures de suite à moins de la moitié du saut du niveau d'avant
j = next((k for k in range(i + 1, len(v)) if all(abs(x - base) < tol for x in v[k:k + retour])), len(v))
before = statistics.median([x for x, u in zip(v, t) if t[i] - day <= u < t[i]] or [base])
after = statistics.median(x for x, u in zip(v, t) if t[i] <= u < t[i] + day)
if j < len(v) and t[j] - t[i] <= day:
@@ -229,12 +232,20 @@ def detect(mesures):
# Reprend la tendance de l'onglet Displacements (D-055, explore.find_trend) sur l'export « advanced » (corr_x, corr_y, px),
# pour que la boucle puisse l'entraîner comme les autres détecteurs. Méthode, par cible (hors références globales) et par
# axe (seuils provisoires, ceux de D-055) :
# 1. Niveau du jour : médiane des mesures de chaque jour UTC d'au moins HEURES heures mesurées ; au moins JOURS jours.
# 1. Niveau du jour : médiane des mesures de chaque jour UTC d'au moins HEURES heures mesurées sur 24, en part des heures
# que la station mesure (boucle /detector-learner MICHIGAN, modification 1 : à une mesure toutes les 4 h, 5 des 6
# heures ; avant, aucun jour ne comptait) ; au moins JOURS jours.
# 2. Pente de Theil-Sen et tau de Kendall des niveaux journaliers ; amplitude du jour : écart entre ses déciles 9 et 1.
# 3. Dérive : |pente| × durée ≥ TAILLE fois l'amplitude médiane du jour, |tau| ≥ REGULIER, et aucun pas d'un jour au
# suivant de plus de la moitié de la dérive (un saut qui dure n'est pas une dérive : le détecteur sauts le prend).
# 4. Un épisode par cible (un axe suffit), de la première mesure du premier jour à la dernière du dernier ; pas grisé.
HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées (comme D-055)
# 5. Dérive de la caméra (même modification) : au moins GROS des cibles dérivent du même côté sur corr_x ou corr_y, et au
# moins GROS des capteurs, références comprises, sur leurs positions brutes x ou y : rien (les étiquettes en font un
# Thermal displacement, pas un mouvement de l'ouvrage). NEBRASKA : 12 cibles sur 12 en corr_x, 13 capteurs sur 15 en
# y, écartée ; BREITHORN : 6 cibles sur 12 en corr_x mais 5 capteurs sur 16 en x comme en y, gardée (Displacement
# trouvé de 11 à 171 instants sur 171) ; MICHIGAN : 3 ou 4 cibles, gardée (« Slow drift », là où les étiquettes
# disent Thermal displacement).
HEURES = 20 # un jour compte s'il a au moins 20 heures mesurées sur 24 (comme D-055), en part des heures mesurées
JOURS = 5 # jours au minimum pour une tendance (TREND_DAYS de D-055)
TAILLE = 1.0 # dérive ≥ TAILLE amplitudes journalières (TREND_SIZE de D-055)
REGULIER = 0.6 # |tau de Kendall| des niveaux journaliers (TREND_STEADY de D-055)
@@ -251,7 +262,8 @@ def _derive(ms, col):
for m in ms:
if m[col] is not None:
jours.setdefault(m["t"].date(), []).append(m)
jours = {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES}
creneaux = len({m["t"].hour for js in jours.values() for m in js}) # heures que la station mesure (6 à 4 h de pas)
jours = {d: js for d, js in jours.items() if len({m["t"].hour for m in js}) >= HEURES / 24 * creneaux}
if len(jours) < JOURS:
return None
niv = sorted((d.toordinal(), statistics.median(m[col] for m in js)) for d, js in jours.items())
@@ -267,7 +279,19 @@ def _derive(ms, col):
return derive, len(jours), min(m["t"] for m in jours[d0]), max(m["t"] for m in jours[d1])
def _commune(mesures, cols):
"""Au moins GROS des capteurs dérivent du même côté sur un même axe de cols."""
for col in cols:
signes = [x[0] > 0 for ms in mesures.values() if (x := _derive(ms, col))]
if max(signes.count(True), signes.count(False)) >= GROS * len(mesures):
return True
return False
def derive(mesures):
cibles = {s: ms for s, ms in mesures.items() if not donnees.est_reference(ms)}
if _commune(cibles, ("corr_x", "corr_y")) and _commune(mesures, ("x", "y")):
return [] # dérive de la caméra, positions brutes comprises : pas un mouvement de l'ouvrage (familles.md)
out = []
for s, ms in sorted(mesures.items()):
if donnees.est_reference(ms):
+56 -1
View File
@@ -38,6 +38,16 @@ la sinusoïde n'explique pas (une cible sur sept, les pointés faux de 30 px éc
d'un jour à l'autre (méthode 1, 6 cibles sur 7) suffit. En échange, une seule heure chaude n'est pas un cycle
(CHAUDES_MIN) : NIEDERHORN (E-005, horaire) avait sinon son heure de midi (trains, trous) en contraction de la caméra.
L'épisode de la caméra porte sur tous les capteurs, références comprises : toute l'image bouge.
Glissade commune, sans cycle (boucle /detector-learner MICHIGAN, modification 1) : faute de cycle dans les courbes
corrigées comme dans les positions brutes, un instant est une glissade de la caméra si les positions brutes (x ou y) d'au
moins PART des capteurs, références comprises, **et** les courbes corrigées (corr_x ou corr_y) d'au moins PART des cibles
s'écartent du même côté d'au moins ECART bruits (médiane des pas de la série) de leur médiane du jour d'avant ; les
glissades à moins d'un jour l'une de l'autre font un épisode, « Camera thermal movement », sur tous les capteurs, hôte
des sauts revenus (categories.HOTES). La caméra bouge avec la température sans revenir chaque jour à la même heure (une
mesure toutes les 4 h, refroidissements brefs), et la compensation ne l'enlève pas toute. La condition sur les positions
brutes laisse aux sauts une bascule de la seule pose calculée (positions brutes immobiles). MICHIGAN : 9 épisodes du 09
au 30.10, tous dans la dérive thermique étiquetée ; NEBRASKA : 13 instants, tous justes ; BREITHORN, JUNGFRAU, NORDEND,
WILDSTRUBEL inchangés (cycle trouvé, ou rien) ; ECART = 2 prenait 2 instants Displacement de BREITHORN.
"""
import math
import os
@@ -56,6 +66,7 @@ JOUR = 0.5 # provisoire : ressemblance d'un jour aux autres pour lui do
NUIT = 8 # heures consécutives du profil les plus plates = niveau de nuit
R2_MIN = 0.3 # provisoire, ébauche du 2026-10-24 : PS des Coudres 14 axes sur 22 au-dessus, CLARIDEN 0 sur 48
CHAUDES_MIN = 2 # provisoire : boucle WILDSTRUBEL, lot 01 ; NIEDERHORN (E-005) n'a qu'une heure chaude (midi)
ECART = 3 # provisoire : glissade commune, en bruits (médiane des pas) d'écart à la médiane du jour d'avant
W = 2 * math.pi / 86400 # pulsation d'un cycle de 24 h, en rad/s
@@ -160,7 +171,51 @@ def detect(mesures):
"""Cycle des courbes corrigées (l'ouvrage) ; sinon, celui des positions brutes (la caméra qui bouge par dilatation
de son support, compensée : D-074, 2026-10-27)."""
return (_episodes(mesures, ("corr_x", "corr_y"), "Thermal", False) or
_episodes(mesures, ("x", "y"), "Camera thermal", True))
_episodes(mesures, ("x", "y"), "Camera thermal", True) or glissades(mesures))
def _signes(ms, col):
"""{instant: +1 ou -1} où la mesure s'écarte d'au moins ECART bruits de la médiane du jour d'avant."""
k = [(m["t"], m[col]) for m in ms if m[col] is not None]
if len(k) < 3:
return {}
bruit = statistics.median(abs(b - a) for (_, a), (_, b) in zip(k, k[1:]))
out, j = {}, 0
for i, (t, v) in enumerate(k):
while k[j][0] < t - timedelta(days=1):
j += 1
avant = [w for _, w in k[j:i]]
if bruit and len(avant) >= 3 and abs(v - statistics.median(avant)) >= ECART * bruit:
out[t] = 1 if v > statistics.median(avant) else -1
return out
def _communs(series):
"""[{instant: signe}] d'un groupe de capteurs -> instants où au moins PART d'entre eux s'écartent du même côté."""
n, compte = len(series), {}
for sg in series:
for t, x in sg.items():
compte.setdefault((t, x), 0)
compte[(t, x)] += 1
return {t for (t, x), c in compte.items() if n and c >= PART * n}
def glissades(mesures):
"""Glissade commune de la caméra, sans cycle de 24 h : les positions brutes de la plupart des capteurs, références
comprises, et les courbes corrigées de la plupart des cibles s'écartent ensemble, du même côté, de leur jour d'avant."""
cibles = [ms for ms in mesures.values() if ms[0]["pattern_type"] != "global_ref"]
brut = set().union(*(_communs([_signes(ms, c) for ms in mesures.values()]) for c in ("x", "y")))
corr = set().union(*(_communs([_signes(ms, c) for ms in cibles]) for c in ("corr_x", "corr_y")))
episodes = []
for t in sorted(brut & corr):
if episodes and t - episodes[-1][1] <= timedelta(days=1): # moins d'un jour entre deux : la même glissade
episodes[-1][1] = t
else:
episodes.append([t, t])
return [{"start": iso(a), "end": iso(b), "kind": "Thermal displacement", "label": "Camera thermal movement",
"text": "The camera moved with a change of temperature and all the curves moved with it; this is not a "
"movement of the structure, nothing to do.", "ignore": False, "sensors": sorted(mesures)}
for a, b in episodes]
def _episodes(mesures, cols, nom, camera):
Loaded 100 of 469 files, more files were not shown because too many files have changed in this diff. Show more