One detector per family, family keys equal to their names (D-119)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
0666d59e7d
commit
98be20a2bc
34 files changed
+551
-516
No files matched your search
@@ -20,7 +20,7 @@ Le code et les maquettes du chantier vivent dans `maquette/` (D-053, D-054) : `e
|
||||
|
||||
Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui comptent, sans toucher aux données : les sauts (décalage soudain qui dure) et les tendances (hausse ou baisse lente), ce que regarde le client ; onglet `Displacements` de la maquette ; idée, méthode, résultats et pistes dans `contexte/detection-d-anomalies.md`, savoir métier dans `docs/displacement/domaine/ce-que-regarde-le-client.md`.
|
||||
|
||||
Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `detectors/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des douze catégories du journal (D-074) par `detectors/categories.py` (`python3 detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`.
|
||||
Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; dans `detectors/`, un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py` (`detect(mesures)` -> épisodes `start`, `end`, `kind` (la famille), `label` (la sorte), `text`, `ignore`, `sensors`), chargés et classés en événements, la famille pour catégorie, par `detectors/categories.py` (`python3 detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`.
|
||||
|
||||
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/events-learner <dossier de station> [--du … --au …]` fait analyser chaque lot par un analyste (qui peut écrire ses propres scripts et dit les outils dont il s'est servi), améliorer les outils de lecture (`agent-tools/`) d'après eux par un tool-builder, qui optimise ou ajoute sans rien retirer (D-097), juger les détecteurs du journal face à son analyse par un detectors-critic (D-090), les fait corriger par un detectors-upgrader, contrôlé sur la base d'events par un detectors-control (D-089), et fait décider par un event-builder ce que le lot apprend de nouveau à la base d'events (D-091) ; une séance commitée directement sur `master` (D-070), ses rendus dans `events-learner/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/events-learner_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/events-learner/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/events-learner.md`.
|
||||
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# Seuils du journal du matin : le registre
|
||||
|
||||
Tous les seuils des détecteurs du journal (`detectors/`) sont **provisoires** : réglés sur les six jeux des events E-001 à E-005 et de NORDEND d'octobre. Quand les données en masse arriveront (partie VI du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`), c'est la liste à revoir. Une constante ajoutée ou changée met à jour ce fichier dans le même changement. Contrôle : `grep -nE "^[A-Z_0-9]+ = " detectors/*.py`.
|
||||
Tous les seuils des détecteurs du journal (`detectors/`, un par famille de `labeling/familles.md`, D-119) sont **provisoires** : réglés sur les six jeux des events E-001 à E-005 et de NORDEND d'octobre. Quand les données en masse arriveront (partie VI du plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`), c'est la liste à revoir. Une constante ajoutée ou changée met à jour ce fichier dans le même changement. Contrôle : `grep -nE "^[A-Z_0-9]+ = " detectors/*.py`.
|
||||
|
||||
Registre au 2026-10-24 (point 17 du plan), vérifié contre le code.
|
||||
|
||||
@@ -8,7 +8,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
||||
|
||||
| Détecteur | Constante | Valeur | Réglée sur |
|
||||
|---|---|---|---|
|
||||
| `visibilite` | `K_MAD` | 10 | E-001 (buée 11 à 57 MAD), E-005 (10 à 70 MAD) |
|
||||
| `visibility` | `K_MAD` | 10 | E-001 (buée 11 à 57 MAD), E-005 (10 à 70 MAD) |
|
||||
| | `FACTEUR` | 2 | écarte les capteurs à MAD quasi nulle (E-004, E-005) |
|
||||
| | `SUITE_MIN` | 3 | E-001, pluie de E-005 |
|
||||
| | `BREF_MIN` | 3 | trains de E-005 (5 à 17 capteurs) |
|
||||
@@ -22,7 +22,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
||||
| | `FACTEUR_REJET` | 1,2 | boucle FLORIDA, lot 01 : un rejet à 10 MAD est haut sans doubler (cibles au niveau 0,6) ; écarte C24 de E-009 (0,68, rejetée à ×1,04) |
|
||||
| | `MOITIE` | 0,5 | niveau « none » (point 38) : NORDEND 09/10 23:00 (68 % rejetées) contre pluie de E-005 (24 à 33 %) |
|
||||
| | `QUELQUES` | 3 cibles | Poor visibility sur au plus 3 cibles, sans référence : un objet devant elles, Target obscured (frontière « Visibility ou Obstruction » de `labeling/familles.md`) ; boucle /detector-learner BREITHORN, lot 01 (véhicules stationnés devant 2 ou 3 cibles sur 12) |
|
||||
| `sauts` | `K` | 20 bruits | E-001 (à 15, deux cibles saines grisées) ; ne pas baisser pour les trains, vus par `visibilite` (point 12) |
|
||||
| `displacement` (sauts) | `K` | 20 bruits | E-001 (à 15, deux cibles saines grisées) ; ne pas baisser pour les trains, vus par `visibilite` (point 12) |
|
||||
| | `K_DURABLE` | 7 bruits | saut sous K qui reste (point 8 de `sauts.py`) : boucle NIEDERHORN, lot 01 (e09, corr_y −0,19 px d'un coup, 8 bruits, resté 5 jours) |
|
||||
| | `PALIER` | 8 variations ordinaires | même point : écart des médianes du jour d'après et du jour d'avant, en variations ordinaires du niveau d'un jour au suivant ; boucle NIEDERHORN, lot 01 (e09 : 13 ; E-001, cibles saines : 6 au plus) |
|
||||
| | `K_PIC` | 6 bruits | pic d'un pas commun à plusieurs cibles : boucle NORDEND, lot 01 (secousses de toute l'image, 6 à 11 bruits) |
|
||||
@@ -34,7 +34,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
||||
| | `BASCULE` | 6 h | cible à problème (D-074) : PR_BG de CLARIDEN bascule 2,5 jours ; C8 et C13 de E-009, 5 bascules en 1 h 20 au matin du mouvement, restent des sauts brefs |
|
||||
| | `SEULES` | 2 cibles | cible à problème : FLORIDA, les deux cibles collées ; E-002, toile sur les références, 15 cibles basculent à la fois |
|
||||
| | `GROS` | 0,5 | gros saut (« Large shift », D-074) : E-004 et CLARIDEN, 18 cibles le matin du mouvement |
|
||||
| `thermique` | `HEURES_MIN` | 20 h | — |
|
||||
| `thermal_displacement` | `HEURES_MIN` | 20 h | — |
|
||||
| | `REPRO` | 0,6 | bruit pur ≈ 0 |
|
||||
| | `PART` | 0,5 | NORDEND octobre juste dessous (9/19), laissé dessous (point 13) |
|
||||
| | `CHAUD` | 0,3 | — |
|
||||
@@ -42,24 +42,24 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
||||
| | `NUIT` | 8 h | — |
|
||||
| | `R2_MIN` | 0,3 | sinusoïde de 24 h (point 41) : PS des Coudres 14 axes sur 22 au-dessus, CLARIDEN 0 sur 48 ; plus demandée pour la caméra (positions brutes) depuis la boucle WILDSTRUBEL, lot 01 (1 cible sur 7, les pointés faux écrasent l'ajustement) |
|
||||
| | `CHAUDES_MIN` | 2 h | boucle WILDSTRUBEL, lot 01 : une seule heure chaude n'est pas un cycle (NIEDERHORN, E-005 : midi, trains et trous) |
|
||||
| `turbulence` | `RATIO` | 1,5 | E-003 (×1,7 à ×3 la nuit) |
|
||||
| `visibility` (turbulence) | `RATIO` | 1,5 | E-003 (×1,7 à ×3 la nuit) |
|
||||
| | `PART` | 0,5 | — |
|
||||
| | `RATIO_ERR` | 1,5 | E-003 (×1,7 à ×3,2) |
|
||||
| | `REJET_MAX` | 15 % | E-003 ≤ 7 % ; toile et pluie ≥ 18 % |
|
||||
| | `FORT` | 2× | E-003 (×2,3 à ×2,6) |
|
||||
| | `DUREE_MIN` | 3 h | E-003 (10-11 h) contre matin de E-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) |
|
||||
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
|
||||
| `degradee` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) |
|
||||
| `no_data` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
|
||||
| `target_issue` | `CALME` | 0,25 | (détecteur ajouté le 2026-10-27, voir son en-tête) |
|
||||
| | `PART` | 0,5 | — |
|
||||
| | `MIN_HEURES` | 3 h | heures d'instants calmes par jour, à la cadence de la station (écart médian entre deux instants) : 12 instants à 15 min, comme l'ancien `MIN_INSTANTS` ; boucle /detector-learner NEBRASKA, lot 01 (une mesure toutes les 4 h : aucun jour ne comptait, la référence perdue REFCOLH22 n'était pas vue) |
|
||||
| | `MIN_JOURS` | 2 jours | NORDEND : jours isolés sur 16 capteurs |
|
||||
| | `SEMAINE` | 7 jours | cible à problème (« Degraded target ») si gênée au moins une semaine de suite, sinon cible cachée par moments (« Target obscured », `cible_masquee`) : frontière « Target issue ou Obstruction » de `labeling/familles.md` ; boucle /detector-learner NEBRASKA, lot 01 (BREITHORN, véhicules garés, 2 à 5 jours ; NEBRASKA et MICHIGAN, référence perdue, 25 jours ; JUNGFRAU, PM_G, 63 jours) |
|
||||
| | `COLLE` | 0,05 | cible collée (D-074) : E-011, C2 et C3 à 0,006 et 0,016 du bruit des autres ; NORDEND, E-001 : 0,7 au plus bas |
|
||||
| `derive` | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) |
|
||||
| `displacement` (dérive lente) | `HEURES` | 20 h | comme `TREND_DAYS` de D-055 (ci-dessous) |
|
||||
| | `JOURS` | 5 jours | `TREND_DAYS` |
|
||||
| | `TAILLE` | 1 | `TREND_SIZE` ; amplitude du jour : déciles 9 et 1 de `corr` |
|
||||
| | `REGULIER` | 0,6 | `TREND_STEADY` ; un pas d'un jour au suivant de plus de la moitié de la dérive l'écarte (un saut) |
|
||||
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement |
|
||||
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même sorte à moins d'une heure, un seul événement |
|
||||
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
|
||||
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
|
||||
| | `TREND_STEADY` | 0,6 | tau de Kendall des niveaux journaliers |
|
||||
|
||||
@@ -209,7 +209,7 @@ def build(folder):
|
||||
for tab, prefixes in CAPTURES.items()}
|
||||
journal = categories.evenements(mesures)
|
||||
for e in journal: # un trou de mesures : des images pendant disent que la caméra tournait (point 15 du plan)
|
||||
if e["category"] == "trou":
|
||||
if e["category"] == "No data":
|
||||
n = sum(e["start"] < im["t"] < e["end"] for im in images)
|
||||
e["text"] += f" The camera still took {n} images in this period, so it was running." if n \
|
||||
else " There is no camera image for this period either."
|
||||
|
||||
@@ -942,12 +942,12 @@ const J = D.journal, J_ROW = "What happened";
|
||||
// (visibilité réduite, zone en léger retrait), vert ce qui est normal (l'effet périodique), gris clair l'absence de données, rouge ce qu'il faut
|
||||
// vérifier
|
||||
const J_FAM = { ignore: "#6f8aa3", reduced: "#f0a030", normal: "#2ca02c", gap: "#c8c8c8", check: "#d62728" };
|
||||
// ordre de dessin de la frise, de dessous à dessus : la dérive lente (longue, des jours), ce qui touche une cible, puis
|
||||
// toute la scène, « Shift to check » en haut
|
||||
const J_ORDER = ["derive_lente", "cible_masquee", "dilatation_thermique", "contraction_thermique", "turbulence", "trou", "visibilite_reduite", "visibilite_nulle", "passage",
|
||||
"saut_bref", "a_verifier"];
|
||||
const jFam = e => ["a_verifier", "derive_lente"].includes(e.category) ? "check" : e.category === "trou" ? "gap"
|
||||
: e.category === "visibilite_reduite" ? "reduced" : e.ignore ? "ignore" : "normal";
|
||||
// ordre de dessin de la frise, de dessous à dessus, une famille de labeling/familles.md par ligne : ce qui touche une
|
||||
// cible, puis toute la scène, Displacement en haut
|
||||
const J_ORDER = ["Target issue", "Obstruction", "Thermal displacement", "No data", "Visibility", "Displacement"];
|
||||
const J_LOCAL = ["Obstruction", "Target issue"]; // une cible, pas la scène : seule sa courbe est coupée
|
||||
const jFam = e => e.category === "Displacement" ? "check" : e.category === "No data" ? "gap"
|
||||
: e.category === "Visibility" && !e.ignore ? "reduced" : e.ignore ? "ignore" : "normal";
|
||||
const MON = ["Jan", "Feb", "Mar", "Apr", "May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"];
|
||||
const jWhen = t => `${MON[+t.slice(5, 7) - 1]} ${+t.slice(8, 10)}, ${t.slice(11, 16)}`;
|
||||
const plotT = ms => new Date(ms).toISOString().slice(0, 19).replace("T", " "); // instant en ms -> date Plotly (UTC)
|
||||
@@ -958,11 +958,11 @@ const jEnd = e => Math.max(Date.parse(e.end), Date.parse(e.start) + 3600e3); //
|
||||
// vue support (point 23) : une ligne par détecteur sous « What happened » et le repli Details de chaque carte, avec les
|
||||
// épisodes d'origine ; la vue client reste celle du point 8 ; #support pour les captures
|
||||
let J_SUPPORT = ASKED.has("support");
|
||||
// frise dépliée (point 40) : une ligne par catégorie présente, dans l'ordre de J_ORDER (« Shift to check » en haut) ;
|
||||
// frise dépliée (point 40) : une ligne par catégorie présente, dans l'ordre de J_ORDER (Displacement en haut) ;
|
||||
// repliée, la ligne unique du point 8 ; #expand pour les captures
|
||||
let J_EXPAND = ASKED.has("expand");
|
||||
const J_DET = { visibilite: ["Visibility", "#1f77b4"], sauts: ["Jumps", "#d62728"], turbulence: ["Turbulence", "#ff7f0e"],
|
||||
thermique: ["Thermal", "#2ca02c"], trous: ["Missing data", "#7f7f7f"] };
|
||||
const J_DET = { Visibility: ["Visibility", "#1f77b4"], Obstruction: ["Obstruction", "#ff7f0e"], "Target issue": ["Target issue", "#9467bd"],
|
||||
Displacement: ["Displacement", "#d62728"], "Thermal displacement": ["Thermal displacement", "#2ca02c"], "No data": ["No data", "#7f7f7f"] };
|
||||
let J_UNIT = ASKED.get("unit") === "px" || !Object.keys(D.hourly.sensors).length ? "px" : "mm"; // px sans export horaire
|
||||
const J_PAL = PALETTE.filter(c => c !== "#7f7f7f"); // sans le gris, réservé à la brute à ignorer (point 25)
|
||||
const jColor = name => J_PAL[Math.max(0, S.findIndex(s => s.name === name)) % J_PAL.length]; // même couleur en mm et en px
|
||||
@@ -978,8 +978,8 @@ function drawJournal(range) {
|
||||
// doit ignorer n'écrase plus les autres courbes ; ils restent dessinés, hors cadre si besoin
|
||||
const step = J_UNIT === "mm" ? 3599e3 : 0; // en mm, une moyenne horaire couvre toute son heure (point 25)
|
||||
const inside = (e, t) => { const T = Date.parse(t); return T <= Date.parse(e.end) && T + step >= Date.parse(e.start); };
|
||||
const scene = J.filter(e => e.ignore && e.category !== "cible_masquee");
|
||||
const skip = s => { const h = J.filter(e => e.category === "cible_masquee" && e.sensors.includes(s.name));
|
||||
const scene = J.filter(e => e.ignore && !J_LOCAL.includes(e.category));
|
||||
const skip = s => { const h = J.filter(e => J_LOCAL.includes(e.category) && e.sensors.includes(s.name));
|
||||
return s.times.map(t => scene.some(e => inside(e, t)) || h.some(e => inside(e, t))); };
|
||||
// courbe nettoyée (point 25, option A) : la brute sans les points à ignorer, coupée là, rien d'interpolé ; la brute y
|
||||
// reste en gris fin, reliée aux points gardés de part et d'autre (sinon un point seul, un passage, ne se verrait pas) ;
|
||||
@@ -1000,7 +1000,7 @@ function drawJournal(range) {
|
||||
traces.push({ type: "bar", orientation: "h", yaxis: "y3", name: "events", showlegend: false,
|
||||
y: bars.map(e => J_EXPAND ? e.label : J_ROW), base: bars.map(e => e.start), x: bars.map(e => jEnd(e) - Date.parse(e.start)),
|
||||
marker: { color: bars.map(e => J_FAM[jFam(e)]), line: { color: "#fff", width: 1 } },
|
||||
width: bars.map(e => e.category === "derive_lente" && !J_EXPAND ? 0.2 : 0.75), // repliée, la dérive, longue, en trait fin sous les autres
|
||||
width: bars.map(e => e.episodes[0].label === "Slow drift" && !J_EXPAND ? 0.2 : 0.75), // repliée, la dérive, longue, en trait fin sous les autres
|
||||
text: bars.map(e => covered(e) ? "" : e.label), textposition: "inside", insidetextanchor: "middle",
|
||||
insidetextfont: { color: bars.map(e => jFam(e) === "gap" ? "#333" : "#fff") }, customdata: bars.map(e => J.indexOf(e)),
|
||||
hovertext: bars.map(e => `<b>${e.label}</b><br>${e.text}<br>Sensors: ${e.sensors.length ? e.sensors.join(", ") : "all"}`),
|
||||
@@ -1019,7 +1019,7 @@ function drawJournal(range) {
|
||||
const cats = J_EXPAND ? [...new Set(bars.map(e => e.label))].reverse() : [J_ROW];
|
||||
const rows = [...cats, ...kinds.map(row)];
|
||||
const C = 220, G = 24, F = 10 + 30 * rows.length, A = 2 * C + 2 * G + F; // hauteurs en px, A : zone tracée
|
||||
const grey = J.filter(e => (e.ignore || jFam(e) === "reduced") && e.category !== "cible_masquee").flatMap(e => ["y domain", "y2 domain"].map(yref => ({ type: "rect",
|
||||
const grey = J.filter(e => (e.ignore || jFam(e) === "reduced") && !J_LOCAL.includes(e.category)).flatMap(e => ["y domain", "y2 domain"].map(yref => ({ type: "rect",
|
||||
xref: "x", yref, x0: e.start, x1: plotT(jEnd(e)), y0: 0, y1: 1, fillcolor: "#888", opacity: e.ignore ? 0.25 : 0.1,
|
||||
line: { width: 0 }, layer: "below" }))); // grisé ; en léger retrait pour une visibilité réduite
|
||||
const end = Date.parse(D.times[D.times.length - 1]);
|
||||
|
||||
Reference in new issue
Block a user