Detectors read the camera pose and the station metrics when they declare them (D-134)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-11-05 10:43:35 +01:00
1 parent 0e09540707
commit eb61d12b82
13 files changed
+66 -20

No files matched your search

+1 -1
View File
@@ -30,7 +30,7 @@ Rien d'autre : ni la critique, ni les autres séances.
- en deçà, ce n'est pas un recul ; - en deçà, ce n'est pas un recul ;
- une hausse est un plus, jamais une exigence. - une hausse est un plus, jamais une exigence.
3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée. 3. **Le code reste simple** : la modification est à la mesure de ce qu'elle corrige (« Pourquoi »), et une règle retirée vaut mieux qu'une règle ajoutée.
4. **Les interdits** : un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins, et `kind` est la famille ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` (plus `temperature` ou `fin` si le détecteur les déclare, D-124) et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre). 4. **Les interdits** : un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins, et `kind` est la famille ; pas de règle propre à une station, à un capteur ou à une date (cherche dans le diff des noms ou des instants) ; contrat `detect(mesures)` (plus `temperature`, `camera`, `metriques` ou `fin` si le détecteur les déclare, D-124, D-134) et clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) inchangés ; bibliothèque standard ; registre des seuils à jour (`grep -nE "^[A-Z_0-9]+ = " detectors/*.py`, face au registre).
Tu ne modifies aucun fichier hors de ton rendu. Tu ne modifies aucun fichier hors de ton rendu.
+1 -1
View File
@@ -7,7 +7,7 @@ model: inherit
Tu es le detectors-critic de la boucle automatique : tu juges une famille des détecteurs du journal du matin face aux étiquettes, sur toutes les stations à la fois (D-132). L'`etiqueteur` a étiqueté chaque station en expert, avant la séance, dans `labeling/auto/<STATION>.jsonl` ; ses étiquettes sont la vérité (D-112). Tu compares ce que les détecteurs trouvent, événement par événement, sur les stations où la famille se trompe le plus, et tu dis ce qui est faux, où, et quel détecteur en est la cause. Ce qui revient sur plusieurs stations est ce qui compte. Tu es le detectors-critic de la boucle automatique : tu juges une famille des détecteurs du journal du matin face aux étiquettes, sur toutes les stations à la fois (D-132). L'`etiqueteur` a étiqueté chaque station en expert, avant la séance, dans `labeling/auto/<STATION>.jsonl` ; ses étiquettes sont la vérité (D-112). Tu compares ce que les détecteurs trouvent, événement par événement, sur les stations où la famille se trompe le plus, et tu dis ce qui est faux, où, et quel détecteur en est la cause. Ce qui revient sur plusieurs stations est ce qui compte.
**Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui ne voit que les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value` et les autres colonnes des exports « advanced » ; et, s'il la déclare, `temperature`, la température de la station : `[(t, °C)]`, la médiane horaire des `sensor_*_deg_c`, D-124 ; ni images, ni autres métriques système). Puis le `detectors-control` jugera sa modification sur toutes les stations de `labeling/auto/` et toutes les familles : un gain qui fait reculer une station, ou une autre famille, est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, si possible sur plusieurs stations, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur. **Après toi, le detectors-upgrader essaiera de mettre en œuvre chacune de tes suggestions** dans `detectors/`, par une règle générale et simple, qui voit les mesures de déplacement (`detect(mesures)` : par capteur, `corr_x`, `corr_y`, `error_value`, `reproj_err`, `sigma0` et les métriques de qualité d'image `peak` à `snr`, quand l'export les a) et ce qu'il déclare en plus (D-124, D-134) : `temperature`, `[(t, °C)]`, la médiane horaire des températures des composants ; `camera`, la pose de la caméra, `[{t, pan, tilt, rotation, scale, sigma0}]` ; `metriques`, `{nom: [(t, valeur)]}`, toutes les métriques numériques de la station (`sensor_CPU_deg_c`, `sensor_GPU_deg_c`, `BusVoltage`, `rsrp_dBm`…) ; pas les images. Une cause que la pose de la caméra ou une métrique montre (la caméra qui s'incline, une température qui chute) se suggère : le détecteur peut la lire. Puis le `detectors-control` jugera sa modification sur toutes les stations de `labeling/auto/` et toutes les familles : un gain qui fait reculer une station, ou une autre famille, est refusé. Une suggestion irréaliste lui coûte un passage pour rien. Tes suggestions sont donc réfléchies et faisables : un défaut qui revient, si possible sur plusieurs stations, pas un cas isolé ; une forme qu'on peut reconnaître dans ces mesures ; une règle générale qui ne contredit pas les frontières de `familles.md`. Ce que les détecteurs ne peuvent pas voir avec ces mesures (une cause que seule l'image révèle) n'est pas une suggestion : tu le dis dans « Limites », pour l'utilisateur.
**Tu ne regardes pas les données** (D-090) : tu dis quoi et où. Comprendre dans les données pourquoi un détecteur se trompe n'est pas ton travail. **Tu ne regardes pas les données** (D-090) : tu dis quoi et où. Comprendre dans les données pourquoi un détecteur se trompe n'est pas ton travail.
+1 -1
View File
@@ -39,7 +39,7 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
**Interdits.** **Interdits.**
- Un détecteur par famille de `labeling/familles.md` (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins ; le `kind` d'un épisode est sa famille, la catégorie de son événement. S'aligner sur les étiquettes, c'est mettre un épisode dans la famille de l'étiquette : une règle du détecteur de cette famille. Une suggestion qui demande une famille nouvelle va dans « Pas corrigé ». - Un détecteur par famille de `labeling/familles.md` (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, ni plus ni moins ; le `kind` d'un épisode est sa famille, la catégorie de son événement. S'aligner sur les étiquettes, c'est mettre un épisode dans la famille de l'étiquette : une règle du détecteur de cette famille. Une suggestion qui demande une famille nouvelle va dans « Pas corrigé ».
- Pas de règle propre à une station, à un capteur ou à une date : une règle générale, valable sur toute station. - Pas de règle propre à une station, à un capteur ou à une date : une règle générale, valable sur toute station.
- Le contrat `detect(mesures)` (un détecteur qui en a besoin déclare en plus `temperature`, la température de la station : `[(t, °C)]`, la médiane horaire des `sensor_*_deg_c`, D-124 ; `fin` pour `no_data.py`) et les clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) ne changent pas. - Le contrat `detect(mesures)` (un détecteur qui en a besoin reçoit ce qu'il déclare en plus (D-124, D-134) : `temperature`, `[(t, °C)]`, la médiane horaire des températures des composants ; `camera`, la pose de la caméra, `[{t, pan, tilt, rotation, scale, sigma0}]` ; `metriques`, `{nom: [(t, valeur)]}`, toutes les métriques numériques de la station (`sensor_CPU_deg_c`, `sensor_GPU_deg_c`, `BusVoltage`, `rsrp_dBm`…) ; `fin` pour `no_data.py` ; une station peut n'avoir ni pose, ni métrique, ni qualité d'image : la règle tient alors sans elles) et les clés des épisodes (`start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`) ne changent pas.
- Bibliothèque standard seulement. - Bibliothèque standard seulement.
**Dans le même changement** : une constante ajoutée ou changée met à jour sa ligne du registre des seuils (« Réglée sur » : la séance qui l'a demandé) et la docstring du détecteur ; une constante ou un détecteur retiré retire sa ligne du registre. Contrôle : `grep -nE "^[A-Z_0-9]+ = " detectors/*.py`. **Dans le même changement** : une constante ajoutée ou changée met à jour sa ligne du registre des seuils (« Réglée sur » : la séance qui l'a demandé) et la docstring du détecteur ; une constante ou un détecteur retiré retire sa ligne du registre. Contrôle : `grep -nE "^[A-Z_0-9]+ = " detectors/*.py`.
+1 -1
View File
@@ -23,5 +23,5 @@ lot = {s: k for s, ms in mesures.items() if (k := [m for m in ms if debut - time
ts = sorted({m["t"] for ms in lot.values() for m in ms if m["t"] >= debut}) ts = sorted({m["t"] for ms in lot.values() for m in ms if m["t"] >= debut})
pas = [(b - a).total_seconds() / 60 for a, b in zip(ts, ts[1:])] pas = [(b - a).total_seconds() / 60 for a, b in zip(ts, ts[1:])]
print(f"cadence : {statistics.median(pas):.0f} min (médiane des pas entre mesures)" if pas else "cadence : pas de mesure") print(f"cadence : {statistics.median(pas):.0f} min (médiane des pas entre mesures)" if pas else "cadence : pas de mesure")
for v in (v for v in categories.evenements(lot, fin, categories.charger_temperature(a.dossier)) if v["end"] >= categories.iso(debut)) if lot else []: for v in (v for v in categories.evenements(lot, fin, a.dossier) if v["end"] >= categories.iso(debut)) if lot else []:
print(v["start"], "→", v["end"], f"{v['category']:<20}", "|", ", ".join(sorted(v["sensors"])) or "tous les capteurs") print(v["start"], "→", v["end"], f"{v['category']:<20}", "|", ", ".join(sorted(v["sensors"])) or "tous les capteurs")
+4 -4
View File
@@ -31,7 +31,7 @@ RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", ".
sys.path.insert(0, os.path.join(RACINE, "detectors")) sys.path.insert(0, os.path.join(RACINE, "detectors"))
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "analyser-lot")) sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "analyser-lot"))
import categories # noqa: E402 (il met lui-même agent-tools sur le chemin) import categories # noqa: E402 (il met lui-même agent-tools sur le chemin)
from donnees import charger, charger_temperature, instant, iso # noqa: E402 from donnees import charger, instant, iso # noqa: E402
from etiquettes import defauts, vocabulaire # noqa: E402 from etiquettes import defauts, vocabulaire # noqa: E402
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056) HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
@@ -61,11 +61,11 @@ def marquer(cs, spans):
return out return out
def evenements(mesures, debut, fin, temperature=None): def evenements(mesures, debut, fin, dossier=None):
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique (comme la commande du lot).""" """Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique (comme la commande du lot)."""
h, b = instant(debut) - HISTORIQUE, instant(fin) h, b = instant(debut) - HISTORIQUE, instant(fin)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])} tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
return [v for v in (categories.evenements(tranche, temperature=temperature) if tranche else []) if v["end"] >= debut] return [v for v in (categories.evenements(tranche, dossier=dossier) if tranche else []) if v["end"] >= debut]
def detectes(mesures, debut, fin): def detectes(mesures, debut, fin):
@@ -118,7 +118,7 @@ def familles_lot(dossier, debut, fin, etiq=None):
mesures = charger(dossier) mesures = charger(dossier)
if etiq is None: if etiq is None:
etiq = etiquettes_auto(os.path.basename(os.path.normpath(dossier)), debut, fin) etiq = etiquettes_auto(os.path.basename(os.path.normpath(dossier)), debut, fin)
evts = evenements(mesures, debut, fin, charger_temperature(dossier)) evts = evenements(mesures, debut, fin, dossier)
instants = sorted({t for _, t in cases(mesures, debut, fin)}) instants = sorted({t for _, t in cases(mesures, debut, fin)})
# bornes exclues : elles sont la mesure saine d'avant et d'après (D-111) ; un trou, sans mesure dedans, les garde # bornes exclues : elles sont la mesure saine d'avant et d'après (D-111) ; un trou, sans mesure dedans, les garde
vides = {i for i, e in enumerate(etiq) if not any(e["debut"] < t < e["fin"] for t in instants)} vides = {i for i, e in enumerate(etiq) if not any(e["debut"] < t < e["fin"] for t in instants)}
+1 -1
View File
@@ -104,7 +104,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
### Déplacements ### Déplacements
- `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069). - `vues-deplacements/` : le chantier des déplacements (D-052), avec sa propre carte, `vues-deplacements/CLAUDE.md` : `maquette/` (page Explore et `spec.md`, D-053 à D-056), `contexte/` (journal du matin, seuils, lissage, `events-learner`, aiguisage, retiré), `cas/` (NORDEND, parcours de l'utilisateur), `benchmark/historique.csv` (D-069).
- `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, contrat `detect(mesures)` (plus, s'il la déclare, la température de la station, D-124), classés en événements par `categories.py`, la famille pour catégorie ; `archive/` : versions écartées. - `detectors/` : les détecteurs du journal (D-067, D-068, D-084), un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py`, contrat `detect(mesures)` (plus, s'il les déclare, la température, la pose de la caméra et les métriques de la station, D-124, D-134), classés en événements par `categories.py`, la famille pour catégorie ; `archive/` : versions écartées.
- `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, étiquettes de `labeling/` (auto, sinon manual) en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`), par `/review-event` et par `compare.py` : les étiquettes face aux détecteurs, ligne par famille, et le score, sous le data loader (port 8769). - `detectors-view/` : le développement de la page des détecteurs (D-093), `detecteurs.py` : images, courbes, Status, catégories, Error rate ; `run-detectors.sh` : la page sur chaque station de `data/` ; `status.py` : la page Status, version pseudo finale de la page Explore du site : corr_x, corr_y, mouvement de la caméra, étiquettes de `labeling/` (auto, sinon manual) en plages colorées et en étiquettes cliquables au-dessus (sélection : ses capteurs, ses détails et son timelapse sous la figure, sans zoom) (D-094) ; en haut, le data loader `data-loader/chargeur.py` (station, dates, « Analyse » ; son serveur, port 8766) ; la page des détecteurs est reprise par la page de fin de séance de `/events-learner` (`comparaison.py`), par `/review-event` et par `compare.py` : les étiquettes face aux détecteurs, ligne par famille, et le score, sous le data loader (port 8769).
- `labeling/` : **toute la connaissance métier du labeling** (D-130) : `regles-d-etiquetage.md` (comment poser une étiquette), `familles.md`, `carte-des-etiquettes.md`, `connaissances/` (chaîne de mesure, colonnes des déplacements, trous, images de la caméra, cycle thermique, métriques de qualité, cas annotés, incident de Barcelone) ; `controle.py` (les étiquettes automatiques face aux règles) ; `ids.py` (l'id stable de chacune, D-131) ; `auto/revue-croisee/<date>/` (`/cross-review-labels`). Et l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107), relues seulement (D-130) ; dans `auto/etiqueteur/<STATION>_<début du lot>/` ses étiquettes avant revue (`etiquettes.jsonl`), son analyse et ses scripts, versionnés, ses figures hors de git (D-126) ; `auto/revue/<STATION>_<début>/` : leur revue par l'analyste, `/review-auto-labels` (D-128) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène. - `labeling/` : **toute la connaissance métier du labeling** (D-130) : `regles-d-etiquetage.md` (comment poser une étiquette), `familles.md`, `carte-des-etiquettes.md`, `connaissances/` (chaîne de mesure, colonnes des déplacements, trous, images de la caméra, cycle thermique, métriques de qualité, cas annotés, incident de Barcelone) ; `controle.py` (les étiquettes automatiques face aux règles) ; `ids.py` (l'id stable de chacune, D-131) ; `auto/revue-croisee/<date>/` (`/cross-review-labels`). Et l'outil d'étiquetage de l'expert (D-098), `labeling.py` : un plot à la fois (déplacements, métriques système), une barre de temps pour sélectionner une plage, du texte libre et, au choix, une famille (D-109) ; Add écrit une ligne dans `manual/<STATION>.jsonl`, versionné ; un clic sur une étiquette la lit, la modifie ou la retire ; `familles.md` : les familles des étiquettes, leurs frontières (D-109) ; `carte-des-etiquettes.md` : les étiquettes revues rangées par phénomène, pour l'analyste, refaite par `/labels-map` (D-104) ; `manual/` : les étiquettes faites à la main, revues avec l'utilisateur par `/review-labels`, dont celles des events validés (D-100) ; `auto/` : celles de l'`etiqueteur` (D-105 à D-107), relues seulement (D-130) ; dans `auto/etiqueteur/<STATION>_<début du lot>/` ses étiquettes avant revue (`etiquettes.jsonl`), son analyse et ses scripts, versionnés, ses figures hors de git (D-126) ; `auto/revue/<STATION>_<début>/` : leur revue par l'analyste, `/review-auto-labels` (D-128) ; `lecons/` : les leçons de `/labels-learner` (D-099), une par phénomène.
- `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références). - `view/` : `view.py`, les images IRON d'une station sous le data loader de la page Status (glisseur, flèches ; molette pour zoomer, glisser pour se déplacer ; case Labels : le nom des cibles et des références).
+26
View File
@@ -97,6 +97,32 @@ def charger_camera(dossier):
return [par[t] for t in sorted(par)] return [par[t] for t in sorted(par)]
IDENTIFIANTS = re.compile(r"^(SIM_CCID|ip(_.*)?)$") # identifiants de la station : jamais lus
METRIQUE_RE = re.compile(r"^(.+?)_\d{4}_\d{2}_\d{2}_")
def charger_metriques(dossier):
"""Métriques de la station (metrics/, un CSV par métrique et par jour) -> {nom: [(t, valeur)]} triées : les
valeurs numériques seulement (BusVoltage, sensor_CPU_deg_c, rsrp_dBm…) ; les métriques texte (link, mode…) et les
identifiants (SIM_CCID, ip*) ne sont pas lus. Nom : celui du fichier, sans la station ni la date."""
# ponytail: les métriques texte sont sautées ; les lire (link up/down) quand un détecteur en a besoin
station, par = os.path.basename(os.path.normpath(dossier)) + "_", {}
for chemin in glob.glob(os.path.join(dossier, "metrics", "*.csv")):
if not (m := METRIQUE_RE.match(os.path.basename(chemin))):
continue
nom = m.group(1).removeprefix(station)
if IDENTIFIANTS.match(nom):
continue
with open(chemin, newline="") as f:
for r in csv.DictReader(f):
try:
v = float((r.get("metric") or "").strip("[]'\" ")) # certaines métriques arrivent en liste : ['-95']
except ValueError:
continue
par.setdefault(nom, {})[instant(r["time_utc"])] = v
return {n: sorted(d.items()) for n, d in sorted(par.items())}
def est_reference(mesures): def est_reference(mesures):
"""Référence du réseau de compensation (pattern_type global_ref), sinon cible. Certains exports ont pattern_type vide, """Référence du réseau de compensation (pattern_type global_ref), sinon cible. Certains exports ont pattern_type vide,
sur toute la période ou au début : on lit alors le premier pattern_type rempli et, s'il n'y en a aucun, reproj_err sur toute la période ou au début : on lit alors le premier pattern_type rempli et, s'il n'y en a aucun, reproj_err
+1 -1
View File
@@ -44,7 +44,7 @@ def page(dossier, du=None, au=None):
lignes = score.familles() lignes = score.familles()
det = [(v["start"], v["end"], lignes.get(v["category"], v["category"]), det = [(v["start"], v["end"], lignes.get(v["category"], v["category"]),
survol(v["label"], v["start"], v["end"], v["sensors"], v["text"])) survol(v["label"], v["start"], v["end"], v["sensors"], v["text"]))
for v in score.evenements(mesures, debut, fin, score.charger_temperature(dossier))] for v in score.evenements(mesures, debut, fin, dossier)]
base = [*dict.fromkeys(lignes.values())] base = [*dict.fromkeys(lignes.values())]
presentes = {s[2] for s in etiq + det} presentes = {s[2] for s in etiq + det}
ordre = [*base, *sorted(presentes - set(base) - {HORS}), *[HORS] * (HORS in presentes)] ordre = [*base, *sorted(presentes - set(base) - {HORS}), *[HORS] * (HORS in presentes)]
+1 -1
View File
@@ -457,7 +457,7 @@ def page(dossier, du=None, au=None, entete="", annexe="", chemin=None, analyste=
pas = statistics.median(y - x for x, y in zip(temps, temps[1:])) pas = statistics.median(y - x for x, y in zip(temps, temps[1:]))
refs = references(mesures, a, b) refs = references(mesures, a, b)
evts = score.evenements(mesures, score.iso(a), score.iso(b), score.charger_temperature(dossier)) evts = score.evenements(mesures, score.iso(a), score.iso(b), dossier)
spans = [(v["start"], v["end"], (lignes or {}).get(v["category"], v["category"]), spans = [(v["start"], v["end"], (lignes or {}).get(v["category"], v["category"]),
survol(v["label"], v["start"], v["end"], v["sensors"], v["text"])) for v in evts] survol(v["label"], v["start"], v["end"], v["sensors"], v["text"])) for v in evts]
hors = HORS hors = HORS
+20 -7
View File
@@ -21,6 +21,7 @@ Usage : python3 detectors/categories.py <dossier de station> (une ligne par é
de N jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements qui touchent de N jours classée seule, avec les jours d'historique d'avant s'ils existent ; seuls les événements qui touchent
la tranche sont montrés ; « rien » pour une tranche calme) la tranche sont montrés ; « rien » pour une tranche calme)
""" """
import functools
import importlib.util import importlib.util
import inspect import inspect
import os import os
@@ -29,7 +30,17 @@ from datetime import datetime, timedelta, timezone
from pathlib import Path from pathlib import Path
sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools")) sys.path.insert(0, os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "agent-tools"))
from donnees import charger, charger_temperature, iso # noqa: E402 from donnees import charger, charger_camera, charger_metriques, charger_temperature, iso # noqa: E402
# Ce qu'un détecteur peut lire de la station en plus des mesures, s'il le déclare dans detect (D-124, D-134) :
# temperature [(t, °C)], médiane horaire des composants ; camera [pose] (pan, tilt, rotation, scale, sigma0) ;
# metriques {nom: [(t, valeur)]}, toutes les métriques numériques (sensor_CPU_deg_c, sensor_GPU_deg_c, BusVoltage…).
CONTEXTE = {"temperature": charger_temperature, "camera": charger_camera, "metriques": charger_metriques}
@functools.lru_cache(maxsize=None)
def _contexte(dossier, cle):
return CONTEXTE[cle](dossier)
# Les familles de labeling/familles.md, dans l'ordre des lignes de la frise ; ignore : zone grisée (None : comme le # Les familles de labeling/familles.md, dans l'ordre des lignes de la frise ; ignore : zone grisée (None : comme le
# disent ses épisodes : une perte de visibilité totale, une turbulence forte) ; process : bouton Images, rien, ou Images # disent ses épisodes : une perte de visibilité totale, une turbulence forte) ; process : bouton Images, rien, ou Images
@@ -174,15 +185,17 @@ def classer(episodes, references=frozenset()):
return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"]) return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"])
def evenements(mesures, fin=None, temperature=None): def evenements(mesures, fin=None, dossier=None):
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal. Un détecteur """Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal. Un détecteur
reçoit en plus ce que sa fonction detect déclare : fin, la fin de la fenêtre lue (tri en lot), pour un trou qui la reçoit en plus ce que sa fonction detect déclare : fin, la fin de la fenêtre lue (tri en lot), pour un trou qui la
touche ; temperature, celle de la station (donnees.charger_temperature, D-124).""" touche ; une clé de CONTEXTE, lue dans le dossier de la station (une fois par dossier), vide sans dossier."""
episodes = [] episodes = []
for mod in detecteurs(): for mod in detecteurs():
try: try:
kw = {k: v for k, v in (("fin", fin), ("temperature", temperature or [])) params = inspect.signature(mod.detect).parameters
if k in inspect.signature(mod.detect).parameters} kw = {k: _contexte(dossier, k) if dossier else {} if k == "metriques" else [] for k in CONTEXTE if k in params}
if "fin" in params:
kw["fin"] = fin
episodes += mod.detect(mesures, **kw) episodes += mod.detect(mesures, **kw)
except Exception as e: # noqa: BLE001 except Exception as e: # noqa: BLE001
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr) print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
@@ -201,7 +214,7 @@ if __name__ == "__main__":
# d'historique par défaut, dans la boucle comme dans la vraie application # d'historique par défaut, dans la boucle comme dans la vraie application
p.add_argument("--historique", type=int, default=3, help="jours de mesures d'avant donnés aux détecteurs (défaut 3)") p.add_argument("--historique", type=int, default=3, help="jours de mesures d'avant donnés aux détecteurs (défaut 3)")
a = p.parse_args() a = p.parse_args()
mesures, temperature = charger(a.dossier), charger_temperature(a.dossier) mesures = charger(a.dossier)
ts = [m["t"] for ms in mesures.values() for m in ms] ts = [m["t"] for ms in mesures.values() for m in ms]
jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731 jour = lambda d: datetime.strptime(d[:10], "%Y-%m-%d").replace(tzinfo=timezone.utc) # noqa: E731
debut = jour(a.du) if a.du else min(ts).replace(hour=0, minute=0, second=0, microsecond=0) debut = jour(a.du) if a.du else min(ts).replace(hour=0, minute=0, second=0, microsecond=0)
@@ -211,7 +224,7 @@ if __name__ == "__main__":
b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin
h = t - timedelta(days=a.historique) h = t - timedelta(days=a.historique)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])} tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
evs = [v for v in evenements(tranche, b, temperature) if v["end"] >= iso(t)] if tranche else [] evs = [v for v in evenements(tranche, b, a.dossier) if v["end"] >= iso(t)] if tranche else []
if a.tranche: if a.tranche:
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}") print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
for v in evs: for v in evs:
+7
View File
@@ -1229,3 +1229,10 @@ Règles du journal :
- **Pourquoi** : les trois séances par station du 2026-11-03 ont toutes buté sur des étiquettes contradictoires d'une station à l'autre (MICHIGAN, NEBRASKA et BREITHORN), qu'une séance sur une seule station découvre au contrôle seulement. Un détecteur par famille (D-119), et la revue croisée des étiquettes par famille (D-130) : le même découpage. Proposé par Claude, choisi par l'utilisateur. - **Pourquoi** : les trois séances par station du 2026-11-03 ont toutes buté sur des étiquettes contradictoires d'une station à l'autre (MICHIGAN, NEBRASKA et BREITHORN), qu'une séance sur une seule station découvre au contrôle seulement. Un détecteur par famille (D-119), et la revue croisée des étiquettes par famille (D-130) : le même découpage. Proposé par Claude, choisi par l'utilisateur.
- **Options écartées** : garder une séance par station (11 séances, contradictions vues trop tard) ; mettre de côté des stations que le critique et l'upgrader ne voient pas, pour le contrôle (moins de vérité pour aligner ; le contrôle garde les interdits, dont aucune règle propre à une station). - **Options écartées** : garder une séance par station (11 séances, contradictions vues trop tard) ; mettre de côté des stations que le critique et l'upgrader ne voient pas, pour le contrôle (moins de vérité pour aligner ; le contrôle garde les interdits, dont aucune règle propre à une station).
- **Conséquence** : `.claude/skills/detector-learner/SKILL.md` et les trois agents des détecteurs réécrits ; `comparaison.py` n'est plus appelé par la séance (gardé, `run.md`). Ordre prévu des séances : Displacement, Obstruction, Thermal displacement, Visibility, Target issue, No data (point 77 du plan vivant). - **Conséquence** : `.claude/skills/detector-learner/SKILL.md` et les trois agents des détecteurs réécrits ; `comparaison.py` n'est plus appelé par la séance (gardé, `run.md`). Ordre prévu des séances : Displacement, Obstruction, Thermal displacement, Visibility, Target issue, No data (point 77 du plan vivant).
## D-134 — 2026-11-05 — Les détecteurs lisent la pose de la caméra et les métriques de la station
- **Statut** : active. Complète D-124.
- **Décision** : un détecteur reçoit, en plus des mesures, ce que sa fonction `detect` déclare (`categories.CONTEXTE`), lu une fois par dossier de station : `temperature` (D-124) ; `camera`, la pose de la caméra (`camera/` : pan, tilt, rotation, scale, sigma0, `donnees.charger_camera`) ; `metriques`, toutes les métriques numériques de `metrics/` par leur nom (`donnees.charger_metriques` : températures des composants, dont CPU et GPU, énergie, liaison, stockage), sans les métriques texte ni les identifiants (`SIM_CCID`, `ip*`). L'erreur de reprojection (`reproj_err`, `sigma0`) et les métriques de qualité d'image (`peak` à `snr`) sont déjà dans les mesures de chaque capteur. `categories.evenements` prend le dossier de station au lieu de la température ; les agents des détecteurs le savent (le critique peut suggérer une règle sur la pose ou une métrique).
- **Pourquoi** : l'utilisateur (2026-11-05) : les détecteurs doivent regarder les mouvements de la caméra et s'appuyer sur une multitude de données, la température (CPU ou GPU), l'erreur de reprojection et les métriques de qualité. Les dérives de NEBRASKA, MICHIGAN et BREITHORN suivent la pose de la caméra (rapports du support du 2026-11-02) ; les détecteurs n'en voyaient que la courbe. Point 78 du plan vivant ; préalable du support par l'API (D-133).
- **Options écartées** : un argument par métrique (le dictionnaire suffit) ; les métriques texte (`link`, `mode`), tant qu'aucun détecteur n'en a besoin.
- **Conséquence** : aucun détecteur ne lit encore la pose ni les métriques : le benchmark est inchangé ; la prochaine séance `/detector-learner Displacement` peut s'en servir. Une station sans `camera/` ni `metrics/` (SNCF01, SUSTENHORN : pas de température des composants) reçoit des listes vides. Les qualités d'image ne sont remplies que sur LENZSPITZE ; `reproj_err` et `sigma0` sur CLARIDEN, NORDEND et LENZSPITZE.
+1 -1
View File
@@ -20,7 +20,7 @@ Le code et les maquettes du chantier vivent dans `maquette/` (D-053, D-054) : `e
Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui comptent, sans toucher aux données : les sauts (décalage soudain qui dure) et les tendances (hausse ou baisse lente), ce que regarde le client ; onglet `Displacements` de la maquette ; idée, méthode, résultats et pistes dans `contexte/detection-d-anomalies.md`, savoir métier dans `docs/displacement/domaine/ce-que-regarde-le-client.md`. Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui comptent, sans toucher aux données : les sauts (décalage soudain qui dure) et les tendances (hausse ou baisse lente), ce que regarde le client ; onglet `Displacements` de la maquette ; idée, méthode, résultats et pistes dans `contexte/detection-d-anomalies.md`, savoir métier dans `docs/displacement/domaine/ce-que-regarde-le-client.md`.
Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; dans `detectors/`, un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py` (`detect(mesures)`, plus la température de la station s'il la déclare (D-124), -> épisodes `start`, `end`, `kind` (la famille), `label` (la sorte), `text`, `ignore`, `sensors`), chargés et classés en événements, la famille pour catégorie, par `detectors/categories.py` (`python3 detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`. Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; dans `detectors/`, un détecteur par famille (D-119) : `visibility.py`, `obstruction.py`, `target_issue.py`, `thermal_displacement.py`, `no_data.py`, `displacement.py` (`detect(mesures)`, plus, s'il les déclare, la température, la pose de la caméra et les métriques de la station (D-124, D-134), -> épisodes `start`, `end`, `kind` (la famille), `label` (la sorte), `text`, `ignore`, `sensors`), chargés et classés en événements, la famille pour catégorie, par `detectors/categories.py` (`python3 detectors/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`.
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/events-learner <dossier de station> [--du … --au …]` fait analyser chaque lot par un analyste (qui peut écrire ses propres scripts et dit les outils dont il s'est servi), améliorer les outils de lecture (`agent-tools/`) d'après eux par un tool-builder, qui optimise ou ajoute sans rien retirer (D-097), juger les détecteurs du journal face à son analyse par un detectors-critic (D-090), les fait corriger par un detectors-upgrader, contrôlé sur la base d'events par un detectors-control (D-089), et fait décider par un event-builder ce que le lot apprend de nouveau à la base d'events (D-091) ; une séance commitée directement sur `master` (D-070), ses rendus dans `events-learner/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/events-learner_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/events-learner/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/events-learner.md`. Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/events-learner <dossier de station> [--du … --au …]` fait analyser chaque lot par un analyste (qui peut écrire ses propres scripts et dit les outils dont il s'est servi), améliorer les outils de lecture (`agent-tools/`) d'après eux par un tool-builder, qui optimise ou ajoute sans rien retirer (D-097), juger les détecteurs du journal face à son analyse par un detectors-critic (D-090), les fait corriger par un detectors-upgrader, contrôlé sur la base d'events par un detectors-control (D-089), et fait décider par un event-builder ce que le lot apprend de nouveau à la base d'events (D-091) ; une séance commitée directement sur `master` (D-070), ses rendus dans `events-learner/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; en fin de séance, la page `out/events-learner_<séance>.html` montre l'analyste face aux détecteurs (D-066) ; à chaque lot et après chaque modification, le benchmark des détecteurs sur la base d'events (`.claude/skills/events-learner/benchmark.py`, historique dans `benchmark/historique.csv`, D-069) ; avec `--ameliorer`, l'améliorateur corrige ensuite le skill et ses agents d'après les relevés du releveur (D-071) ; spec `contexte/events-learner.md`.
+1 -1
View File
@@ -207,7 +207,7 @@ def build(folder):
plateforme = Path(folder).resolve().parent / "plateforme" plateforme = Path(folder).resolve().parent / "plateforme"
captures = {tab: [url(p) for n in prefixes for p in sorted(plateforme.glob(f"{n}_*"))[:1]] captures = {tab: [url(p) for n in prefixes for p in sorted(plateforme.glob(f"{n}_*"))[:1]]
for tab, prefixes in CAPTURES.items()} for tab, prefixes in CAPTURES.items()}
journal = categories.evenements(mesures, temperature=donnees.charger_temperature(str(folder))) journal = categories.evenements(mesures, dossier=str(folder))
for e in journal: # un trou de mesures : des images pendant disent que la caméra tournait (point 15 du plan) for e in journal: # un trou de mesures : des images pendant disent que la caméra tournait (point 15 du plan)
if e["category"] == "No data": if e["category"] == "No data":
n = sum(e["start"] < im["t"] < e["end"] for im in images) n = sum(e["start"] < im["t"] < e["end"] for im in images)