From 02ed7a4a60f1fac7f15a73d014a912aaff2c9bec Mon Sep 17 00:00:00 2001 From: maxime Date: Sun, 25 Oct 2026 09:39:34 +0100 Subject: [PATCH] Record the analyst's labels at every loop batch (D-061, point 44) Each batch now leaves etiquettes.json next to the critique: the analyst's own reading, written before the detectors' output, one entry per moment, checked by critiquer-lot/etiquettes.py against the event map and the station's sensors. Groundwork for a future learned model. Co-Authored-By: Claude Opus 5.5 --- .claude/skills/boucle/SKILL.md | 9 +- .claude/skills/critiquer-lot/SKILL.md | 26 +++- .claude/skills/critiquer-lot/etiquettes.py | 123 ++++++++++++++++++ CLAUDE.md | 4 +- docs/agents/pipelines-ia.drawio | 2 +- docs/decisions.md | 10 ++ .../plans/2026-10-23-journal-du-matin.md | 36 ++++- vues-deplacements/CLAUDE.md | 2 +- .../contexte/boucle-automatique.md | 4 +- .../contexte/journal-du-matin.md | 4 + 10 files changed, 206 insertions(+), 14 deletions(-) create mode 100644 .claude/skills/critiquer-lot/etiquettes.py diff --git a/.claude/skills/boucle/SKILL.md b/.claude/skills/boucle/SKILL.md index e76d3a4..a62fcef 100644 --- a/.claude/skills/boucle/SKILL.md +++ b/.claude/skills/boucle/SKILL.md @@ -28,6 +28,7 @@ Tu es l'orchestrateur. Tu découpes la plage en lots, tu appelles les quatre age Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demande ci-dessous, rien d'autre. Un verdict se lit par `grep '^\*\*Verdict\*\* :' `. Chaque commit se fait par chemin, `git add && git commit -m "" -- `, et son message se termine par une ligne vide puis `Co-Authored-By: Claude Opus 5.5 `. 1. **Analyste** (`analyste`) : `Dossier : . Lot NN : → (UTC). Commande du lot : . Écris /critique.md.` + `python3 .claude/skills/critiquer-lot/etiquettes.py /etiquettes.json` : sa dernière ligne va au bilan (colonne Étiquettes : « n moments », « absentes » ou « n défauts ») ; tu ne corriges rien et ne relances pas l'analyste pour elles (D-061). Commit `/`, message `Loop lot NN: critique ()`. 2. Verdict `d'accord` : va à l'étape 5. 3. **Upgrader** (`upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`. @@ -56,9 +57,9 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou Branche : boucle/_ -| Lot | Dates (UTC) | Analyste | Modification | Cas créés | -|---|---|---|---|---| -| 01 | … → … | d'accord / suggestions (n) | aucune / gardée (K passages) / annulée / erreur | C-xxx / aucun | +| Lot | Dates (UTC) | Analyste | Étiquettes | Modification | Cas créés | +|---|---|---|---|---|---| +| 01 | … → … | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | C-xxx / aucun | ## Suggestions non traitées <« Pas corrigé » des modifications ; suggestions d'un lot sans modification gardée> @@ -79,4 +80,4 @@ Si `git status --short docs/ameliorations-processus.md` montre un changement : c ## 7. Réponse finale -En 5 lignes au plus : la branche, le chemin du bilan, le nombre de modifications gardées et de cas créés, les erreurs, les difficultés relevées. Reste sur la branche : l'utilisateur la fusionne, en garde une partie ou revient en arrière. +En 6 lignes au plus : la branche, le chemin du bilan, le nombre de modifications gardées et de cas créés, le nombre d'étiquettes (`/lot-*/etiquettes.json`, à garder même si l'utilisateur annule des modifications : elles ne dépendent pas des détecteurs), les erreurs, les difficultés relevées. Reste sur la branche : l'utilisateur la fusionne, en garde une partie ou revient en arrière. diff --git a/.claude/skills/critiquer-lot/SKILL.md b/.claude/skills/critiquer-lot/SKILL.md index 87b0982..51dfb3f 100644 --- a/.claude/skills/critiquer-lot/SKILL.md +++ b/.claude/skills/critiquer-lot/SKILL.md @@ -24,13 +24,13 @@ Rien d'autre : ni `CLAUDE.md`, ni `docs/decisions.md`, ni les plans, ni rien dan ## Tes outils -Ceux de `lire-les-donnees`, avec `--debut` et `--fin` du lot et `--sortie ` pour tes figures. Bash sert aussi à lancer la commande du lot. N'écris aucun autre script. +Ceux de `lire-les-donnees`, avec `--debut` et `--fin` du lot et `--sortie ` pour tes figures. Bash sert aussi à lancer la commande du lot et le contrôle de tes étiquettes, `python3 .claude/skills/critiquer-lot/etiquettes.py /etiquettes.json`. N'écris aucun autre script. ## Déroulé -1. **Ta lecture, sans les détecteurs.** Lis le lot comme le dit `lire-les-donnees`. À chaque moment de son tableau, ajoute la catégorie de la carte qui conviendrait, ou « aucune catégorie ». **Écris cette partie dans ton fichier avant l'étape 2.** +1. **Ta lecture, sans les détecteurs.** Lis le lot comme le dit `lire-les-donnees`. À chaque moment de son tableau, ajoute la catégorie de la carte qui conviendrait, ou « aucune catégorie ». **Écris cette partie dans ton fichier avant l'étape 2**, puis tes **étiquettes** (ci-dessous) : une par ligne du tableau, dans le même ordre ; lance leur contrôle et corrige jusqu'à « bon ». 2. **Les détecteurs.** Lance la commande du lot telle qu'elle est donnée ; colle sa sortie. -3. **Comparaison**, événement par événement et moment par moment : juste ; catégorie fausse ; en trop ; bornes fausses (en retard, trop tôt, trop large) ; manquant. Une ligne chacun, avec pourquoi. +3. **Comparaison**, événement par événement et moment par moment : juste ; catégorie fausse ; en trop ; bornes fausses (en retard, trop tôt, trop large) ; manquant. Une ligne chacun, avec pourquoi. Un événement des détecteurs juste, que tu vérifies dans les données mais qui manque à ta lecture : ajoute-le à tes étiquettes avec `"apres_detecteurs": true`, et relance le contrôle. Ne change jamais les étiquettes de l'étape 1. 4. **Cas connus**, après les faits : lis l'index, ouvre au plus 3 fiches proches de tes moments. Ce que la base connaît déjà, cas marqués « (appris) » compris. 5. **Verdict.** « d'accord » si rien d'important n'est à corriger. Sinon « suggestions », **au plus deux**, les plus importantes. Chacune : le défaut, un exemple (moment UTC, capteurs), le détecteur en cause (son nom de fichier tel que la commande le montre), ce qu'il faudrait, en mots et non en code. Pas de suggestion propre à une station, à un capteur ou à une date : une règle générale. 6. **Nouveautés** : ce que ni la carte ni l'index ne décrivent ; chacune avec son moment, ses capteurs, ce qui la montre et la figure. @@ -73,6 +73,24 @@ aucune | - /etiquettes.json` : ta lecture sous une forme qu'un script relit, pour entraîner plus tard un modèle (D-061). Le lot entier est lu : un instant sans moment veut dire que tu n'y as rien vu. + +```json +{"station": "NORDEND", "debut": "2026-10-05T00:00Z", "fin": "2026-10-09T00:00Z", "moments": [ + {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "capteurs": ["PR01", "PR08", "PR02"], + "categorie": "visibilite_reduite", "evenement": "Rain or fog", "preuve": "vue", + "description": "Gouttes floues sur la vitre ; PR01 et PR08 rejetés.", "apres_detecteurs": false}]} +``` + +- `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`. +- `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés. +- `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"` (rien qui soit une catégorie du journal : début d'export, mouvement de caméra compensé…). +- `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie. +- `preuve` : `"vue"` si les images la montrent, `"deduite"` si elle vient des courbes seules. +- `description` : ta colonne « Ce que je vois », en une ou deux phrases. + ## Ta réponse -Après avoir écrit le fichier, réponds en 3 lignes : le verdict, le nombre de suggestions et de nouveautés, le chemin du fichier. +Après avoir écrit le fichier, réponds en 3 lignes : le verdict, le nombre de suggestions, de nouveautés et d'étiquettes, le chemin du fichier. diff --git a/.claude/skills/critiquer-lot/etiquettes.py b/.claude/skills/critiquer-lot/etiquettes.py new file mode 100644 index 0000000..640150e --- /dev/null +++ b/.claude/skills/critiquer-lot/etiquettes.py @@ -0,0 +1,123 @@ +"""Étiquettes d'un lot : la lecture de l'analyste, moment par moment, dans un format qu'un script relit (point 44 du plan +du journal du matin, D-061) : la matière d'un futur modèle appris. Ce script contrôle un fichier ; il ne juge rien. + +Un JSON par lot, /etiquettes.json : + {"station": "NORDEND", "debut": "2026-10-05T00:00Z", "fin": "2026-10-09T00:00Z", "moments": [ + {"debut": "2026-10-08T02:30Z", "fin": "2026-10-09T00:00Z", "capteurs": ["PR17"], "categorie": "a_verifier", + "evenement": null, "preuve": "deduite", "description": "...", "apres_detecteurs": false}]} +- heures au format de donnees.iso ; capteurs : noms de la station, [] pour tous (contrat des détecteurs) ; +- categorie : une clé de la section 4 de la carte des événements, ou "aucune" ; evenement : le label du site d'une ligne + de sa section 1 (« Rain or fog »), ou null si la cause n'est pas établie ; la carte est la seule source du vocabulaire ; +- preuve : "vue" (sur les images) ou "deduite" (des courbes seules) ; +- apres_detecteurs : true pour un moment ajouté à la comparaison, vu dans les données après la sortie des détecteurs. +Un instant du lot sans moment : l'analyste n'y a rien vu. +Usage : python3 .claude/skills/critiquer-lot/etiquettes.py + python3 .claude/skills/critiquer-lot/etiquettes.py --test +""" +import json +import os +import re +import sys +from datetime import datetime + +RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..") +sys.path.insert(0, os.path.join(RACINE, "agents", "diagnostic", "outils")) +from donnees import charger # noqa: E402 + +CARTE = os.path.join(RACINE, "docs", "displacement", "domaine", "carte-des-evenements.md") +CHAMPS = {"debut", "fin", "capteurs", "categorie", "evenement", "preuve", "description", "apres_detecteurs"} + + +def vocabulaire(): + """Carte des événements -> (catégories du journal et "aucune", labels du site des événements).""" + texte = open(CARTE, encoding="utf-8").read() + s1, s4 = texte.split("## 1.")[1].split("## 2.")[0], texte.split("## 4.")[1] + cats = set(re.findall(r"^\| `(\w+)` \|", s4, re.M)) | {"aucune"} + evts = {c[1].strip() for ligne in s1.splitlines() if ligne.startswith("| ") + and len(c := ligne.split("|")[1:-1]) == 7 and not c[0].strip().startswith(("**", "Événement"))} + return cats, evts + + +def heure(v): + return datetime.strptime(v, "%Y-%m-%dT%H:%MZ") # TypeError, ValueError hors du format de donnees.iso + + +def defauts(lot, station, capteurs, cats, evts): + """Étiquettes d'un lot -> défauts, une phrase chacun (aucun : le fichier est bon).""" + try: + debut, fin, moments = heure(lot["debut"]), heure(lot["fin"]), list(lot["moments"]) + except (KeyError, TypeError, ValueError) as e: + return [f"en-tête : {type(e).__name__} {e} ; attendus : station, debut, fin (AAAA-MM-JJTHH:MMZ), moments"] + out = [] if lot.get("station") == station else [f"station {lot.get('station')!r}, le dossier est {station!r}"] + for i, m in enumerate(moments, 1): + def ko(msg): + out.append(f"moment {i} : {msg}") + if not isinstance(m, dict) or set(m) != CHAMPS: + ko(f"champs {sorted(m) if isinstance(m, dict) else m!r} ; attendus {sorted(CHAMPS)}") + continue + try: + d, f = heure(m["debut"]), heure(m["fin"]) + if d > f: + ko("debut après fin") + elif f < debut or d > fin: + ko("hors du lot") + except (TypeError, ValueError): + ko(f"heures {m['debut']!r} → {m['fin']!r} : format AAAA-MM-JJTHH:MMZ") + if not isinstance(m["capteurs"], list) or (inconnus := [c for c in m["capteurs"] if c not in capteurs]): + ko(f"capteurs {m['capteurs']!r} : une liste de noms de la station, [] pour tous") + if m["categorie"] not in cats: + ko(f"categorie {m['categorie']!r} : une de {sorted(cats)}") + if m["evenement"] is not None and m["evenement"] not in evts: + ko(f"evenement {m['evenement']!r} : null ou un label du site de la section 1 de la carte") + if m["preuve"] not in ("vue", "deduite"): + ko(f"preuve {m['preuve']!r} : \"vue\" ou \"deduite\"") + if not isinstance(m["description"], str) or not m["description"].strip(): + ko("description vide") + if not isinstance(m["apres_detecteurs"], bool): + ko("apres_detecteurs : true ou false") + return out + + +def controler(dossier, chemin): + try: + with open(chemin, encoding="utf-8") as f: + lot = json.load(f) + except (OSError, ValueError) as e: + print(f"{chemin} : illisible ({e})") + return 1 + station = os.path.basename(os.path.normpath(dossier)) + out = defauts(lot, station, set(charger(dossier)), *vocabulaire()) + for d in out: + print(d) + print(f"{chemin} : {len(out)} défaut(s)" if out else f"{chemin} : bon, {len(lot['moments'])} moment(s)") + return 1 if out else 0 + + +def test(): + """Deux moments réels de l'essai de l'analyste (NORDEND, lot 1, 2026-10-24), puis quatre fautes.""" + dossier = os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND") + args = ("NORDEND", set(charger(dossier)), *vocabulaire()) + bon = {"station": "NORDEND", "debut": "2026-10-05T00:00Z", "fin": "2026-10-09T00:00Z", "moments": [ + {"debut": "2026-10-08T01:00Z", "fin": "2026-10-08T02:45Z", "capteurs": ["PR01", "PR08", "PR02"], + "categorie": "visibilite_reduite", "evenement": "Rain or fog", "preuve": "vue", + "description": "Gouttes floues sur la vitre ; PR01 et PR08 rejetés.", "apres_detecteurs": False}, + {"debut": "2026-10-08T02:30Z", "fin": "2026-10-09T00:00Z", "capteurs": ["PR17"], "categorie": "a_verifier", + "evenement": None, "preuve": "deduite", "description": "Saut durable de corr_y, sans retour.", + "apres_detecteurs": False}]} + assert defauts(bon, *args) == [], defauts(bon, *args) + faux = json.loads(json.dumps(bon)) + faux["moments"][0]["capteurs"] = ["idem"] + faux["moments"][0]["categorie"] = "dilatation / contraction thermique" + faux["moments"][1]["fin"] = "2026-10-08T01:00Z" + del faux["moments"][1]["preuve"] + assert len(defauts(faux, *args)) == 3, defauts(faux, *args) # le champ manquant arrête le moment 2 : 2 + 1 + print("test : bon") + + +if __name__ == "__main__": + if sys.argv[1:] == ["--test"]: + test() + elif len(sys.argv) == 3: + sys.exit(controler(*sys.argv[1:])) + else: + sys.exit(__doc__) diff --git a/CLAUDE.md b/CLAUDE.md index c4909d5..b361837 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -17,7 +17,7 @@ Agent de diagnostic proactif pour **AIMsight**, un système de surveillance opti - **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`. - **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`. - **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST. -- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. +- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle ` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`. - **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande. ## Analyses (domaine Energy) @@ -107,7 +107,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer . ### Fichiers - `README.md` (40 l) : point d'entrée pour un humain. -- `docs/decisions.md` (665 l, D-001 à D-060) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée. +- `docs/decisions.md` (697 l, D-001 à D-061) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée. - `docs/domaine/` : savoir métier commun, une note courte (< 50 l) par question. - `ce-que-mesure-la-station.md` : format CSV, métriques et unités, consommation mesurée mais pas l'apport. - `pieges-des-donnees.md` : trou ≠ coupure, signatures d'une coupure, seuils absolus, cycle jour/nuit. diff --git a/docs/agents/pipelines-ia.drawio b/docs/agents/pipelines-ia.drawio index dbefdc7..7045860 100644 --- a/docs/agents/pipelines-ia.drawio +++ b/docs/agents/pipelines-ia.drawio @@ -1 +1 @@ - \ No newline at end of file + \ No newline at end of file diff --git a/docs/decisions.md b/docs/decisions.md index 76ae7a2..5b00fcf 100644 --- a/docs/decisions.md +++ b/docs/decisions.md @@ -685,3 +685,13 @@ Règles du journal : - **Pourquoi** : demande de l'utilisateur : les processus sont perfectionnables (prompts, chemins, formats, contradictions), mais personne ne lit tout ce que font les agents ; le seul moyen de les améliorer est qu'une difficulté soit relevée et centralisée au moment où elle arrive. - **Options écartées** : relire après coup les transcriptions des séances (l'utilisateur veut un agent à l'écoute, à qui l'on transmet ; un agent qui fouille le projet de lui-même reste une piste) ; laisser chaque sous-agent appeler le releveur (un sous-agent ne peut pas lancer d'agent : tout passe par l'orchestrateur) ; un appel à chaque difficulté (plus cher, inutile puisque rien n'est corrigé sur le moment). - **Conséquence** : un processus automatique nouveau reprend le même circuit (section `## Difficultés`, appel du releveur en fin de processus). Le nom de l'agent est un choix de Claude. + +## D-061 — 2026-10-25 — Boucle : des étiquettes à chaque lot, pour un futur modèle appris +- **Statut** : active ; complète D-057 ; aucun modèle n'est construit. +- **Décision** : + - chaque lot de la boucle laisse les labels de l'analyste, `/etiquettes.json` : sa propre lecture, écrite avant la sortie des détecteurs, une entrée par moment (début, fin, capteurs, catégorie du journal ou `aucune`, événement de la carte ou `null`, preuve vue ou déduite, description, ajout après les détecteurs) ; le vocabulaire vient de la carte des événements, seule source ; + - contrôle mécanique par `.claude/skills/critiquer-lot/etiquettes.py` : l'analyste corrige jusqu'à « bon » ; l'orchestrateur porte le résultat au bilan, sans relancer l'analyste ; + - les étiquettes ne dépendent pas des détecteurs : elles se gardent même quand une modification est annulée. +- **Pourquoi** : idée de l'utilisateur : un algorithme de machine learning simple pourrait un jour faire le travail des détecteurs ou les compléter ; il faut d'abord des labels, et chaque lot lu par Claude coûte cher (~8 min 30, ~250 000 jetons) : un lot sans labels relisibles est perdu pour l'apprentissage. La table « Ma lecture » de la critique en avait la matière, mais en texte libre (« ~08:30 », « idem »). +- **Options écartées** : construire le modèle maintenant (trop peu de données : 6 jeux, ~30 jours de station, et la boucle n'a pas encore tourné) ; un CSV (une liste de capteurs par moment, et un lot calme, sans ligne, perdrait « lu, rien vu ») ; une table Markdown au format strict (moins lisible pour l'utilisateur) ; des labels écrits après la comparaison aux détecteurs (ils en seraient la copie). +- **Conséquence** : D-044 écartait un « modèle appris » dans la couche de correction ; rien n'est rouvert tant qu'aucun modèle n'est décidé. Pistes au point 44 du plan du journal du matin : un arbre de décision peu profond, à côté des détecteurs, validé en laissant une station de côté et testé sur les cas validés ; le rejeu gratuit des détecteurs sur toutes les étiquettes ; la visibilité de l'utilisateur sur les labels. diff --git a/docs/superpowers/plans/2026-10-23-journal-du-matin.md b/docs/superpowers/plans/2026-10-23-journal-du-matin.md index 61cd876..28617d3 100644 --- a/docs/superpowers/plans/2026-10-23-journal-du-matin.md +++ b/docs/superpowers/plans/2026-10-23-journal-du-matin.md @@ -44,7 +44,7 @@ ## Index -Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilisateur tranche), **Coder**, **Lancer** (l'utilisateur lance quelque chose chez lui). Statuts : à faire, en cours, en attente, **validé le ** (par l'utilisateur seul, voir l'en-tête). Mis à jour le 2026-10-24. +Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilisateur tranche), **Coder**, **Lancer** (l'utilisateur lance quelque chose chez lui). Statuts : à faire, en cours, en attente, **validé le ** (par l'utilisateur seul, voir l'en-tête). Mis à jour le 2026-10-25. | N° | Point | Type | Dépend de | Statut | |---|---|---|---|---| @@ -92,6 +92,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis | 32 | Le test « Claude verrait la même chose » | Lancer | 10 | en attente (autre conversation) | | 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur | | 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 | +| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard | | | **VII. Idées gardées pour plus tard** | | | | | 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente | | 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente | @@ -887,6 +888,37 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script : **Fini quand.** Une commande donnée par Claude remplit `data//` sur la période choisie, et sa relance ne télécharge que ce qui manque. +### Point 44 : Un modèle appris à côté de la boucle + +**L'idée** (l'utilisateur, 2026-10-25). En complément de la boucle, un algorithme de machine learning, pas très poussé, entraîné sur ce que la boucle a labellisé (pendant une séance ou après), qui fasse le travail des détecteurs : classer les moments dans les catégories du journal (perte de visibilité, passage, cible masquée…). + +**Constaté le 2026-10-25.** +- Les labels existent déjà : la table « 1. Ma lecture » de chaque `critique.md` (début, fin, capteurs, ce que l'analyste voit, catégorie), écrite avant de voir les détecteurs. Mais en texte libre (« ~08:30 », « idem », « dilatation / contraction thermique ») : un script ne peut pas la lire. +- Très peu de données : 6 jeux, ~30 jours de station, quelques dizaines d'événements ; aucune séance de la boucle lancée. +- D-044 a écarté un « modèle appris » dans la couche de correction : une nouvelle décision le rouvrirait. + +**Proposition de Claude, à discuter.** +1. Tout de suite : l'analyste écrit aussi ses labels dans un `etiquettes.csv` strict (début et fin ISO UTC, capteurs, clé de catégorie de `categories.py`) ; un script compare une version des détecteurs à toutes les étiquettes déjà écrites : le rejeu, écarté parce qu'il coûtait un regard de Claude, devient gratuit. +2. Quand il y aura assez d'étiquettes (quelques dizaines d'événements par catégorie, sur au moins 4 ou 5 stations) : un arbre de décision peu profond, entraîné sur le poste de dev, sur des grandeurs concrètes par cible et par mesure (`error_value` face à son niveau habituel, part des cibles rejetées au même instant, références touchées, saut de `corr` et retour, heure) ; validé en laissant une station de côté, testé sur C-001 à C-005 (labels de l'expert, jamais appris). Lisible (une suite de « si… alors »), embarquable (quelques `if` en bibliothèque standard). +3. Son rôle : à côté des détecteurs, pas à leur place : ses désaccords avec eux choisissent les lots que regarde l'analyste (question ouverte de la boucle), ses coupures proposent des seuils à l'upgrader. « Shift to check » reste aux détecteurs : un vrai mouvement est trop rare pour être appris, et il n'est jamais invalidé. + +**Réponse de l'utilisateur (2026-10-25).** Bonnes pistes ; pas de modèle tout de suite : d'abord faire tourner la boucle elle-même. Mais préparer le terrain : chaque lot traité doit laisser des labels, réutilisables plus tard (« super important »). Il regardera ensuite ce que Claude a labellisé : comment lui donner cette visibilité, on verra plus tard. + +**Fait le 2026-10-25 (D-061).** +- `/etiquettes.json`, écrit par l'analyste juste après sa lecture, avant les détecteurs : la station, le lot, puis un moment par ligne de sa lecture (`debut`, `fin`, `capteurs` tous nommés ou `[]` pour tous, `categorie` de la section 4 de la carte ou `aucune`, `evenement` : label du site d'une ligne de la section 1 ou `null`, `preuve` vue ou déduite, `description`, `apres_detecteurs`). Format dans `.claude/skills/critiquer-lot/SKILL.md`. +- Contrôle : `python3 .claude/skills/critiquer-lot/etiquettes.py ` (vocabulaire lu dans la carte, noms de capteurs lus dans les données ; `--test` sur deux moments réels de l'essai de NORDEND) ; l'analyste corrige jusqu'à « bon », l'orchestrateur le relance et porte le résultat au bilan. +- Toutes les étiquettes : `vues-deplacements/boucle/*/lot-*/etiquettes.json`, commitées avec la critique, à garder même si une modification est annulée. + +**Étapes.** +- [x] L'utilisateur dit le rôle du modèle : pas encore ; les labels d'abord (2026-10-25). +- [x] Étiquettes strictes, écrites à chaque lot (2026-10-25). +- [ ] Première séance de la boucle par l'utilisateur : regarder les premières étiquettes réelles. +- [ ] La visibilité de l'utilisateur sur les étiquettes (une page, une revue) : plus tard, sur sa demande. +- [ ] Le rejeu gratuit (les détecteurs comparés à toutes les étiquettes) : sur demande. +- [ ] Le modèle (arbre de décision peu profond, à côté des détecteurs) : quand il y aura assez d'étiquettes, sur demande. + +**Fini quand.** Chaque lot de la boucle laisse des étiquettes bonnes au contrôle (première étape) ; la suite reste à définir avec l'utilisateur. + --- ## Partie VII — Idées gardées pour plus tard @@ -1037,3 +1069,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste. - 2026-10-24 : point 43 ajouté (idée de l'utilisateur : base locale complète et incrémentale, pilotée par Claude) ; écart avec `pomper.py` noté ; rien codé. - 2026-10-24 : point 43 codé sans lancement : métriques système, un fichier par jour, reprise des images corrigée, `load_stations` fusionne les fichiers d'une même métrique ; essai par l'utilisateur avec le point 27. - 2026-10-24 : point 42 : `/aiguiser` construit (D-059), avec le releveur (D-060) ; essai du lecteur et du correcteur sur le lot 1 de NORDEND : écart « à reprendre », deux défauts ; reste la première séance, par l'utilisateur. +- 2026-10-25 : point 44 ajouté (idée de l'utilisateur : un modèle de machine learning entraîné sur les labels de la boucle) ; proposition de Claude notée, à discuter ; rien construit. +- 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels. diff --git a/vues-deplacements/CLAUDE.md b/vues-deplacements/CLAUDE.md index 73930fb..0a6b09d 100644 --- a/vues-deplacements/CLAUDE.md +++ b/vues-deplacements/CLAUDE.md @@ -20,7 +20,7 @@ Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui co Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `journal/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des onze catégories du journal par `journal/categories.py` (`python3 vues-deplacements/journal/categories.py ` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`. -Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base de cas par un builder ; une séance par branche `boucle/_`, ses rendus dans `boucle/_/lot-NN/` et son `bilan.md`, hors de tout dossier de station ; spec `contexte/boucle-automatique.md`. +Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base de cas par un builder ; une séance par branche `boucle/_`, ses rendus dans `boucle/_/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061) et son `bilan.md`, hors de tout dossier de station ; spec `contexte/boucle-automatique.md`. Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il choisit : `/aiguiser [--du … --au …]` améliore les outils de lecture (`agents/diagnostic/outils/`) et leur mode d'emploi, le skill `lire-les-donnees`, que suivent l'analyste et l'agent de diagnostic : un lecteur lit le lot avec le skill, un correcteur le lit à fond avec ses propres scripts et mesure l'écart, un optimiseur modifie le skill, un changement sans gain est annulé ; contrôle sur les cas validés en fin de séance ; une séance par branche `aiguiser/_`, ses rendus dans `aiguiser/_/lot-NN/`, `controle/` et `bilan.md`, hors de tout dossier de station ; spec `contexte/aiguiser-la-lecture.md`. diff --git a/vues-deplacements/contexte/boucle-automatique.md b/vues-deplacements/contexte/boucle-automatique.md index 87c196b..11f7a19 100644 --- a/vues-deplacements/contexte/boucle-automatique.md +++ b/vues-deplacements/contexte/boucle-automatique.md @@ -77,6 +77,8 @@ La critique est un skill à part, à la demande de l'utilisateur ; on peut aussi `critique.md` reprend ces six parties ; ses figures sont dans le dossier du lot. +**Étiquettes** (D-061, ajoutées le 2026-10-25) : juste après sa lecture, avant la sortie des détecteurs, l'analyste écrit aussi `etiquettes.json`, une entrée par moment de sa lecture (début, fin, capteurs, catégorie du journal, événement de la carte s'il est établi, preuve vue ou déduite), contrôlée par `.claude/skills/critiquer-lot/etiquettes.py` ; le format est dans `critiquer-lot`. Elles ne dépendent pas des détecteurs : ce sont les labels d'un futur modèle appris (point 44 du plan), à garder même si une modification est annulée. Toutes les étiquettes : `vues-deplacements/boucle/*/lot-*/etiquettes.json`. + ### Upgrader : `.claude/agents/upgrader.md` Il reprend les suggestions de l'analyste (et la dernière validation, s'il y en a une) et modifie les détecteurs. Outils : Read, Edit, Write, Bash. @@ -113,7 +115,7 @@ Ajouté le 2026-10-24, commun à tous les processus automatiques. Chaque rendu f ## 6. Ce que l'utilisateur trouve à la fin - La branche `boucle/_` : un commit par étape, lisible avec `git log` ; il la fusionne, n'en garde qu'une partie, ou revient en arrière. -- `bilan.md` : une ligne par lot (verdict de l'analyste ; modification gardée, annulée ou aucune ; cas créés) ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs. +- `bilan.md` : une ligne par lot (verdict de l'analyste ; étiquettes ; modification gardée, annulée ou aucune ; cas créés) ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs. - `docs/ameliorations-processus.md` : les difficultés du processus relevées pendant la séance. ## 7. Essai et première séance diff --git a/vues-deplacements/contexte/journal-du-matin.md b/vues-deplacements/contexte/journal-du-matin.md index ca01714..1d2a8c9 100644 --- a/vues-deplacements/contexte/journal-du-matin.md +++ b/vues-deplacements/contexte/journal-du-matin.md @@ -104,3 +104,7 @@ Un orchestrateur (la conversation principale) et un agent par piste, qui rapport ## Base locale complète (point 43 du plan, 2026-10-24) - Idée de l'utilisateur : pomper dans `data//` tout ce que la base a (métriques, déplacements, images IRON et différentielles) pour les stations et périodes qu'il choisit, compléter sans re-télécharger, Claude pilotant ; écart avec `pomper.py` au point 43. + +## Un modèle appris (point 44 du plan, 2026-10-25) + +- Idée de l'utilisateur : en complément de la boucle, un algorithme de machine learning simple, entraîné sur les labels qu'elle écrit, pour classer les moments dans les catégories du journal ; proposition de Claude (étiquettes strictes et rejeu gratuit d'abord, puis un arbre de décision peu profond, à côté des détecteurs) au point 44, à discuter.