Score the detectors against every label of the station at each loop batch (D-062, point 45)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-25 11:25:12 +01:00
1 parent 02ed7a4a60
commit 7714a55cfa
12 files changed
+238 -16

No files matched your search

+6 -1
View File
@@ -9,7 +9,7 @@ Tu es l'upgrader de la boucle automatique. Un analyste a jugé ce que les détec
## Ta demande
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
Le dossier de station, le lot (UTC), la commande du lot, le chemin de la critique, celui du score avant, au passage K > 1 celui de la validation précédente, et le chemin de ton rendu `modification-K.md`.
## Lis d'abord
@@ -41,6 +41,8 @@ La crainte de l'utilisateur, c'est que les détecteurs partent dans trop de comp
Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Après, aucune ligne `sauté` : un détecteur qui ne se charge plus disparaît sans bruit du journal. Le défaut relevé doit avoir bougé dans le bon sens, sans casser les autres événements du lot.
Puis le **score** : `python3 .claude/skills/boucle/score.py <dossier>`, face au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. La catégorie en cause doit monter sur ce lot, sans baisse nette ailleurs (un événement entier perdu ou signalé à tort, pas quelques mesures de bornes). Ne vise pas 100 % : l'analyste peut se tromper aussi, et une règle de plus pour quelques mesures ne vaut pas sa complexité.
## Ton rendu, `modification-K.md`
```markdown
@@ -55,6 +57,9 @@ Lance la commande du lot avec `2>&1`, **avant** de modifier et **après**. Aprè
## Avant / après sur le lot
<les deux sorties de la commande du lot>
## Score
<les lignes qui ont changé, avant → après, lot par lot>
## Pas corrigé
aucune | <ce qui reste, et pourquoi>
+9 -5
View File
@@ -9,16 +9,17 @@ Tu es le validateur de la boucle automatique. Un analyste a jugé ce que les dé
## Ta demande
Le dossier de station, le lot (UTC), la commande du lot, la critique, la modification, le commit de base du lot, le passage K sur 3, le chemin de ton rendu `validation-K.md`.
Le dossier de station, le lot (UTC), la commande du lot, la critique, le score avant, la modification, le commit de base du lot, le passage K sur 3, le chemin de ton rendu `validation-K.md`.
## Ce que tu fais
1. Lis la critique (parties 3 et 5), puis la modification.
2. Lis le diff : `git diff <base> -- vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md`.
3. Lance la commande du lot avec `2>&1`. Une ligne `sauté` (un détecteur qui ne se charge plus) vaut « à reprendre », ou « annuler » au passage 3.
4. Réponds à quatre questions :
4. Lance le **score**, `python3 .claude/skills/boucle/score.py <dossier>`, et compare-le au score avant. Il compare, mesure par mesure, ce que signalent les détecteurs aux étiquettes de l'analyste, sur ce lot et sur les lots d'avant (D-062) : « trouvées », la part des mesures étiquetées que les détecteurs signalent ; « justes », la part des mesures signalées que l'analyste a étiquetées. C'est un fait, pas un verdict : l'analyste peut se tromper aussi.
5. Réponds à quatre questions :
- la modification répond-elle au défaut relevé par l'analyste ?
- va-t-elle dans le bon sens sur ce lot ?
- va-t-elle dans le bon sens ? Le score le dit : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant ;
- est-elle simple, à la mesure du gain ?
- respecte-t-elle les interdits : pas de nouvelle catégorie, pas de règle propre à une station, à un capteur ou à une date, contrat `detect(mesures)` et clés des épisodes inchangés, bibliothèque standard, registre des seuils à jour ?
@@ -30,11 +31,11 @@ C'est la consigne la plus importante. Aucune modification des détecteurs n'est
Ne renvoie que pour un défaut net :
- le problème relevé n'est pas réglé, ou pas du tout amélioré ;
- un autre événement du lot est cassé ;
- un autre événement du lot est cassé, ou le score baisse net sur un lot d'avant : un événement entier perdu ou signalé à tort, pas quelques mesures de bornes ;
- la complexité est hors de proportion avec le gain ;
- un interdit n'est pas respecté, ou un détecteur est sauté.
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni une vérification sur d'autres lots. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni 100 % au score, ni une vérification sur d'autres lots que celle du score. Au plus trois remarques, concrètes : ce qui ne va pas, où, et ce qui suffirait.
## Ton rendu, `validation-K.md`
@@ -47,6 +48,9 @@ Ne demande jamais ce que l'upgrader ne peut pas faire, ni la perfection, ni une
## Réponses
<les quatre questions, une ligne chacune>
## Score
<les lignes qui ont changé depuis le score avant, avant → après, lot par lot>
## Remarques
aucune | 1. … (au plus trois)
+9 -4
View File
@@ -29,12 +29,13 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
1. **Analyste** (`analyste`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Écris <lot>/critique.md.`
`python3 .claude/skills/critiquer-lot/etiquettes.py <dossier> <lot>/etiquettes.json` : sa dernière ligne va au bilan (colonne Étiquettes : « n moments », « absentes » ou « n défauts ») ; tu ne corriges rien et ne relances pas l'analyste pour elles (D-061).
`python3 .claude/skills/boucle/score.py <dossier> > <lot>/score-avant.txt 2>&1` : le score des détecteurs du début du lot sur toutes les étiquettes de la station, ce lot compris (D-062).
Commit `<lot>/`, message `Loop <STATION> lot NN: critique (<verdict>)`.
2. Verdict `d'accord` : va à l'étape 5.
3. **Upgrader** (`upgrader`), passage K = 1, 2 ou 3. Avant le passage 1, note la **base du lot** : `git rev-parse HEAD`.
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
`Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. [Validation précédente : <lot>/validation-(K-1).md.] Passage K. Écris <lot>/modification-K.md.`
Commit `vues-deplacements/journal/ vues-deplacements/contexte/seuils-du-journal.md <lot>/`, message `Loop <STATION> lot NN: modification K`.
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
4. **Validateur** (`validateur`) : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Commande du lot : <commande>. Critique : <lot>/critique.md. Score avant : <lot>/score-avant.txt. Modification : <lot>/modification-K.md. Base : <base du lot>. Passage K sur 3. Écris <lot>/validation-K.md.`
Commit `<lot>/`, message `Loop <STATION> lot NN: validation K (<verdict>)`.
- `accepté` ou `garder` : va à l'étape 5.
- `à reprendre` : retour à l'étape 3, passage K + 1.
@@ -42,7 +43,7 @@ Chaque agent est appelé par l'outil Agent avec son `subagent_type` et la demand
5. **Builder** (`builder`), seulement si l'un des rendus du lot a, sous `## Nouveautés`, autre chose que `aucune` : `Dossier : <dossier>. Lot NN : <début> → <fin> (UTC). Dossier du lot : <lot>/. Séance : <séance>/. Écris <lot>/builder.md.`
Si sa ligne `**Cas créés** :` n'est pas `aucun` : commit `agents/diagnostic/cas/ .claude/skills/anonymiser-cas/registre.csv <lot>/`, message `Loop <STATION> lot NN: cas C-xxx, …` ; sinon commit `<lot>/`, message `Loop <STATION> lot NN: builder (aucun cas)`.
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. Pas de rejeu des lots déjà vus.
Le lot suivant tourne avec les détecteurs tels qu'ils sont devenus. L'analyste ne relit pas les lots déjà vus ; le score les rejoue, sur leurs étiquettes.
## 4. Imprévus
@@ -50,6 +51,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
## 5. Bilan
`python3 .claude/skills/boucle/score.py <dossier> > <séance>/score-fin.txt 2>&1` : le score des détecteurs de fin de séance sur toutes les étiquettes de la station.
`<séance>/bilan.md` :
```markdown
@@ -57,6 +60,8 @@ Un rendu absent après son agent, ou sans ligne de verdict lisible : note-le pou
Branche : boucle/<SEANCE>_<STATION>
Score : au début de chaque lot `lot-NN/score-avant.txt`, en fin de séance `score-fin.txt` (D-062).
| Lot | Dates (UTC) | Analyste | Étiquettes | Modification | Cas créés |
|---|---|---|---|---|---|
| 01 | … → … | d'accord / suggestions (n) | n moments / absentes / n défauts | aucune / gardée (K passages) / annulée / erreur | C-xxx / aucun |
@@ -71,7 +76,7 @@ Branche : boucle/<SEANCE>_<STATION>
aucune | <lot, agent, ce qui manquait>
```
Commit `<séance>/bilan.md`, message `Loop <STATION>: bilan`.
Commit `<séance>/bilan.md <séance>/score-fin.txt`, message `Loop <STATION>: bilan`.
## 6. Difficultés
+153
View File
@@ -0,0 +1,153 @@
"""Score des détecteurs du journal face aux étiquettes de l'analyste (point 45 du plan du journal du matin, D-062).
Une case : une mesure d'un capteur dans un lot. Chaque case reçoit, d'un côté, les catégories des moments de l'analyste
qui la couvrent (etiquettes.json, D-061), de l'autre, celles des événements des détecteurs (categories.py, le lot classé
avec ses 3 jours d'historique, comme la commande du lot). Pour chaque catégorie, et pour les deux niveaux de validité
qui ne sont pas « fiable » :
trouvées : cases étiquetées que les détecteurs ont aussi signalées (part des étiquetées) ;
justes : cases signalées que l'analyste a aussi étiquetées (part des signalées).
Validité d'une case : la pire de ses catégories ; « à ignorer » : les zones grisées du journal (carte des événements,
section 4) ; « prudence » : visibilité réduite et turbulence ; « fiable » sinon (dilatation, contraction, à vérifier :
jamais grisées), et sans catégorie. Un trou n'a pas de mesure, donc pas de case ; un moment « aucune » n'est pas compté.
Le score est un fait, pas un verdict : l'analyste peut se tromper aussi.
Usage : python3 .claude/skills/boucle/score.py <dossier de station> [etiquettes.json ...]
(défaut : vues-deplacements/boucle/*/lot-*/etiquettes.json de la station)
python3 .claude/skills/boucle/score.py --test
"""
import glob
import json
import os
import sys
from datetime import timedelta
from pathlib import Path
RACINE = os.path.join(os.path.dirname(os.path.abspath(__file__)), "..", "..", "..")
sys.path.insert(0, os.path.join(RACINE, "vues-deplacements", "journal"))
sys.path.insert(0, os.path.join(RACINE, ".claude", "skills", "critiquer-lot"))
import categories # noqa: E402 (il met lui-même agents/diagnostic/outils sur le chemin)
from donnees import charger, instant, iso # noqa: E402
from etiquettes import defauts, vocabulaire # noqa: E402
HISTORIQUE = timedelta(days=3) # comme la commande du lot (D-056)
IGNORER = {"visibilite_nulle", "passage", "cible_masquee", "saut_bref"} # zones grisées (carte, section 4)
# ponytail: la turbulence est toujours « prudence » : l'étiquette ne dit pas si elle est forte (grisée alors dans le
# journal) ; un champ de force dans les étiquettes si cet écart compte
PRUDENCE = {"visibilite_reduite", "turbulence"}
NIVEAUX = ("à ignorer", "prudence")
def validite(cats):
return "à ignorer" if cats & IGNORER else "prudence" if cats & PRUDENCE else None
def cases(mesures, debut, fin):
"""Mesures -> [(capteur, instant iso)] du lot, fin exclue."""
return [(s, t) for s, ms in mesures.items() for m in ms if debut <= (t := iso(m["t"])) < fin]
def marquer(cs, spans):
"""Cases, [(début, fin, capteurs, catégorie)] -> {case: {catégories}} ; fin incluse, capteurs vides : tous."""
out = {c: set() for c in cs}
for d, f, capteurs, cat in spans:
for s, t in cs:
if d <= t <= f and (not capteurs or s in capteurs):
out[(s, t)].add(cat)
return out
def detectes(mesures, debut, fin):
"""Événements des détecteurs qui touchent le lot, classé avec ses jours d'historique -> spans de marquer."""
h, b = instant(debut) - HISTORIQUE, instant(fin)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
return [(v["start"], v["end"], v["sensors"], v["category"])
for v in (categories.evenements(tranche) if tranche else []) if v["end"] >= debut]
def score(etiq, det):
"""{case: catégories de l'analyste}, {case: catégories des détecteurs} -> {clé: [étiquetées, signalées, les deux]}."""
n = {}
for c in etiq:
a, d = [x | {v} if (v := validite(x)) else x for x in (etiq[c], det[c])]
for k in a | d:
x = n.setdefault(k, [0, 0, 0])
x[0], x[1], x[2] = x[0] + (k in a), x[1] + (k in d), x[2] + (k in a and k in d)
return n
def pct(a, b):
return f"{a}/{b} ({round(100 * a / b)} %)" if b else "—"
def afficher(titre, n):
print(titre)
print(f" {'':<22}{'trouvées':>20}{'justes':>20}")
for k in [*NIVEAUX, *sorted(set(n) - set(NIVEAUX))]:
if k in n:
lab, sig, both = n[k]
print(f" {k:<22}{pct(both, lab):>20}{pct(both, sig):>20}")
def lots(dossier, chemins, explicite):
station = os.path.basename(os.path.normpath(dossier))
mesures = charger(dossier)
vocab = vocabulaire()
total, vus = {}, 0
for chemin in chemins:
nom = os.path.join(*Path(chemin).resolve().parent.parts[-2:])
with open(chemin, encoding="utf-8") as f:
lot = json.load(f)
if lot.get("station") != station:
if explicite:
print(f"{nom} : station {lot.get('station')!r}, le dossier est {station!r} : sauté")
continue
if fautes := defauts(lot, station, set(mesures), *vocab):
print(f"{nom} : étiquettes à corriger ({len(fautes)} défauts, etiquettes.py) : sauté")
continue
cs = cases(mesures, lot["debut"], lot["fin"])
if not cs:
print(f"{nom} : aucune mesure du lot dans {dossier} : sauté")
continue
moments = [m for m in lot["moments"] if m["categorie"] != "aucune"]
etiq = marquer(cs, [(m["debut"], m["fin"], m["capteurs"], m["categorie"]) for m in moments])
n = score(etiq, marquer(cs, detectes(mesures, lot["debut"], lot["fin"])))
afficher(f"{nom} : {lot['debut']} → {lot['fin']}, {len(moments)} moments comptés "
f"({len(lot['moments']) - len(moments)} « aucune »), {len(cs)} cases", n)
for k, v in n.items():
total[k] = [a + b for a, b in zip(total.get(k, [0, 0, 0]), v)]
vus += 1
if vus > 1:
afficher(f"Total : {vus} lots", total)
elif not vus:
print(f"Aucun lot étiqueté de {station} à compter.")
def test():
"""Lot 1 de l'essai de NORDEND (2026-10-05 → 09), les détecteurs tels qu'ils sont : leurs événements pris pour
étiquettes donnent tout juste ; une catégorie oubliée par l'analyste fait baisser « justes », une étiquette que les
détecteurs n'ont pas fait baisser « trouvées » ; la pire validité l'emporte."""
mesures = charger(os.path.join(RACINE, "vues-deplacements", "cas", "2026-10_NORDEND", "NORDEND"))
debut, fin = "2026-10-05T00:00Z", "2026-10-09T00:00Z"
cs = cases(mesures, debut, fin)
spans = detectes(mesures, debut, fin)
assert cs and spans, "aucune case ou aucun événement sur le lot de l'essai"
det = marquer(cs, spans)
assert all(x[0] == x[1] == x[2] for x in score(det, det).values())
cat = next(s[3] for s in spans if validite({s[3]}))
oubli = score(marquer(cs, [s for s in spans if s[3] != cat]), det)[cat]
assert oubli[0] == oubli[2] == 0 < oubli[1], oubli
ajout = score(marquer(cs, spans + [(debut, fin, [], "derive_lente")]), det)["derive_lente"]
assert ajout == [len(cs), 0, 0], ajout
assert validite({"visibilite_reduite", "visibilite_nulle"}) == "à ignorer"
assert validite({"dilatation_thermique", "a_verifier"}) is None
print("test : bon")
if __name__ == "__main__":
if sys.argv[1:] == ["--test"]:
test()
elif len(sys.argv) >= 2:
explicites = sys.argv[2:]
tous = sorted(glob.glob(os.path.join(RACINE, "vues-deplacements", "boucle", "*", "lot-*", "etiquettes.json")))
lots(sys.argv[1], explicites or tous, bool(explicites))
else:
sys.exit(__doc__)
+1
View File
@@ -85,6 +85,7 @@ La ligne Verdict porte un seul mot : `d'accord` ou `suggestions`. Sans suggestio
```
- `station` : le nom du dossier de station ; `debut`, `fin` : le lot ; toutes les heures en UTC, au format `AAAA-MM-JJTHH:MMZ`.
- Les bornes d'un moment sont la première et la dernière mesure touchées, au quart d'heure près : un score les compare, mesure par mesure, à celles des détecteurs (D-062). Un saut qui dure (`a_verifier`) : la mesure du saut seule, pas la période décalée qui suit.
- `capteurs` : les noms exacts, tous écrits (pas de « idem », pas de « références ») ; `[]` seulement si tous les capteurs sont touchés.
- `categorie` : la clé de la section 4 de la carte (`visibilite_reduite`…), ou `"aucune"` (rien qui soit une catégorie du journal : début d'export, mouvement de caméra compensé…).
- `evenement` : le « Label du site » de la ligne de la section 1 de la carte qui dit la cause (`"Rain or fog"`, `"Spider web"`), ou `null` si la cause n'est pas établie.
+2 -2
View File
@@ -17,7 +17,7 @@ Agent de diagnostic proactif pour **AIMsight**, un système de surveillance opti
- **Cellular (D-030 à D-032, D-037), en pause en attendant le spécialiste** : WEISSHORN (mise en service le 19/08, puis quelques incidents isolés) et NORDEND (109 jours, 11 coupures de la liaison) explorés ; `DAILY_LINK_STATE` et `DAILY_SIGNAL_STATE` en prototype, sans cas de l'expert ; deux corrections de `DAILY_LINK_STATE` retenues sur le principe mais non codées ; couleur du jour codée (`src/cellular/day_color.py`, matrice lien × signal `docs/cellular/matrice-lien-signal.drawio` : Red si des envois manquent et que le signal n'est pas mesuré 20 h sur 24) ; livré en prototype avant les réponses du spécialiste (D-039) : figure du site `src/cellular/final.py`, bloc de la vue client, notification support, guide `docs/cellular/guide/`. Reprise : `docs/cellular/domaine/questions-pour-l-expert.md`.
- **Temperature (D-040)** : jeux de travail WEISSHORN et NORDEND (VERMONT n'a pas le GPU) ; `DAILY_GPU_TEMPERATURE_LIMIT` en prototype, sans cas de l'expert : une moyenne horaire du GPU ≥ 97,5 °C (limite du Jetson Nano, carte supposée) dans les 24 dernières heures ; couleur du jour codée (`src/temperature/day_color.py` : Red si atteinte, sinon Green, pas d'orange) ; tous les jours Green (maximum 57,2 °C) ; livré en prototype (D-041) : figure du site `src/temperature/final.py`, bloc de la vue client, notification support, guide `docs/temperature/guide/`. Constats, pistes et questions dans `docs/temperature/domaine/point-de-depart.md`.
- **Dev container (D-038)** : Docker Engine dans WSL, `.devcontainer/` (Python 3.14, plotly, matplotlib, réseau de l'hôte) ; prépare la communication avec la caméra, en attente de la doc de l'API REST.
- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle <dossier>` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
- **Journal du matin (D-056), le cap actuel** : retour au simple, côté support : une anomalie de déplacement est tout ce qui rend les courbes non plates : presque toujours sans gravité, un moment où il ne faut pas se fier aux données (pluie, buée, train, toile d'araignée, turbulence…), parfois grave, un vrai mouvement (Barcelone : la voûte du pont s'affaisse) ; onglet `Journal` de la maquette Explore : courbes nettoyées en mm (px au choix), la brute en gris dans les zones à ignorer, frise « What happened » dépliable par catégorie, journal en cartes aux phrases catégoriques, bouton `▶ Images` ; un détecteur élémentaire par fichier dans `vues-deplacements/journal/` (`visibilite`, `sauts`, `thermique`, `turbulence`, `trous`, contrat `detect(mesures)`), réglés sur les cas C-001 à C-005, classés en onze catégories par `categories.py` (aussi outil de tri en lot, toujours 3 jours d'historique) ; prototypé dans Support-Agent ; contexte dans `vues-deplacements/contexte/` (brainstorming `journal-du-matin.md`, seuils, lissage, données et boucle), carte des événements `docs/displacement/domaine/carte-des-evenements.md` ; pompage `extraction/pomper.py` (métriques système, déplacements et images, un fichier par jour, relance sans re-télécharger ; lecture seule, jamais lancé : essai par l'utilisateur ; application de référence : `~/monitoring-dashboard`) ; boucle automatique `/boucle <dossier>` (D-057, construite, fonctionnement validé ; lancée par l'utilisateur seul, lot par lot, sur de nouvelles données) : analyste, upgrader, validateur et builder, lot après lot, tout commité sur une branche par séance, chaque lot laissant les étiquettes de l'analyste, `etiquettes.json`, labels d'un futur modèle appris (D-061), et le score des détecteurs face à toutes les étiquettes, mesure par mesure, qui juge chaque modification (`.claude/skills/boucle/score.py`, D-062) (spec `vues-deplacements/contexte/boucle-automatique.md`) ; tout le suivi est dans le plan `docs/superpowers/plans/2026-10-23-journal-du-matin.md`.
- **Prochaine étape** : **journal du matin (D-056)** : les points du plan encore en attente (pompage, première séance de la boucle par l'utilisateur, test « Claude verrait la même chose », portage), sur les consignes de l'utilisateur, dans d'autres conversations ; un point validé n'est plus repris ; ensuite, **déplacements (D-052 à D-055)** : détection mécanique des anomalies (D-055) : onglet `Displacements` de la maquette Explore, les sauts (brutaux et qui durent, retours compris) et les tendances (dérive lente et régulière), ce que regarde le client ; le survol d'une ligne les montre sur les courbes, échelle fixe (2026-10-19) ; très expérimental, seuils provisoires, sur NORDEND seuls PR17 et PR06 les passent, nettement (`vues-deplacements/contexte/detection-d-anomalies.md`) ; suite : la suite des retours de l'utilisateur, puis les pistes notées (accélération, cible qui se sépare de ses voisines) ; maquette de la page Explore (`vues-deplacements/maquette/`, cas NORDEND, D-054) : onglet View pour les images (glisseur, comparaison à ±24 h, `error_value` sur chaque capteur, gros plan des cibles avec les images d'avant et d'après), onglet Diagnosis pour les données (déplacements en mm et `error_value` des cibles choisies sur une plage, demande à l'agent composée sans être lancée) ; vérifiée par captures, clics à essayer, état dans `vues-deplacements/maquette/spec.md` ; cas NORDEND laissé là le 2026-10-16, PR17 sans explication claire (`vues-deplacements/cas/2026-10_NORDEND/parcours.md`) ; suite, à la demande de l'utilisateur : la sortie de l'agent dans la page, les annotations d'épisodes (à croiser avec l'agent), d'autres cas ; `cellular` : l'utilisateur voit avec le spécialiste les questions de `docs/cellular/domaine/questions-pour-l-expert.md` (cadence des envois, articulation des deux corrections de `DAILY_LINK_STATE`, retenues mais non codées, cas annotés) ; ensuite les corrections, à reporter dans le guide ; `storage` : les réponses de l'expert (seuils, disque plein, purge, cas), puis les seuils et le guide ; `temperature` : confirmer la carte et ses seuils sur une station (question 1 de `docs/temperature/domaine/point-de-depart.md`), puis le guide si la limite change ; repérer d'autres champs à notifier ; étape 1 du rapport d'agents (pilote manuel Energy sur l'historique de VERMONT, il faut une clé API Anthropic) ; mise en forme du manuel avec le plugin Interactive Docs (dans une autre conversation) ; choisir avec l'équipe du site le format d'intégration du graphique ; maquettes : poursuivre côté client pas à pas, puis côté support (points ouverts dans D-022 et D-039) ; agent de diagnostic : ses outils propres, pour plus de précision (dans une autre conversation), et l'utilisateur valide le rapport du second passage sur PS des Coudres (§7 de sa spec) ; d'autres cas de la base, quand l'utilisateur les apporte et le demande.
## Analyses (domaine Energy)
@@ -107,7 +107,7 @@ python3 -m venv .venv && .venv/bin/pip install plotly matplotlib # recréer .
### Fichiers
- `README.md` (40 l) : point d'entrée pour un humain.
- `docs/decisions.md` (697 l, D-001 à D-061) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée.
- `docs/decisions.md` (708 l, D-001 à D-062) : décisions **projet**, au format ADR allégé (statut, décision, pourquoi, options écartées, conséquence). À consulter avant de changer d'orientation ou de reproposer une option : elle a peut-être déjà été écartée.
- `docs/domaine/` : savoir métier commun, une note courte (< 50 l) par question.
- `ce-que-mesure-la-station.md` : format CSV, métriques et unités, consommation mesurée mais pas l'apport.
- `pieges-des-donnees.md` : trou ≠ coupure, signatures d'une coupure, seuils absolus, cycle jour/nuit.
+1 -1
View File
@@ -1 +1 @@
<mxfile host="drawio" version="24.7.17"><diagram id="p1" name="1. Vue d'ensemble"><mxGraphModel dx="1400" dy="900" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="1000" math="0" shadow="0"><root><mxCell id="0"/><mxCell id="1" parent="0"/><mxCell id="p1_P1" value="&lt;b&gt;/aiguiser &amp;lt;dossier&amp;gt;&lt;/b&gt;&lt;br&gt;affine les outils de lecture (D-059)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="40" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P2" value="&lt;b&gt;/boucle &amp;lt;dossier&amp;gt;&lt;/b&gt;&lt;br&gt;règle les détecteurs du journal (D-057)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="400" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P3" value="&lt;b&gt;@agent-diagnostic data/… [question]&lt;/b&gt;&lt;br&gt;enquête à la demande sur un cas (D-058)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="760" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P4" value="&lt;b&gt;/nouveau-cas&lt;/b&gt;&lt;br&gt;ajoute un cas validé (D-048)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="1120" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_lg" value="&lt;b&gt;Légende&lt;/b&gt;" style="rounded=0;whiteSpace=wrap;html=1;fillColor=#ffffff;strokeColor=#cccccc;verticalAlign=top;align=left;spacingLeft=8;fontSize=11;" vertex="1" parent="1"><mxGeometry x="1130" y="790" width="330" height="165" as="geometry"/></mxCell><mxCell id="p1_t" value="&lt;b&gt;Processus IA du projet : vue d'ensemble&lt;/b&gt;&lt;br&gt;&lt;font style=&quot;font-size:12px&quot;&gt;Qui lance quoi, et qui modifie quel bien partagé (au 2026-10-24). Tout est lancé à la main par l'utilisateur.&lt;/font&gt;" style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=18;" vertex="1" parent="1"><mxGeometry x="40" y="20" width="900" height="50" as="geometry"/></mxCell><mxCell id="p1_u" value="&lt;b&gt;Utilisateur (l'expert)&lt;/b&gt;&lt;br&gt;lance chaque processus, fusionne les branches" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;arcSize=12;" vertex="1" parent="1"><mxGeometry x="600" y="85" width="280" height="50" as="geometry"/></mxCell><mxCell id="p1_lecteur" value="&lt;b&gt;lecteur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_correcteur" value="&lt;b&gt;correcteur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="205" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_optimiseur" value="&lt;b&gt;optimiseur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P1f" value="Lit : data/ ; au contrôle final, les cas validés.&lt;br&gt;Garde une modification des outils seulement si la relecture est &lt;i&gt;mieux&lt;/i&gt;." style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=11;" vertex="1" parent="1"><mxGeometry x="55" y="360" width="290" height="100" as="geometry"/></mxCell><mxCell id="p1_analyste" value="&lt;b&gt;analyste&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_upgrader" value="&lt;b&gt;upgrader&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_validateur" value="&lt;b&gt;validateur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_builder" value="&lt;b&gt;builder&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P2f" value="Lit : data/ par les outils de lecture ; la base de cas, après sa propre lecture." style="text;html=1;align=left;verticalAlign=top;wLine truncated
<mxfile host="drawio" version="24.7.17"><diagram id="p1" name="1. Vue d'ensemble"><mxGraphModel dx="1400" dy="900" grid="1" gridSize="10" guides="1" tooltips="1" connect="1" arrows="1" fold="1" page="1" pageScale="1" pageWidth="1500" pageHeight="1000" math="0" shadow="0"><root><mxCell id="0"/><mxCell id="1" parent="0"/><mxCell id="p1_P1" value="&lt;b&gt;/aiguiser &amp;lt;dossier&amp;gt;&lt;/b&gt;&lt;br&gt;affine les outils de lecture (D-059)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="40" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P2" value="&lt;b&gt;/boucle &amp;lt;dossier&amp;gt;&lt;/b&gt;&lt;br&gt;règle les détecteurs du journal (D-057)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="400" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P3" value="&lt;b&gt;@agent-diagnostic data/… [question]&lt;/b&gt;&lt;br&gt;enquête à la demande sur un cas (D-058)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="760" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_P4" value="&lt;b&gt;/nouveau-cas&lt;/b&gt;&lt;br&gt;ajoute un cas validé (D-048)" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#dae8fc;strokeColor=#6c8ebf;arcSize=4;verticalAlign=top;spacingTop=6;" vertex="1" parent="1"><mxGeometry x="1120" y="170" width="320" height="300" as="geometry"/></mxCell><mxCell id="p1_lg" value="&lt;b&gt;Légende&lt;/b&gt;" style="rounded=0;whiteSpace=wrap;html=1;fillColor=#ffffff;strokeColor=#cccccc;verticalAlign=top;align=left;spacingLeft=8;fontSize=11;" vertex="1" parent="1"><mxGeometry x="1130" y="790" width="330" height="165" as="geometry"/></mxCell><mxCell id="p1_t" value="&lt;b&gt;Processus IA du projet : vue d'ensemble&lt;/b&gt;&lt;br&gt;&lt;font style=&quot;font-size:12px&quot;&gt;Qui lance quoi, et qui modifie quel bien partagé (au 2026-10-24). Tout est lancé à la main par l'utilisateur.&lt;/font&gt;" style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=18;" vertex="1" parent="1"><mxGeometry x="40" y="20" width="900" height="50" as="geometry"/></mxCell><mxCell id="p1_u" value="&lt;b&gt;Utilisateur (l'expert)&lt;/b&gt;&lt;br&gt;lance chaque processus, fusionne les branches" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#ffe6cc;strokeColor=#d79b00;arcSize=12;" vertex="1" parent="1"><mxGeometry x="600" y="85" width="280" height="50" as="geometry"/></mxCell><mxCell id="p1_lecteur" value="&lt;b&gt;lecteur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_correcteur" value="&lt;b&gt;correcteur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="205" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_optimiseur" value="&lt;b&gt;optimiseur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="55" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P1f" value="Lit : data/ ; au contrôle final, les cas validés.&lt;br&gt;Garde une modification des outils seulement si la relecture est &lt;i&gt;mieux&lt;/i&gt;." style="text;html=1;align=left;verticalAlign=top;whiteSpace=wrap;fontSize=11;" vertex="1" parent="1"><mxGeometry x="55" y="360" width="290" height="100" as="geometry"/></mxCell><mxCell id="p1_analyste" value="&lt;b&gt;analyste&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_upgrader" value="&lt;b&gt;upgrader&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="235" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_validateur" value="&lt;b&gt;validateur&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="415" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_builder" value="&lt;b&gt;builder&lt;/b&gt;" style="rounded=1;whiteSpace=wrap;html=1;fillColor=#d5e8d4;strokeColor=#82b366;arcSize=10;" vertex="1" parent="1"><mxGeometry x="565" y="289" width="140" height="44" as="geometry"/></mxCell><mxCell id="p1_P2f" value="Lit : data/ par les outils de lecture ; la base de cas, après sa propre lecture." style="text;html=1;align=left;verticalAlign=top;wLine truncated
+11
View File
@@ -695,3 +695,14 @@ Règles du journal :
- **Pourquoi** : idée de l'utilisateur : un algorithme de machine learning simple pourrait un jour faire le travail des détecteurs ou les compléter ; il faut d'abord des labels, et chaque lot lu par Claude coûte cher (~8 min 30, ~250 000 jetons) : un lot sans labels relisibles est perdu pour l'apprentissage. La table « Ma lecture » de la critique en avait la matière, mais en texte libre (« ~08:30 », « idem »).
- **Options écartées** : construire le modèle maintenant (trop peu de données : 6 jeux, ~30 jours de station, et la boucle n'a pas encore tourné) ; un CSV (une liste de capteurs par moment, et un lot calme, sans ligne, perdrait « lu, rien vu ») ; une table Markdown au format strict (moins lisible pour l'utilisateur) ; des labels écrits après la comparaison aux détecteurs (ils en seraient la copie).
- **Conséquence** : D-044 écartait un « modèle appris » dans la couche de correction ; rien n'est rouvert tant qu'aucun modèle n'est décidé. Pistes au point 44 du plan du journal du matin : un arbre de décision peu profond, à côté des détecteurs, validé en laissant une station de côté et testé sur les cas validés ; le rejeu gratuit des détecteurs sur toutes les étiquettes ; la visibilité de l'utilisateur sur les labels.
## D-062 — 2026-10-25 — Boucle : un score des détecteurs sur toutes les étiquettes
- **Statut** : active ; complète D-057 et D-061 ; choix à revoir après la première séance.
- **Décision** :
- le but de la boucle est la précision de la détection sur tout le lot : chaque mesure classée, valide ou non, avec sa catégorie (l'utilisateur) ;
- `.claude/skills/boucle/score.py <dossier>` compare, mesure par mesure et capteur par capteur, les événements des détecteurs (le lot classé avec ses 3 jours d'historique) aux étiquettes de tous les lots de la station ; par catégorie et pour deux niveaux de validité, « à ignorer » (zones grisées) et « prudence » (visibilité réduite, turbulence), il rend « trouvées » (part des mesures étiquetées signalées) et « justes » (part des mesures signalées étiquetées) ;
- l'orchestrateur l'écrit au début de chaque lot (`score-avant.txt`) et en fin de séance (`score-fin.txt`) ; l'upgrader et le validateur le relancent après une modification : la catégorie en cause monte sur le lot, sans baisse nette sur les lots d'avant ; le score est un fait, pas un verdict ;
- consigne des étiquettes : bornes à la mesure près ; un saut qui dure, la mesure du saut seule (convention du détecteur de sauts).
- **Pourquoi** : l'analyste et le validateur jugeaient en mots ; les étiquettes n'étaient lues par personne ; une modification au lot 3 n'était jamais vérifiée sur les lots 1 et 2. L'utilisateur laisse Claude choisir le compte et l'essayer à la première séance.
- **Options écartées** (choix de Claude, à revoir) : deux niveaux de validité (la visibilité réduite, données gardées mais moins précises, se perdrait) ; un compte par événement (il ne mesure pas les bornes) ; la validité de toute la station à un instant (les étiquettes sont déjà par capteur) ; un champ `validite` dans les étiquettes (elle se déduit de la catégorie) ; le script dans `journal/` (l'upgrader pourrait le modifier).
- **Conséquence** : le rejeu, écarté par D-057 parce qu'il coûtait un regard de Claude, devient gratuit sur les étiquettes. La turbulence est toujours « prudence » au score, forte ou non (l'étiquette ne dit pas sa force). Les trous n'ont pas de mesure, donc pas de score.
@@ -93,6 +93,7 @@ Types : **Comprendre** (lire, expliquer, rien ne change), **Décider** (l'utilis
| 42 | Aiguiser la lecture : les outils de lecture de Claude | Décider, Coder | 31 | construit (D-059), essai fait le 2026-10-24 ; séance par l'utilisateur |
| 43 | Une base locale complète et incrémentale, pilotée par Claude | Décider, Coder | 27, 33 | codé le 2026-10-24, jamais lancé ; essai par l'utilisateur avec le point 27 |
| 44 | Un modèle appris à côté de la boucle | Décider, Coder | 31 | étiquettes à chaque lot faites le 2026-10-25 (D-061) ; modèle plus tard |
| 45 | Le but de la boucle : chaque instant étiqueté, la précision mesurée | Décider, Coder | 31, 44 | score codé le 2026-10-25 (D-062) ; à juger à la première séance |
| | **VII. Idées gardées pour plus tard** | | | |
| 33 | Les autres métriques de certains projets | Comprendre | 27 | en attente |
| 34 | Météo et HDF5 pour dire la cause | Comprendre | 27 | en attente |
@@ -919,6 +920,40 @@ Rapport de l'agent : `vues-deplacements/contexte/donnees-et-boucle.md`. Script :
**Fini quand.** Chaque lot de la boucle laisse des étiquettes bonnes au contrôle (première étape) ; la suite reste à définir avec l'utilisateur.
### Point 45 : Le but de la boucle : chaque instant étiqueté, la précision mesurée
**L'idée** (l'utilisateur, 2026-10-25). Le but de la boucle n'est pas l'interface (images, frise) : c'est la détection. Sur tout le lot (4 jours), chaque instant doit être classé : données valides ou non, et sa catégorie ; un instant sans anomalie n'a pas besoin d'étiquette, mais aucun événement ne doit manquer. C'est la précision de cette détection que la boucle doit perfectionner, que l'algorithme final soit appris ou analytique.
**Constaté le 2026-10-25** (spec de la boucle, `critiquer-lot`, `etiquettes.py`, agents).
- Conforme : la boucle ne touche qu'aux détecteurs (`journal/*.py`, registre des seuils), jamais à la maquette ; les images ne servent que de preuve à l'analyste. L'analyste lit tout le lot avant les détecteurs ; ses étiquettes couvrent le lot (un instant sans moment : rien vu).
- Écarts :
1. la validité n'est pas une étiquette : elle se déduit de la catégorie (zone grisée ou non, `ignore` de `categories.py`), sauf pour la turbulence (grisée si forte seulement) et `aucune` ;
2. la précision n'est pas mesurée : la comparaison de l'analyste et le jugement du validateur sont qualitatifs (« va dans le bon sens ») ; ni l'upgrader ni le validateur ne lisent les étiquettes ;
3. pas de rejeu : une modification faite au lot 3 n'est jamais vérifiée sur les étiquettes des lots 1 et 2 (régression possible) ;
4. les images sont vues par vignettes toutes les 2 à 3 h, plus serrées là où les courbes bougent : un événement court et invisible sur les courbes peut manquer aux étiquettes.
**Proposition de Claude, à discuter.** Un script de score, en bibliothèque standard : la sortie des détecteurs face à toutes les étiquettes déjà écrites, mesure par mesure et capteur par capteur (valide ou non, catégorie) ; par catégorie, la part des instants anormaux trouvés et la part des instants signalés à tort. Le validateur s'en sert : une modification gardée fait monter le score du lot sans le faire baisser sur les lots d'avant. C'est le rejeu gratuit du point 44, avancé. Un champ `validite` explicite dans les étiquettes si la catégorie ne suffit pas.
**Questions à l'utilisateur.**
1. Validité : trois niveaux (valide, avec prudence, à ignorer : les zones actuelles du journal) ou deux ?
2. Précision comptée par instant (chaque mesure de chaque capteur) ou par événement (trouvé ou non, bornes à une tolérance près) ?
3. Validité par capteur (comme les étiquettes aujourd'hui) ou de toute la station à un instant ?
**Réponse de l'utilisateur (2026-10-25).** Il ne sait pas encore : Claude essaie l'implémentation qui lui paraît la meilleure, avec un test ; l'utilisateur lancera une séance de la boucle dès qu'il aura des données, puis on adaptera.
**Fait le 2026-10-25 (D-062).** Choix de Claude : trois niveaux, un compte par mesure, par capteur.
- `.claude/skills/boucle/score.py <dossier> [etiquettes.json …]` (défaut : toutes les étiquettes de la station sous `vues-deplacements/boucle/`) : par lot et au total, pour « à ignorer », « prudence » et chaque catégorie, « trouvées » et « justes » ; un lot dont les étiquettes ont des défauts est sauté ; `--test` sur le lot 1 de NORDEND d'octobre (étiquettes copiées des détecteurs : tout juste ; une catégorie oubliée, une étiquette en plus).
- L'orchestrateur écrit `<lot>/score-avant.txt` après l'analyste et `<séance>/score-fin.txt` au bilan ; l'upgrader et le validateur le relancent après une modification et le comparent ; consigne du validateur : la catégorie en cause monte sur le lot, sans baisse nette (un événement entier) sur les lots d'avant.
- Consigne des étiquettes (`critiquer-lot`) : bornes à la mesure près ; un saut qui dure, la mesure du saut seule (convention de `sauts.py`).
- Essai sur les deux seules étiquettes réelles gardées de l'essai de l'analyste (NORDEND, lot 1) : le script tourne (6 512 cases, ~4 s) ; il a montré l'écart de convention du saut de PR17 (l'analyste : 02:30 jusqu'à la fin du lot ; le détecteur : l'instant 02:30), d'où la consigne ; les autres chiffres ne disent rien (deux moments sur sa lecture entière).
**Étapes.**
- [x] Les choix, laissés à Claude (2026-10-25).
- [x] Le script de score, l'orchestrateur, l'upgrader et le validateur qui s'en servent (2026-10-25).
- [ ] Première séance de la boucle par l'utilisateur : lire `score-avant.txt` et `score-fin.txt`, revoir les trois choix.
**Fini quand.** Chaque modification de la boucle est jugée sur un score mesuré, sur toutes les étiquettes déjà écrites.
---
## Partie VII — Idées gardées pour plus tard
@@ -1071,3 +1106,5 @@ Une ligne par séance : date, point(s) traités, ce qui a changé, ce qui reste.
- 2026-10-24 : point 42 : `/aiguiser` construit (D-059), avec le releveur (D-060) ; essai du lecteur et du correcteur sur le lot 1 de NORDEND : écart « à reprendre », deux défauts ; reste la première séance, par l'utilisateur.
- 2026-10-25 : point 44 ajouté (idée de l'utilisateur : un modèle de machine learning entraîné sur les labels de la boucle) ; proposition de Claude notée, à discuter ; rien construit.
- 2026-10-25 : point 44 : l'utilisateur garde les labels d'abord, pas de modèle tout de suite ; étiquettes écrites par l'analyste à chaque lot (`etiquettes.json`, contrôle `critiquer-lot/etiquettes.py`, D-061) ; reste la première séance et la visibilité de l'utilisateur sur les labels.
- 2026-10-25 : point 45 ajouté (précision de l'utilisateur : la boucle sert la détection sur tout le lot, chaque instant valide ou non avec sa catégorie) ; écarts constatés (validité implicite, précision non mesurée, pas de rejeu) ; proposition d'un score, trois questions à l'utilisateur ; rien codé.
- 2026-10-25 : point 45 : l'utilisateur laisse Claude choisir ; score codé (`.claude/skills/boucle/score.py`, D-062 : trois niveaux, par mesure, par capteur), branché sur l'orchestrateur, l'upgrader et le validateur ; consigne des sauts dans les étiquettes ; à juger à la première séance.
+1 -1
View File
@@ -20,7 +20,7 @@ Détection mécanique des anomalies (D-055) : faire ressortir les courbes qui co
Journal du matin du client (D-056), le cap actuel : onglet `Journal` de la maquette ; un détecteur élémentaire par fichier dans `journal/` (`detect(mesures)` -> épisodes `start`, `end`, `kind`, `label`, `text`, `ignore`, `sensors`), chargés et classés en événements des onze catégories du journal par `journal/categories.py` (`python3 vues-deplacements/journal/categories.py <dossier>` : une ligne par événement), que `explore.py` affiche ; brainstorming et pistes dans `contexte/journal-du-matin.md`, registre des seuils provisoires dans `contexte/seuils-du-journal.md`, lissage dans `contexte/lissage.md`, données en masse et boucle Claude dans `contexte/donnees-et-boucle.md`.
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle <dossier de station> [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base de cas par un builder ; une séance par branche `boucle/<séance>_<STATION>`, ses rendus dans `boucle/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061) et son `bilan.md`, hors de tout dossier de station ; spec `contexte/boucle-automatique.md`.
Boucle automatique (D-057), lancée par l'utilisateur seul, sur les lots qu'il choisit : `/boucle <dossier de station> [--du … --au …]` fait juger les détecteurs du journal, lot après lot, par un analyste, les fait corriger par un upgrader contrôlé par un validateur, et ajoute les nouveautés à la base de cas par un builder ; une séance par branche `boucle/<séance>_<STATION>`, ses rendus dans `boucle/<séance>_<STATION>/lot-NN/` (dont les étiquettes de l'analyste, `etiquettes.json`, D-061, et `score-avant.txt`, le score des détecteurs face à toutes les étiquettes, D-062) et son `bilan.md`, hors de tout dossier de station ; spec `contexte/boucle-automatique.md`.
Aiguiser la lecture (D-059), lancé par l'utilisateur seul, sur les lots qu'il choisit : `/aiguiser <dossier de station> [--du … --au …]` améliore les outils de lecture (`agents/diagnostic/outils/`) et leur mode d'emploi, le skill `lire-les-donnees`, que suivent l'analyste et l'agent de diagnostic : un lecteur lit le lot avec le skill, un correcteur le lit à fond avec ses propres scripts et mesure l'écart, un optimiseur modifie le skill, un changement sans gain est annulé ; contrôle sur les cas validés en fin de séance ; une séance par branche `aiguiser/<séance>_<STATION>`, ses rendus dans `aiguiser/<séance>_<STATION>/lot-NN/`, `controle/` et `bilan.md`, hors de tout dossier de station ; spec `contexte/aiguiser-la-lecture.md`.
@@ -20,7 +20,7 @@ L'analyste et le validateur ne laissent rien de durable eux-mêmes : ce sont les
- Récupérer les données : la boucle prend un dossier de station tel quel, au format de `data/<STATION>/` (export « advanced » dans `displacement/`, images dans `images/`), qu'il vienne du pompage (`extraction/pomper.py`, point 27) ou de CSV et d'images téléchargés à la main.
- Les autres domaines (Energy, Storage, Cellular, Temperature) : les déplacements seulement.
- **L'agent de diagnostic** (`diagnostic`, D-046) : il n'entre pas en jeu ici, à aucun moment il n'a de travail dans la boucle (l'utilisateur, 2026-10-24). Il sert au diagnostic pour l'utilisateur ; on le traitera dans une autre conversation, y compris ce que les cas appris changent pour lui. La boucle ne touche pas à ses consignes ; elle ne fait que compléter la base de cas.
- L'exhaustivité : **pas de rejeu** des lots déjà vus, pas de revalidation générale après chaque modification ; on explore des données et on améliore peu à peu (l'utilisateur).
- L'exhaustivité : **pas de rejeu** des lots déjà vus par l'analyste, pas de revalidation générale après chaque modification ; on explore des données et on améliore peu à peu (l'utilisateur). Le score (D-062, §5) rejoue les lots d'avant sans regard de Claude, sur leurs étiquettes.
- Revalider les cas appris : peut-être plus tard, à la main, pas maintenant (l'utilisateur).
- Plusieurs analystes en parallèle : plus tard (annexe).
@@ -79,6 +79,8 @@ La critique est un skill à part, à la demande de l'utilisateur ; on peut aussi
**Étiquettes** (D-061, ajoutées le 2026-10-25) : juste après sa lecture, avant la sortie des détecteurs, l'analyste écrit aussi `etiquettes.json`, une entrée par moment de sa lecture (début, fin, capteurs, catégorie du journal, événement de la carte s'il est établi, preuve vue ou déduite), contrôlée par `.claude/skills/critiquer-lot/etiquettes.py` ; le format est dans `critiquer-lot`. Elles ne dépendent pas des détecteurs : ce sont les labels d'un futur modèle appris (point 44 du plan), à garder même si une modification est annulée. Toutes les étiquettes : `vues-deplacements/boucle/*/lot-*/etiquettes.json`.
**Score** (D-062, point 45 du plan, ajouté le 2026-10-25) : le but de la boucle est la précision de la détection sur tout le lot (l'utilisateur). `python3 .claude/skills/boucle/score.py <dossier>` compare, mesure par mesure et capteur par capteur, les événements des détecteurs aux étiquettes de **tous** les lots de la station : par catégorie et pour deux niveaux de validité (« à ignorer » : les zones grisées ; « prudence » : visibilité réduite et turbulence), « trouvées » (part des mesures étiquetées que les détecteurs signalent) et « justes » (part des mesures signalées que l'analyste a étiquetées). L'orchestrateur l'écrit au début de chaque lot (`score-avant.txt`) et en fin de séance (`score-fin.txt`) ; l'upgrader et le validateur le relancent après une modification : la catégorie en cause monte sur ce lot, sans baisse nette sur les lots d'avant. Le score est un fait, pas un verdict : l'analyste peut se tromper aussi. Choix de Claude, laissé par l'utilisateur, à revoir après la première séance : trois niveaux plutôt que deux, un compte par mesure plutôt que par événement, par capteur plutôt que pour toute la station. Le script est hors de `journal/` : l'upgrader ne peut pas le modifier.
### Upgrader : `.claude/agents/upgrader.md`
Il reprend les suggestions de l'analyste (et la dernière validation, s'il y en a une) et modifie les détecteurs. Outils : Read, Edit, Write, Bash.
@@ -115,7 +117,7 @@ Ajouté le 2026-10-24, commun à tous les processus automatiques. Chaque rendu f
## 6. Ce que l'utilisateur trouve à la fin
- La branche `boucle/<AAAA-MM-JJ>_<STATION>` : un commit par étape, lisible avec `git log` ; il la fusionne, n'en garde qu'une partie, ou revient en arrière.
- `bilan.md` : une ligne par lot (verdict de l'analyste ; étiquettes ; modification gardée, annulée ou aucune ; cas créés) ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs.
- `bilan.md` : une ligne par lot (verdict de l'analyste ; étiquettes ; modification gardée, annulée ou aucune ; cas créés), et le score de fin de séance (`score-fin.txt`) sur toutes les étiquettes de la station ; les suggestions non traitées (nouvelle catégorie, au-delà de deux) ; les nouveautés déjà connues ; les erreurs.
- `docs/ameliorations-processus.md` : les difficultés du processus relevées pendant la séance.
## 7. Essai et première séance
@@ -108,3 +108,7 @@ Un orchestrateur (la conversation principale) et un agent par piste, qui rapport
## Un modèle appris (point 44 du plan, 2026-10-25)
- Idée de l'utilisateur : en complément de la boucle, un algorithme de machine learning simple, entraîné sur les labels qu'elle écrit, pour classer les moments dans les catégories du journal ; proposition de Claude (étiquettes strictes et rejeu gratuit d'abord, puis un arbre de décision peu profond, à côté des détecteurs) au point 44, à discuter.
## Le but de la boucle (point 45 du plan, 2026-10-25)
- Précision de l'utilisateur : la boucle sert la détection, pas l'interface : sur tout le lot, chaque instant classé (valide ou non, sa catégorie), aucun événement manqué ; c'est la précision de cette détection qu'elle doit perfectionner. Écarts avec la boucle construite et proposition d'un score mesuré au point 45.