Loop CLARIDEN lot 01: modification 1

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-26 17:25:49 +01:00
1 parent 072fa46a8c
commit 77b2a48261
4 files changed
+61 -10

No files matched your search

@@ -0,0 +1,44 @@
# Lot 01 : modification 1
## Ce qui a changé
- `vues-deplacements/detectors/trous.py` (règle existante ajustée, aucune constante changée) : `detect(mesures, fin=None)`. Sans `fin`, rien ne change, donc l'appel `detect(mesures)` est le même qu'avant. Avec `fin`, la fin de la fenêtre lue (exclue), la même règle (`MISSING` = 2 pas manquants, soit un écart > 3 cadences) s'applique aussi entre la dernière mesure et `fin`. L'épisode va alors de la dernière mesure à `fin`, avec le texte « No measurement in the export for 44 h 00 min, up to the end of the period (usually one every 10 min). ». Docstring du module et de `detect` mises à jour.
- `vues-deplacements/detectors/categories.py` : `evenements(mesures, fin=None)` transmet `fin` à `trous` seul. Le tri en lot (`--tranche`) donne la fin de chaque tranche (`evenements(tranche, b)`). La page (`explore.py`) et `score.py` appellent toujours `evenements(mesures)`, donc rien ne change pour eux.
- `vues-deplacements/contexte/seuils-du-journal.md` : la ligne `trous` / `MISSING` dit maintenant que la règle s'applique aussi à la fin de la fenêtre lue (boucle CLARIDEN, lot 01). Sa valeur reste 2 pas.
## Pourquoi
S1 de la critique : un trou de tous les capteurs qui va jusqu'à la fin de la fenêtre n'était pas signalé. Le détecteur ne voyait que les écarts entre deux mesures présentes. Ici, 44 h sans mesure, du 13/09 04:00 à la fin du lot, plus de la moitié du lot.
## Avant / après sur le lot
Avant :
```
$ python3 vues-deplacements/detectors/categories.py data/CLARIDEN --du 2026-09-12 --au 2026-09-15 --tranche 4 2>&1
== 2026-09-12T00:00Z → 2026-09-15T00:00Z : rien
```
Après :
```
$ python3 vues-deplacements/detectors/categories.py data/CLARIDEN --du 2026-09-12 --au 2026-09-15 --tranche 4 2>&1
== 2026-09-12T00:00Z → 2026-09-15T00:00Z : 1
2026-09-13T04:00Z → 2026-09-15T00:00Z trou gardé | trous | tous les capteurs | absorbés : —
```
Aucune ligne `sauté`. J'ai aussi passé `--tranche 3` sur toute la station, avant et après, sur `data/CLARIDEN`, `data/NORDEND` et `vues-deplacements/cas/2026-10_NORDEND/NORDEND`. La seule différence est la tranche de ce lot.
## Score
Inchangé : un trou n'a pas de mesure, donc pas de case (`score.py`). Je n'ai pas modifié `score.py`, qui de toute façon n'appelle pas `evenements` avec `fin`.
```
2026-10-26T1618Z_CLARIDEN/lot-01 : à ignorer 0/169 (0 %) → 0/169 (0 %) ; cible_masquee 0/169 (0 %) → 0/169 (0 %)
```
## Benchmark
Aucune ligne n'a changé : la seule différence avec le benchmark d'avant est la ligne de version. Ligne `total toutes` : 8451/16138 (52 %), 8451/10865 (78 %) → identique. C-004 `a_verifier` : 163/639 (26 %), 163/2035 (8 %) → identique.
## Pas corrigé
- **S2 (PR-283 rejetée à toutes les mesures du lot)** : essayé puis annulé. L'essai était un ajustement d'une règle de `visibilite`, étape 4 : une cible dont la médiane d'`error_value` sur la fenêtre est au-dessus de son seuil compte chaque rejet. Sur ce lot, PR-283 est bien trouvée (cible_masquee 0/169 → 169/169, justes 169/169). Mais la base de cas étiquette exactement ce même état comme « aucune catégorie ». C-001 : C12, rejetée à 525/525 mesures, « aucune catégorie » (`etiquetage.md`, ligne 11). C-005 : C18, C19, C20, C22, C23, C26 et C27, rejetées à presque chaque mesure, « c'est leur état habituel, pas un moment » (`etiquetage.md`, ligne 7 ; `cas.md`, ligne 32). Le benchmark reculait donc nettement, avec des événements entiers signalés à tort : C-001, justes de `toutes` 81 % → 66 % (cible_masquee 0/525) ; C-005, cible_masquee justes 100 % → 3 % (21/621) ; total `toutes` justes 78 % → 70 %. Dans la fenêtre, rien ne distingue PR-283 de ces cibles. Ce qui la distingue, c'est l'export entier (rejetée seulement à 360 mesures sur 1668), et ce lot est le début de l'export, sans historique. À trancher par l'utilisateur : une cible rejetée sur toute la fenêtre est-elle un événement (`cible_masquee`, comme dans ce lot) ou un état à ne pas dire (comme dans C-001 et C-005) ? Tant que les étiquettes se contredisent, aucune règle ne peut satisfaire les deux.
- **S1, la distinction entre « données pas encore arrivées » et « trou de données »** : pas faite. Le détecteur ne voit que la fenêtre (le tri en lot coupe les mesures à sa fin), donc il ne sait pas si les mesures reprennent ensuite. Le texte reste neutre : « up to the end of the period ». Dans l'application réelle, la fin de la fenêtre est « maintenant », et ce texte y veut dire « pas encore arrivées ».
## Nouveautés
- Une cible rejetée à toutes les mesures d'une fenêtre n'est pas rare dans la base : C12 de C-001, et sept cibles de C-005 (des `ref` locales, comme PR-283). Les étiquettes figées de ces cas en font un état sans catégorie ; l'analyste de ce lot en fait une `cible_masquee`. C'est une contradiction d'étiquetage, pas un défaut de détecteur.
## Difficultés
- La consigne dit que le contrat `detect(mesures)` ne change pas. Or le défaut S1 demande la fin de la fenêtre, que `detect(mesures)` ne reçoit pas. J'ai ajouté un paramètre facultatif (`fin=None`) à `trous.detect` et à `categories.evenements`, que `categories` ne passe qu'à `trous` (repéré par le nom de son module). L'appel `detect(mesures)` marche comme avant. Je ne sais pas si le validateur y verra un changement de contrat.
- La consigne demande de faire monter la catégorie en cause dans le score. Pour un trou, le score ne peut pas monter : `score.py` ne compte pas les trous, qui n'ont pas de case. Le seul contrôle possible était la sortie de la commande du lot.
- Pour S2, les étiquettes de l'analyste du lot et celles des cas C-001 et C-005 se contredisent sur un même état. La consigne ne dit pas lequel l'emporte. J'ai suivi la règle « pas de recul net du benchmark » et j'ai annulé.
@@ -39,7 +39,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
| | `REJET_MAX` | 15 % | C-003 ≤ 7 % ; toile et pluie ≥ 18 % |
| | `FORT` | 2× | C-003 (×2,3 à ×2,6) |
| | `DUREE_MIN` | 3 h | C-003 (10-11 h) contre matin de C-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) |
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 |
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement |
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
+5 -4
View File
@@ -147,12 +147,13 @@ def classer(episodes, references=frozenset()):
return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"])
def evenements(mesures):
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal."""
def evenements(mesures, fin=None):
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal ; fin : fin
de la fenêtre lue (tri en lot), donnée à trous seul, pour un trou qui la touche."""
episodes = []
for mod in detecteurs():
try:
episodes += mod.detect(mesures)
episodes += mod.detect(mesures, fin) if mod.__name__ == "journal_trous" else mod.detect(mesures)
except Exception as e: # noqa: BLE001
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"})
@@ -180,7 +181,7 @@ if __name__ == "__main__":
b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin
h = t - timedelta(days=a.historique)
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
evs = [v for v in evenements(tranche) if v["end"] >= iso(t)] if tranche else []
evs = [v for v in evenements(tranche, b) if v["end"] >= iso(t)] if tranche else []
if a.tranche:
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
for v in evs:
+11 -5
View File
@@ -1,8 +1,10 @@
"""Journal du matin : moments sans mesure (cadence de l'export « advanced » rompue).
Cadence : écart médian entre deux instants de mesure, tous capteurs confondus. Un trou : plus de 2 pas manquants entre
deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Pas de mesure dans l'export ne
veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien.
deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Fin de la fenêtre lue (fin, si
l'appelant la donne : le tri en lot de categories.py) : la même règle entre la dernière mesure et fin, l'épisode allant
jusqu'à fin (boucle CLARIDEN, lot 01 : 44 h sans mesure jusqu'à la fin du lot, non signalées). Pas de mesure dans
l'export ne veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien.
Usage : python3 vues-deplacements/detectors/trous.py <dossier de station> (affiche les épisodes)
"""
import os
@@ -20,16 +22,20 @@ def duration(s):
return f"{h} h {m:02d} min" if h else f"{m} min"
def detect(mesures):
def detect(mesures, fin=None):
"""fin : fin de la fenêtre lue (datetime, exclue), facultative ; sans elle, un trou final n'est pas vu."""
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
if len(ts) < 3:
return []
gaps = [(b - a).total_seconds() for a, b in zip(ts, ts[1:])]
step = statistics.median(gaps)
out = [(a, b, g, "") for a, b, g in zip(ts, ts[1:], gaps)]
if fin: # fin exclue : la dernière mesure attendue est à fin − 1 pas, l'écart se compte comme entre deux mesures
out.append((ts[-1], fin, (fin - ts[-1]).total_seconds(), ", up to the end of the period"))
return [{"start": iso(a), "end": iso(b), "kind": "trous", "label": "No data",
"text": f"No measurement in the export for {duration(g)} (usually one every {duration(step)}).",
"text": f"No measurement in the export for {duration(g)}{fin_txt} (usually one every {duration(step)}).",
"ignore": False, "sensors": []}
for a, b, g in zip(ts, ts[1:], gaps) if g > (MISSING + 1) * step]
for a, b, g, fin_txt in out if g > (MISSING + 1) * step]
if __name__ == "__main__":