Loop CLARIDEN lot 01: modification 1
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
072fa46a8c
commit
77b2a48261
4 files changed
+61
-10
No files matched your search
@@ -0,0 +1,44 @@
|
|||||||
|
# Lot 01 : modification 1
|
||||||
|
|
||||||
|
## Ce qui a changé
|
||||||
|
- `vues-deplacements/detectors/trous.py` (règle existante ajustée, aucune constante changée) : `detect(mesures, fin=None)`. Sans `fin`, rien ne change, donc l'appel `detect(mesures)` est le même qu'avant. Avec `fin`, la fin de la fenêtre lue (exclue), la même règle (`MISSING` = 2 pas manquants, soit un écart > 3 cadences) s'applique aussi entre la dernière mesure et `fin`. L'épisode va alors de la dernière mesure à `fin`, avec le texte « No measurement in the export for 44 h 00 min, up to the end of the period (usually one every 10 min). ». Docstring du module et de `detect` mises à jour.
|
||||||
|
- `vues-deplacements/detectors/categories.py` : `evenements(mesures, fin=None)` transmet `fin` à `trous` seul. Le tri en lot (`--tranche`) donne la fin de chaque tranche (`evenements(tranche, b)`). La page (`explore.py`) et `score.py` appellent toujours `evenements(mesures)`, donc rien ne change pour eux.
|
||||||
|
- `vues-deplacements/contexte/seuils-du-journal.md` : la ligne `trous` / `MISSING` dit maintenant que la règle s'applique aussi à la fin de la fenêtre lue (boucle CLARIDEN, lot 01). Sa valeur reste 2 pas.
|
||||||
|
|
||||||
|
## Pourquoi
|
||||||
|
S1 de la critique : un trou de tous les capteurs qui va jusqu'à la fin de la fenêtre n'était pas signalé. Le détecteur ne voyait que les écarts entre deux mesures présentes. Ici, 44 h sans mesure, du 13/09 04:00 à la fin du lot, plus de la moitié du lot.
|
||||||
|
|
||||||
|
## Avant / après sur le lot
|
||||||
|
Avant :
|
||||||
|
```
|
||||||
|
$ python3 vues-deplacements/detectors/categories.py data/CLARIDEN --du 2026-09-12 --au 2026-09-15 --tranche 4 2>&1
|
||||||
|
== 2026-09-12T00:00Z → 2026-09-15T00:00Z : rien
|
||||||
|
```
|
||||||
|
Après :
|
||||||
|
```
|
||||||
|
$ python3 vues-deplacements/detectors/categories.py data/CLARIDEN --du 2026-09-12 --au 2026-09-15 --tranche 4 2>&1
|
||||||
|
== 2026-09-12T00:00Z → 2026-09-15T00:00Z : 1
|
||||||
|
2026-09-13T04:00Z → 2026-09-15T00:00Z trou gardé | trous | tous les capteurs | absorbés : —
|
||||||
|
```
|
||||||
|
Aucune ligne `sauté`. J'ai aussi passé `--tranche 3` sur toute la station, avant et après, sur `data/CLARIDEN`, `data/NORDEND` et `vues-deplacements/cas/2026-10_NORDEND/NORDEND`. La seule différence est la tranche de ce lot.
|
||||||
|
|
||||||
|
## Score
|
||||||
|
Inchangé : un trou n'a pas de mesure, donc pas de case (`score.py`). Je n'ai pas modifié `score.py`, qui de toute façon n'appelle pas `evenements` avec `fin`.
|
||||||
|
```
|
||||||
|
2026-10-26T1618Z_CLARIDEN/lot-01 : à ignorer 0/169 (0 %) → 0/169 (0 %) ; cible_masquee 0/169 (0 %) → 0/169 (0 %)
|
||||||
|
```
|
||||||
|
|
||||||
|
## Benchmark
|
||||||
|
Aucune ligne n'a changé : la seule différence avec le benchmark d'avant est la ligne de version. Ligne `total toutes` : 8451/16138 (52 %), 8451/10865 (78 %) → identique. C-004 `a_verifier` : 163/639 (26 %), 163/2035 (8 %) → identique.
|
||||||
|
|
||||||
|
## Pas corrigé
|
||||||
|
- **S2 (PR-283 rejetée à toutes les mesures du lot)** : essayé puis annulé. L'essai était un ajustement d'une règle de `visibilite`, étape 4 : une cible dont la médiane d'`error_value` sur la fenêtre est au-dessus de son seuil compte chaque rejet. Sur ce lot, PR-283 est bien trouvée (cible_masquee 0/169 → 169/169, justes 169/169). Mais la base de cas étiquette exactement ce même état comme « aucune catégorie ». C-001 : C12, rejetée à 525/525 mesures, « aucune catégorie » (`etiquetage.md`, ligne 11). C-005 : C18, C19, C20, C22, C23, C26 et C27, rejetées à presque chaque mesure, « c'est leur état habituel, pas un moment » (`etiquetage.md`, ligne 7 ; `cas.md`, ligne 32). Le benchmark reculait donc nettement, avec des événements entiers signalés à tort : C-001, justes de `toutes` 81 % → 66 % (cible_masquee 0/525) ; C-005, cible_masquee justes 100 % → 3 % (21/621) ; total `toutes` justes 78 % → 70 %. Dans la fenêtre, rien ne distingue PR-283 de ces cibles. Ce qui la distingue, c'est l'export entier (rejetée seulement à 360 mesures sur 1668), et ce lot est le début de l'export, sans historique. À trancher par l'utilisateur : une cible rejetée sur toute la fenêtre est-elle un événement (`cible_masquee`, comme dans ce lot) ou un état à ne pas dire (comme dans C-001 et C-005) ? Tant que les étiquettes se contredisent, aucune règle ne peut satisfaire les deux.
|
||||||
|
- **S1, la distinction entre « données pas encore arrivées » et « trou de données »** : pas faite. Le détecteur ne voit que la fenêtre (le tri en lot coupe les mesures à sa fin), donc il ne sait pas si les mesures reprennent ensuite. Le texte reste neutre : « up to the end of the period ». Dans l'application réelle, la fin de la fenêtre est « maintenant », et ce texte y veut dire « pas encore arrivées ».
|
||||||
|
|
||||||
|
## Nouveautés
|
||||||
|
- Une cible rejetée à toutes les mesures d'une fenêtre n'est pas rare dans la base : C12 de C-001, et sept cibles de C-005 (des `ref` locales, comme PR-283). Les étiquettes figées de ces cas en font un état sans catégorie ; l'analyste de ce lot en fait une `cible_masquee`. C'est une contradiction d'étiquetage, pas un défaut de détecteur.
|
||||||
|
|
||||||
|
## Difficultés
|
||||||
|
- La consigne dit que le contrat `detect(mesures)` ne change pas. Or le défaut S1 demande la fin de la fenêtre, que `detect(mesures)` ne reçoit pas. J'ai ajouté un paramètre facultatif (`fin=None`) à `trous.detect` et à `categories.evenements`, que `categories` ne passe qu'à `trous` (repéré par le nom de son module). L'appel `detect(mesures)` marche comme avant. Je ne sais pas si le validateur y verra un changement de contrat.
|
||||||
|
- La consigne demande de faire monter la catégorie en cause dans le score. Pour un trou, le score ne peut pas monter : `score.py` ne compte pas les trous, qui n'ont pas de case. Le seul contrôle possible était la sortie de la commande du lot.
|
||||||
|
- Pour S2, les étiquettes de l'analyste du lot et celles des cas C-001 et C-005 se contredisent sur un même état. La consigne ne dit pas lequel l'emporte. J'ai suivi la règle « pas de recul net du benchmark » et j'ai annulé.
|
||||||
@@ -39,7 +39,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r
|
|||||||
| | `REJET_MAX` | 15 % | C-003 ≤ 7 % ; toile et pluie ≥ 18 % |
|
| | `REJET_MAX` | 15 % | C-003 ≤ 7 % ; toile et pluie ≥ 18 % |
|
||||||
| | `FORT` | 2× | C-003 (×2,3 à ×2,6) |
|
| | `FORT` | 2× | C-003 (×2,3 à ×2,6) |
|
||||||
| | `DUREE_MIN` | 3 h | C-003 (10-11 h) contre matin de C-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) |
|
| | `DUREE_MIN` | 3 h | C-003 (10-11 h) contre matin de C-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) |
|
||||||
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 |
|
| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) |
|
||||||
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement |
|
| `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement |
|
||||||
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
|
| dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC |
|
||||||
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
|
| | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière |
|
||||||
|
|||||||
@@ -147,12 +147,13 @@ def classer(episodes, references=frozenset()):
|
|||||||
return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"])
|
return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"])
|
||||||
|
|
||||||
|
|
||||||
def evenements(mesures):
|
def evenements(mesures, fin=None):
|
||||||
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal."""
|
"""Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal ; fin : fin
|
||||||
|
de la fenêtre lue (tri en lot), donnée à trous seul, pour un trou qui la touche."""
|
||||||
episodes = []
|
episodes = []
|
||||||
for mod in detecteurs():
|
for mod in detecteurs():
|
||||||
try:
|
try:
|
||||||
episodes += mod.detect(mesures)
|
episodes += mod.detect(mesures, fin) if mod.__name__ == "journal_trous" else mod.detect(mesures)
|
||||||
except Exception as e: # noqa: BLE001
|
except Exception as e: # noqa: BLE001
|
||||||
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
|
print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr)
|
||||||
return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"})
|
return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"})
|
||||||
@@ -180,7 +181,7 @@ if __name__ == "__main__":
|
|||||||
b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin
|
b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin
|
||||||
h = t - timedelta(days=a.historique)
|
h = t - timedelta(days=a.historique)
|
||||||
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
|
tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])}
|
||||||
evs = [v for v in evenements(tranche) if v["end"] >= iso(t)] if tranche else []
|
evs = [v for v in evenements(tranche, b) if v["end"] >= iso(t)] if tranche else []
|
||||||
if a.tranche:
|
if a.tranche:
|
||||||
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
|
print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}")
|
||||||
for v in evs:
|
for v in evs:
|
||||||
|
|||||||
@@ -1,8 +1,10 @@
|
|||||||
"""Journal du matin : moments sans mesure (cadence de l'export « advanced » rompue).
|
"""Journal du matin : moments sans mesure (cadence de l'export « advanced » rompue).
|
||||||
|
|
||||||
Cadence : écart médian entre deux instants de mesure, tous capteurs confondus. Un trou : plus de 2 pas manquants entre
|
Cadence : écart médian entre deux instants de mesure, tous capteurs confondus. Un trou : plus de 2 pas manquants entre
|
||||||
deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Pas de mesure dans l'export ne
|
deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Fin de la fenêtre lue (fin, si
|
||||||
veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien.
|
l'appelant la donne : le tri en lot de categories.py) : la même règle entre la dernière mesure et fin, l'épisode allant
|
||||||
|
jusqu'à fin (boucle CLARIDEN, lot 01 : 44 h sans mesure jusqu'à la fin du lot, non signalées). Pas de mesure dans
|
||||||
|
l'export ne veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien.
|
||||||
Usage : python3 vues-deplacements/detectors/trous.py <dossier de station> (affiche les épisodes)
|
Usage : python3 vues-deplacements/detectors/trous.py <dossier de station> (affiche les épisodes)
|
||||||
"""
|
"""
|
||||||
import os
|
import os
|
||||||
@@ -20,16 +22,20 @@ def duration(s):
|
|||||||
return f"{h} h {m:02d} min" if h else f"{m} min"
|
return f"{h} h {m:02d} min" if h else f"{m} min"
|
||||||
|
|
||||||
|
|
||||||
def detect(mesures):
|
def detect(mesures, fin=None):
|
||||||
|
"""fin : fin de la fenêtre lue (datetime, exclue), facultative ; sans elle, un trou final n'est pas vu."""
|
||||||
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
|
ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms})
|
||||||
if len(ts) < 3:
|
if len(ts) < 3:
|
||||||
return []
|
return []
|
||||||
gaps = [(b - a).total_seconds() for a, b in zip(ts, ts[1:])]
|
gaps = [(b - a).total_seconds() for a, b in zip(ts, ts[1:])]
|
||||||
step = statistics.median(gaps)
|
step = statistics.median(gaps)
|
||||||
|
out = [(a, b, g, "") for a, b, g in zip(ts, ts[1:], gaps)]
|
||||||
|
if fin: # fin exclue : la dernière mesure attendue est à fin − 1 pas, l'écart se compte comme entre deux mesures
|
||||||
|
out.append((ts[-1], fin, (fin - ts[-1]).total_seconds(), ", up to the end of the period"))
|
||||||
return [{"start": iso(a), "end": iso(b), "kind": "trous", "label": "No data",
|
return [{"start": iso(a), "end": iso(b), "kind": "trous", "label": "No data",
|
||||||
"text": f"No measurement in the export for {duration(g)} (usually one every {duration(step)}).",
|
"text": f"No measurement in the export for {duration(g)}{fin_txt} (usually one every {duration(step)}).",
|
||||||
"ignore": False, "sensors": []}
|
"ignore": False, "sensors": []}
|
||||||
for a, b, g in zip(ts, ts[1:], gaps) if g > (MISSING + 1) * step]
|
for a, b, g, fin_txt in out if g > (MISSING + 1) * step]
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
|
|||||||
Reference in new issue
Block a user