diff --git a/vues-deplacements/boucle/2026-10-26T1618Z_CLARIDEN/lot-01/modification-1.md b/vues-deplacements/boucle/2026-10-26T1618Z_CLARIDEN/lot-01/modification-1.md new file mode 100644 index 0000000..1d72a68 --- /dev/null +++ b/vues-deplacements/boucle/2026-10-26T1618Z_CLARIDEN/lot-01/modification-1.md @@ -0,0 +1,44 @@ +# Lot 01 : modification 1 + +## Ce qui a changé +- `vues-deplacements/detectors/trous.py` (règle existante ajustée, aucune constante changée) : `detect(mesures, fin=None)`. Sans `fin`, rien ne change, donc l'appel `detect(mesures)` est le même qu'avant. Avec `fin`, la fin de la fenêtre lue (exclue), la même règle (`MISSING` = 2 pas manquants, soit un écart > 3 cadences) s'applique aussi entre la dernière mesure et `fin`. L'épisode va alors de la dernière mesure à `fin`, avec le texte « No measurement in the export for 44 h 00 min, up to the end of the period (usually one every 10 min). ». Docstring du module et de `detect` mises à jour. +- `vues-deplacements/detectors/categories.py` : `evenements(mesures, fin=None)` transmet `fin` à `trous` seul. Le tri en lot (`--tranche`) donne la fin de chaque tranche (`evenements(tranche, b)`). La page (`explore.py`) et `score.py` appellent toujours `evenements(mesures)`, donc rien ne change pour eux. +- `vues-deplacements/contexte/seuils-du-journal.md` : la ligne `trous` / `MISSING` dit maintenant que la règle s'applique aussi à la fin de la fenêtre lue (boucle CLARIDEN, lot 01). Sa valeur reste 2 pas. + +## Pourquoi +S1 de la critique : un trou de tous les capteurs qui va jusqu'à la fin de la fenêtre n'était pas signalé. Le détecteur ne voyait que les écarts entre deux mesures présentes. Ici, 44 h sans mesure, du 13/09 04:00 à la fin du lot, plus de la moitié du lot. + +## Avant / après sur le lot +Avant : +``` +$ python3 vues-deplacements/detectors/categories.py data/CLARIDEN --du 2026-09-12 --au 2026-09-15 --tranche 4 2>&1 +== 2026-09-12T00:00Z → 2026-09-15T00:00Z : rien +``` +Après : +``` +$ python3 vues-deplacements/detectors/categories.py data/CLARIDEN --du 2026-09-12 --au 2026-09-15 --tranche 4 2>&1 +== 2026-09-12T00:00Z → 2026-09-15T00:00Z : 1 +2026-09-13T04:00Z → 2026-09-15T00:00Z trou gardé | trous | tous les capteurs | absorbés : — +``` +Aucune ligne `sauté`. J'ai aussi passé `--tranche 3` sur toute la station, avant et après, sur `data/CLARIDEN`, `data/NORDEND` et `vues-deplacements/cas/2026-10_NORDEND/NORDEND`. La seule différence est la tranche de ce lot. + +## Score +Inchangé : un trou n'a pas de mesure, donc pas de case (`score.py`). Je n'ai pas modifié `score.py`, qui de toute façon n'appelle pas `evenements` avec `fin`. +``` +2026-10-26T1618Z_CLARIDEN/lot-01 : à ignorer 0/169 (0 %) → 0/169 (0 %) ; cible_masquee 0/169 (0 %) → 0/169 (0 %) +``` + +## Benchmark +Aucune ligne n'a changé : la seule différence avec le benchmark d'avant est la ligne de version. Ligne `total toutes` : 8451/16138 (52 %), 8451/10865 (78 %) → identique. C-004 `a_verifier` : 163/639 (26 %), 163/2035 (8 %) → identique. + +## Pas corrigé +- **S2 (PR-283 rejetée à toutes les mesures du lot)** : essayé puis annulé. L'essai était un ajustement d'une règle de `visibilite`, étape 4 : une cible dont la médiane d'`error_value` sur la fenêtre est au-dessus de son seuil compte chaque rejet. Sur ce lot, PR-283 est bien trouvée (cible_masquee 0/169 → 169/169, justes 169/169). Mais la base de cas étiquette exactement ce même état comme « aucune catégorie ». C-001 : C12, rejetée à 525/525 mesures, « aucune catégorie » (`etiquetage.md`, ligne 11). C-005 : C18, C19, C20, C22, C23, C26 et C27, rejetées à presque chaque mesure, « c'est leur état habituel, pas un moment » (`etiquetage.md`, ligne 7 ; `cas.md`, ligne 32). Le benchmark reculait donc nettement, avec des événements entiers signalés à tort : C-001, justes de `toutes` 81 % → 66 % (cible_masquee 0/525) ; C-005, cible_masquee justes 100 % → 3 % (21/621) ; total `toutes` justes 78 % → 70 %. Dans la fenêtre, rien ne distingue PR-283 de ces cibles. Ce qui la distingue, c'est l'export entier (rejetée seulement à 360 mesures sur 1668), et ce lot est le début de l'export, sans historique. À trancher par l'utilisateur : une cible rejetée sur toute la fenêtre est-elle un événement (`cible_masquee`, comme dans ce lot) ou un état à ne pas dire (comme dans C-001 et C-005) ? Tant que les étiquettes se contredisent, aucune règle ne peut satisfaire les deux. +- **S1, la distinction entre « données pas encore arrivées » et « trou de données »** : pas faite. Le détecteur ne voit que la fenêtre (le tri en lot coupe les mesures à sa fin), donc il ne sait pas si les mesures reprennent ensuite. Le texte reste neutre : « up to the end of the period ». Dans l'application réelle, la fin de la fenêtre est « maintenant », et ce texte y veut dire « pas encore arrivées ». + +## Nouveautés +- Une cible rejetée à toutes les mesures d'une fenêtre n'est pas rare dans la base : C12 de C-001, et sept cibles de C-005 (des `ref` locales, comme PR-283). Les étiquettes figées de ces cas en font un état sans catégorie ; l'analyste de ce lot en fait une `cible_masquee`. C'est une contradiction d'étiquetage, pas un défaut de détecteur. + +## Difficultés +- La consigne dit que le contrat `detect(mesures)` ne change pas. Or le défaut S1 demande la fin de la fenêtre, que `detect(mesures)` ne reçoit pas. J'ai ajouté un paramètre facultatif (`fin=None`) à `trous.detect` et à `categories.evenements`, que `categories` ne passe qu'à `trous` (repéré par le nom de son module). L'appel `detect(mesures)` marche comme avant. Je ne sais pas si le validateur y verra un changement de contrat. +- La consigne demande de faire monter la catégorie en cause dans le score. Pour un trou, le score ne peut pas monter : `score.py` ne compte pas les trous, qui n'ont pas de case. Le seul contrôle possible était la sortie de la commande du lot. +- Pour S2, les étiquettes de l'analyste du lot et celles des cas C-001 et C-005 se contredisent sur un même état. La consigne ne dit pas lequel l'emporte. J'ai suivi la règle « pas de recul net du benchmark » et j'ai annulé. diff --git a/vues-deplacements/contexte/seuils-du-journal.md b/vues-deplacements/contexte/seuils-du-journal.md index e728658..7c591a2 100644 --- a/vues-deplacements/contexte/seuils-du-journal.md +++ b/vues-deplacements/contexte/seuils-du-journal.md @@ -39,7 +39,7 @@ Les détecteurs doivent tout détecter (l'utilisateur, 2026-10-26, D-068) : un r | | `REJET_MAX` | 15 % | C-003 ≤ 7 % ; toile et pluie ≥ 18 % | | | `FORT` | 2× | C-003 (×2,3 à ×2,6) | | | `DUREE_MIN` | 3 h | C-003 (10-11 h) contre matin de C-004 (2 h) ; le classement écarte aussi ce matin, quelle que soit la durée (point 14) | -| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 | +| `trous` | `MISSING` | 2 pas | consigne de l'utilisateur, 2026-10-23 ; appliqué aussi entre la dernière mesure et la fin de la fenêtre lue (boucle CLARIDEN, lot 01) | | `categories` (classement) | `MERGE` | 1 h | règle validée par l'utilisateur (point 5) : même catégorie à moins d'une heure, un seul événement | | dérive lente (`explore.py`, onglet Displacements, D-055) | `TREND_DAYS` | 5 jours | une tendance demande au moins 5 jours UTC | | | `TREND_SIZE` | 1 | dérive sur la période ≥ une amplitude journalière | diff --git a/vues-deplacements/detectors/categories.py b/vues-deplacements/detectors/categories.py index d762d82..d6e9bb4 100644 --- a/vues-deplacements/detectors/categories.py +++ b/vues-deplacements/detectors/categories.py @@ -147,12 +147,13 @@ def classer(episodes, references=frozenset()): return sorted((evenement(g, references) for g in merged), key=lambda v: v["start"]) -def evenements(mesures): - """Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal.""" +def evenements(mesures, fin=None): + """Mesures (donnees.charger) -> événements de tous les détecteurs : ce que la page reçoit dans D.journal ; fin : fin + de la fenêtre lue (tri en lot), donnée à trous seul, pour un trou qui la touche.""" episodes = [] for mod in detecteurs(): try: - episodes += mod.detect(mesures) + episodes += mod.detect(mesures, fin) if mod.__name__ == "journal_trous" else mod.detect(mesures) except Exception as e: # noqa: BLE001 print(f"Journal : {mod.__name__} sauté ({type(e).__name__}: {e})", file=sys.stderr) return classer(episodes, {s for s, ms in mesures.items() if ms[0]["pattern_type"] == "global_ref"}) @@ -180,7 +181,7 @@ if __name__ == "__main__": b = min(t + timedelta(days=a.tranche), fin) if a.tranche else fin h = t - timedelta(days=a.historique) tranche = {s: k for s, ms in mesures.items() if (k := [m for m in ms if h <= m["t"] < b])} - evs = [v for v in evenements(tranche) if v["end"] >= iso(t)] if tranche else [] + evs = [v for v in evenements(tranche, b) if v["end"] >= iso(t)] if tranche else [] if a.tranche: print(f"== {iso(t)} → {iso(b)} : {len(evs) or 'rien'}") for v in evs: diff --git a/vues-deplacements/detectors/trous.py b/vues-deplacements/detectors/trous.py index 77831bf..9298b60 100644 --- a/vues-deplacements/detectors/trous.py +++ b/vues-deplacements/detectors/trous.py @@ -1,8 +1,10 @@ """Journal du matin : moments sans mesure (cadence de l'export « advanced » rompue). Cadence : écart médian entre deux instants de mesure, tous capteurs confondus. Un trou : plus de 2 pas manquants entre -deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Pas de mesure dans l'export ne -veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien. +deux mesures (écart > 3 cadences) ; l'épisode va de la dernière mesure à la suivante. Fin de la fenêtre lue (fin, si +l'appelant la donne : le tri en lot de categories.py) : la même règle entre la dernière mesure et fin, l'épisode allant +jusqu'à fin (boucle CLARIDEN, lot 01 : 44 h sans mesure jusqu'à la fin du lot, non signalées). Pas de mesure dans +l'export ne veut pas dire station arrêtée (CLAUDE.md) : le texte dit seulement que l'export n'a rien. Usage : python3 vues-deplacements/detectors/trous.py (affiche les épisodes) """ import os @@ -20,16 +22,20 @@ def duration(s): return f"{h} h {m:02d} min" if h else f"{m} min" -def detect(mesures): +def detect(mesures, fin=None): + """fin : fin de la fenêtre lue (datetime, exclue), facultative ; sans elle, un trou final n'est pas vu.""" ts = sorted({m["t"].replace(second=0, microsecond=0) for ms in mesures.values() for m in ms}) if len(ts) < 3: return [] gaps = [(b - a).total_seconds() for a, b in zip(ts, ts[1:])] step = statistics.median(gaps) + out = [(a, b, g, "") for a, b, g in zip(ts, ts[1:], gaps)] + if fin: # fin exclue : la dernière mesure attendue est à fin − 1 pas, l'écart se compte comme entre deux mesures + out.append((ts[-1], fin, (fin - ts[-1]).total_seconds(), ", up to the end of the period")) return [{"start": iso(a), "end": iso(b), "kind": "trous", "label": "No data", - "text": f"No measurement in the export for {duration(g)} (usually one every {duration(step)}).", + "text": f"No measurement in the export for {duration(g)}{fin_txt} (usually one every {duration(step)}).", "ignore": False, "sensors": []} - for a, b, g in zip(ts, ts[1:], gaps) if g > (MISSING + 1) * step] + for a, b, g, fin_txt in out if g > (MISSING + 1) * step] if __name__ == "__main__":