From 2bafe70530f4431011507a2f8abe71d515364a4a Mon Sep 17 00:00:00 2001 From: maxime Date: Tue, 3 Nov 2026 15:27:21 +0100 Subject: [PATCH] Detector-learner MICHIGAN: critique (suggestions) Co-Authored-By: Claude Opus 5.5 --- .../2026-11-03T1423Z_MICHIGAN/critique.md | 131 ++++++++++++++++++ 1 file changed, 131 insertions(+) create mode 100644 detector-learner/2026-11-03T1423Z_MICHIGAN/critique.md diff --git a/detector-learner/2026-11-03T1423Z_MICHIGAN/critique.md b/detector-learner/2026-11-03T1423Z_MICHIGAN/critique.md new file mode 100644 index 0000000..e0b1038 --- /dev/null +++ b/detector-learner/2026-11-03T1423Z_MICHIGAN/critique.md @@ -0,0 +1,131 @@ +# Critique des détecteurs, MICHIGAN, 2026-10-05T00:00Z → 2026-11-01T00:00Z (UTC) + +**Verdict** : suggestions + +## 1. Les étiquettes + +13 étiquettes : Thermal displacement 9, Displacement 2, Target issue 1, No data 1. + +| # | Bornes (UTC) | Famille | Capteurs nommés | Ce qu'elle voit | +|---|---|---|---|---| +| L1 | 05.10 12:00 → 05.10 20:00 | Displacement | COLH21', REFH22' | marche de corr_y (un peu corr_x) des deux seuls capteurs à 16:00, qui reste ; cause déduite des vignettes : reconfiguration des deux capteurs | +| L2 | 06.10 00:00 → 06.10 08:00 | Thermal displacement | « la plupart des cibles » | creux bref de corr_y d'une mesure (04:00), petit ; positions brutes de tous les capteurs, références comprises, glissent ensemble (la caméra bouge) | +| L3 | 09.10 08:00 → 01.11 00:00 | Target issue | REFPOU22 (référence) | référence perdue entre 08:00 et 12:00 le 09.10, rejetée jusqu'à la fin ; à 12:00 toutes les cibles sautent ensemble (compensation sur REF42 et REFG43N seules) | +| L4 | 09.10 12:00 → 01.11 00:00 | Thermal displacement | toutes les cibles | dérive lente de trois semaines, corr_x monte, corr_y descend, d'un seul tenant, pas plus marqué les 17 et 18.10 ; positions brutes de tous les capteurs et des deux références glissent ensemble | +| L5 | 15.10 20:00 → 16.10 12:00 | No data | tous | trois mesures manquent pour tous les capteurs | +| L6 | 17.10 12:00 → 18.10 08:00 | Displacement | toutes les cibles | toutes les cibles s'agitent ensemble trois mesures (16:00, 20:00, 04:00) puis reviennent ; positions brutes des cibles quasi immobiles, seule la pose calculée bascule ; cause non établie | +| L7 | 19.10 00:00 → 19.10 12:00 | Thermal displacement | toutes les cibles | corr_y de toutes les cibles plonge deux mesures, corr_x à la seconde, retour à midi ; glissade commune des positions brutes, références comprises | +| L8 | 23.10 20:00 → 24.10 12:00 | Thermal displacement | toutes les cibles | baisse commune de corr_y (un peu corr_x) de minuit au matin, retour vers midi ; glissade commune des positions brutes ; petit écart | +| L9 | 25.10 16:00 → 26.10 16:00 | Thermal displacement | toutes les cibles | baisse commune de corr_y le soir, de corr_x le matin, retour l'après-midi ; glissade commune des positions brutes | +| L10 | 26.10 20:00 → 27.10 20:00 | Thermal displacement | toutes les cibles | montée commune de corr_y nuit et matin, retour le soir ; la caméra se relève ; lien à la température moins net | +| L11 | 28.10 04:00 → 28.10 16:00 | Thermal displacement | toutes les cibles | corr_x plonge une mesure (08:00), revient à midi ; corr_y aussi, revient à la mesure suivante ; glissade commune des positions brutes | +| L12 | 28.10 16:00 → 29.10 12:00 | Thermal displacement | toutes les cibles | descente nette de corr_x et corr_y, la plus forte du mois, retour d'un coup à midi ; glissade commune des positions brutes | +| L13 | 29.10 20:00 → 30.10 12:00 | Thermal displacement | toutes les cibles | même forme que L12, retour à midi | + +## 2. Ce qu'ont trouvé les détecteurs + +Commande du journal (lancée au format `AAAA-MM-JJ`, voir « Difficultés ») : `python3 detectors/categories.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1` + +``` +2026-10-09T12:00Z → 2026-10-31T20:00Z Target issue grisé | Degraded target | 1 capteurs | absorbés : — +2026-10-15T20:00Z → 2026-10-16T12:00Z No data gardé | No data | tous les capteurs | absorbés : — +2026-10-28T08:00Z → 2026-10-28T08:00Z Displacement gardé | Large shift | 12 capteurs | absorbés : — +``` + +Commande des capteurs : `python3 .claude/skills/detector-learner/capteurs.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1` + +``` +cadence : 240 min (médiane des pas entre mesures) +2026-10-09T12:00Z → 2026-10-31T20:00Z Target issue | REFPOU22 +2026-10-15T20:00Z → 2026-10-16T12:00Z No data | tous les capteurs +2026-10-28T08:00Z → 2026-10-28T08:00Z Displacement | COLH18S''', COLH19N', COLH19N'', COLH20'', COLH21, COLH21', COLH21'', POUH18', POUH19N', POUH20', POUH21'', REFH22' +``` + +Cadence : une mesure toutes les 4 h, six par jour UTC. + +## 3. Comparaison + +| Événement ou étiquette | Jugement | Pourquoi | +|---|---|---| +| E Target issue 09.10 12:00 → 31.10 20:00, REFPOU22 / L3 | juste | même capteur ; début à la première mesure touchée (l'étiquette part de la mesure d'avant, D-111), fin à la dernière mesure ; le saut commun de 12:00 fait partie de L3 et n'est pas signalé à part, à juste titre | +| E No data 15.10 20:00 → 16.10 12:00 / L5 | juste | mêmes bornes, tous les capteurs | +| E Displacement « Large shift » 28.10 08:00, 12 capteurs / L11 | famille fausse | L11 en fait un Thermal displacement : la caméra bouge (glissade commune des positions brutes, références comprises) ; sorte fausse aussi : « Large shift » dit « tout a bougé et est resté », or corr_x revient à la mesure suivante (12:00) ; bornes : un instant seul face à 08:00 et 12:00 touchés, écart mineur ; capteurs : 12, l'étiquette dit « toutes les cibles », nombre total de cibles non vérifiable avec la commande des capteurs | +| L1 Displacement 05.10 16:00, COLH21', REFH22' | manquant | marche durable de deux cibles, la sorte « Lasting shift » de displacement.py ; cas isolé dans la plage (à la 5e mesure de la plage), pas de suggestion ; au detectors-upgrader de voir si le seuil sous K (K_DURABLE + PALIER, niveaux journaliers) ou le début de plage l'écarte | +| L2 Thermal 06.10 04:00, la plupart des cibles | manquant | excursion commune d'une mesure, petite, avec glissade des positions brutes de tous les capteurs ; thermal_displacement.py ne connaît que le cycle de 24 h (S1) ; petit écart | +| L4 Thermal 09.10 12:00 → 01.11, toutes les cibles | manquant | dérive lente commune de trois semaines ; ni thermal_displacement.py ni la dérive lente de displacement.py ne peuvent la voir : leurs jours exigent 20 heures distinctes mesurées, la station n'en a que 6 (S2) ; et même vue, la dérive lente serait Displacement, pas Thermal (S1) | +| L6 Displacement 17.10 16:00 → 18.10 04:00, toutes les cibles | manquant | agitation commune de toutes les cibles, trois mesures, puis retour : un « Sudden jump, back to normal » attendu de displacement.py, qui ne l'a pas vu (S3) ; c'est la seule excursion commune de la station sans glissade des positions brutes : elle doit rester Displacement | +| L7 Thermal 19.10 00:00 → 12:00, toutes les cibles | manquant | excursion commune de deux mesures avec glissade des positions brutes : rien (S1, S3) | +| L8 Thermal 23.10 20:00 → 24.10 12:00, toutes les cibles | manquant | même forme, petit écart (S1, S3) | +| L9 Thermal 25.10 16:00 → 26.10 16:00, toutes les cibles | manquant | même forme, sur une journée (S1, S3) | +| L10 Thermal 26.10 20:00 → 27.10 20:00, toutes les cibles | manquant | montée commune, caméra qui se relève (S1, S3) ; lien à la température moins net selon l'étiquette | +| L11 Thermal 28.10 04:00 → 16:00, toutes les cibles | famille fausse | voir l'événement du 28.10 08:00 ci-dessus (S1, S4) | +| L12 Thermal 28.10 16:00 → 29.10 12:00, toutes les cibles | manquant | la plus forte excursion commune du mois, plusieurs mesures, retour d'un coup à midi : rien (S1, S3) | +| L13 Thermal 29.10 20:00 → 30.10 12:00, toutes les cibles | manquant | même forme que L12 (S1, S3) | + +En résumé : les deux familles « de station » (Target issue, No data) sont justes ; tout ce qui bouge ensemble sur toutes les cibles (huit excursions communes, la dérive de trois semaines) est manqué, sauf une mesure prise pour un gros saut durable. + +## 4. Score + +Bloc MICHIGAN de `benchmark-avant.txt` (par instant) : + +``` +MICHIGAN : 2026-10-05T00:00Z → 2026-11-01T00:00Z, 13 étiquettes + trouvées justes + Displacement 0/9 (0 %) 0/1 (0 %) + No data 2/2 (100 %) 2/2 (100 %) + Target issue 132/133 (99 %) 132/132 (100 %) + Thermal displacement 0/135 (0 %) — +``` + +Il confirme la comparaison : Thermal displacement entièrement manqué (135 instants, surtout L4), Displacement manqué (L1, L6) et le seul instant Displacement des détecteurs (28.10 08:00) faux. Le même benchmark donne aussi Thermal displacement 0/91 à NEBRASKA (et 0/126 à WILDSTRUBEL) : le défaut n'est pas propre à cette station. + +## 5. Suggestions + +### S1 : une glissade commune de la caméra hors du cycle de 24 h n'est pas reconnue comme Thermal displacement +- **Défaut** : quand toutes les cibles s'écartent ensemble de leur niveau (quelques mesures à une journée, puis retour, ou une dérive lente) et qu'en même temps les positions brutes x, y de tous les capteurs, références comprises, glissent ensemble (la caméra bouge, les cibles ne bougent pas entre elles), les étiquettes en font un Thermal displacement ; le détecteur thermique ne le voit que si la forme se répète chaque jour à la même heure. C'est le défaut principal de la station : 9 étiquettes sur 13. +- **Exemple** : 28.10 16:00 → 29.10 12:00 (toutes les cibles, la plus forte du mois) ; aussi 19.10 00:00 → 12:00, 23.10 20:00 → 24.10 12:00, 25.10 16:00 → 26.10 16:00, 28.10 04:00 → 16:00 (pris pour un « Large shift »), 29.10 20:00 → 30.10 12:00, et la dérive du 09.10 12:00 au 01.11. +- **Détecteur** : `thermal_displacement.py` (sortes « Camera thermal expansion / contraction ») ; règle en cause : `_episodes` et `cycle` ne donnent un épisode que pour un profil de 24 h répété d'un jour à l'autre (REPRO, JOUR) ; un épisode isolé, non périodique, n'a aucune voie. +- **Ce qu'il faudrait** : une seconde voie, sans périodicité : un épisode de la caméra quand, sur la même plage, la plupart des cibles s'écartent de leur niveau d'avant dans corr_x ou corr_y **et** que les positions brutes de la plupart des capteurs, références comprises, se déplacent ensemble, dans le même sens, pendant ces mesures (mode commun des positions brutes, faible dispersion entre capteurs) ; l'épisode porte sur tous les capteurs, comme la voie caméra actuelle, et reste un hôte des sauts revenus (le nom de la sorte doit être dans `HOTES` de `categories.py`). Une dérive lente commune de même nature (corr et positions brutes de tous qui glissent ensemble sur des jours) prendrait la même famille plutôt que « Slow drift ». La condition sur les positions brutes est la frontière : L6 (17.10 12:00 → 18.10 08:00), où les positions brutes ne bougent pas nettement et seule la pose calculée bascule, doit rester Displacement. +- **Risque** : une caméra heurtée puis revenue, ou qui glisse sur son support pour une raison mécanique, serait dite thermique ; une gêne de visibilité qui déplace toutes les taches (réfraction) pourrait passer pour une glissade : exiger une glissade lisse, de même sens pour tous, pas un bruit ; sur les stations où le cycle quotidien de la caméra est déjà trouvé (NORDEND, 95 %), ne pas dédoubler ses épisodes (fusion avec ceux de même sorte). + +### S2 : les jours « complets » en heures distinctes aveuglent le thermique et la dérive lente à une cadence de 4 h +- **Défaut** : un jour ne compte que s'il a au moins 20 heures distinctes mesurées ; à une mesure toutes les 4 h, un jour en a 6 : aucun jour ne compte, le cycle thermique (corr et positions brutes) et la dérive lente ne peuvent rien trouver, quelle que soit la donnée. +- **Exemple** : la dérive commune de toutes les cibles du 09.10 12:00 au 01.11 00:00 (L4, 135 instants), sans aucun événement. +- **Détecteur** : `thermal_displacement.py` (`HEURES_MIN` dans `_axe`, et le profil qui exige les 24 heures : `len(profil) < 24`) et `displacement.py`, dérive lente (`HEURES` dans `_derive`). +- **Ce qu'il faudrait** : juger un jour complet d'après la cadence propre de la station (la part des mesures attendues ce jour-là, ou la part de la journée couverte), et bâtir le profil du jour sur les créneaux que la station mesure, pas sur 24 heures fixes. Avec S1, la dérive commune de la caméra irait en Thermal displacement ; sans S1, elle sortirait en « Slow drift » (Displacement), famille fausse mais vue. +- **Risque** : à 6 points par jour, la ressemblance d'un jour aux autres est plus bruitée : faux cycles quotidiens possibles sur les stations à cadence lâche (la sinusoïde, qui demande plus de 48 points, reste un garde-fou pour l'ouvrage, pas pour la caméra) ; les stations à 15 min ou à l'heure ne doivent pas changer si la règle est une part des mesures attendues. + +### S3 : une excursion commune de toutes les cibles, sur quelques mesures, n'est pas vue comme un saut revenu +- **Défaut** : toutes les cibles s'écartent ensemble pendant 2 à 4 mesures puis reviennent, et displacement.py n'en voit rien : le saut se juge cible par cible à K bruits (ou K_DURABLE s'il reste), et le pic commun (`_pics`) ne regarde qu'une mesure entourée de deux voisines du même côté. Sur huit excursions communes de la station, une seule est vue. +- **Exemple** : 17.10 16:00, 20:00, 18.10 04:00 (L6, toutes les cibles, corr_x puis corr_y) ; aussi 19.10 matin, 28.10 16:00 → 29.10 12:00, 29.10 20:00 → 30.10 12:00. +- **Détecteur** : `displacement.py` (sorte attendue « Sudden jump, back to normal ») ; règles `_sauts` (K par cible) et `_pics` (un pas, PIC_MIN cibles). +- **Ce qu'il faudrait** : étendre le pic commun à une excursion commune de quelques mesures : au moins une part des cibles qui s'écartent ensemble, du même côté, de leur niveau d'avant, plus loin que leur bruit ordinaire (seuil plus bas que K, puisqu'il faut le consensus de plusieurs cibles), et reviennent en moins d'un jour : un saut revenu pour chacune. Avec S1, ceux qui ont la glissade de la caméra seraient absorbés par l'épisode thermique ; L6 resterait Displacement. +- **Risque** : sur une station dont la compensation laisse passer une vague quotidienne, ou pendant une pluie qui agite toutes les cibles, des excursions communes en plus ; elles doivent être absorbées par leur hôte (thermique, visibilité), sinon elles grossissent Displacement à tort ; garder PIC_MIN ou une part des cibles pour ne pas réagir à une ou deux cibles bruyantes. + +### S4 : un pic commun revenu à la mesure suivante est classé « Large shift » à une cadence lâche +- **Défaut** : un saut est dit revenu s'il retrouve son niveau BASE mesures de suite (4 mesures, soit 16 h à cette cadence) dans le jour ; quand l'excursion suivante commence avant, le pic d'une mesure devient « lasting », et sur la plupart des cibles « Large shift » (jamais absorbé, « tout a bougé »). +- **Exemple** : 28.10 08:00, 12 capteurs (COLH18S''', COLH19N', …, REFH22'), « Large shift » ; corr_x revient à 12:00, puis l'excursion de 16:00 commence (L11, L12). +- **Détecteur** : `displacement.py`, sorte « Large shift » ; règle du retour dans `_sauts` (BASE compté en mesures, commentaire « 1 h à 15 min ») et `_episode` (un seul « lasting » fait le groupe durable). +- **Ce qu'il faudrait** : juger le retour en durée plutôt qu'en nombre de mesures (BASE pensé pour 1 h), ou tenir pour revenu un saut dont la mesure suivante est déjà revenue près du niveau d'avant quand c'est un pic commun à plusieurs cibles (la règle du pic commun le voit déjà : elle ne devrait pas céder devant un « lasting » de la même cible au même instant). +- **Risque** : un vrai mouvement suivi d'une mesure aberrante qui ressemble au niveau d'avant serait dit revenu et grisé ; à cadence fine, une durée plus courte que 4 mesures rendrait les retours plus faciles : garder l'équivalence actuelle à 15 min. + +## 6. Limites + +- L2, L4, L7 à L13 (Thermal displacement) : leur famille vient des températures des composants (baisses brèves, baisse du mois), que les détecteurs ne voient pas ; la glissade commune des positions brutes (S1) n'en est qu'un signe, « consistent with » un mouvement thermique de la caméra, pas une preuve. L10 (27.10), où l'étiquette dit le lien à la température moins net, restera douteux. Il faudrait la température pour l'établir. +- L1 (05.10, Displacement) : la cause (reconfiguration de COLH21' et REFH22', deux capteurs jusque-là sur le même point) vient des vignettes ; les détecteurs peuvent au mieux y voir une marche durable, ce qui suffit à la famille. +- L3 (09.10, Target issue) : la cause de la perte de REFPOU22 (prisme masqué, tourné ou enlevé) ne se voit que sur les images ; la famille, elle, est trouvée. + +## Difficultés + +- Les commandes du journal et des capteurs, données avec `--du 2026-10-05T00:00Z --au 2026-11-01T00:00Z`, échouent toutes deux (`ValueError: unconverted data remains: T00:00Z`) : `categories.py` et `capteurs.py` n'acceptent que `AAAA-MM-JJ`. Relancées avec `--du 2026-10-05 --au 2026-11-01` (`--au` est exclu : même plage) ; j'ai lu `capteurs.py` pour le vérifier. +- La commande des capteurs ne donne pas le nombre total de cibles de la station : « toutes les cibles » des étiquettes ne peut pas être comparé aux 12 capteurs de l'événement du 28.10. + +## Sources lues + +- `labeling/auto/MICHIGAN.jsonl` +- `labeling/familles.md` (en entier) +- sortie de `python3 detectors/categories.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1` (et l'erreur de la forme `T00:00Z`) +- sortie de `python3 .claude/skills/detector-learner/capteurs.py data/MICHIGAN --du 2026-10-05 --au 2026-11-01 2>&1` (et l'erreur de la forme `T00:00Z`) +- `detector-learner/2026-11-03T1423Z_MICHIGAN/benchmark-avant.txt` (le fichier entier ; bloc MICHIGAN, et les lignes Thermal displacement de NEBRASKA et WILDSTRUBEL) +- `detectors/categories.py`, `detectors/thermal_displacement.py`, `detectors/displacement.py` +- `.claude/skills/detector-learner/capteurs.py` (pour le format des dates)