Count sends without link and add NORDEND to the cellular working set

DAILY_LINK_STATE falls back on last_sync for exports without link,
treats the start of history as unknown, and records D-032. Document
the hourly counting flaws, the observed 15-minute cadence, and the
open questions for the specialist.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-13 11:50:07 +02:00
1 parent f6d94148aa
commit f803a7d596
9 files changed
+153 -55

No files matched your search

+37 -16
View File
@@ -1,8 +1,8 @@
# `DAILY_LINK_STATE` : état du lien 4G jour par jour
- **Statut** : prototype en place (2026-10-13). État seul, sans verdict ; pas encore de cas annotés par l'expert.
- **Script** : premier panneau de `python3 src/cellular/all_analyses.py [CSV ou dossiers]` (défaut : `data/WEISSHORN/`), qui écrit `out/<STATION>_cellular.html` et l'ouvre.
- **Code** : `src/cellular/link_state.py` (`run()`, `day_facts()`), bibliothèque standard uniquement, sans import du projet. Les séries viennent de `common.stations.load_stations`, qui charge `link` et `last_sync` comme la liste des échantillons de l'heure (D-031).
- **Script** : premier panneau de `python3 src/cellular/all_analyses.py [CSV ou dossiers]` (défaut : `data/WEISSHORN/` et `data/NORDEND/`, D-032), qui écrit `out/<STATION>_cellular.html` et l'ouvre.
- **Code** : `src/cellular/link_state.py` (`run()`, `day_facts()`, `by_day()`), bibliothèque standard uniquement, sans import du projet. Les séries viennent de `common.stations.load_stations`, qui charge `link` et `last_sync` comme la liste des échantillons de l'heure (D-031).
## Question posée
@@ -15,45 +15,55 @@ Chaque jour, les envois de la station sont-ils tous arrivés, complets, avec le
Le collecteur écrit `link = up` quand le contexte de données du modem a une adresse IP (`get_modem_info`, `docs/aimsight/collecteur_system_info.py`), et `sync` envoie un instantané toutes les 15 minutes, un message par métrique (`cmd_sync`). Deux de ces messages partent à chaque envoi, quel que soit l'état du modem : `link` (`down` si la lecture échoue) et `last_sync` (toujours le dernier). On compte, jour par jour, les envois reçus, les messages perdus dans un envoi reçu, et la valeur de `link`.
Calcul exact, pour chaque jour UTC d ayant au moins une ligne `link` :
Les exports d'une version plus ancienne du collecteur (NORDEND) n'ont pas `link` : les envois se comptent alors sur `last_sync` seul, et ce qui dépend de `link` vaut `None`.
Calcul exact, pour chaque jour UTC d ayant au moins une ligne `link` (sinon `last_sync`) :
1. Pour chaque heure, les listes des échantillons de `link` et de `last_sync` (vides ou `None` si rien n'est arrivé).
2. `n_up`, `n_down` = nombre d'échantillons `up` et `down` du jour.
2. `n_up`, `n_down` = nombre d'échantillons `up` et `down` du jour (`None` sans `link`). `n_sends` = envois reçus, doublons compris (le plus grand des deux comptes, heure par heure).
3. `n_missing` = envois entiers perdus : somme, heure par heure, de `SAMPLES_PER_HOUR` − le plus grand des deux comptes (un envoi est arrivé si l'un de ses deux messages est arrivé ; jamais négatif : un doublon ne bouche pas le trou d'une autre heure).
4. `n_messages_lost` = messages perdus dans un envoi arrivé : somme, heure par heure, de |compte `link` − compte `last_sync`|. `None` si la série `last_sync` manque.
5. `up_percent` = `n_up` / (`SAMPLES_PER_HOUR` × 24), en %.
4. `n_messages_lost` = messages perdus dans un envoi arrivé : somme, heure par heure, de |compte `link` − compte `last_sync`|. `None` si l'une des deux séries manque.
5. `received_percent` = (envois attendus − `n_missing`) / envois attendus, et `up_percent` = `n_up` / envois attendus, en %, avec envois attendus = `SAMPLES_PER_HOUR` × 24. `None` sur un jour coupé (moins de 24 heures).
6. L'état se lit dans cet ordre (la première condition vraie l'emporte) :
| Ordre | Condition | `state` | Lecture |
|---|---|---|---|
| 1 | moins de 24 heures dans l'export | `None` (UNKNOWN) | jour coupé par l'export : le nombre d'envois attendus n'est pas connu |
| 2 | `n_down` ≥ 1 | `DOWN` | le modem a signalé le lien coupé au moins une fois, et cet envoi est quand même arrivé (remontée différée ou autre voie) |
| 1 bis | aucun envoi reçu avant ce jour (jour du premier envoi compris) | `None` (UNKNOWN) | début d'historique, pas une coupure (`docs/domaine/pieges-des-donnees.md`) ; calcul causal : seuls les jours ≤ d comptent |
| 2 | `n_down` ≥ 1 (jamais sans `link`) | `DOWN` | le modem a signalé le lien coupé au moins une fois, et cet envoi est quand même arrivé (remontée différée ou autre voie) |
| 3 | `n_missing` ≥ 1 ou `n_messages_lost` ≥ 1 | `MISSING` | des envois ou des messages manquent ; la cause n'est pas établie (lien, coupure d'énergie, réception côté serveur) |
| 4 | sinon | `UP` | tous les envois sont arrivés, lien actif |
Sortie (contrat commun) : un point par jour.
- `t` = dernière heure du jour présente dans la série.
- `value` = `up_percent`, en % du temps (`None` si l'état est UNKNOWN).
- `value` = `received_percent`, en % des envois attendus (`None` si l'état est UNKNOWN). Il se calcule avec ou sans `link`.
- `anomaly` = `None` : état seul, sans verdict. L'état est dans `facts.state`.
- `facts` = `state`, `up_percent`, `n_up`, `n_down`, `n_missing`, `n_messages_lost`, `hours`.
- `facts` = `state`, `received_percent`, `up_percent`, `n_sends`, `n_up`, `n_down`, `n_missing`, `n_messages_lost`, `hours`.
## Constantes et sources
| Constante | Valeur | Source |
|---|---|---|
| `SAMPLES_PER_HOUR` | 4 | Un instantané par envoi, toutes les 15 minutes : `last_sync` et 4 échantillons par heure, WEISSHORN du 03/10 au 13/10. La cadence n'est pas dans le collecteur (`cmd_sync` est lancé de l'extérieur). |
| `SAMPLES_PER_HOUR` | 4 | **Cadence observée, non documentée** : un envoi toutes les 15 minutes, d'après `last_sync` (WEISSHORN : 960 intervalles de 900 ± 1 s ; NORDEND : 9 498 intervalles sur ~9 800). Ni le collecteur (`cmd_sync` est lancé de l'extérieur) ni la doc AIMsight ne la fixent ; la FAQ cite « one measurement every 15 minutes », mais c'est le rythme des acquisitions de la caméra, réglé par le client. À confirmer (`docs/cellular/domaine/questions-pour-l-expert.md`). |
| `HOURS_PER_DAY` | 24 | Jour UTC complet. |
## Graphique
- **En haut** : `up_percent` par jour, placé à midi UTC (D-019), un marqueur par état (couleur, symbole et légende propres ; couleurs validées par le skill dataviz).
- **Dessous** : les séries du modem, et le nombre d'instantanés `up` par heure, en barres.
- **En haut** : `received_percent` par jour, placé à midi UTC (D-019), un marqueur par état (couleur, symbole et légende propres ; couleurs validées par le skill dataviz).
- **Dessous** : les séries du modem, et le nombre d'envois reçus par heure (`last_sync`, sinon `link`), en barres.
## Résultats sur WEISSHORN (jeu de travail)
## Résultats (jeu de travail : WEISSHORN et NORDEND, D-032)
WEISSHORN (10 jours, avec `link`) :
- 04/10 au 12/10 : `UP` les 9 jours, 96 envois sur 96, aucun message perdu (960 envois sur 960 dans `last_sync`, espacés de 900 ± 1 s).
- Contrôle du compte sur des copies modifiées en mémoire (rien d'écrit) : un message `link` ou `last_sync` retiré donne `n_messages_lost` = 1 ; les deux retirés, `n_missing` = 1 ; sans série `last_sync`, `n_messages_lost` = `None`.
- 03/10 et 13/10 : UNKNOWN, jours coupés par l'export (17 et 8 heures ; la première et la dernière heure n'ont que 2 échantillons).
- Aucun cas annoté par l'expert : l'analyse n'a pas encore vu un seul `DOWN` ni `MISSING`.
NORDEND (109 jours, sans `link`, du 26/06 au 13/10) :
- 76 jours `UP`, 29 `MISSING`, 5 UNKNOWN (26 au 29/06 : début d'historique, premier envoi le 29/06 à 07:00 ; 13/10 : coupé par l'export).
- Les `MISSING` lourds sont les coupures de 1 à 23 h : 30/06 (95 envois manquants), 01/07 (55), 10 au 13/07 (8 à 62), 22-23/07 (43 et 33), 19 au 22/08 (12 à 23). La tension reste de 13,94 à 14,37 V au retour, sans redémarrage à 12,6 V : cohérent avec une station alimentée.
- Les autres `MISSING` ont 1 à 5 envois manquants : fin août et début septembre surtout (26/08 au 06/09).
- Aucun cas annoté par l'expert : aucun `DOWN` vu (impossible sans `link`) ; les `MISSING` ne sont pas encore confirmés.
## Options écartées
@@ -63,19 +73,28 @@ Sortie (contrat commun) : un point par jour.
| Comparer toutes les métriques texte | `registration`, `network_*` et `ip` sont vides, donc pas envoyés, quand la lecture du modem échoue ou que le lien tombe : leur absence n'est pas une perte. |
| Compter les messages des métriques numériques | Moyennes horaires : le nombre de messages n'est pas dans l'export. |
| Tolérer un envoi manquant par jour | Aucune donnée pour le calibrer ; le compte reste dans `facts` pour en décider avec les cas de l'expert. |
| Déduire le lien des champs du modem sur NORDEND | Sans `link`, un envoi sans `network_technology` peut être une lecture du modem qui échoue (26 % des heures depuis juillet) ; ce n'est pas un lien coupé. |
## Limites connues
1. **Aucun incident observé** : les états `DOWN` et `MISSING` n'ont jamais été vus sur des données réelles.
1. **Aucun cas confirmé** : `DOWN` n'a jamais été vu ; les `MISSING` de NORDEND attendent l'avis de l'expert.
2. **`MISSING` ne dit pas pourquoi** : une coupure d'énergie fait aussi manquer les envois. Le croisement avec Energy reste à faire, au plus tard dans la couleur du jour.
3. **Remontée différée inconnue** : on ne sait pas si les envois perdus pendant une coupure du lien arrivent plus tard (file Redis `aimsight:sync`). Si oui, une coupure du lien apparaît comme `DOWN` ; sinon, comme `MISSING`.
3. **Remontée différée** : sur NORDEND, rien n'arrive plus tard dans les heures des coupures (les envois y sont rangés à l'heure de la station) ; les envois perdus le restent. Une coupure du lien y apparaît donc comme `MISSING`.
4. **Un instantané toutes les 15 minutes** : une coupure plus courte entre deux envois n'est pas vue.
5. **Le jour en cours est UNKNOWN** jusqu'à sa dernière heure.
6. **Un message `link` absent n'est pas toujours perdu en route** : si le collecteur s'arrête plus de 120 s pendant que `sync` tourne, la réponse du modem expire dans Redis et `link` n'est pas envoyé. Cela compte aussi dans `n_messages_lost`.
7. **Seuls deux messages par envoi sont comptés** : la perte d'un autre message (une mesure radio, la tension) n'est pas vue.
8. **Sans `link`** (NORDEND) : ni `DOWN`, ni `up_percent`, ni `n_messages_lost` ; seuls les envois entiers manquants se voient.
9. **Comptage par heure** : un envoi décalé d'une seconde change d'heure, et un envoi en surnombre bouche un trou de sa propre heure (NORDEND en fait 5 à 7 par heure vers 06:00 et 09:00 UTC). Sur NORDEND, le 15/07 sort `MISSING` à tort (l'envoi de 09:00 est parti à 08:59, rangé dans l'heure de 08:00) et le 28/07 compte 1 envoi manquant au lieu de 2. Les 16 autres petits `MISSING` sont justes.
10. **Cadence supposée fixe** : 4 envois par heure sur toutes les stations. Une station réglée autrement (30 min, 1 h) sortirait `MISSING` tous les jours.
## Pistes
- **Deux corrections retenues sur le principe (2026-10-13), non codées** : l'utilisateur veut d'abord voir avec le spécialiste comment articuler le code.
1. **Compter par quart d'heure** (limite 9) : ramener chaque horodatage de `last_sync` au quart d'heure le plus proche (08:59 → 09:00, 06:19 → 06:15), puis compter les quarts d'heure distincts reçus dans la journée. Effet mesuré sur NORDEND : le 15/07 passe `UP`, le 28/07 reste `MISSING` avec 2 envois manquants, rien d'autre ne change.
2. **Mesurer la cadence de chaque station** (limite 10) : l'intervalle le plus fréquent entre ses envois des jours précédents (calcul causal), à la place de `SAMPLES_PER_HOUR`. 15 min sur WEISSHORN et sur NORDEND.
- Points d'articulation à trancher : `link` n'a pas d'horodatage propre (un compte par heure), alors que la correction 1 compte par quart d'heure sur `last_sync` : comment garder `n_messages_lost` cohérent ; cadence mesurée par l'analyse, ou lue dans la configuration de la station si elle y est.
- **Journal de la station** : `cmd_sync` y écrit le nombre de messages de chaque envoi. S'il devient accessible, le comparer à ce qui arrive donnerait les pertes réelles, et séparerait « pas envoyé » de « perdu en route » (question 6 de `docs/cellular/domaine/questions-pour-l-expert.md`).
- Avec les cas de l'expert : décider si un seul envoi manquant suffit à sortir de `UP`.
- `registration` (`searching`, `denied`) pourrait expliquer un `DOWN`.
@@ -83,3 +102,5 @@ Sortie (contrat commun) : un point par jour.
- **2026-10-13** : création, avec le chargement des métriques texte par `common.stations` (D-031).
- **2026-10-13** : ajout de `n_messages_lost` (messages perdus dans un envoi arrivé, `link` comparé à `last_sync`), qui mène aussi à `MISSING` ; `n_missing` compte désormais un envoi comme arrivé si l'un de ses deux messages est arrivé.
- **2026-10-13** : `link` facultatif (exports sans `link`, NORDEND) ; `value` devient `received_percent` ; ajout de `n_sends` ; début d'historique en UNKNOWN ; pourcentages `None` sur un jour coupé (D-032).
- **2026-10-13** : limites 9 (comptage par heure) et 10 (cadence supposée) ; deux corrections retenues sur le principe, non codées, en attente du spécialiste (« Pistes »).
+12 -2
View File
@@ -1,7 +1,7 @@
# `DAILY_SIGNAL_STATE` : niveau du signal 4G jour par jour
- **Statut** : prototype en place (2026-10-13). État seul, sans verdict ; pas encore de cas annotés par l'expert.
- **Script** : deuxième et troisième panneaux de `python3 src/cellular/all_analyses.py [CSV ou dossiers]` (défaut : `data/WEISSHORN/`), qui écrit `out/<STATION>_cellular.html` et l'ouvre.
- **Script** : deuxième et troisième panneaux de `python3 src/cellular/all_analyses.py [CSV ou dossiers]` (défaut : `data/WEISSHORN/` et `data/NORDEND/`, D-032), qui écrit `out/<STATION>_cellular.html` et l'ouvre.
- **Code** : `src/cellular/signal_state.py` (`run()`, `day_facts()`, `grade()`), bibliothèque standard uniquement, sans import du projet.
## Question posée
@@ -44,13 +44,21 @@ Sortie (contrat commun) : un point par jour.
- **En haut, deux panneaux** (un par unité : pas de double axe, skill dataviz) : la médiane du jour du RSRP en dBm, puis celle du RSRQ en dB. Les planchers de la grille sont en pointillés, la classe de la mesure en marqueurs ; l'état du jour (la pire classe) est dans le survol.
- **Dessous** : les séries du modem.
## Résultats sur WEISSHORN (jeu de travail)
## Résultats (jeu de travail : WEISSHORN et NORDEND, D-032)
WEISSHORN (10 jours) :
- 04/10 au 12/10 : `GOOD` les 9 jours. RSRP `EXCELLENT` (médianes de −71,5 à −66,6 dBm), RSRQ `GOOD` (médianes de −14,75 à −13,25 dB).
- Le RSRQ est la mesure qui décide, et il est à 0,25 dB du plancher de `GOOD` (−14,75 dB les 05, 06 et 07/10) : un jour à peine plus chargé passerait `MID_CELL`.
- Les décrochages de nuit (RSRP minimum de −98,25 dBm le 05 et le 07/10) n'atteignent pas la médiane.
- 03/10 et 13/10 : UNKNOWN (couverture de 0,71 et 0,33, jours coupés par l'export).
NORDEND (109 jours) :
- 96 jours `CELL_EDGE`, tous à cause du RSRP (médianes du jour de −113 à −101 dBm) ; le RSRQ est `GOOD` (89 jours) ou `EXCELLENT` (7 jours), de −12,25 à −9,25 dB. 14 jours UNKNOWN (trous, début d'historique, jours coupés).
- Le RSRP alterne entre deux paliers, ~−112 dBm (920 heures) et ~−101 dBm. Médiane des médianes du jour : −111,5 dBm en juillet, −104,6 en août, −106,1 en septembre, −112,3 en octobre.
- **La classe ne sépare pas les bons jours des mauvais** : 76 jours `CELL_EDGE` ont reçu tous leurs envois (`DAILY_LINK_STATE` = `UP`). Leur médiane du jour (médiane −109,2 dBm) est même plus basse que celle des jours à 1-4 envois manquants (−105,4) et à plus de 4 (−107,2).
- À l'échelle de l'heure, 9 coupures sur 11 commencent après une heure à −111,75 dBm ou moins, alors que ces heures ne sont que 42 % du total : cohérent avec un lien qui tombe au palier bas (11 cas seulement).
## Options écartées
| Option | Pourquoi écartée |
@@ -67,6 +75,7 @@ Sortie (contrat commun) : un point par jour.
3. **Moyennes horaires en dB**, puis médiane : un décrochage bref n'est pas vu.
4. **Changement de cellule non observable** : une marche de ~10 dB du RSRP peut être un changement de cellule, pas une dégradation.
5. **Aucun cas annoté par l'expert.**
6. **Plancher de `CELL_EDGE` non discriminant sur NORDEND** : la station vit sous −100 dBm et transmet presque tous les jours. Grille gardée telle quelle en attendant l'expert (D-032).
## Pistes
@@ -76,3 +85,4 @@ Sortie (contrat commun) : un point par jour.
## Historique
- **2026-10-13** : création (D-031).
- **2026-10-13** : résultats sur NORDEND (D-032).