Add the DAILY_LINK_STATE and DAILY_SIGNAL_STATE cellular analyses

Explore WEISSHORN for the cellular domain, count lost sends and
messages, grade the daily RSRP and RSRQ medians on the published
Quectel grid, and record D-031.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-13 10:48:34 +02:00
1 parent 28cbec408e
commit 91ba1bd8ef
9 files changed
+428 -15

No files matched your search

+102
View File
@@ -0,0 +1,102 @@
"""Les analyses Cellular ensemble, pour les comparer (D-016) : les panneaux des analyses, puis un graphique par série.
Usage : python3 src/cellular/all_analyses.py [CSV ou dossiers...] (défaut : data/WEISSHORN/)
Écrit out/<STATION>_cellular.html et l'ouvre. Documentation : docs/cellular/analyses/ (une fiche par analyse)
"""
import sys
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1])) # src/ : paquets common, energy et cellular
from common.page import AUTOSCALE_Y_JS, ROOT, open_html # noqa: E402 (bascule seule sur .venv si plotly manque)
from common.stations import gaps, load_stations # noqa: E402
from plotly.subplots import make_subplots # noqa: E402
from cellular import link_state as ls, signal_state as ss # noqa: E402
from energy.final import noon # noqa: E402 (points journaliers à midi UTC, D-019)
# Couleurs validées par le skill dataviz (toutes paires, fond blanc ; vert/rouge refusé : deutéranopie).
# Le jaune contraste peu avec le fond : chaque état a aussi son symbole, sa légende et son survol.
GRAY = ("#8c8c8c", "circle-open")
LINK_STYLE = {"UP": ("#008300", "circle"), "MISSING": ("#eda100", "diamond"), "DOWN": ("#4a3aa7", "x"), None: GRAY}
CLASS_STYLE = {"EXCELLENT": ("#008300", "circle"), "GOOD": ("#2a78d6", "square"),
"MID_CELL": ("#eda100", "diamond"), "CELL_EDGE": ("#4a3aa7", "x"), None: GRAY}
METRICS = ["rsrp_dBm", "rsrq_dB", "rssi_dbm", "ber_percent"] # liste explicite : jamais SIM_CCID ni ip
def hover(p):
return f"{p['t']:%Y-%m-%d}<br>" + "<br>".join(f"{k}={v}" for k, v in p["facts"].items())
def state_markers(fig, pts, y_key, state_key, styles, row, group):
"""Un marqueur par jour à midi, une trace par état (légende et symbole propres)."""
for state, (color, symbol) in styles.items():
sel = [p for p in pts if p["facts"].get(state_key) == state and p["facts"].get(y_key) is not None]
if sel:
fig.add_scatter(x=[noon(p["t"].date()) for p in sel], y=[p["facts"][y_key] for p in sel],
name=f"{state or 'inconnu'}", mode="markers", text=[hover(p) for p in sel],
hovertemplate="%{text}<extra></extra>",
marker=dict(color=color, symbol=symbol, size=9, line=dict(color="white", width=1)),
row=row, col=1, **group)
def floors_panel(fig, result, row, y_key, class_key, floors, unit):
"""Panneau DAILY_SIGNAL_STATE pour une mesure : médiane du jour, planchers de la grille, classe en marqueurs."""
group = dict(legendgroup=f"{result['analysis']} {unit}", legendgrouptitle_text=f"{result['analysis']} ({unit})")
pts = result["points"]
x = [noon(p["t"].date()) for p in pts]
fig.add_scatter(x=x, y=[p["facts"].get(y_key) for p in pts], name="médiane du jour", mode="lines",
line=dict(color="#52514e", width=1.5), hoverinfo="skip", row=row, col=1, **group)
# Planchers tracés comme des courbes (un point par jour) : AUTOSCALE_Y_JS les garde visibles au zoom (D-013).
for f, c in zip(floors, ss.CLASSES):
fig.add_scatter(x=x, y=[f] * len(x), name=f"plancher {c} {f} {unit}", mode="lines", hoverinfo="skip",
line=dict(color=CLASS_STYLE[c][0], dash="dash", width=1), row=row, col=1, **group)
state_markers(fig, pts, y_key, class_key, CLASS_STYLE, row, group)
fig.update_yaxes(title_text=f"médiane du jour [{unit}]", row=row, col=1)
def figure(station, series, link, signal):
titles = [f"Analyse {ls.RULE['id']}", f"Analyse {ss.RULE['id']} : RSRP", f"Analyse {ss.RULE['id']} : RSRQ"]
fig = make_subplots(rows=len(titles) + len(METRICS) + 1, cols=1, shared_xaxes=True, vertical_spacing=0.03,
subplot_titles=titles + METRICS + ["link : instantanés « up » par heure"])
group = dict(legendgroup=ls.RULE["id"], legendgrouptitle_text=f"Analyse {ls.RULE['id']}")
state_markers(fig, link["points"], "up_percent", "state", LINK_STYLE, 1, group)
fig.update_yaxes(title_text="envois reçus avec link = up [%]", row=1, col=1)
floors_panel(fig, signal, 2, "rsrp_median_dbm", "rsrp_class", ss.RSRP_FLOORS_DBM, "dBm")
floors_panel(fig, signal, 3, "rsrq_median_db", "rsrq_class", ss.RSRQ_FLOORS_DB, "dB")
mesures = dict(legendgroup="mesures", legendgrouptitle_text="Mesures")
row = len(titles)
for row, m in enumerate(METRICS, start=row + 1):
s = series.get(m, {})
fig.add_scatter(x=sorted(s), y=[s[t] for t in sorted(s)], name=m, line=dict(width=1), row=row, col=1,
**mesures)
for a, b in gaps(s):
fig.add_vrect(x0=a, x1=b, fillcolor="gray", opacity=0.3, line_width=0, row=row, col=1)
s = series["link"]
fig.add_bar(x=sorted(s), y=[(s[t] or []).count("up") for t in sorted(s)], name="link up / heure",
marker_color="#52514e", row=row + 1, col=1, **mesures)
fig.update_xaxes(showticklabels=True) # dates sous chaque graphique, pas seulement le dernier
fig.update_yaxes(fixedrange=True) # zoom horizontal seulement : l'ordonnée est recalée par AUTOSCALE_Y_JS
fig.update_layout(title=f"{station} : analyses {ls.RULE['id']}, {ss.RULE['id']}", height=300 * (row + 1),
legend=dict(groupclick="toggleitem"))
return fig
def main(paths):
"""Pour chaque station qui a les mesures du modem : out/<STATION>_cellular.html. -> chemins écrits."""
(ROOT / "out").mkdir(exist_ok=True)
written = []
for station, series in sorted(load_stations(paths).items()):
if "link" not in series or "rsrp_dBm" not in series:
print(f"{station} : ignorée, pas de mesures du modem (link, rsrp_dBm)")
continue
path = ROOT / "out" / f"{station}_cellular.html"
figure(station, series, ls.run(series), ss.run(series)).write_html(
path, include_plotlyjs="cdn", post_script=AUTOSCALE_Y_JS, config={"scrollZoom": True})
print(path)
written.append(path)
return written
if __name__ == "__main__":
for p in main(sys.argv[1:] or [str(ROOT / "data" / "WEISSHORN")]):
open_html(p)
+57
View File
@@ -0,0 +1,57 @@
"""DAILY_LINK_STATE : état du lien 4G jour par jour (état seul, sans verdict).
Documentation : docs/cellular/analyses/daily_link_state.md
Bibliothèque standard uniquement (cible : système embarqué de la station).
"""
from collections import defaultdict
# Constantes (fiche daily_link_state, « Constantes et sources »).
SAMPLES_PER_HOUR = 4 # un instantané par envoi, toutes les 15 min : last_sync et 4 échantillons par heure, WEISSHORN 03-13/10
HOURS_PER_DAY = 24 # jour UTC complet : un jour coupé par l'export n'a pas de nombre d'envois attendu fiable
RULE = {
"id": "DAILY_LINK_STATE",
"phase": "état seul, sans verdict (anomaly = None)",
"samples_per_hour": SAMPLES_PER_HOUR,
"doc": "docs/cellular/analyses/daily_link_state.md",
}
def day_facts(hours, sync=None):
"""Échantillons d'un jour, {heure UTC: liste ou None}, de `link` et de `last_sync` (None si la série manque)
-> faits et état (fiche, « Principe »)."""
samples = [x for v in hours.values() if v for x in v]
n_up, n_down = samples.count("up"), samples.count("down")
expected = SAMPLES_PER_HOUR * HOURS_PER_DAY
# Par heure, (messages link, messages last_sync) : les deux partent à chaque envoi, quel que soit l'état du modem.
counts = [(len(hours.get(h) or []), len((sync or {}).get(h) or [])) for h in hours.keys() | (sync or {}).keys()]
# Un envoi est arrivé si l'un de ses deux messages est arrivé ; par heure : un doublon ne bouche pas un trou.
missing = sum(max(0, SAMPLES_PER_HOUR - max(c)) for c in counts)
lost = None if sync is None else sum(abs(a - b) for a, b in counts) # messages perdus dans un envoi arrivé
if len(hours) < HOURS_PER_DAY:
state = None # UNKNOWN : jour coupé par l'export
elif n_down:
state = "DOWN"
elif missing or lost:
state = "MISSING"
else:
state = "UP"
return {"state": state, "up_percent": round(100 * n_up / expected, 1), "n_up": n_up, "n_down": n_down,
"n_missing": missing, "n_messages_lost": lost, "hours": len(hours)}
def run(series):
"""Analyse DAILY_LINK_STATE, causale : le jour d n'utilise que les heures de d. Un point par jour UTC."""
link, sync = series["link"], series.get("last_sync")
days, sync_days, last = defaultdict(dict), defaultdict(dict), {}
for t in sorted(link):
last[t.date()] = t
days[t.date()][t.hour] = link[t]
for t in sync or {}:
sync_days[t.date()][t.hour] = sync[t]
points = []
for d in sorted(last):
facts = day_facts(days[d], None if sync is None else sync_days[d])
value = facts["up_percent"] if facts["state"] else None
points.append({"t": last[d], "value": value, "anomaly": None, "facts": facts})
return {"analysis": RULE["id"], "rule": RULE, "points": points}
+58
View File
@@ -0,0 +1,58 @@
"""DAILY_SIGNAL_STATE : niveau du signal 4G jour par jour, grille publiée (état seul, sans verdict).
Documentation : docs/cellular/analyses/daily_signal_state.md
Bibliothèque standard uniquement (cible : système embarqué de la station).
"""
import math
import statistics
from collections import defaultdict
# Constantes (fiche daily_signal_state, « Constantes et sources »).
# Grille « RF Quality » attribuée à Quectel (BG96) par KORE Wireless, identique au wiki Teltonika :
# Excellent >= -80 dBm / -10 dB ; Good -80 à -90 / -10 à -15 ; Mid Cell -90 à -100 / -15 à -20 ; Cell Edge en dessous.
CLASSES = ["EXCELLENT", "GOOD", "MID_CELL", "CELL_EDGE"] # du meilleur au pire
RSRP_FLOORS_DBM = [-80, -90, -100] # plancher de EXCELLENT, GOOD, MID_CELL
RSRQ_FLOORS_DB = [-10, -15, -20]
MIN_COVERAGE = 0.8 # repris de DAILY_BATTERY_STATE : 20 h mesurées sur 24
RULE = {
"id": "DAILY_SIGNAL_STATE",
"phase": "état seul, sans verdict (anomaly = None)",
"rsrp_floors_dbm": RSRP_FLOORS_DBM,
"rsrq_floors_db": RSRQ_FLOORS_DB,
"min_coverage": MIN_COVERAGE,
"doc": "docs/cellular/analyses/daily_signal_state.md",
}
def grade(x, floors):
"""Valeur -> classe de la grille : la première dont x atteint le plancher, sinon CELL_EDGE."""
return next((c for c, f in zip(CLASSES, floors) if x >= f), CLASSES[-1])
def day_facts(rsrp, rsrq):
"""Valeurs horaires d'un jour (listes, sans les heures vides) -> faits et état (fiche, « Principe »)."""
coverage = min(len(rsrp), len(rsrq)) / 24
if coverage < MIN_COVERAGE:
return {"state": None, "coverage": round(coverage, 3)} # UNKNOWN : trop d'heures sans mesure
rsrp_median, rsrq_median = statistics.median(rsrp), statistics.median(rsrq)
rsrp_class, rsrq_class = grade(rsrp_median, RSRP_FLOORS_DBM), grade(rsrq_median, RSRQ_FLOORS_DB)
return {"state": max(rsrp_class, rsrq_class, key=CLASSES.index),
"rsrp_median_dbm": round(rsrp_median, 2), "rsrp_class": rsrp_class,
"rsrq_median_db": round(rsrq_median, 2), "rsrq_class": rsrq_class,
"rsrp_min_dbm": min(rsrp), "coverage": round(coverage, 3)}
def run(series):
"""Analyse DAILY_SIGNAL_STATE, causale : le jour d n'utilise que les heures de d. Un point par jour UTC."""
days, last = defaultdict(lambda: ([], [])), {}
for i, m in enumerate(["rsrp_dBm", "rsrq_dB"]):
for t, x in series[m].items():
last[t.date()] = max(t, last.get(t.date(), t))
if x is not None and math.isfinite(x): # NaN/inf = pas de mesure
days[t.date()][i].append(x)
points = []
for d in sorted(last):
facts = day_facts(*days[d])
points.append({"t": last[d], "value": facts.get("rsrp_median_dbm"), "anomaly": None, "facts": facts})
return {"analysis": RULE["id"], "rule": RULE, "points": points}