DAILY_STORAGE_STATE classifies the end-of-day free space of /data and DAYS_UNTIL_STORAGE_FULL divides it by the median daily fill over 7 days. The day color reads a state x horizon matrix drawn in docs/storage/matrice-etat-horizon.drawio. Thresholds are arbitrary for now (D-034, D-035); expert questions stay open. On WEISSHORN the disk fills at 28.2 MiB/day and would be full around 06/02/2027. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
63 lines
6.5 KiB
Markdown
63 lines
6.5 KiB
Markdown
# Storage : point de départ
|
||
|
||
Note de départ du domaine `storage` (D-030). Elle se complète au fil du skill `nouveau-domaine` ; les pistes passent dans les fiches quand les analyses s'écrivent.
|
||
|
||
## Question du domaine
|
||
|
||
La station a-t-elle encore assez d'espace disque pour continuer à stocker ses mesures, et pour combien de temps ?
|
||
|
||
## Ce que mesure le collecteur
|
||
|
||
Source : `docs/aimsight/collecteur_system_info.py`, `get_proc_info` et `SYNC_SPEC` (rubrique `proc`).
|
||
|
||
| Métrique exportée | Unité | Sens |
|
||
|---|---|---|
|
||
| `data_storage_free_gb` | GiB (÷ 1024³) | espace libre de la partition `/data` (`psutil.disk_usage('/data')`) |
|
||
| `data_storage_used_gb` | GiB | espace utilisé |
|
||
| `data_storage_total_gb` | GiB | taille de la partition |
|
||
| `data_storage_percent` | % | utilisé / (utilisé + libre), calcul de `psutil` |
|
||
|
||
- Le collecteur publie les trois premières sous une seule métrique `data_storage_gb`, avec un label `state` (`free`, `used`, `total`). L'export CSV aplatit ce label dans le nom de la métrique.
|
||
|
||
## Ce que montrent les données
|
||
|
||
- **Instantanés** (notes de l'expert du 2026-10-09, retirées du dépôt, D-033) :
|
||
- WILDSTRUBEL : total 5,98, libre 5,61, utilisé 0,04 GiB ;
|
||
- VERMONT expose d'autres noms, absents de notre copie du collecteur : `total_disk_1k-blk` (3 849 952), `used_disk_1k-blk` (2 829 916) et `avail_disk_1k-blk` (793 940), en blocs de 1 kio, ainsi que `DB_file_size`, `DB_total_entries`, `DB_uploaded`, `DB_not_uploaded`.
|
||
- **WEISSHORN** (`data/WEISSHORN/`, export du 2026-10-13, du 09/08 10:00 au 13/10 10:00 UTC, moyennes horaires) : total 5,98 GiB. Aucune mesure avant le 19/08 09:00, puis deux trous le 19-20/08 : début d'historique, sur tous les champs, `BusVoltage` compris. Plus aucun trou ensuite. Trois régimes :
|
||
- **19/08 au 30/08, disque presque vide** : 3,8 MiB utilisés le 19/08, 99,7 % libre. Quelques écritures le 21 et le 22/08 (13 et 1,5 MiB), puis rien du 23 au 30/08 : pas d'acquisition.
|
||
- **31/08, un bloc de 1,3 GiB** : −1 334 MiB entre 13:00 et 15:00 UTC (−681,6 puis −652,0 MiB), de 99,7 % à 76,7 % libre en deux heures. Origine inconnue (question à l'expert).
|
||
- **Dès le 03/09, remplissage linéaire** : −1,17 MiB par heure, à toutes les heures UTC (pas de cycle jour/nuit), soit 28,15 à 28,20 MiB par jour, 40 jours de suite (seule exception, 29,16 le 12/10). Les 01 et 02/09 sont une montée (7,4 et 10,0 MiB).
|
||
- **Aucune purge en 55 jours** : les hausses de l'espace libre ne dépassent pas +16,5 MiB (22/08, installation) et suivent une baisse plus forte d'une heure (fichiers temporaires).
|
||
- À ce rythme, les 3,20 GiB libres du 13/10 tiennent ~116 jours, jusqu'au 06/02/2027 : date stable depuis le 05/09.
|
||
- **NORDEND** (`data/NORDEND/`, 109 jours, `*_disk_1k-blk`, ÷ 1024² pour des GiB) : total 3,67 GiB, libre **0,62 GiB, constant à l'octet du 01/07 au 13/10** (104 jours). Seuls mouvements : +207,7 MiB le 29/06 à 11 h et −145,9 MiB le 01/07 (mise en service). La partition mesurée ne reçoit donc pas les mesures, ou celles-ci vont dans un fichier de taille fixe : `DB_file_size` vaut 2 097 152 kB (2 GiB) partout.
|
||
- Les 12 trous (début d'historique, puis 1 à 23 h) touchent tous les champs à la fois, `BusVoltage` compris : ce sont des trous de transmission (coupures de la liaison, domaine `cellular`), pas des pannes de disque.
|
||
- `DB_total_entries` = `DB_not_uploaded` à chaque heure : des entrées en attente d'envoi, nulles 95 % du temps ; trois épisodes forts (972 le 09-12/07, 322 le 01-02/08, 230 le 22-23/08) encadrent des trous de transmission. Ils relèvent plutôt de la communication que du disque.
|
||
|
||
## Ce qu'en dit la doc AIMsight
|
||
|
||
- Manuel de la station (`AIMsight Test Manual.pdf`, § Disk) : « Monitor available capacity, especially for frequent schedules, long time series, or image-heavy acquisitions ». Après l'enregistrement d'un schedule, vérifier « available internal storage ».
|
||
- Contexte support (`AIMsight_agentic_support_project_context.md`, § 5.1) : « Is storage available? », avec « disk usage » comme preuve candidate ; « storage remaining » figure parmi les « Likely high-value future signals ».
|
||
|
||
## Pièges connus
|
||
|
||
- **Utilisé + libre ≠ total** : 5,65 contre 5,98 GiB chez WILDSTRUBEL et WEISSHORN ; 3,46 contre 3,67 GiB chez VERMONT et NORDEND. Chez WEISSHORN, utilisé + libre reste à 5,6548 GiB à l'octet pendant 55 jours : l'écart (0,32 GiB, 5,4 %) est une réserve fixe, pas une consommation. C'est la réserve de `root` : pour `psutil`, `free` est l'espace accessible à un utilisateur ordinaire (`f_bavail`), `used` = total − espace libre pour `root` (`f_bfree`). Si le logiciel d'acquisition tourne en `root`, il peut encore écrire quand `free` atteint 0 : question ouverte.
|
||
- **Deux familles de métriques** : `data_storage_*` (WEISSHORN, WILDSTRUBEL) et `*_disk_1k-blk` (VERMONT), selon la version du logiciel ou la partition mesurée. Laquelle vaut pour chaque station : question ouverte.
|
||
- **Les totaux diffèrent** d'une station à l'autre (3,67 et 5,98 GiB, peut-être pas la même partition) : raisonner en espace libre et en vitesse de remplissage, pas sur un pourcentage fixe.
|
||
- Un trou de mesure pendant une coupure d'énergie n'est pas un problème de disque : croiser avec Energy.
|
||
|
||
## CSV reçus et manquants
|
||
|
||
- Reçus (WEISSHORN) : `data_storage_free_gb`, `data_storage_used_gb`, `data_storage_total_gb`. L'export de 65 jours remplace celui de 10 jours (03-13/10), qu'il contient ; il n'a plus `Battery Voltage`.
|
||
- Reçus (NORDEND, autre version du collecteur, D-032) : `avail_disk_1k-blk`, `used_disk_1k-blk`, `total_disk_1k-blk` (blocs de 1 kB ; total constant de 3 849 952) ; `DB_file_size` (texte, `2097152kB`), `DB_total_entries`, `DB_uploaded` (toujours 0), `DB_not_uploaded` (0 à 972) : sens à confirmer.
|
||
- Manquants : `data_storage_percent` (calculable à partir des deux premiers), et les métriques `DB_*` de VERMONT (base locale, envois en attente).
|
||
- L'export de WEISSHORN montre une mise en service et un démarrage d'acquisition, mais ni purge ni changement de schedule.
|
||
- Aucun des deux exports ne montre de disque plein ni de purge : il faut un cas de l'expert.
|
||
|
||
## Analyses
|
||
|
||
- En place (D-034) : `DAILY_STORAGE_STATE` (espace libre du jour) et `DAYS_UNTIL_STORAGE_FULL` (jours avant saturation), fiches dans `docs/storage/analyses/`.
|
||
- Couleur du jour (D-035) : matrice état × horizon, `docs/storage/matrice-etat-horizon.drawio`, recopiée dans `src/storage/day_color.py`.
|
||
- Piste : les purges, sauts de l'espace libre vers le haut (aucun observé).
|
||
- Questions en suspens : `questions-pour-l-expert.md`.
|