Add the storage analyses and their day color

DAILY_STORAGE_STATE classifies the end-of-day free space of /data and
DAYS_UNTIL_STORAGE_FULL divides it by the median daily fill over 7
days. The day color reads a state x horizon matrix drawn in
docs/storage/matrice-etat-horizon.drawio. Thresholds are arbitrary for
now (D-034, D-035); expert questions stay open. On WEISSHORN the disk
fills at 28.2 MiB/day and would be full around 06/02/2027.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-13 12:33:11 +02:00
1 parent 75b681d2db
commit d43db2a66a
14 files changed
+668 -22

No files matched your search

+18 -8
View File
@@ -24,7 +24,15 @@ Source : `docs/aimsight/collecteur_system_info.py`, `get_proc_info` et `SYNC_SPE
- **Instantanés** (notes de l'expert du 2026-10-09, retirées du dépôt, D-033) :
- WILDSTRUBEL : total 5,98, libre 5,61, utilisé 0,04 GiB ;
- VERMONT expose d'autres noms, absents de notre copie du collecteur : `total_disk_1k-blk` (3 849 952), `used_disk_1k-blk` (2 829 916) et `avail_disk_1k-blk` (793 940), en blocs de 1 kio, ainsi que `DB_file_size`, `DB_total_entries`, `DB_uploaded`, `DB_not_uploaded`.
- **WEISSHORN** (`data/WEISSHORN/`, export du 2026-10-13, du 03/10 07:00 au 13/10 07:00 UTC, moyennes horaires) : libre de 3,21 à 3,48 GiB, utilisé de 2,17 à 2,45 GiB, total 5,98 GiB.
- **WEISSHORN** (`data/WEISSHORN/`, export du 2026-10-13, du 09/08 10:00 au 13/10 10:00 UTC, moyennes horaires) : total 5,98 GiB. Aucune mesure avant le 19/08 09:00, puis deux trous le 19-20/08 : début d'historique, sur tous les champs, `BusVoltage` compris. Plus aucun trou ensuite. Trois régimes :
- **19/08 au 30/08, disque presque vide** : 3,8 MiB utilisés le 19/08, 99,7 % libre. Quelques écritures le 21 et le 22/08 (13 et 1,5 MiB), puis rien du 23 au 30/08 : pas d'acquisition.
- **31/08, un bloc de 1,3 GiB** : −1 334 MiB entre 13:00 et 15:00 UTC (−681,6 puis −652,0 MiB), de 99,7 % à 76,7 % libre en deux heures. Origine inconnue (question à l'expert).
- **Dès le 03/09, remplissage linéaire** : −1,17 MiB par heure, à toutes les heures UTC (pas de cycle jour/nuit), soit 28,15 à 28,20 MiB par jour, 40 jours de suite (seule exception, 29,16 le 12/10). Les 01 et 02/09 sont une montée (7,4 et 10,0 MiB).
- **Aucune purge en 55 jours** : les hausses de l'espace libre ne dépassent pas +16,5 MiB (22/08, installation) et suivent une baisse plus forte d'une heure (fichiers temporaires).
- À ce rythme, les 3,20 GiB libres du 13/10 tiennent ~116 jours, jusqu'au 06/02/2027 : date stable depuis le 05/09.
- **NORDEND** (`data/NORDEND/`, 109 jours, `*_disk_1k-blk`, ÷ 1024² pour des GiB) : total 3,67 GiB, libre **0,62 GiB, constant à l'octet du 01/07 au 13/10** (104 jours). Seuls mouvements : +207,7 MiB le 29/06 à 11 h et −145,9 MiB le 01/07 (mise en service). La partition mesurée ne reçoit donc pas les mesures, ou celles-ci vont dans un fichier de taille fixe : `DB_file_size` vaut 2 097 152 kB (2 GiB) partout.
- Les 12 trous (début d'historique, puis 1 à 23 h) touchent tous les champs à la fois, `BusVoltage` compris : ce sont des trous de transmission (coupures de la liaison, domaine `cellular`), pas des pannes de disque.
- `DB_total_entries` = `DB_not_uploaded` à chaque heure : des entrées en attente d'envoi, nulles 95 % du temps ; trois épisodes forts (972 le 09-12/07, 322 le 01-02/08, 230 le 22-23/08) encadrent des trous de transmission. Ils relèvent plutôt de la communication que du disque.
## Ce qu'en dit la doc AIMsight
@@ -33,20 +41,22 @@ Source : `docs/aimsight/collecteur_system_info.py`, `get_proc_info` et `SYNC_SPE
## Pièges connus
- **Utilisé + libre ≠ total** : 5,65 contre 5,98 GiB chez WILDSTRUBEL ; 3,46 contre 3,67 GiB chez VERMONT. Un écart de 5 à 6 % est cohérent avec les blocs réservés d'ext4, mais ce n'est pas vérifié. Le pourcentage de `psutil` se calcule sans eux.
- **Utilisé + libre ≠ total** : 5,65 contre 5,98 GiB chez WILDSTRUBEL et WEISSHORN ; 3,46 contre 3,67 GiB chez VERMONT et NORDEND. Chez WEISSHORN, utilisé + libre reste à 5,6548 GiB à l'octet pendant 55 jours : l'écart (0,32 GiB, 5,4 %) est une réserve fixe, pas une consommation. C'est la réserve de `root` : pour `psutil`, `free` est l'espace accessible à un utilisateur ordinaire (`f_bavail`), `used` = total − espace libre pour `root` (`f_bfree`). Si le logiciel d'acquisition tourne en `root`, il peut encore écrire quand `free` atteint 0 : question ouverte.
- **Deux familles de métriques** : `data_storage_*` (WEISSHORN, WILDSTRUBEL) et `*_disk_1k-blk` (VERMONT), selon la version du logiciel ou la partition mesurée. Laquelle vaut pour chaque station : question ouverte.
- **Les totaux diffèrent** d'une station à l'autre (3,67 et 5,98 GiB, peut-être pas la même partition) : raisonner en espace libre et en vitesse de remplissage, pas sur un pourcentage fixe.
- Un trou de mesure pendant une coupure d'énergie n'est pas un problème de disque : croiser avec Energy.
## CSV reçus et manquants
- Reçus (WEISSHORN) : `data_storage_free_gb`, `data_storage_used_gb`, `data_storage_total_gb`.
- Reçus (WEISSHORN) : `data_storage_free_gb`, `data_storage_used_gb`, `data_storage_total_gb`. L'export de 65 jours remplace celui de 10 jours (03-13/10), qu'il contient ; il n'a plus `Battery Voltage`.
- Reçus (NORDEND, autre version du collecteur, D-032) : `avail_disk_1k-blk`, `used_disk_1k-blk`, `total_disk_1k-blk` (blocs de 1 kB ; total constant de 3 849 952) ; `DB_file_size` (texte, `2097152kB`), `DB_total_entries`, `DB_uploaded` (toujours 0), `DB_not_uploaded` (0 à 972) : sens à confirmer.
- Manquants : `data_storage_percent` (calculable à partir des deux premiers), et les métriques `DB_*` de VERMONT (base locale, envois en attente).
- L'export couvre 10 jours : assez pour l'état du jour, court pour une vitesse de remplissage. Un historique plus long le remplacera.
- L'export de WEISSHORN montre une mise en service et un démarrage d'acquisition, mais ni purge ni changement de schedule.
- Aucun des deux exports ne montre de disque plein ni de purge : il faut un cas de l'expert.
## Pistes d'analyses (non décidées)
## Analyses
- L'espace libre du jour.
- La vitesse de remplissage et les jours avant saturation (espace libre ÷ pente sur plusieurs jours).
- Les purges : sauts de l'espace libre vers le haut.
- En place (D-034) : `DAILY_STORAGE_STATE` (espace libre du jour) et `DAYS_UNTIL_STORAGE_FULL` (jours avant saturation), fiches dans `docs/storage/analyses/`.
- Couleur du jour (D-035) : matrice état × horizon, `docs/storage/matrice-etat-horizon.drawio`, recopiée dans `src/storage/day_color.py`.
- Piste : les purges, sauts de l'espace libre vers le haut (aucun observé).
- Questions en suspens : `questions-pour-l-expert.md`.
@@ -0,0 +1,26 @@
# Storage : questions pour l'expert
Questions ouvertes du domaine `storage`, en suspens au 2026-10-13. Chaque réponse va à sa place (note de départ, fiche, `cas-annotes-par-l-expert.md`), puis la question sort de cette liste.
## Disque plein
1. Que se passe-t-il quand `/data` est plein : l'acquisition s'arrête, ou les plus vieilles données sont effacées ?
2. Y a-t-il une purge ou une rotation automatique sur `/data` ? Sur WEISSHORN, aucune en 10 jours.
3. Le logiciel d'acquisition tourne-t-il en `root` ? Si oui, il peut encore écrire dans la réserve de `root` (5,4 % du total sur WEISSHORN) quand `free` atteint 0.
## Seuils (`DAILY_STORAGE_STATE`, couleur du jour)
4. À partir de combien d'espace libre (en % ou en jours restants) faut-il prévenir ? Les seuils actuels sont arbitraires (D-034, D-035) : 20 % et 10 % libres ; plein dans moins de 60 jours (Orange) ou de 14 jours (Red).
5. Combien de jours faut-il au support pour intervenir : nettoyage à distance, ou visite sur site ?
## Cas de référence (étape 4 de `nouveau-domaine`)
6. Une station est-elle déjà tombée à court de disque ? Avec ses dates, elle servirait de cas de référence.
7. Le rythme de WEISSHORN (28 MiB par jour, régulier à l'heure près, depuis le 03/09) correspond-il à son schedule ?
8. WEISSHORN, 31/08 entre 13:00 et 15:00 UTC : 1,3 GiB écrits d'un bloc sur `/data`. Qu'est-ce que c'est (mise à jour, images de référence, import de données) ? Un tel bloc peut-il revenir ?
9. WEISSHORN, 19/08 au 02/09 : disque presque vide et pas d'acquisition du 23 au 30/08. Mise en service ?
## Champs des versions plus anciennes du collecteur
10. Quelle partition mesurent `*_disk_1k-blk` (NORDEND, VERMONT) ? Chez NORDEND, l'espace libre est constant à l'octet pendant 104 jours.
11. `DB_file_size` (2 GiB fixe chez NORDEND) : base préallouée ? Où vont les mesures sur ces stations ?