Add the storage analyses and their day color

DAILY_STORAGE_STATE classifies the end-of-day free space of /data and
DAYS_UNTIL_STORAGE_FULL divides it by the median daily fill over 7
days. The day color reads a state x horizon matrix drawn in
docs/storage/matrice-etat-horizon.drawio. Thresholds are arbitrary for
now (D-034, D-035); expert questions stay open. On WEISSHORN the disk
fills at 28.2 MiB/day and would be full around 06/02/2027.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
maximeandClaude Opus 5.5 committed 2026-10-13 12:33:11 +02:00
1 parent 75b681d2db
commit d43db2a66a
14 files changed
+668 -22

No files matched your search

@@ -0,0 +1,79 @@
# `DAILY_STORAGE_STATE` : espace libre du disque en fin de jour
- **Statut** : prototype en place (2026-10-13). État seul, sans verdict ; seuils arbitraires (D-034) ; pas encore de cas annotés par l'expert.
- **Script** : premier panneau de `python3 src/storage/all_analyses.py [CSV ou dossiers]` (défaut : `data/WEISSHORN/`), qui écrit `out/<STATION>_storage.html` et l'ouvre.
- **Code** : `src/storage/storage_state.py` (`run()`, `day_facts()`), bibliothèque standard uniquement, sans import du projet.
## Question posée
Chaque jour, combien d'espace reste-t-il sur la partition `/data`, et est-ce encore confortable, bas ou critique ?
- **Lien avec la question du domaine** : c'est la moitié « bientôt plein » de la notification. Le niveau seul ne dit pas quand le disque sera plein : c'est `DAYS_UNTIL_STORAGE_FULL`.
- **En pourcentage** : la taille de la partition change d'une station à l'autre (3,67 et 5,98 GiB, `docs/storage/domaine/point-de-depart.md`). Un seuil en GiB ne se transposerait pas.
## Principe
On prend la dernière mesure du jour et on classe la part d'espace libre sur deux planchers.
Calcul exact, pour chaque jour UTC d :
1. Dernière heure de d où `data_storage_free_gb` et `data_storage_used_gb` sont mesurés et finis → `measured_at`. S'il n'y en a pas, `state` = `None` (UNKNOWN).
2. `usable_gb` = libre + utilisé : l'espace utilisable sans la réserve de `root`, comme le `percent` de `psutil`.
3. `free_percent` = 100 × libre / `usable_gb`, soit 100 − `data_storage_percent` du collecteur.
4. `state` = `OK` si `free_percent` ≥ 20, `LOW` s'il est ≥ 10, sinon `CRITICAL`.
Une seule mesure suffit : l'espace libre est un niveau, pas une statistique du jour (pas de couverture minimale).
Sortie (contrat commun) : un point par jour.
- `t` = dernière heure du jour présente dans la série.
- `value` = `free_percent`, en % (`None` si UNKNOWN).
- `anomaly` = `None` : état seul, sans verdict. L'état est dans `facts.state`.
- `facts` = `state`, `free_gb`, `free_percent`, `usable_gb`, `measured_at`.
## Constantes et sources
| Constante | Valeur | Source |
|---|---|---|
| `FREE_PERCENT_FLOORS` | 20 % (plancher de `OK`), 10 % (plancher de `LOW`) | **Choix arbitraire de l'utilisateur**, pour commencer (2026-10-13, D-034) ; ni la doc AIMsight ni le collecteur n'en donnent. À revoir avec l'expert (`docs/storage/domaine/questions-pour-l-expert.md`). |
## Graphique
- **En haut** : `free_percent` jour par jour (ligne), les deux planchers en pointillés, l'état en marqueurs (couleur et symbole). Le survol donne tous les faits.
- **Dessous** : `data_storage_free_gb`, `data_storage_used_gb`, `data_storage_total_gb`, en GiB.
## Résultats (jeu de travail : WEISSHORN, export de 65 jours)
- 09/08 au 18/08 : UNKNOWN (début d'historique, aucune mesure).
- 19/08 au 30/08 : `OK`, 99,94 à 99,69 % libre : disque presque vide, mise en service.
- 31/08 : `OK`, 76,66 % libre. Un bloc de 1,3 GiB écrit entre 13:00 et 15:00 UTC fait perdre 23 points en deux heures.
- 01/09 au 13/10 : `OK`, de 76,53 % à 56,67 % libre (3,20 GiB sur 5,65 GiB utilisables le 13/10).
- Les jours coupés par l'export ou par un trou (19/08, 20/08, 13/10) ont un état : une mesure suffit.
- Au rythme mesuré par `DAYS_UNTIL_STORAGE_FULL` (28,18 MiB/jour), WEISSHORN passerait `LOW` vers le 27/12/2026 et `CRITICAL` vers le 17/01/2027 (projection, pas une observation).
- `LOW` et `CRITICAL` ne sont donc jamais observés. Aucun cas annoté par l'expert.
## Options écartées
| Option | Pourquoi écartée |
|---|---|
| Seuil en GiB | Les partitions n'ont pas la même taille d'une station à l'autre. |
| Pourcentage du total, réserve de `root` comprise | Cette réserve n'est pas accessible à un utilisateur ordinaire ; `psutil` la retire aussi. |
| Couverture minimale du jour (comme `DAILY_SIGNAL_STATE`) | Le niveau d'un disque ne se moyenne pas : la dernière mesure est l'état le plus récent. |
| Minimum du jour | Égal à la dernière mesure sur un disque qui se remplit ; après une purge dans la journée, c'est la dernière mesure qui est juste. |
| `*_disk_1k-blk` (NORDEND, version plus ancienne du collecteur) | Partition plate pendant 104 jours, pas celle des mesures : choix de l'utilisateur (D-034). |
## Limites connues
1. **Seuils arbitraires** (D-034).
2. **Réserve de `root`** (5,4 % du total sur WEISSHORN) : si le logiciel d'acquisition tourne en `root`, il peut encore écrire à 0 % libre.
3. **Un niveau ne dit pas l'urgence** : 15 % libres sur un disque qui ne se remplit pas ne pressent pas ; 30 % qui fondent en une semaine, si. C'est le rôle de `DAYS_UNTIL_STORAGE_FULL`.
4. **Une seule station, jamais sous 56 % libre** ; aucun cas annoté.
5. **Une mesure par jour compte, la dernière** : un bloc écrit puis effacé dans la journée n'apparaît pas.
## Pistes
- Des seuils de l'expert, peut-être différents par taille de partition.
## Historique
- **2026-10-13** : création (D-034).
- **2026-10-13** : résultats sur l'export de 65 jours de WEISSHORN (09/08-13/10), qui remplace celui de 10 jours.
- **2026-10-13** : combinée à l'autre analyse Storage dans la couleur du jour, matrice état × horizon (`docs/storage/matrice-etat-horizon.drawio`, colonnes ; D-035).
@@ -0,0 +1,81 @@
# `DAYS_UNTIL_STORAGE_FULL` : jours avant que le disque soit plein
- **Statut** : prototype en place (2026-10-13). Estimation seule, sans verdict ; pas encore de cas annotés par l'expert.
- **Script** : deuxième panneau de `python3 src/storage/all_analyses.py [CSV ou dossiers]` (défaut : `data/WEISSHORN/`), qui écrit `out/<STATION>_storage.html` et l'ouvre.
- **Code** : `src/storage/days_until_full.py` (`run()`), bibliothèque standard uniquement ; reprend les fins de jour de `DAILY_STORAGE_STATE` (`src/storage/storage_state.py`).
## Question posée
Chaque jour, au rythme de remplissage des 7 derniers jours, dans combien de jours l'espace libre de `/data` atteindra-t-il 0 ?
- **Lien avec la question du domaine** : c'est la moitié « pour combien de temps » de la notification. `DAILY_STORAGE_STATE` dit le niveau ; celle-ci dit l'urgence, que le disque soit grand ou petit.
- **Une estimation, pas une prévision** : elle suppose que le rythme récent continue.
## Principe
Le rythme de remplissage est la médiane des consommations journalières sur 7 jours ; les jours restants sont l'espace libre divisé par ce rythme.
Calcul exact, pour chaque jour UTC d :
1. Fin de jour mesurée : `measured_at` de `DAILY_STORAGE_STATE` (dernière heure de d où libre et utilisé sont mesurés). La valeur de l'espace libre se relit dans la série, non arrondie.
2. Rythme du jour r(d) = (libre à la fin de jour mesurée précédente − libre à `measured_at`) / durée entre les deux, en jours. Positif : le disque se remplit. La division par la durée ramène à un jour un jour coupé par l'export ou un trou de plusieurs jours.
3. Fenêtre : les r des jours d−6 à d. Si d n'a pas de mesure, ou si la fenêtre compte moins de `MIN_RATES` rythmes : `filling` = `None` (UNKNOWN).
4. `rate` = médiane de la fenêtre. Une purge isolée (un r très négatif) ne la déplace pas.
5. Si `rate` ≤ 0 : `filling` = `False`, pas d'estimation. Sinon `filling` = `True`, `days_until_full` = libre / `rate`, `full_date` = `measured_at` + `days_until_full`.
Sortie (contrat commun) : un point par jour.
- `t` = dernière heure du jour présente dans la série.
- `value` = `days_until_full`, en jours (`None` si UNKNOWN ou si le disque ne se remplit pas).
- `anomaly` = `None` : estimation seule, sans verdict.
- `facts` = `filling`, `fill_rate_mib_per_day`, `days_until_full`, `full_date`, `free_gb`, `rates` (nombre de rythmes dans la fenêtre).
## Constantes et sources
| Constante | Valeur | Source |
|---|---|---|
| `WINDOW_DAYS` | 7 jours | Principe du projet : fenêtres de plusieurs jours, multiples de 24 h (`CLAUDE.md`), comme les moyennes glissantes d'Energy. |
| `MIN_RATES` | 4 | Choix de conception : plus de la moitié de la fenêtre, pour que la médiane ne dépende pas d'un seul jour. |
## Graphique
- **En haut** : `days_until_full` jour par jour ; le survol donne le rythme, la date estimée et le nombre de rythmes.
- **Dessous** : les séries du disque (panneau commun avec `DAILY_STORAGE_STATE`).
## Résultats (jeu de travail : WEISSHORN, export de 65 jours)
- 09/08 au 22/08 : UNKNOWN (début d'historique, puis moins de 4 rythmes dans la fenêtre).
- 23/08 : `filling` = `True`, 0,74 MiB/jour, 7 798 jours (2047) : écritures de la mise en service, sans conséquence.
- 24/08 au 02/09 : `filling` = `False`, rythme médian nul : pas d'acquisition. **Le bloc de 1,3 GiB du 31/08 ne déplace pas la médiane** : ni estimation affolée, ni fausse alerte.
- 03/09 : 7,41 MiB/jour, 593 jours ; 04/09 : 9,99 MiB/jour, 437 jours. Le remplissage régulier commence le 03/09 ; la médiane le rejoint le 05/09, en 3 jours au lieu de 4, parce que le bloc du 31/08 est au-dessus.
- 05/09 au 13/10 : rythme médian de 28,17 à 28,18 MiB/jour ; 153,9 jours restants le 05/09, puis un de moins chaque jour, 116,5 le 13/10. **Date estimée stable pendant 39 jours : 06/02/2027.**
- Les jours atypiques (29,16 MiB le 12/10, le 13/10 coupé par l'export) sont écartés par la médiane.
- Aucune purge en 55 jours : la robustesse de la médiane à une purge n'est éprouvée qu'à l'envers, sur le bloc du 31/08. Aucun cas annoté.
## Options écartées
| Option | Pourquoi écartée |
|---|---|
| Régression linéaire sur les mesures horaires | Tirée par une purge ; plus de calcul pour un remplissage déjà linéaire. |
| Différence sur 7 jours, (libre(d−7) − libre(d)) / 7 | Une purge dans la fenêtre donne un rythme négatif pendant 7 jours. |
| Fenêtre de 30 jours | Suit un changement de régime en 16 jours au lieu de 4 ; WEISSHORN n'a qu'un seul régime à suivre (40 jours). |
| `*_disk_1k-blk` (NORDEND) | Partition plate pendant 104 jours, pas celle des mesures (D-034). |
## Limites connues
1. **Projection linéaire** : un changement de schedule (plus d'images, autre cadence) change le rythme ; il faut 4 jours pour qu'il domine la médiane (3 sur WEISSHORN le 05/09).
2. **Un bloc ponctuel n'est pas prévu** : le 31/08, 1,3 GiB sont écrits en deux heures. Sur un disque à moins de 1,3 GiB libre, il l'aurait rempli sans que l'estimation ne bouge ; seul `DAILY_STORAGE_STATE` le voit, le jour même.
3. **Purge automatique inconnue** : si la station efface ses plus vieilles données quand le disque est plein, « plein » n'arrive jamais. Question à l'expert.
4. **Réserve de `root`** : si l'acquisition tourne en `root`, elle peut écrire au-delà de 0 libre (5,4 % du total sur WEISSHORN).
5. **Un disque qui ne se remplit pas** (`filling = False`) n'a pas d'estimation ; son niveau reste suivi par `DAILY_STORAGE_STATE`.
6. **Une seule station** ; aucun cas annoté.
## Pistes
- Les purges : repérer les hausses de l'espace libre (aucune observée).
- Une fourchette de dates, à partir du rythme minimal et maximal de la fenêtre.
- Comparer le rythme au passé de la station, pour signaler un changement de schedule.
## Historique
- **2026-10-13** : création (D-034).
- **2026-10-13** : résultats sur l'export de 65 jours de WEISSHORN (09/08-13/10), qui remplace celui de 10 jours.
- **2026-10-13** : combinée à l'autre analyse Storage dans la couleur du jour, matrice état × horizon (`docs/storage/matrice-etat-horizon.drawio`, lignes ; D-035).