Ceph : OSD nearfull / full¶

Objectif. Comprendre pourquoi un OSD se remplit, libérer ou équilibrer l'espace avant le blocage des écritures.

Les trois seuils (valeurs par défaut)¶

Seuil	Ratio	Effet
nearfull	85 %	Alerte HEALTH_WARN, aucun blocage
backfillfull	90 %	Ceph refuse de reconstruire des données vers cet OSD
full	95 %	Écritures bloquées sur tout le pool : VMs figées, HEALTH_ERR

Un seul OSD plein suffit à bloquer les écritures : c'est l'OSD le plus rempli qui compte, pas la moyenne.

Diagnostic¶

ceph health detail                    # quels OSD sont nearfull/full
ceph osd df tree                      # %USE et VAR par OSD et par hôte
ceph df                               # MAX AVAIL par pool
ceph balancer status                  # l'équilibreur est-il actif (mode upmap) ?
ceph osd pool autoscale-status        # nombre de PG adapté ?

Cas 1 · nearfull, cluster déséquilibré¶

VAR > 1,2 sur quelques OSD

Vérifier que l'équilibreur est actif ; sinon ceph balancer mode upmap puis ceph balancer on.
Si un pool a trop peu de PG, l'autoscaler le signale : ticket MSP pour ajuster.

Cas 2 · nearfull, cluster réellement plein¶

Tous les OSD au-dessus de 80 %

Libérer de l'espace : supprimer les snapshots de VM anciens (VM → Snapshots), les VMs et templates inutiles, les disques orphelins (Storage → VM Disks).
Activer discard sur les disques de VM et lancer fstrim -a (Linux) ou l'optimisation de lecteur (Windows) pour rendre l'espace libéré dans les VMs.
Planifier l'ajout de disques ou d'un nœud (calculateur Ceph du portail).

Cas 3 · full, écritures bloquées¶

Ticket P1 immédiat. Le MSP pourra relever temporairement le seuil (ceph osd set-full-ratio 0.96) le temps de libérer de l'espace, puis le remettre à 0,95.

Vérifications

Plus aucun OSD au-dessus de 80 %, ceph -s sans alerte nearfull, MAX AVAIL des pools en hausse.

Pièges vus en support

La capacité affichée en brut est divisée par 3 en réplica 3. 30 To bruts = 10 To utiles, dont 8 à 8,5 To exploitables en pratique.
Un cluster à 85 % ne peut plus absorber la perte d'un nœud : sa reconstruction remplirait les autres OSD.
Supprimer des fichiers dans une VM ne libère rien côté Ceph sans discard + trim.
Ne pas modifier les ratios ni lancer reweight-by-utilization sans le MSP.

Quand ouvrir un ticket iTop

OSD full ou VMs figées : P1. nearfull persistant : P3 avec demande d'étude de capacité. Joindre ceph osd df tree, ceph df, ceph health detail.

Ouvrir un ticket iTop pour RB-04 Que joindre au ticket ?

Rubrique : Ceph · Architecture : Ceph HCI · Rédigé pour PVE 9.x, PBS 4.x, Ceph 19.2 · Brouillon à valider en lab avant publication · Documentation officielle : PVE · PBS