Ceph¶
admin@pve:~# ls ceph/ | wc -l → 14 pages · 14 disponibles
Hyperconvergence : conception, sizing, exploitation des OSD et des PG.
Ceph transforme les disques locaux de vos nœuds Proxmox VE en un stockage partagé, répliqué et auto-réparant : c'est le socle de l'architecture hyperconvergée (Ceph HCI, 3 nœuds et plus) livrée par le MSP. Cette rubrique s'adresse aux administrateurs et aux équipes d'astreinte qui exploitent ce stockage au quotidien, et aux responsables infra qui le dimensionnent. Elle couvre la conception (Day 0), le déploiement (Day 1) et l'exploitation (Day 2), en indiquant à chaque étape ce que vous faites seul et ce que vous confiez au MSP : règles CRUSH, mises à niveau majeures et réparations de PG relèvent du MSP selon votre contrat.
Ce que vous saurez faire¶
- Expliquer le rôle des MON, MGR, OSD et MDS, et le chemin d'une écriture de VM jusqu'aux disques (PG, CRUSH).
- Vérifier qu'un projet respecte les prérequis matériels et réseau, et calculer la capacité réellement exploitable d'un cluster.
- Choisir entre réplica 3/2 et erasure coding, et préparer un plan réseau Ceph (public, cluster, MTU, full-mesh).
- Installer Ceph sur un cluster PVE 9, créer OSD, pools et CephFS depuis la GUI ou en CLI.
- Lire l'état du cluster, diagnostiquer des PG dégradés ou incohérents et remplacer un OSD défaillant.
- Préparer une mise à niveau de version Ceph et mesurer les performances de référence du cluster.
Prérequis¶
- Les types de stockage Proxmox
- Choisir le matériel : CPU, RAM ECC, HBA vs RAID, NIC, disques boot
- Créer un cluster, Corosync multi-liens, nœud QDevice
- Plan réseau type : management, Corosync, Ceph public/cluster, migration
- Le périmètre de votre contrat MSP
Ordre de lecture conseillé¶
- Ceph en images : MON, MGR, OSD, MDS, PG, CRUSH
- Prérequis non négociables : 3 nœuds min., SSD entreprise PLP, réseau 25 Gb+ dédié
- Sizing Ceph : capacité utile, ratio de remplissage, tolérance de panne, avec le calculateur Ceph
- Réplica 3/2 vs erasure coding : coût, perf, cas d'usage
- Réseaux public / cluster, MTU, bonding, topologie full-mesh
- Installer Ceph depuis la GUI PVE, créer OSD, pools, CephFS
- Règles CRUSH : classes de disques, failure domain host / rack
- RB-01 · Ceph : lire l'état du cluster
- RB-02 · Maintenance planifiée d'un nœud
- RB-03 · Ceph : remplacer un disque OSD
- RB-04 · Ceph : OSD nearfull / full
- PG inactive, degraded, inconsistent : diagnostic
- Mise à niveau de version Ceph
- Performances : benchmark rados bench, fio, lecture des latences
Notions clés¶
| Terme | Définition courte |
|---|---|
| OSD | Démon qui gère un disque physique et stocke les objets ; un OSD par disque. |
| MON | Moniteur : garde les cartes du cluster ; 3 MON, quorum à la majorité. |
| PG | Placement group : groupe d'objets répliqué et déplacé d'un bloc ; état sain active+clean. |
| CRUSH | Algorithme qui calcule l'emplacement des copies selon la carte du cluster et la règle du pool. |
| Failure domain | Unité qui ne porte jamais deux copies d'une même donnée : hôte par défaut, rack possible. |
| size / min_size | Nombre de copies voulues / minimum pour accepter des I/O ; 3/2 par défaut. |
| Erasure coding k+m | Données découpées en k fragments plus m parités ; plus économe, plus lent en petites écritures. |
| nearfull | Seuil d'alerte de remplissage d'un OSD (85 %) ; à 95 % (full), les écritures se bloquent. |