Aller au contenu

Je suis d'astreinte

Ce parcours rassemble ce qu'il faut savoir faire seul, la nuit, sans casser plus. Lisez-le à froid, avant votre première astreinte.

Mon cluster est en alerte

Partez du symptôme visible :

Ce que je vois Runbook Sévérité typique
Un nœud avec un point d'interrogation gris RB-09 · Nœud grisé, hors ligne, perte de quorum (cas 1) P3
Un nœud avec une croix rouge, VMs arrêtées RB-09 · Nœud grisé, hors ligne, perte de quorum (cas 2) P1
Actions impossibles, configuration en lecture seule RB-09 · Nœud grisé, hors ligne, perte de quorum (cas 3) P1
Ceph en HEALTH_WARN ou HEALTH_ERR RB-01 · Ceph : lire l'état du cluster P2 à P1
Alerte disque ou OSD down RB-03 · Ceph : remplacer un disque OSD · RB-05 · ZFS : remplacer un disque de données P3 à P2
VMs figées, Ceph plein RB-04 · Ceph : OSD nearfull / full P1
Pool ZFS DEGRADED RB-07 · ZFS : pool DEGRADED, erreurs checksum P2
Sauvegarde de la nuit en échec RB-14 · Job de sauvegarde en échec P3 à P2
VM avec un cadenas, impossible à arrêter RB-10 · VM verrouillée ou bloquée P3
Un utilisateur a supprimé un fichier RB-13 · Restaurer un fichier unitaire P4 à P3

Trois interdits la nuit

  • Jamais pvecm expected 1 sans le MSP en ligne.
  • Jamais deux nœuds redémarrés en même temps.
  • Jamais zpool add pour remplacer un disque.

À connaître avant la première astreinte

  1. RB-01 · Ceph : lire l'état du cluster
  2. Lire les logs : journalctl, task log, /var/log/pve
  3. RB-09 · Nœud grisé, hors ligne, perte de quorum
  4. RB-10 · VM verrouillée ou bloquée
  5. RB-12 · Restaurer une VM ou un conteneur
  6. Ouvrir un ticket iTop et la grille de sévérité