Proxmox auf einem Raid-Array installieren.
(eine Tüte Erdnüsse for Scale, weil ich keine Banane zur Hand hatte.)
Auch beim einrichten eines kleinen Homeservers unter Proxmox sollte man nach Möglichkeit wenigstens ein Raid 1 nutzen, damit im Falle eines Plattenausfalls nicht mühselig alles aus den Backups wiederhergestellt werden muss.
Nachfolgend ein paar mühsam gemachte Erfahrungen, gegossen in Erläuterungen zu den aktuell drei unterschiedlichen Ansätze für Raid-Dateisysteme mit ZFS, btrFS oder ext4 (bzw xfs), welche unter Proxmox 8 angeboten werden:
Tooling
Alle drei Dateisysteme haben ihr eigenes Tooling, um am Raid Dinge zu ändern. Um z.B. eine defekte Platte zu tauschen, gibt es für ZFS zfs replace, btrFS hat btrfs replace, was aber subtil anders funktioniert, und für ein “normales” Software-Raid nimmt man mdadm --manage ($dinge).
Besonderheiten ZFS
ZFS ist sehr opinionated, welche Hardware es erwartet und wie es damit umgehen will. Teil dessen ist unter anderem die Empfehlung, 1.) nur ECC-RAM zu verwenden, weil das System voraussetzt, dass es nie Bitflips gibt, und 2.) davon auch mindestens so viel, dass immer genug da ist, um alles gleichzeitig im Kopf zu behalten. Als Faustregel also mindestens 8gb, und besser mehr, wenn es viel zu verwaltender Plattenplatz ist.
Leider ist die Anzahl der günstigen CPUs, die ECC unterstützen, sehr überschaubar, und die Anzahl der Mainboards, die das dafür ebenfalls können müssen, auch. ECC-RAM ist natürlich auch noch deutlich teurer als welches ohne Fehlerkorrektur.
(Eine günstige Kombination, die ich zum Laufen bekommen habe, ist ein ASUS Prime B450M-A II-Board mit einer AMD Ryzen 3 3100-CPUs, welche allerdings noch eine zusätzliche Grafikkarte braucht. So wirklich mini ist der Mini-PC dann also eher nicht mehr.)
Weil die regelmäßigen Scrubs in der Defaulteinstellung viel Wear and Tear bringen, braucht man außerdem Festplatten bzw SSDs, die viel Draufherumgeschreibe aushalten. Also eher keine Consumer-SSDs: Serious Business-Filesystem bedeutet leider auch Serious Business-Hardware.
Besonderheiten btrFS
BtrFS ist bei Proxmox 8 offiziell nur als Technology Preview dabei, und hat möglicherweise nicht den vollen Umfang der Funktionen. Für ein einfaches Raid 1 sollte es aber reichen. Kleiner Fallstrick: in der Defaulteinstellung bootet das System nicht (!), wenn das Raid, auf dem das Startvolume liegt, degraded ist. (wenn zum Beispiel eine der beiden Platten gestorben ist.)
Dafür muss man entweder im Bootloader einen Parameter an den Kernel übergeben, oder wenn es beim initramfs aussteigt, die Partition von Hand mounten. Läuft ein bisschen der Idee hinter Raid 1 zuwider, aber okay.
Besonderheiten ext4/xfs
Proxmox 8 bietet für Raid im Installer nur btrFS und ZFS an. Wenn man ext4 oder ein anderes Dateisystem im Raid haben will, muss man das von Hand anlegen, indem man zuerst ein Vanilla-Debian mit dem gewünschten Layout installiert und das Proxmox nachträglich hinzugefügt. Dafür gibt’s aber in der Proxmox-Doku eine Anleitung und es ist kein großes Ding, weil Proxmox im Endeffekt auch “nur” ein besonderer Kernel und ein paar angepasste Pakete aus einem eigenen Repo bedeutet.
Links:
https://pve.proxmox.com/wiki/ZFS_on_Linux https://forum.proxmox.com/threads/system-did-not-find-btrfs-root-after-removing-one-disk.108223/#post-465250 https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_12_Bookworm