Billiger, virtualisierter Backupspeicher: Controller?
Verfasst: 25.09.2010, 17:28
Hi zusammen.
Wer die Vorgeschichte nicht lesen will hier die Zusammenfassung: Ich suche einen möglichst kostengünstigen RAID-Controller dessen Informationen ich innerhalb der VM abfragen kann.
Und hier das Einsatzszenario:
Ich betreibe einen ESX4i. Zur Zeit läuft der auf 4.0, ein Update folgt sobald die Backupsituation geändert ist. Nur nicht mehrere Baustellen auf einmal aufreißen.
Die Aufgabe des Backup-Hosts ist in drei Punkte gegliedert:
* Via Nagios alle VMs auf dem Livesystem überwachen (da liegt auch ein Nagios, die beiden überwachen jeweils das vollständige Netz)
* NFS-Bereitstellung und großer Speicher
* Reserve-VPN-Server falls ich durch Konfigurationsunfug den primären VPN-Zugang töte
Aus Sicherheitsgründen sind diese drei Aufgaben auf drei unterschiedliche VMs aufgeteilt.
Aktuell läuft auf alter Hardware (32bit Desktop-CPU und 1GB DDR1) ein VMware-Server. Der ist allerdings unzumutbar langsam sodass das nächtliche Vollbackup fast zwei Stunden dauert. Ein neuer Server muss her.
Nachdem meine Ansprüche funktional abgegrenzt und recht überschaubar sind muss (und darf) es kein "richtiger" Server werden. Ein Budget von ~300€ für den Computer ist möglich, zwei 2TB SATA-Festplatten schon vorhanden und deshalb nicht neu zu kaufen.
Mein Plan geht bisher in die Richtung eines Desktopcomputers mit einem günstigen Phenom II X2 und 2*2GB DDR3, und einer zusätzlichen Intel-NIC.
Diese Konstrukte haben natürlich durch die Bank keinen brauchbaren RAID-Controller. Mein Plan -- der nach ersten Tests auf meinem privaten Desktop-PC (AMD 4850x, 4GB DDR2, 780G-Chipsatz) und USB-ESX recht realistisch erscheint -- sind zwei getrennte Datastores auf den beiden Festplatten und Software-RAID innerhalb der NFS-VM.
Eine mittels dd gemessene Schreibrate von 70MB/s auf das Software-RAID ist drin, und damit bin ich den 15MB/s des bisherigen Konstrukts auf VMware-Server und alter Hardware schon deutlich überlegen.
Ich hab im Zuge meiner Tests das Linux-Softwareraid gegen einen Mirror-zpool (Ubuntu und zfs-fuse) getauscht, ebenfalls mit vmdks auf unterschiedlichen physischen Platten. Die Schreibrate war mit 50MB/s geringer als beim Linux-Softwareraid, dafür war die CPU-Last deutlich höher. Und sobald dedup oder compression (für das Backuparchiv wäre ja eher ersteres das Mittel der Wahl) aktiv waren ging die Schreibrate runter auf 5MB/s und die CPU auf 100%.
ZFS als zfs-fuse in einer Ubuntu-VM auf Desktophardware scheidet also aus.
Zusammengefasst: Mein Plan lässt sich ohne RAID-Controller für ~250€ + Festplatten mit Destkopmaterial von vor drei Jahren realisieren.
Trotzdem die Frage: Gibt es im absolut unteren Preisbereich Controller die RAID1 auf SATA-Platten im ESX können und deren RAID-Zustand sich im ESX auslesen lässt?
Absolut unterer Preisbereich heißt max. 150€ für den Controller.
Dass ich damit keine Leistungsrekorde erwarten kann ist mir klar, eine BBU und Cache auf dem Controller wird es für diesen Preis wohl nicht geben.
Wer übrigens grundsätzliche Einwände gegen mein Backupkonstrukt hat darf auch diese anbringen.
Täglich die Backups auf weitere Rechner replizieren gehört übrigens auch zur Strategie, wenn der Backuphost in Flammen aufgeht fällt also lediglich das nächtliche Backup, der Reserve-VPN und der Reserve-Nagios aus, das Backuparchiv der letzten 14 Tage + Quartalsenden aller VMs liegt in Kopie noch an drei anderen Stellen in der Firma.
Grüße,
Stephan.
Wer die Vorgeschichte nicht lesen will hier die Zusammenfassung: Ich suche einen möglichst kostengünstigen RAID-Controller dessen Informationen ich innerhalb der VM abfragen kann.
Und hier das Einsatzszenario:
Ich betreibe einen ESX4i. Zur Zeit läuft der auf 4.0, ein Update folgt sobald die Backupsituation geändert ist. Nur nicht mehrere Baustellen auf einmal aufreißen.
Die Aufgabe des Backup-Hosts ist in drei Punkte gegliedert:
* Via Nagios alle VMs auf dem Livesystem überwachen (da liegt auch ein Nagios, die beiden überwachen jeweils das vollständige Netz)
* NFS-Bereitstellung und großer Speicher
* Reserve-VPN-Server falls ich durch Konfigurationsunfug den primären VPN-Zugang töte
Aus Sicherheitsgründen sind diese drei Aufgaben auf drei unterschiedliche VMs aufgeteilt.
Aktuell läuft auf alter Hardware (32bit Desktop-CPU und 1GB DDR1) ein VMware-Server. Der ist allerdings unzumutbar langsam sodass das nächtliche Vollbackup fast zwei Stunden dauert. Ein neuer Server muss her.
Nachdem meine Ansprüche funktional abgegrenzt und recht überschaubar sind muss (und darf) es kein "richtiger" Server werden. Ein Budget von ~300€ für den Computer ist möglich, zwei 2TB SATA-Festplatten schon vorhanden und deshalb nicht neu zu kaufen.
Mein Plan geht bisher in die Richtung eines Desktopcomputers mit einem günstigen Phenom II X2 und 2*2GB DDR3, und einer zusätzlichen Intel-NIC.
Diese Konstrukte haben natürlich durch die Bank keinen brauchbaren RAID-Controller. Mein Plan -- der nach ersten Tests auf meinem privaten Desktop-PC (AMD 4850x, 4GB DDR2, 780G-Chipsatz) und USB-ESX recht realistisch erscheint -- sind zwei getrennte Datastores auf den beiden Festplatten und Software-RAID innerhalb der NFS-VM.
Eine mittels dd gemessene Schreibrate von 70MB/s auf das Software-RAID ist drin, und damit bin ich den 15MB/s des bisherigen Konstrukts auf VMware-Server und alter Hardware schon deutlich überlegen.
Ich hab im Zuge meiner Tests das Linux-Softwareraid gegen einen Mirror-zpool (Ubuntu und zfs-fuse) getauscht, ebenfalls mit vmdks auf unterschiedlichen physischen Platten. Die Schreibrate war mit 50MB/s geringer als beim Linux-Softwareraid, dafür war die CPU-Last deutlich höher. Und sobald dedup oder compression (für das Backuparchiv wäre ja eher ersteres das Mittel der Wahl) aktiv waren ging die Schreibrate runter auf 5MB/s und die CPU auf 100%.
ZFS als zfs-fuse in einer Ubuntu-VM auf Desktophardware scheidet also aus.
Zusammengefasst: Mein Plan lässt sich ohne RAID-Controller für ~250€ + Festplatten mit Destkopmaterial von vor drei Jahren realisieren.
Trotzdem die Frage: Gibt es im absolut unteren Preisbereich Controller die RAID1 auf SATA-Platten im ESX können und deren RAID-Zustand sich im ESX auslesen lässt?
Absolut unterer Preisbereich heißt max. 150€ für den Controller.
Dass ich damit keine Leistungsrekorde erwarten kann ist mir klar, eine BBU und Cache auf dem Controller wird es für diesen Preis wohl nicht geben.
Wer übrigens grundsätzliche Einwände gegen mein Backupkonstrukt hat darf auch diese anbringen.
Täglich die Backups auf weitere Rechner replizieren gehört übrigens auch zur Strategie, wenn der Backuphost in Flammen aufgeht fällt also lediglich das nächtliche Backup, der Reserve-VPN und der Reserve-Nagios aus, das Backuparchiv der letzten 14 Tage + Quartalsenden aller VMs liegt in Kopie noch an drei anderen Stellen in der Firma.
Grüße,
Stephan.