Seite 1 von 1

ESX5i + LSI 9260 4i - Extrem langsames verschieben der VMs

Verfasst: 22.09.2011, 09:09
von jprinzler
Hallo Ihr Wissenden !

Wir haben hier ESXi 5 am laufen (bzw. wollen damit zukünftig arbeiten).
Im Zuge der Installation war es nötig zwei VMs von der internen SATA Platte
auf ein RAID 5 unseres LSI 9260 4i Controllers zu kopieren. Die VMs bzw. deren
Platten sind jeweils ca. 500GB groß.

Nun haben wir über den vSphere Client einen Verschiebevorgang angeschoben welcher nach etwa 2 Tagen endlich alles kopiert hat. Das sind sage und schreibe 5,92 MB/s ?!

Ich haben gelesen, das diese Kopier-/Verschiebe- Vorgänge sowieso recht langsam sind, aber so langsam? Ich möchte mir nicht vorstellen eine VM sichern (über NFS auf eine NAS) und im Extremfall rücksichern zu müssen. Da können die Mitarbeiter ja zwei Tage zu Hause bleiben und dabei sollen die *.vmdk's noch grösser werden!!

Was läuft denn hier falsch?

HARDWARE
--------------------------

ASUS M5A88-M EVO
16 GB DDR3
AMD Phenom X6 2,8 Ghz
LSI 9260 4i
RAID 5 mit 4x Hitachi Ultrastar 7K3000 2TB (HUA723020ALA640)

SOFTWARE
--------------------------

Produkt: VMware vSphere 5 Enterprise Plus Lizenziert für eine
unbegrenzte Anzahl von VMs
Lizenzschlüssel: xxxxx-xxxxx-xxxxx-xxxxx-xxxxx
Läuft ab: Nie

Produktfunktionen:
Bis zu 32-Wege-Virtual SMP
vCenter-Agent für VMware-Host
vStorage-APIs
VMsafe
vSphere HA
Virtuelle Hardware, die im laufenden Betrieb ausgewechselt werden kann
vMotion
vSphere FT
vSphere Data Recovery
vShield-Zonen
vSphere DRS
Storage vMotion
MPIO / Multi-Pathing von Drittanbietern
vSphere Distributed Switch
Hostprofile
Virtueller Konzentrator des seriellen Remoteports
Storage I/O Control
Direct Path vMotion
vAAI
Gemeinsam genutztes Smartcard-Lesegerät
Speicher-DRS
Profilgesteuerter Speicher
vMotion Metro
vSphere Auto Deploy
vSphere View Accelerator

Verfasst: 22.09.2011, 09:23
von Supi
Also als erstes passt da schon mal nicht, ca 4000€ für VMWare Lizenz und dann Consumer HW. Unabhängig von dem LSI.

Wenn die VM als Thin provisioned angelegt ist, kann das schon mal länger dauern, wenn Ihr beim kopieren dann Thick auswählt und die 1000GB komplett angelegt werden.
4 SATA 7200 HDD's sind halt auch nicht der Renner. Ist an dem LSI den auch BBWC aktiv? Denn sonst wird durchgeschrieben und das ist dann extrem langsam.

Verfasst: 22.09.2011, 09:38
von jprinzler
Ja mehr Geld war nicht drin und wir sind bei der Hardware davon ausgegangen, das jede Billigplatte im Schnitt doch 50MB/s schreiben kann und im RAID5 dann vieleicht noch 30MB/s, aber doch nicht nur 6 MB/s? Ich denke der LSI Controller ist soweit performant genug um "ein paar" XOR Berechnungen auszuführen.

WC ist mangels BB nicht an ? Bringt dass wirklich so viel? Der Cache ist ja nach 512 MB voll (weil GB Dateien) und dann nützt er ja auch nichts mehr - Oder?

Sorry für meine Unwissenheit ;-)

Jaro

Verfasst: 22.09.2011, 10:19
von Dayworker
WC ist mangels BB nicht an ? Bringt dass wirklich so viel?
Kurze Antwort, JA und wurde hier auch schon mehrfach betont.

Alles in allem macht, wie Supi schon sagte, eure HW im Verhältnis zur SW keinen Sinn. Für zuviele Features brauchst du eh ein Storage und die liegen bei euch völlig nutzlos brach. Da hätte es auch eine weniger teure Version getan und die Ersparnis wäre wesentlich sinnvoller, da vorausschauender, in performantere HW investiert worden.

Verfasst: 22.09.2011, 10:30
von bla!zilla
jprinzler hat geschrieben:Ja mehr Geld war nicht drin und wir sind bei der Hardware davon ausgegangen, das jede Billigplatte im Schnitt doch 50MB/s schreiben kann und im RAID5 dann vieleicht noch 30MB/s, aber doch nicht nur 6 MB/s?


Ganz gefährlicher Gedankengang. Maßgeblichen Einfluss auf die Performance einer Festplatten haben Umdrehungsgeschwindigkeit, Mechanik, Zugriffzeit und IO Größe der Applikation. Wenn eine SATA Platte 50 MB/s bringen soll, dann braucht sie dafür IOs mit ca. 750 KB. Eine SAS Platte, zum Vergleich, braucht nur ca. 250 KB, da diese sehr viel mehr IOs pro Sekunde bringt.

Verfasst: 22.09.2011, 10:39
von ch-hunn
Sorry, aber wer hat hier die Evaluation gemacht?
Anstelle 4000 Euronen an Lizenzen auszugeben und dann mit Billighardware eine Rakete zu erwarten, hätte ich das Geld in einen echten Server mit 8-12 15k SAS Platten gesteckt und den freien Hypervisor genommen.

Verfasst: 22.09.2011, 10:54
von Sven_B1982
jo planung ging da gründlich schief, unser "billigstorage" das per SAS angeschlossen ist schafft locker über 90MB/s, selbst unser billig zusammengeschraubtes NAS kommt auf 80-90MB/s über iSCSI(und das mit billigplatten aber nem guten Raid-Controller).
und wie ch-hunn schon sagte tut es da auch der freie Hypervisor(den wir einsetzen), damit sind wir beim backup zwar auch bischen länger beschäftigt aber gibt schlimmeres, immerhin sind es keine 2 tage für 500GB ;)

Verfasst: 22.09.2011, 14:03
von jprinzler
Hallo nochmal !

Danke für die rege Beteiligung. Sicherlich ist unserer Einkauf vorsichtig ausgedrückt nicht optimal gelaufen.

Bei der Einrichtung des RAID5 wurden allerdings auch die Schreibcaches der Festplatten deaktiviert. Nach dem ich diese wieder angeschaltet habe, hat sich die Schreibperformance etwa vervierfacht.

Dann habe ich den Controller testweise noch auf "Always Write Back" gestellt und die Schreibleistung hat sich abermals verdoppelt. Leider kann ich vorerst mangels BBU beim schreiben den Controller-Cache nicht aktiviert lassen.

Danke an alle !

Jaro

Verfasst: 22.09.2011, 16:32
von ch-hunn
jprinzler hat geschrieben:Hallo nochmal !
Bei der Einrichtung des RAID5 wurden allerdings auch die Schreibcaches der Festplatten deaktiviert. Nach dem ich diese wieder angeschaltet habe, hat sich die Schreibperformance etwa vervierfacht.

Dann habe ich den Controller testweise noch auf "Always Write Back" gestellt und die Schreibleistung hat sich abermals verdoppelt. Leider kann ich vorerst mangels BBU beim schreiben den Controller-Cache nicht aktiviert lassen.


BITTTE BITTE BITTE schalte die Caches wieder aus wenn Dir Deine Daten lieb sind!
Auch wenn du den RAID Controller mit einem BBU nachgerüstet hast, DIE PLATTEN CACHES GEHÖREN IMMER UND IN JEDEM FALL AUSGESCHALTET!

Bei einem Stromausfall gehen die Daten aus dem Plattencache verloren, da der Controller das ACK der Platten erhalten hat und diese dann aus seinem gepufferten Cache verwirft.

Das Argument, ich hab ja eine USV zählt nicht.

Gruss
Chregu

Verfasst: 23.09.2011, 08:40
von jprinzler
Okay habe das prinzipielle Problem erkannt, aber dieses "Verlustproblem"
hat doch dann jedes System mit jeder Platte wenn der Cache an ist?