ESXi 5.5 PCI-e SSD für vFlash

[Raudi]

Hallo,

hat jemand Erfahrungen mit diesem neuen Feature und kann sagen ob es eine günstige (max. 500,- Euro) PCI-e SSD gibt, die unter ESXi mit diesem Feature funktioniert?

Die Infos bei VMware sind hier noch recht dürftig...

Viele Grüße

Stefan

[irix]

Wieso duerftig?

Die Beschreibung gibts unter http://www.vmware.com/files/pdf/vSphere ... New_WP.pdf und die HCL enthaelt schon ein paar Eintraege. Gibt nen Performance Whitepaper http://www.vmware.com/files/pdf/techpaper/vfrc-perf-vsphere55.pdf

Video unter http://www.youtube.com/watch?feature=player_embedded&v=R4wapu4Oth4

Eine der wichtigsten infos wird wohl aber sein das es Stand Heute Teil der Enterprise Plus Lizenz ist.

Gruss
Joerg

[Raudi]

Mit dürftig meine meine ich doch die Infos bezüglich der unterstützten Devices, in der HCL stehen nur SAS und SATA Disks:

http://partnerweb.vmware.com/comp_guide2/search.php?deviceCategory=vfrc

Oder bin ich da falsch?

Vielleicht hat ja jemand das ganze schon mal erfolgreich mit einer "günstigen" PCI-e SSD getestet, denn z.B. eine Enterprise SSD von OCZ ist mir zum spielen doch etwas zu teuer...

http://ocz.com/enterprise/z-drive-r4-pcie-ssd
[/img]

[Dayworker]

Wenn man die HCL befragt und nach VMware Flash Read Cache sucht, werden momentan gerade mal 8 normale SSDs (1x Dell, 6x Intel und 1x Samsung) aber keine PCIe-Flash-Cards genannt.
Ich würde daher vermuten, daß bisher noch keine PCIe-Version offiziell unterstützt wird. Da du aber schon eine PCIe-SSD im Auge hast, sieh doch beim Hersteller nach, ob vFRC unterstützt wird und es nur noch nicht auf die HCL geschafft hat.

[irix]

PCI Express ist so ein Sonderfall weil immer geschaut werden muss ob ein Treiber von Noeten ist. Nimm doch eine normale SSD zum testen! Sofern er sie nicht erkennt must du sie nur als SSD Taggen. Was anderes machen doch die Leute welche drueber in ihrem Blogs schreiben auch nicht.

Aussagen aus dem Produktivbetrieb wirst du noch keine Finden weil 5.5 noch viel zu neu ist. Je groesser ein Kunde/Umgebung desto "aelter" ist seine Umgebung. Weil solche Leute haben ganz andere Baustellen.

Gruss
Joerg

[Raudi]

Hätte ja sein können, dass jemand Erfahrungen mit einer PCI-e SSD hat, die er evtl. noch herumliegen hatte oder für andere Zwecke schon im Host hatte...

Denn ich meine selbst VMware schreibt, dass die eine PCI-e SSD empfehlen...

[Dayworker]

Das die eine PCIe-Version empfehlen ist doch klar, aber ich sehe keinen Vorteil darin, eine "günstige" PCIe-Version zu nehmen. Auch bei diesen sind dann kapazitätstechnisch wie bei normalen SSDs die Flash-Chips nicht kleiner, sondern es wurde nur deren Anzahl reduziert und somit sinkt auch die Übertragungsleistung. Bis auf wenige Ausnahmen sind bei normalen SSDs bisher die 256GB-Versionen immer am schnellsten gewesen und die nächstgrössere Version erreicht vielfach auch nur dieselben IOPS- und Durchsatz-Werte.

[irix]

In dem Performance Whitepaper wird eine PCIE (ich glaube von Dell) genommen und in der Tat stechen die PCIE Devices hier die SAS/SATA aus. Ob es im Reallife noch so deutlich ist muss man schauen oder mal nachlesen (Wenn mehr Leute Erfahung gemacht haben)

@Dayworker,
also normal haben die SSD mit groesserer Kapazitaet auch bessere Performance Werte.

Ich hab mir dieses Jahr noch ein paar Intel DS3700 gewuenscht.

Gruss
Joerg

[Dayworker]

Ich hatte jeodch schon eine 480er gesehen, bei der selbst die Herstellerangaben etwas geringer als bei dessen 240er Modell derselben Marke und Reihe waren. Verstanden habe ich das nicht oder es war ein Schreibfehler.

Reichlich unfair empfinde ich, daß VMware eine Micron P320h Enterprise PCIe SSD für sein Performance Whitepaper nimmt und diese SSD es bisher nicht in die HCL für "VMware Flash Read Cache" geschafft hat.

[Raudi]

Hmm.. Mal sehen, ich habe mir mal spontan diese bestellt:

http://poweredbymushkin.com/catalog/item/36-scorpion-deluxe/838-scorpion-deluxe-480gb

Auf deren Web-Seite wird man auf einen ESXi 5 Treiber von LSI verlinkt und wenn man den downloadet ist da ein mpt2sas Treiber drin...

Werde berichten...

[UrsDerBär]

Günstige PCI-E wie SSD sind imho nicht empfehlenswert wenn die Daten einigermassen sicher sein sollen.

PCI-Express machen eigentlich auch nur wirklich Sinn wenn Sie ohne SAS/SATA Controller auskommen. Diese haben zwar den Vorteil, dass man dadurch vielleicht keinen (zusätzlichen) Treiber braucht (Intel 910er Serie zbsp.) dafür aber auch selten deren Software-RAID benutzen kann. Die verschiedenen Chips hat man dann als einzelne Laufwerke. Nachteil: die IOPS sind dann auf alle Segmente geteilt und nicht als eins verfügbar. RAID-Features entfallen ebenfalls. Bleibt nur deren Verwendung in einer Appliance. Dann kann man aber gleich SSD mit SATA/SAS Schnittstelle nehmen welche oft mehr IOPS bringen (wenn das Primär gefragt ist) und auch ein Austausch zulassen.

Wirkliche Alternativen unter VmWare sind dann nur ein paar wenige Enterprise-Modelle wie FusionIO oder Micro p320h/P20m welche die Disc als ein Stück präsentieren. Haben dann ECC, teilweise Capacitors und Parity-Logiken an Bord. Die Preise sind aber gesalzen. Lohnen sich aber punkto IOPS durchaus.

Habe seit längerem ein paar produktive Systeme mit Intel 520 SSD's sowie grad neu mit DC3700 in der Testphase. Die DC3700 scheinen nochmals eine ordentliche Schippe drauf zu legen.

Ist halt nach wie vor so, zuverlässige Hardware ist nicht billig zu haben, höchstens im Verhältniss zu 'richtigen' Storage-Vendors preiswert.


Der ReadCache ist wie bereits erwähnt wurde nur unter Enterprise Plus verfügbar.
Alternative oder gar besser ist meiner Meinung nach für Kleine Umgebungen/preiswert nur eine NFS-Appliance. Man profitiert von den Filesystemfeatures sowie Treiberfeatures dieser Appliances wie Deduplication, je nach OS READ/Write Cache usw. Ich nehme da gerne Server 2012 (hat noch ein paar Einschränkungen gegenüber R2, das bald kommt) hat sich gut bewährt. Andere nehmen lieber ZFS. Das ist nicht so robust, dafür ist Read und WriteCache relativ einfach auf SSD zu bekommen. Als Zusatz kann man die Discs auch von den anderen ESXi ansprechen für zbsp. Backups.

[Raudi]

Sowas blödes, die Karte passt nicht in mein 3 HE Gehäuse rein, alleine schon die Karte ist ein paar mm zu hoch und dann hat die noch einen Stromstecker an der Oberseite.

Muss ich mir noch was anderes überlegen, Das Board hat nur SATA on Board, da eine SSD ran hängen bringt sicherlich nicht viel, daher dachte ich die PCI-E Karte sei ideal...

[Dayworker]

Die EnterprisePLUS-Geschichte mal aussen vor gelassen, aber weshalb sollte eine SSD am Sata-Port nichts bringen oder nutzt du schon SSDs als Datastore?

[bla!zilla]

Der ReadCache ist wie bereits erwähnt wurde nur unter Enterprise Plus verfügbar.
Alternative oder gar besser ist meiner Meinung nach für Kleine Umgebungen/preiswert nur eine NFS-Appliance. Man profitiert von den Filesystemfeatures sowie Treiberfeatures dieser Appliances wie Deduplication, je nach OS READ/Write Cache usw. Ich nehme da gerne Server 2012 (hat noch ein paar Einschränkungen gegenüber R2, das bald kommt) hat sich gut bewährt. Andere nehmen lieber ZFS. Das ist nicht so robust, dafür ist Read und WriteCache relativ einfach auf SSD zu bekommen. Als Zusatz kann man die Discs auch von den anderen ESXi ansprechen für zbsp. Backups.

WTF? Was ist an ZFS robust?? Eine bessere Kombination von Dateisystem und Volumemanager gibt es nicht am Markt.

[UrsDerBär]

Windows 2012 und dessen Filesystem NTFS ist robust, ReFs legt nochmals richtig was drauf.
Von ZFS habe ich gesagt es ist nicht so robust wie Windows. Es scheinen zwar viele einzusetzen, aber gibt wohl auch solche mit Problemen. Was ich selber von gehört habe war allerdings immer mit zweifelhaftem Setup. Keine Serverhardware, kein ECC-Ram - gespiegelt schon gar nicht, keine gespiegelte Caches usw. Ich habe da selber keine wirkliche Erfahrung. Kann nur MS-Filesysteme recovern, deshalb nehme ich auch nur NTFS und mit R2 dann ReFs. ZFS kommt wohl auch drauf an wie es eingesetzt wird, wie so bei vielem.

[bla!zilla]

Seine Zuverlässigkeit wird ReFS unter Beweis stellen müssen...

[Dayworker]

ZFS einsetzen und dann kein ECC-RAM haben, macht absolut keinen Sinn. Der Vorteil von ZFS ist ja gerade, das alles über Prüfsummen abgesichert wird. Ohne ECC passiert es aber völlig unbemerkt, daß ZFS einen Fehler detektiert und korrigierend eingreift, obwohl nur ein Bitfehler im RAM aufgetreten war. Die Folge dürfte klar sein.
Aber in dieselbe Schiene hauen ja auch viele mit ihren Whitebox-Geschichten oder der Klassiker Raid ohne BBU und/oder USV.

Bezüglich ReFS kann ich bla!zilla nur zustimmen. NTFS ist über alle Zweifel erhaben, daß muß aber nicht zwangsläufig auch für ReFS gelten.

[stahly]

Ich wärme das Thema nach gut 8 Monaten mal wieder auf

Setzt jemand dieses Feature jetzt schon länger ein und kann was dazu sagen?
Da ich gerade ein paar neue Hosts konfigurieren lasse, stellt sich nun die Frage, ob ich entsprechend Flash einbauen lasse oder nicht...

bedankt!