WD Gold für ESXi

[MarroniJohny]

Hi

Ich habe einen ESXi auf Consumer-Basis (i7) mit momentan einer 2 TB SSD und einer 2 TB WD RE4 (SATA-2.0). Die Platten laufen am onboard Controller, das sind normale Virtual Disk's. Die RE4 dreht allerdings 24/7 schon seit 2011.

Ich habe eine Freenas VM, da sind ein paar VMDK von den beiden Datenträger eingehängt. Allerdings mehr als Zwischenablage. Wenn ich nun zu grosse Dateien (ISO's z.B.) auf die Festplatte kopiere, dann kann es sein, dass der vSphere Host crasht. Ohne PSOD, der friert einfach ein. Manchmal friert auch nur die Harwarekonsole ein, die VM's und der vmkernel sind noch per Netzwerk erreichbar.. Aus dem Grund habe ich vor ein paar Monaten CPU Kühler und die Ventis getauscht. Seit dem ist es viel besser. Aber wenn ich grosse Dateien über das Netzwerk verschiebe, das hat der Host nicht gern. Wenn der ESXi in die Knie geht, reisst er interessanterweise meistens noch den Switch mit in den Tod. Dann muss ich beides neu starten, und das ganze Netzwerk steht still.

Verbaut sind am X-79 eine GPU für Konsole sowie zwei 4-Port NIC's.

Ich hatte erst die Southbridge vom Board im Verdacht. Allerdings läuft das System stabil, bis auf das kopieren über Netzwerk auf Festplatte. Auf SSD geht, darum denke ich, dass es nicht an der Southridge liegt. Ich habe die Platte im Verdacht. Allerdings habe ich es zum testen auch mit einer WD Green versucht, dort ist der Server auch abgeschmiert. Auch die Performance vom Freenas ist unterirdisch, sowohl auf SSD wie auch auf HDD. Wenn ich da z.B. viele php Dateien kopiere, dann geht das auf ein paar MB/s runter. Der Airflow im Towergehäuse ist aber gut, ich habe da alles raus geputzt. Allerdings sind da drei passive PCI-e Cards.

Daher dacht ich, ich versuche das noch mit neuen Platten. Ich hatte bislang immer WD RE4, RE und RED. Daher habe ich die WD Gold ins Auge gefasst. Hauptsächlich für Daten und Backups. Aber es sollen auch mal einzelne kleine VM's davon gebootet werden können. Produktion ist sowieso auf SSD.



- sind die WD Gold die Nachfolger von RE/RE4?
- gibt es Alternativen, oder kann man die nehmen so?
- gibt es Vorschläge im Bezug auf das einfrieren des Host's?

Gruss und Danke!

[Dayworker]

Die Gold- ist der Nachfolger der Re-Serie und für Rechenzentren sprich Serverbetrieb vorgesehen.
X79-Chipsatz? War da nicht mal was mit dem in die Southbridge integrierten AHCI-Controller, weil Intel irgendwas zu schwach ausgelegt hatte? Wenn ich damit richtig liege, wird hier eine neue Platte nix ändern. Ich würde da einen LSI-HBA reinhängen, weil Raid kannste ja an der Southbridge eh nicht nutzen.

[MarroniJohny]

Hi

Ja, danke. Ein RAID ist nicht vorgesehen, da ich wohl nur eine einzelne WD Gold einbaue. Ausserdem braucht so ein HBA wahrscheinlich viel Strom. Abgesehen davon, dass ich keinen freien PCIe mehr frei habe.

Ich wollte die Platte eigentlich normal als Virtual Disk zur Verfügung haben. Um die VM's von der SSD zu sichern, oder allenfalls mal eine kleine VM davon laufen zu lassen. Aber das siehst Du glaub ich richtig, die Platte wird an meinem Problem nicht viel ändern...

Von den X-79 AHCI Problemen habe ich bislang noch nie gehört. Ich habe auch einen X-79 Desktop, und dort sind solche kopier Job's kein Problem. Kannst Du das bitte etwas genauer erörtern?

> Kann ich allenfalls den ASMedia Zusatzchip verwenden für die Platte?
> Und für RAID am ESXi müsste ich die Controllerkarte per VT-d an die NAS VM durchreichen?

[MarroniJohny]

Ich habe jetzt Mal zwei 6 TB WD Gold bestellt. Wenn das nicht geht mit dem Chipsatz SATA Controller, baue ich halt dann eine kleine Kontrollerkarte ein. Allerdings habe ich drei PCIe Karten verbaut, da müsste dann eine raus. Und das spricht für die GPU der Konsole, die heizt eh den ganzen Tag für nichts. Für die Lösung bräuchte ich dann eine Controllerkarte und ein USB KVM. Fragt sich auch, ob ich da noch ins BIOS kommen würde.

Andere Variante wär, dass ich noch nen NAS hinstelle. Aber dafür fehlt mir im Moment das Geld. Ausserdem braucht das wohl wieder noch mehr Strom. Ich habe echt abartige Stromrechnungen immer. Das wär sicher die einfachste und eleganteste Lösung, denk ich.

Naja, vorerst habe ich die 2 Platten zur Verfügung, dann kann ich Mal die 3.5 TB SSD wegsichern. Ich glaube für den Anfang bau ich eine Platte in den Server, und teste Mal. Wenn das mit dem VM NAS nicht geht, bau ich mein wildes Storage weiter aus, und bau eine Platte noch in die Workstation ein. Gibt halt eine riesen Kopierorgie bei der Version, wenn ich dann später doch auf ein richtiges Storage wechseln möchte. Aber auf das wird es hinaus laufen vorerst, befürchte ich

[MarroniJohny]

Hi

Das hat super geklappt mit den neuen Platten. Habe mal einige 100 GB kopiert, und da ist nicht mehr gecrasht im Netzwerk. Danke!

[MarroniJohny]

Hi

Ich habe ja die zwei neuen Platten. Ausserdem läuft mit dem aktuellen ESXi jetzt auch der Marvell Zusatzchip.

Am liebsten wär mir jetzt, wenn ich die alte Platte und die SSD für die VM's an dem Chipsatz-, und die neuen zwei am Marvell Controller hätte. Eine neue Platte für den Host, eine Platte für die Netzwerkfreigaben. Die neue Platte für den Host würde ich gerne per iSCSI oder NFS von einer FreeNAS zur Verfügung stellen.

- Wie ist da vor zu gehen?
- Gibt es einfachere Alternativen zu FreeNAS? Ich habe gesehen, dass da beim Konfigurieren leicht blöde Fehler entstehen können.
- Gibt es da Geschwindigkeitseinbussen für die Host Platte, im Gegensatz zu nativ am Host?
- Brauch ich da iSCSI oder NFS?
- Ist das kompliziert einzurchten/kann man später im prouktiven Einsatz die Daten durch Fehlkonfiguration am FreeNAS verlieren?
- Soll ich die Platten Thick zur Verfügung stellen, und wenn ja, mit was? vmware hat ja da einiges geändert was mit dem Speicher allokieren zusammenhängt. Im Moment nutze ich vSphere Client und den händisch installierten Host Client aus 6.0. Der Web Client funtioniert glaube ich nicht.
- würde sich da eine Cache SSD noch lohnen dafür?
- wie muss ich unter FreeNAS formatieren? Ich habe da immer ZFS genommen, habe aber kein ECC Support, leider.

[MarroniJohny]

Hi

Ich habe die zwei neuen Platten jetzt am Zusatzcontroller. Eine 2 TB SSD hängt am Chipsatzcontroller, dort liegen die VM's. Von der SSD habe ich 128 GB für den Cache reserviert. Die zwei neuen Platten sind normale VMFS, wo je eine riesige VMDK liegt. Diese habe ich bei FreeNAS normal eingehängt.

- ist das sinnvoll so mit der SSD, dass ich von dort 128 GB abzweige? Oder soll ich da noch eine Kleine kaufen, für den Zweck?
- falls ich eine kaufe, was passiert denn mit den vswp von der VM SSD? bleiben die bei der SSD, oder werden die dann auf die Cache SSD kopiert?
- wie gross sollte die Cache SSD werden, bei 2 TB SSD für VM's und 12 TB HDD?
- soll ich die Cache SSD am Chipsatz- oder Marvell Controller anhängen?
- die VM's, die auf den Festplatten liegen hätte ich gerne per iSCSI. Ist das sinnvoll? oder soll ich die riesigen vmdk's kleiner machen, und die VM's dort als normale vmdk laufen lassen? -> über Netzwerk wär mir lieber...

Sry, für den Vierfachpost...

[~thc]

Moin.

Ich versuche das mal zu ordnen.
Antworten nur auf deinen letzten Beitrag - falls da noch Fragen offen bleiben, bitte noch einmal stellen.

Nur eine Anmerkung zum Hostclient unter 6.x: Wenn du ESXi > 5.1 sauber per "esxcli software profile update" patcht, wird der Hostclient mit installiert und aktuell gehalten.

Der SSD-Cache bezieht sich IMHO ausschließlich auf die Memory-Swap-Dateien (vswp) der VMs. Sollte der vRAM deiner VMs bequem in den pRAM hineinpassen, ist der Cache unwirksam. Diese Technik ist keine Disk-I/O-Beschleunigung!

Hast du deinen 6.5er mit dem Workaround auf den alten AHCI-Treiber gesetzt?

Du willst die großen Platten per FreeNAS-VM und iSCSI für andere VMs freigeben? Was versprichst du dir davon?

[MarroniJohny]

Hi

Ja danke.

Ich habe den Host Client nicht mehr. Ich habe jetzt eine ESXi clean Install gemacht.

Das mit dem iSCSI dachte ich mir, da ich die Festplatten ja jetzt komplett FreeNAS zur Verfügung gestellt habe. Ich habe auch gesehen, dass über Netzwerk die Performance deutlich besser ist, als direkt am Host. Das mit dem iSCSI ist nur für den Fall, wenn ich auf der SSD kein Platz mehr habe. Und dort soll auch der Cache greifen.

Oder wäre es besser, wenn ich die vmdk's wieder kleiner mache, und dort normale virtual Disks am Host zur Verfügung stelle? Um von dort mal eine einzelne VM starten zu können, für den Notfall?

Und den Platz für das Storage, muss ich den flat oder thin bereitstellen? Ich habe allocate Space aktiviert, aber nicht irgendwie nullgesetzt, oder so.

Und wenn der physische Speicher reicht, ist das ja gut. Aber auf den Platten (SSD) wird trotzdem eine vswp angelegt. Aber Speicher habe ich genug für die VM's. Unglaublich, was man auf 64 GB alles anstellen kann...

[~thc]

Die vswp-Dateien werden vom ESXi immer angelegt - egal wie viel pRAM vorhanden ist.

"flat" ist nicht das Gegenteil von "thin" (sondern "thick"). Welche allocation du da nimmst, muss das Szenario hergeben - von Anfang an höchste Performance liefert eagerzeroed thick.

[irix]

Die vswp-Dateien werden vom ESXi immer angelegt - egal wie viel pRAM vorhanden ist.

Kleiner Anhang... die werden angelegt sofern es keine Reservierung gibt bzw. deren Groesse haengt davon hab.

Gruss
Joerg