Festplatten Performance Probleme

[Contria]

Hallo Zusammen
Ich habe meiner Meinung ein paar Probleme mit der Performance in meinen VMs.

Ich hab einen Dell PERC H710 Mini
Darauf ein RAID10 mit 8x (1.2 TB SAS 6Gbit/s 10K 2.5 Zoll Festplatten)

Leider ist die Geschwindigkeit so miserabel das es nicht tragbar ist für mich.
Weiss jemand auf was man genau achten muss? Bzw. gibt es da noch Einstellungen vom ESX selbst?

Ich hab den Test mit CrystalDisk gemacht
5mal getestet mit 1000MB
Seq: 90.40 MB/s Read & 60.72 MB/s Write
512K: 31.27 /MB/s Read & 64.24 MB/s Write

Dies müsste doch um einiges höher sein? :S

Vielen Dank für eure Hilfe

[MarcelMertens]

Cache aktiv?

[Contria]

Von welchem Cache reden wir?
RAID Cache oder Host-Chace vom ESX?

Unter dem ESX selbst ist kein Cache aufgelistet (Verwalten - Speicher - "Host-Cache-Konfiguration")

[Dayworker]

Eigenlich hast du beide Möglichkeiten genannt und trotzdem nur eine beantwortet...
Ausgehend von http://www.dell.com/learn/us/en/04/campaigns/dell-raid-controllers hat der 710er immer zwischen 512-1024MB NV FB-Cache an Bord. Ob man dort noch etwas am Read/Write-Verhältnis zur Cache-Nutzung ändern kann, entzieht sich meiner Kenntnis.

[irix]

Marcel meinte eigentlich die Frage ob Write-Through bzw. Write-Back fuer die Virtual Disk des PERCs gesetzt ist. Aber fuer Write-Trough sind die Werte eigentlich zugut. Die Settings kann man sich auch ueber ein Installiertes OMSA auf dem ESXI angucken bzw. ueber die iDRAC wobei ich bei letzterem nicht 100% sicher bin. Ueber iDRAC7 sieht man zwar mittlerweile den Storage mit aber was die Settings angeht bin ich mir nicht so sicher.

Ich wuerde aber eine TEst VM nehmen welche der Para SCSI Treiber hat und eine Test vDisk welche EagerZeroThick angelegt wurde. Des weiteren dann IOMeter nehmen und parallel die Werte im esxtop vergleichen.

Gruss
Joerg

[Contria]

Das Write-Back wurde auf dem PERC gesetzt.

Das Wort OMSA hört ich zum 1. Mal Was ist das genau? Ich habe für die Einstellung den ESX neugestartet, da ich kein iDrac benutze.

Ich werde morgen noch einige Test machen und euch informieren, irgendetwas stimmt nicht auf dem ESX. Der ESX ist ineinem VSA Cluster mit einem weiteren ESX, kann es an dem liegen?

Ich habe noch einen ESX der die exakte Hardware hat, abgesehen von einer Disk mehr und 15K Umdrehungen.

Doch die Performance ist viel viel besser.
Seq: 1121MB/s Read & 691MB/s Write
512K: 514MB/s Read & 473.0MB/s Write

[irix]

Das Write-Back wurde auf dem PERC gesetzt.

Das Wort OMSA hört ich zum 1. Mal Was ist das genau? Ich habe für die Einstellung den ESX neugestartet, da ich kein iDrac benutze.

OMSA steht fuer OpenManage Server Adminstrator und ist eine Suite zur Hardwareverwaltung eines Dell Server. Normal kommt da neben JAVA auch ein Webserver mit welcher dann auf Port 1311 lauscht. Das war zu ESX Zeiten auch noch so, aber nicht mehr gueltig fuer ESXi. Hier werden quasi nur die Module installiert welche die Daten besorgen und ueber eine API bereitstellen. Das heist du brauchst zusaetlich auf deinem Admin PC oder einer VM eine vollstaendige OMSA Installation (Windows/Linux bzw. Linux BootCD) und benutzt dann die Option "Remote Knoten Verwalten" anstelle von Localhost. Dieses OMSA fungiert dann als Proxy und greift hintenrum auf das "kleine" OMSA des ESXi zu.

Google mal nach Bildern oder Videos auf Youtube.

Ich werde morgen noch einige Test machen und euch informieren, irgendetwas stimmt nicht auf dem ESX. Der ESX ist ineinem VSA Cluster mit einem weiteren ESX, kann es an dem liegen?

Sag das doch gleich! Ja daran liegt das weil hier wird die Harddisk per Software und NFS dem Hosts wieder zugefuehrt. inkl. Spiegelung und das auch noch aussen herum ueber das Netzwerk. Welche 10GbE Switche kommen denn zum Einsatz? Sollte es nur 1GbE sein dann ist es doch klar warum da ca. 90MB/s heraus kommen.

Ich habe noch einen ESX der die exakte Hardware hat, abgesehen von einer Disk mehr und 15K Umdrehungen.

Doch die Performance ist viel viel besser.
Seq: 1121MB/s Read & 691MB/s Write
512K: 514MB/s Read & 473.0MB/s Write

Nunja... sequiential Read welcher in der Praxis im Virtualisierungsumfeld eher weniger oft anzutreffen ist.

Gruss
Joerg

[Contria]

OMSA, das bedeutet ich könnte wie iDrac Einstellungen managen was bei mir zum jetzigen Zeitpunkt nur durch Neustart möglich wäre?
Werde mir sicher mal ein Video anschauen.

Stimmt...der Datastore ist ja per NFS eingebunden und nicht direkt...
Das bedeutet obwohl die VM auf dem Datastore von diesem ESX läuft wird die Geschwindigkeit trotzdem gedrosselt weil der ganze Datastore per NFS eingebunden ist?
Ich bin froh kommt langsam Licht in das Ganze

Es ist ein bisschen komplizierte verbunden bei mir, vielleicht liegt aber auch da das Problem.
Versuche das ganze Per BilderLinks zu beschrieben

http://puu.sh/7Zwc1.png
http://puu.sh/7ZwyH.png
Wie ihr seht hab ich zwei vSwitch einer für das FrontEnd und einer für das BackEnd

Wenn ich den Menü Punkt Virtuelle Switches auf den Stift gehe habe ich folgende Einstellungen:
http://puu.sh/7ZwCi.png

Hier sind beide Netzwerkkarten aktiv

Doch unter dem Menü Standard.Switch: vSwitch0 (Ebenfalls aufrufbar über den 2. Stift) habe ich andere Einstellungen
http://puu.sh/7ZwIP.png

Hier wird aber nur das 10Gbit/s Interface aktiv geschaltet und das 1Gbit/s Interface ist als Standby Adapter

Ich denke mal das die letzt Einstellung die aktive ist und somit korrekt sein sollte oder?

[irix]

Es zaehlt was auf der Portgruppe konfiguriert ist und das sieht man akuell bei dir nicht. Stelle sicher das FrontEnd und Backend 10GbE benutzt.

Ich glaube du bist der erste und einzige auf diesem Planeten welcher Enterprise Plus mit VSA verwendet

Gruss
Joerg

[Contria]

Sry...Portgruppe? Wie meinst du das?
Portgruppe auf dem Netgear Switch?

Sorry...meinte eigentlich Essentials Plus^^ Hab nur 2 ESX daher die Essentials^^

[irix]

Sry...Portgruppe? Wie meinst du das?
Portgruppe auf dem Netgear Switch?

Nein auf dem vSS hast du Portgruppen wie "VM Network" oder auch "VSA-Frontend" diese bekommen per Default die Settings vom vSwitch vererbt was aber nicht heist das man diese Aufheben kann um dann andere Einstellungen vorzunehmen.

Dein Bild zeigt deutlich das der Switch0 eine 10 sowie 1GbE VMNIC hat und diese gleichberechtigt verwendet. Gemess Muerphys Law geht dein VSA-Front End ueber die 1GbE. Also Kontrollieren und aendern auf Portgruppen Ebene.

Bei so wenig pNICs haette ich nur einen vSwitch gemach.

Sorry...meinte eigentlich Essentials Plus^^ Hab nur 2 ESX daher die Essentials^^

Hast Recht. Die Darstellung im WebClient sieht dem eines vDS sehr aehnlich. Allerdings kann man dann sehen das es keine Uplink Gruppen gibt.

Gruss
Joerg

[irix]

Bei deinem VM Network hast du doch die Vererbung ausser Kraft gesetzt (Dein letzter Screenshot). Das must du bei den VSA Networks auch machen.

Gruss
Joerg

[Contria]

Ich setze nur die Nics ausser Kraft der Rest wird vom VSwitch übernommen.

Ich habe auf jeder PortGruppe den 10Gbit/s Netzwerk Anschluss aktiv und den 1Gbit/s als Standby.
Also VM Network, Front End, Management, vMotion und Back End...überall ist der 10Gbit/s aktiv.

http://cormachogan.com/2012/12/04/heads-up-vsa-quad-port-nic-support/

Hier habe ich gelesen das die Nics vom VM Network und Front End tauschen soll, das gleich beim Backend und vMotion Netzwerk.

Kannst du mir sonst mal erklären welches Netzwerk für was Zuständig ist?
Management Network ist nur für mich zum administrieren.
VmNetwork ist das Netzwerk welche die Kunden auf die VMs Zugreifen.
FrontEnd ist das Netzwerk für die NFS Shares & VSA Clients?
BackEnd Kommunikation zwischen den 2 ESX?
vMotion zum verschieben der VM bei HA oder manuell?

[irix]

FrontEnd ist das Netzwerk für die NFS Shares & VSA Clients?

FrontEnd ist die Praesentation des Storages an die Hosts (ESXi).

BackEnd Kommunikation zwischen den 2 ESX?

Jein. Kommunikation und Replikationstraffic der VSA Nodes (das sind die VMs).

vMotion zum verschieben der VM bei HA oder manuell?

Nein, nur vMotion bzw. DRS.

Der Hauptpunkt des Blog Artikels handel dadrueber wie man die Install Wizzard ueberlisten kann damit die Ueberpruefung der Anzahl der pNICs einem nicht nen Strich durch die Rechnung macht. Warum er die PG VSA-vMotion nennt weiss ich nicht aber der Name spielt auch keine wirkliche Rolle. Es muss halt nur eine VMK PG das Attribut "vMotion" haben. Natuerlich ist da ein sprechender Name fuer die PG hilfreich genu so wie man ein anderes IP Subnet und VLAN vergeben kann.

Ich hab das Ende des Artikels nicht gelesen und bin mir nicht sicher was er da ueber vMotion noch sagen wollte. Evtl. eine Eigenart von VSA im Allgemeinen.

Zurueck zum wesentlichen. Wenn du deinen Benchmark wiederholst dann mach einfach ein esxtop auf den Hosts auf und gucke zu ueber welche NICs der Traffic denn so fliesst.

Gruss
Joerg

[Contria]

Ich glaube ich hab das Problem gefunden

Jeder ESX hat 2x 10Gbit/s & 2x 1Gbit/s
Die 1 Gbit/s sind alle auf Standby daher lass ich die mal aus.

ESX1
1. 10Gbit Port an 10GbitSwitch 1
2. 10Gbit Port an 10GbitSwitch 2

ESX2
1. 10Gbit Port an 10GbitSwitch 1
2. 10Gbit Port an 10GbitSwitch 2

Für die Kommunikation zwischen Switch 1 & 2 ist aber ein 1Gbit Switch dazwischen.
Das heisst beide ESX haben ihr vSwitch0 auf dem 10GbitSwitch 1 und ihr vSwitch1 liegt auf dem 10GbitSwitch 2.

Der Vcenter selbst liegt aber auf dem 1Gbit Switch, jetzt ist die Frage ob der Traffic über den Vcenter Server geht.
Das gleiche gilt für FrontEnd und BackEnd...Wenn vSwitch 0 mit vSwitch 1 kommunizieren muss, geht alles über diesen 1Git Switch.

Weisst du Bescheid wie da die Kommunikation abläuft? Wenn nähmlich diese 2 vSwitchs nie miteinander kommunizieren müssen doch alles über den Vcenter Server geht muss ich nur den Vcenter an das 10Gbit Interface anschliessen.

Ich hab ein esxtop gemacht, müsste aber wissen wie weiter vorgehen um da einen sauberen Test zu kriegen, bin ziemlich neu im ganen Bereich

[irix]

Storage Traffic geht NIEMALs ueber das vCenter. Letzteres braucht aber Kontakt zu den VSA Node was MGMT angeht.

Ich bin mir nicht Klar was bei dir nun ein vSwitch oder ein pSwitch ist. Male ein Bild wo mal Produktbezeichnungen dran stehen oder Frage doch einfach den welcher dir das verkauft hat. Da hat ja wohl eine Beratung vorher stattgefunden.

Mein erstes und letztes VSA Deployment hatte gestackte Switche mit entsprechender Bandbreite. Ich erkenne jetzt aber evtl. das Problem wenn dein ISL nur 1GbE wenn ich es recht verstanden habe und sich da der Traffic dann durchquetschen moechte.

Gruss
Joerg

[Contria]

Hier eine kleine Zeichnung
http://puu.sh/80Gdz.png

10Gbit/s Switch sind Netgear M7100-24X
1Gbit/s Switch ist ein Netgear GSM7224V2

Auf vSwitch0 ist das VM Network, Management Network und VSA Front END
Auf VSwitch1 ist das VSA Back End und VSA vMotion

Wie du auch siehst sind die 10Gbit Switchs über den 1Gbit Switch verbunden und nicht direkt.