VMware ESXi - iSCSI zur DELL EQL - nur eine NIC je Server

[TheCoffeeMen]

Hallo Kollegen,
ich wende mich heute an euch, weil wir ein "Performance Problem" mit unseren ESXi's (5.1) und den DELL EQL's (7.0.1) haben.

Konfiguration

2x Dell PowerConnect 7048 (im Stack)
3x Dell PowerEdge R620 - je 2x E5-2660 und 128GB RAM
2x Dell PS6100 [7x SSD, 17 HDD]

Verbindung zwischen VMware ESXi Cluster und EQL

von VMware zum PowerConnect - je Server 4x 1GB/s = 12x 1GB/s
von EQL zum PowerConnect - 8x 1GB/s

Problembeschreibung
Ich habe das Gefühl, dass je Server, nur eine Netzwerk-Karte, von je 4 vorhandenen Netzwerk-Karten zur DELL EQL, genutzt wird.

Das liegt an der Pfadauswahl "Fest" (Fixed) oder? Wenn ich nun auf "Round-Robin" stelle, dann wird doch auch nur immer eine Netzwerk-Karte aktiv genutzt - nur dass teilweise Mal eine anderen genutzt wird - aber nicht zeitgleich (Trunking) oder?





Oder verstehe ich da irgendetwas nicht richtig?
Danke für euere Aufklärung!!

Freue mich auf eure Antwort,
TheCoffeeMen

[bla!zilla]

Korrekt. Fixed Path nutzt EINEN der aktiven und optimierten Pfade. Round Robin wechselt nach 1000 IOs zwischen aktiven und optimierten Pfaden.

[TheCoffeeMen]

Korrekt. Fixed Path nutzt EINEN der aktiven und optimierten Pfade. Round Robin wechselt nach 1000 IOs zwischen aktiven und optimierten Pfaden.

Das ist doch Scheiße......
Was kann man da machen, damit mehrere NIC's gleichzeitig genutzt werden?

Jetzt komm mir bitte nicht mit: "Nichts, da hilft nur 10 GB/s."

Gruß

[mbreidenbach]

Das mit den 1000 IOs ist via CLI irgendwie konfigurierbar. Ich glaube man mußte es pro ESXi pro LUN einstellen.

Damit Round Robin über mehrere Pfade verteilt müssen die Pfade eindeutig sein d.h. durch Subnetze getrennt sein.

Round Robin ist nicht automatisch für alle Systene supported.

[TheCoffeeMen]

Das mit den 1000 IOs ist via CLI irgendwie konfigurierbar. Ich glaube man mußte es pro ESXi pro LUN einstellen.

Damit Round Robin über mehrere Pfade verteilt müssen die Pfade eindeutig sein d.h. durch Subnetze getrennt sein.

Round Robin ist nicht automatisch für alle Systene supported.

Hi mbreidenbach, danke für die Info - es hat aber nichts damit zu tun, das mehrere NIC's gleichzeitig genutzt werden, oder?

Gruß

[bla!zilla]

Das ist doch Scheiße......

Nein, by design.

Was kann man da machen, damit mehrere NIC's gleichzeitig genutzt werden?

Jetzt komm mir bitte nicht mit: "Nichts, da hilft nur 10 GB/s."

Du kannst eine LAG nutzen mit Routing by IP Hash. Dann brauchst du aber unterschiedliche IP Src und Dst Paare, sonst verteilt er den Verkehr nicht. Ansonsten bleibt dir nur RR. Da nutzt er mehrere NICs.

[Supi]

http://lmgtfy.com/?q=Configuring+iSCSI+ ... es+Storage

Links:
http://en.community.dell.com/techcenter ... nload.aspx

http://en.community.dell.com/cfs-file.a ... N-v1-2.pdf

http://en.community.dell.com/dell-group ... nload.aspx

gibt doch gute Doku dazu. Aber man sollte wissen, was man tut.

[MarcelMertens]

Die Aussage mit dem Wechsel nach 1000 IOs bei RR ist zwar korrekt, aber nicht korrekt ist die Annahme dass der Host nur eine NIC nutzt.

Die 1000IOs werden für jede LUN seperat gezählt.
Heißt für LUN1 gehen die ersten 1000IOs über Pfad1, für LUN2 über Pfad2.

Was sagt den ESXTOP zu deinen Gefühl?

[bla!zilla]

Korrekt. RR nutzt mehrere NICs/ HBAs und ist daher der bevorzugte Mechanismus.

[irix]

Marcel hat Recht. Des weiteren bitte den OP nicht durch einanderbringen mit verschiedenen Subnetzen usw. weil bei EQL ist immer alles in einem Subnet.

Ich bin mir auch nicht sicher ob die Aussage mit IP Hash und einem LAG so die beste Idee ist bei iSCSI und dem Binding an den Software Initiator. Bei NFS anders... aber mich wuerde interessieren ob es ein Hersteller Bestpractive gibt bei iSCSI was das angeht.

Zurueck zum Thema:
Auch wenn auf dem Papier evtl. nicht erlaubt und laut hoehrensagen auch mit 5.5 wohl nicht mehr moeglich rate ich dir das EQL MeM 1.2.0 zu installieren und dann auf EQL_Routed zuwechseln was die Policy angeht.

Ansonsten findest du im EQL Bestpracktice die Kommandlines um das RoundRobin von 1000 auf 1 bzw. 3 IOPS umzustellen. Das ganze muss pro Volume gemacht werden. Wer clever ist macht das alles bevor er die Datastores erstellt.

Ansonsten einfach mal esxtop angucken und nen Benchmark starten. Da sieht man sehr deutlich was deine VNICs bzw. die 4 VMKs machen.

Ich persoentlich haette wahrscheinlich auch nicht mehr als 2x1GbE SCSI pro Host gemacht bzw. 3x. Auch auf EQL Seite haette ich den 4 Port geopfert um dediziertes MGMT zu bekommen.

Gruss
Joerg

[bla!zilla]

Ich bin mir auch nicht sicher ob die Aussage mit IP Hash und einem LAG so die beste Idee ist bei iSCSI und dem Binding an den Software Initiator. Bei NFS anders... aber mich wuerde interessieren ob es ein Hersteller Bestpractive gibt bei iSCSI was das angeht.

Nope. iSCSI und LAG ist nicht sooo der Hit, außer du hast genügend unterschiedliche IP-Paare. Das ist bei den meisten Implementierungen aber nicht der Fall. Ich bezog mich dabei nur auf seine Frage, ob da was mit LAGs geht. Ja tut es. Ob das gut ist, stehet auf einem anderen Blatt Papier.

[kastlr]

Hallo zusammen,

wie genau äußert sich denn euer Performance Problem?

Denn nur weil du eventuell eine ungünstige NMP Policy verwendest bedeutet dies ja nicht automatisch, daß das die Ursache eures Problems ist.
Außerdem solltest du erst einmal mit dem VMware Compatibility Guide - Storage/SAN - checken, ob das Array überhaupt mit RR betrieben werden darf.

Denn egal über welchen Pfad der IO gesendet wird, schlußendlich landet er ohnehin bei einem deiner StorageProzessoren, und nach meinem Kenntnisstand hat die EQL davon nur zwei.

Gruß,
Ralf

[irix]

Zeig uns mal nen Screenshot von deinem SANHQ ueber 8h fuer den Pool bzw. eines Volumes.

Gruss
Joerg

[TheCoffeeMen]

Servus, vielen Dank für die vielen Antworten und die Hilfe.
Ich werde mich nächste Woche mal ausgiebig damit beschäftig - diese Woche bin ich ziemlich "busy".

Gruß TheCoffeeMen

[irix]

Poste bitte die Bilder von der Summary vom Pool und dann exemplarisch von einem Volume. Weil das wichtigste (Latency) fehlt auf deinen Bildern.

Gruss
Joerg

[derhoeppi]

Hallo,

als ich vor knapp zwei Jahren einige EQL's eingerichtet habe, sollte laut DELL BestPractise ein Multipath-Treiber der EQL installiert werden. Dieser kümmert sich um die korrekte Integration der EQL ins vCenter / ESXi, so dass RoundRobin über mehrere NIC's aktiv sind.
Damals war es jedoch so, dass man bei EQL registriert sein musste um an die Software zu kommen. Vielleicht hilf Dir das weiter.


Gruß
derhoeppi

[TheCoffeeMen]

Poste bitte die Bilder von der Summary vom Pool und dann exemplarisch von einem Volume. Weil das wichtigste (Latency) fehlt auf deinen Bildern.

Sorry, es ging die letzten Tag echt drunter und drüber - daher melde ich mich erst jetzt. Hier die Screenshots.



TheCoffeeMen

[TheCoffeeMen]

Servus Kollegen,
ich wollte mich schon ewig nochmal melden.

Ich habe damals noch ...
- für alle Datenspeicher "Round-Robin" festgelegt.
- auf den ESXi's Dell EQL MEM installiert.

Es ist nicht gleich aufgefallen, aber es läuft jetzt alles wesentlich schneller.
Je VM, wenn nur ein Datenspeicher, dann natürlich nicht schneller wie 110-125 MB/s. (da nur 1GB/s je NIC und Round-Robin)


Gruß TheCoffeeMen

[PeterDA]

Hi,
was man bei einer EQL machen muss um Multipathing zu haben ist das EqualLogic-ESX-Multipathing-Module (v1.2) auf den ESX zu installieren. Das kann man per VUM machen. Allerdings gehen die Multipathverbindungen erst nach einem Neustart des Hosts.

Gruß Peter

P.S. Die Policy der Datastores werden dann auch automatisch angepasst.

[PeterDA]

@derhoeppi

Code: Alles auswählen

Damals war es jedoch so, dass man bei EQL registriert sein musste um an die Software zu kommen.

Das ist immer noch so, doch wenn man eine EQL hat hat man ja auch einen ServiceTag zur Hand mit dem man sich einen Account erstellen kann.

Gruß Peter