VMware-Forum

Hallo,

ich habe mal eine Frage bezüglich Performance von iSCSI SANs. Im speziellen geht es um eine Dell Equallogic (24 x SAS Platten 15.000 U/Min, Raid 50) aber das soll jetzt nicht im Vordergrund stehen. Das SAN hat 4 aktive 1 GB Karten und die VMware 5.5 Umgebung ist über einen dedizierten SAN-Switch angeschlossen.

In einer virtuellen Maschine (Windows 2008 R2) habe ich ein RDM über zwei Netzwerkkarten konfiguriert und alle Pfade in der VMware stehen auf aktiv. Bei der Konfiguration habe ich mich an die ISCSI-Best-Practise-Guides vom SAN-Herstellers für I für den Switch und die VMWare-Umgebung gehalten

Nun meine eigentliche Frage, beim IOMETER Test bekomme ich maximal eine Total Transferrate von 146 MB/s (bei 16 K Blöcken und 75% random). Müsste ich da nicht höhere Werte erzielen, wenn der Traffic über zwei Netzwerkkarten in der VM geleitet wird?

Welche Werte erzielt ihr mit iSCSI SANs die auf GB basieren? Ein Softwarelieferrat erwartet oder träumt von über 600 MB/s. Sind solche Werte überhaupt möglich oder funktioniert so etwas nur mit SSD-Platten und 10 GB Umgebung?

Das kann man doch ganz einfach ausrechnen:

Du hast zwei aktive 1GbE Verbindung.
1 Gigabit = 1000Megabit = 125MB/s -> THEORETISCH. 90-100MB/s ist wohl realistisch.

Das ganze MAL 2 Minus Overhead durch die Virtualisierung und den MPIO Treiber (da dieser ja immer zwischen den Pfaden wechselt und kein LAG macht).

Da halte ich ins gesamt 140-150MB/s für ok.

Und nun kann man auch ausrechnen wieviele 1GbE Verbindung ich bräuchte um 600MB/s zu bekommen. -> 8-9 Verbindungen.

Da eine PSxx00 EQL aber nur max 4 aktive Ports hat, ist dort eh früher Schluss. Höhere Bandbreiten bekommt man dann nur mit 4GbE.


Aber mal Global-Galaktisch gesehen, ist Bandbreite das wenigste was mich im Storage Umfeld interessiert. Die reicht für die meisten Anwendungen meistens ehr aus.

Viel wichtiger sind IOps, avg. Blockgröße und Latenzen.
Was für ein Softwarehersteller ist das denn, der 600MB/s erwartet?

Bei den EQLs PS6x00 welche wir mit 4 Ports haben nehmen wir einen fuer dediziertes Management so das nur 3 verbleiben. Mit diesen 3 erreichen wir 280-300MB/s .............................................................. *Lange Pause* ............................. mit einem darauf ausgelegten Lastfall im IOmeter welcher bezogen auf die Praxis fuer die meisten typischen Virtualisierungsumgebungen nicht zutrifft. Sprich ein sequenzieller Zugriff mit extrem grossen Blocksizes. Will ich solche Bandbreite mit kleinen Blocksizes im 60/40 Mix und RandomIO sehen brauchts halt IOPS bei geringer Latenz.

Deine 145MB/s halte ich daher fuer einen guten Werten allerdings moechte ich immer die esxtop Ausgabe und dazu das SANHQ sehen.

Anmerkung. Dell weist fuer RAID5 ca. 10-15% mehr IOPS aus als fuer RAID50. Das sollte sich auch im RAID Evaluator des SANHQs wiederfinden.


Gruss
Joerg

Hallo,

welche NMP Policy verwendest du denn überhaupt?

Nur weil du mehrere Pfade zu einer LUN konfiguriert hast bedeutet ja noch lange nicht, das alle gleichmäßig ausgelastet sind.
Hast du des weiteren mal überprüft, wie groß die Queue Depth für dein Testdevice ist?

Ich muß daher Marcel und Jörg zustimmen, für eine einzige Test LUN ist das bei der verwendeten IO Meter Einstellung ein guter Wert.
Um mit 16kb IO's 146MB/sec zu erreichen werden gute 9000 IO's benötigt.
Das heißt dass die durchschnittliche Antwortzeiten bei 0,1 Milli Sekunden liegt!

Das ist ein sehr guter Wert.

Gruß
Ralf

Ich gehe davon aus das im IOmeter das "Testfile" relativ klein ist und somit viel oder alles gecached wird. Das R/W Verhaeltnis ist auch unklar. Ansonsten muss man sagen das eine PS6000XV keine 9000 IOPS bei 16K und 75% Random liefern kann.

Fuer EQL gilt im Normalfall
- Das MeM 1.2..0 installieren
- Delayed ACK aus
- Tagged VLAN fuer die iSCSI Host Ports
- LoginTimeout auf 60
- LRO disabled (Je nach 1 oder 10GbE bzw. Intel/Broadcom gilt es aber auch anders herum). Siehe Whitepaper
- Laut SISseinen Switch entsprechend konfigurieren

Gruss
Joerg

Schau mal.

Du kannst es auch einmal damit testen. Das nutze ich immer wenn ich Engpässe vermute.


https://labs.vmware.com/flings/io-analyzer Vmware io-analyzer


Gruß

Barabone

Danke für euch die zahlreichen Antworten!!!

MarcelMertens hat geschrieben:Das ganze MAL 2 Minus Overhead durch die Virtualisierung und den MPIO Treiber (da dieser ja immer zwischen den Pfaden wechselt und kein LAG macht).
Was für ein Softwarehersteller ist das denn, der 600MB/s erwartet?

Wenn ich mir die VM anschaue, so werden in jedem Fall beide SAN-Netzwerkkarten für das Raw-Device-Mapping verwendet wenn ich den IOmeter-Test starte. Von meinem Verständnis ist das aber kein richtiges "Teaming" im Sinne von Kanalbündlung.
Wenn es z.B nur eine einzelne Anfrage gibt, so wird doch immer nur ein Pfad sprich maximal 1 GB verwendet, oder sehe ich das falsch?

MarcelMertens hat geschrieben:Viel wichtiger sind IOps, avg. Blockgröße und Latenzen.
Was für ein Softwarehersteller ist das denn, der 600MB/s erwartet?

Für mich ist das ganze im Augenblick eine theoretische Frage, da wir zur Zeit kein Einschränkungen bei der Arbeit haben. Der Software Hersteller ( Infor Datenbank) stellt sich eben höhere Datendurchsätze vor (ob 600 MB/s nun sinnvoll ist oder nicht, ist Momentan egal) und für mich stellt sich die Frage, wie ich das realisieren könnte. Reicht die vorhandene Hardware und kann ich etwas besser konfigurieren oder benötige ich dafür eine andere Hardware? Wenn es an der Hardware scheitert, wäre ein SAN mit 10 GB (zusätzlich natürlich 10 GB Switche und NICs im ESX) erforderlich oder
benötige ich dann auch noch zusätzlich ein SAN mit SSD?

irix hat geschrieben: Dell weist fuer RAID5 ca. 10-15% mehr IOPS aus als fuer RAID50. Das sollte sich auch im RAID Evaluator des SANHQs wiederfinden.

Auf Raid 5 könnte man ja sogar wechseln, falls es spürbar etwas bringen würde.

kastlr hat geschrieben:welche NMP Policy verwendest du denn überhaupt? Nur weil du mehrere Pfade zu einer LUN konfiguriert hast bedeutet ja noch lange nicht, das alle gleichmäßig ausgelastet sind.
Hast du des weiteren mal überprüft, wie groß die Queue Depth für dein Testdevice ist?

"Route based on the originating virtual Port ID" wird verwendet. Habe ich denn sonst einen weiteren Einfluß darauf bzw. kann die Bandbreite verbesseren, wenn ich für das RDM nur
zwei 1 GB Karten in der VMWare nutze?

Die Werte des SANS und die allgemeine Performance ist auch aus meiner Sicht OK. Ich habe zur Zeit eine Latency von 7,9 ms und eine Queue Depth von selten über 3 im Normalbetrieb

barabone hat geschrieben:Schau mal.
Du kannst es auch einmal damit testen. Das nutze ich immer wenn ich Engpässe vermute. https://labs.vmware.com/flings/io-analyzer Vmware io-analyzer

Danke, schaue ich mir mal an.