mehrere Netzwerkkarten gleichzeitig benutzen

[macomar]

Hallo ins Forum,

ich betreibe einen vSphere 5 Cluster mit 7 Host. Jeder Server (HP DL380) ist mit 12 NICs ausgestattet. Angebunden ist das ganze via NFS an eine NetApp 2240. Dazwischen hängen zwei Cisco 3750 Switche für das Storage Netzwerk.

Mein Problem ist:
Für den Traffic zum SAN ist ein vSwitch mit 4 NICs angelegt worden. Jetzt wird der gesamte Traffic der virtuellen Maschinen aber immer nur über eine Karte rausgesendet.

Das gleiche ist auch der Fall, wenn eine VM in einen anderen Storage migriert wird (dauerte zum Test 4 Stunden).

Meine Frage ins Forum ist:
Kann bzw. Ist es möglich den DATA Traffic und Storage Migration über meherer Netzwekkarten gleichzeitig zu senden ?

Bsp.: Quad-PCI Karte mit 4 NICs in einen DATA vSwitch = 4x 1GB

Für Lösungsvorschläge wäre ich sehr dankbar.

Danke und Gruß
Macomar

[BastiHN]

ggf. hilft dir dieser artikel weiter

http://blog.scottlowe.org/2006/12/04/es ... -trunking/
http://blog.scottlowe.org/2008/07/16/un ... mware-esx/

hat mir damals bei dem gleichen problem sehr geholfen!

[irix]

Die Links koennen nur begrenzt helfen haben weil die Fragestellung evtl. nicht ganz erfasst wurde.

Ist die Frage wie man das Loadbalancing bei einer NFS Storageanbindung realisiert oder? Falls ja dann ist die einfache Antwort "Warten auf pNFS4" . Ansonsten wird der Storagehersteller ein Bestpractice was im NFS Bereich extrem aufwendig ist. Nicht umsonst erschlage viele das Problem mit einer BigPipe aka 10GbE.

Gruss
Joerg

[PeterDA]

Hi,
wir benutzen immer rein iSCSI anstatt NFS und machen dort einfach mehrer Portgruppen auf der iSCSI vSwitch. Dort wird dann jder Gruppe eine pNIC als aktiver zu geordnet und die anderen als unused markiert.

Gruß Peter

[irix]

iSCSI ist aber eine andere Baustelle und der Loesungsansatz ist ein Total anderer und es gibt keine Uebereinstimmung.

Bei NFS hat man einen Mix aus Etherchannels, viele IPs auf SP Seite, mehrere VMKs und die richtige Policy zusammen mit einer evtl. manuellen Aufteilung welche LUN wo rueber herein kommt.

Gruss
Joerg

[macomar]

wie wäre denn der Lösungsansatz wenn ich von NFS auf iSCSI umschwenke.
Habe zwei neuer Test-Server in ein separaters Cluster aufgenommen und via iSCSI an eine frische LUN der NetApp angebunden.

[irix]

Hat Peter doch schon grob beschrieben
1x vSwitch mit 2 pNICs als Uplinks
- 1x VMK mit einer akt. pNIC und die andere Unused
- 1x VMK mit einer akt. pNIC und die andere Unused
- Aktieren des SW ISCSI Initiator und konfigurieren des Bindings (hinzufuegen der VMKs)
- Rebooten
- Kontrolle nach dem einbinden der ersten LUN welches SATP und Policy genommen wurde und ob dies die richtige ist fuer das Storage bzw. gewuenschte verhalten

Netapp hat doch eine vCenter Integration mit einer Optimierung fuer die entsprechende Anbinding. Frueher bei FC hab ich die NetApp HostUtils in der ESX Konsole installiert. Diese haben auch div. NFS Parameter mit veraendert gehabt. Da es die ESX Konsole nicht mehr gibt machen sie es ueber die vSphere API welche getriggert wird von deren vCenter Integration.

Gruss
Joerg

[macomar]

wie kann ich denn Screenshots posten ? hier die Fehlermeldung:

Attachment kann nicht hinzugefügt werden, da die maximale Anzahl von 0 Attachments in dieser Nachricht erreicht wurde

[irix]

wie kann ich denn Screenshots posten ? hier die Fehlermeldung:

Attachment kann nicht hinzugefügt werden, da die maximale Anzahl von 0 Attachments in dieser Nachricht erreicht wurde

Hier kann man keine Attachements mit hochladen. Verlinke sie auf deinem Webspace oder einen der Freehoster wo man keine Anmeldung benoetigt.

Gruss
Joerg

[macomar]

Danke für die Hilfe. Hier die Screenshots der Test iSCSI Umgebung.

http://www.it-schoemehl.de/test/iSCSI-Switch_1
hier der virtuelle Switch mit 4 separaten vmks
http://www.it-schoemehl.de/test/iSCSI-Switch_2
hier die Eigenschaften der Konfiguration. 1 Karte aktiv die anderen unused
http://www.it-schoemehl.de/test/iSCSI-Switch_3
hier die Übersicht des vSwitches
http://www.it-schoemehl.de/test/iSCSI-Switch_4
hier die Eigenschaften des iSCSI HBAs

Auf der NetApp ist jeweils eine iSCSI LUN auf Kopf 1 und die zweite auf Kopf 2 angelegt. Ein Migrationstest einer virtuellen Maschine zwischen den LUNs ergab einen Datendurchsatz umgerechnet von 8 MB/s, was nicht zufriedenstellend ist. Die vmdk der VM ist ca. 60 GB und das ganze dauerte 6:50 Minuten. Auch wenn durch die dezeitige Konfig nur eine 1 GB Karte genutzt wird ist der Durchsatz nicht zufriedenstellend.

Die Cisco Switche (Typ 3750) sind via 10GbE an die Köpfe der NetApp angeschlossen.

[weigeltchen]

Du hast alle iscsi Ports auf einem Switch hängen. Mach mal für jede iscsi-NIC einen eigenen vSwitch mit Kernelport und aktiviertem iscsi. Dabei kannst Du dann jeweils noch einen Nic als unused demvSwitch zuweisen.

[PeterDA]

Hi,
die Konfig auf der ESXi Seite fast gut aus. Du must unterschiedliche Subnetze nehmen sonst geht es nicht!

Die Frage ist noch was hast du auf der NetApp Konfiguriert hast? In deinem Fall müsstest du auf dem NetApp Kopf jede e0? Port in eins der Subnetze packen.

Was wir hier meistens machen ist folgendes:
Auf der NetApp bildest du zwei vifs mit je zwei e0? (vif1 - e0a & e0c; vif2 - e0b & e0d)
Auf der ESX Seite machst du eine vSwitch mit zwei pNICs und zwei VMKernel Portgruppen.
Dann noch das Multipathing einrichten - fertig.

Gruß Peter

P.S. Wenn ich mich rechtentsinne würde man so aber auch die NFS Anbindung machen nur das du dann halt keinen iSCSI Initiator brauchst.

[roeschu]

Mit den 3750 Catalysts könnte man einen Portchannel (oder unter Cisco "Etherchannel",Lacp??) mit mehreren 1Gbit Links machen und dann halt mehrere NFS Sessions verwenden; sprich mehr als eine IP auf dem Storage für die NFS Anbindung verwenden und die Datastores auf den ESX über die verschiedenen IP's anbinden. Gesetzenfalls es werden mehrere Datastores verwendet und nicht nur ein grosser Datastore...

EDIT: sorry habs überlesen, Problem liegt ja woanders..hast ja 10GB zum Storage..

Ich würde nur von NFS auf Iscsi umschwenken wenns wirklich nicht anders geht. NFS ist unter Netapp halt Best Practice und hat m.E schon ein paar Vorteile in solchen Umgebungen

Auf der NetApp ist jeweils eine iSCSI LUN auf Kopf 1 und die zweite auf Kopf 2 angelegt. Ein Migrationstest einer virtuellen Maschine zwischen den LUNs ergab einen Datendurchsatz umgerechnet von 8 MB/s, was nicht zufriedenstellend ist. Die vmdk der VM ist ca. 60 GB und das ganze dauerte 6:50 Minuten. Auch wenn durch die dezeitige Konfig nur eine 1 GB Karte genutzt wird ist der Durchsatz nicht zufriedenstellend.

Die Cisco Switche (Typ 3750) sind via 10GbE an die Köpfe der NetApp angeschlossen

Du meinst mit "Migrationstest" ein Storage Vmotion gell? Wieviele/Was für Disks hast du eigentlich in deinem 2240-er? Könnte ja auch daran liegen. Und wenn du den Test machst während sonst schon für deine Verhältnisse viel läuft auf dem Storage kann es ja bei limitierteren Diskonfigurationen schnell mal eng werden.

[irix]

Also bei 8MB/s schaft man in 7min so ca. 3,36GB und wenn du sagst du hast 60GB bewegt dann passt das nicht zusammen. Allerdings wenn dein Storage VAAI und die OffLine Copy Primitive beherscht dann ist es kein Wunder wenn du so ein verfaellschtes Bild erhaelts.

VMware hat eine IO/Benchmark Appliance oder man nimmt sein IOmeter und kontrolliert mit esxtop.


Gruss
Joerg

[roeschu]

Also bei 8MB/s schaft man in 7min so ca. 3,36GB und wenn du sagst du hast 60GB bewegt dann passt das nicht zusammen. Allerdings wenn dein Storage VAAI und die OffLine Copy Primitive beherscht dann ist es kein Wunder wenn du so ein verfaellschtes Bild erhaelts.

Funktioniert VAAI auch bei Storage Vmotion? Ich dachte das kommt nur beim Klonen innerhalb desselben Datastores zur Geltung?

[irix]

Das funktioniert auch Datastore uebergreifend sofern beide DS die gleiche Blocksize haben. Letzteres trifft nicht zu wenn es upgradede VMFS sind welche vorher unterschiedliche Blocksizes hatten.

Gruss
Joerg

[PeterDA]

Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:

Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.


Gruß Peter

[macomar]

Hallo in die Runde,

vielen Dank erst einmal für die vielen Hinweise. Hier der Status:

@ weigeltchen:
deinen Vorschlag werden wir jetzt als nächstes probieren.

@ Peter:
Das mit den vesch. Subnetzen verstehe ich jetzt nicht.... bedeut das, wir brauchen mehrere Storage Netze ? Wenn ja warum ???
Zur NetApp: Wir hängen mit jeden Kopf am 10 GbE Modul an dem Cisco dran.
Der Port der konfiguriert ist heisst bei uns san01 Type VIF und ist im gleichen Subnetz die die Konfigurierten vmKernels vom iSCSI.

@ roeschu:
ja, wir haben am Anfang die Best Practice in Erwägung gezogen. Wir sind jetzt mit dem Test Cluster auf iSCSI gegangen, da nur dort Round Robin geht, da VMware kein "Teaming" wie auf einem Windows 2008 Server beherrscht.
Ja mit dem Migrations-Test mein ich ein Storage vMotion. Wir haben ein 2240er mit 12x 600er SAS und einem zusätzlichen Shelf von 24x600 er SAS. Konfiguriert sind 2 Aggregate die jeweils einem Kopf zugewiesen sind.
Aggr01 -> Kopf 1 -> 12x 600 SAS
Aggr02 -> Kopf 2 -> 24x 600 SAS

@ irix:
Ich habe während des Storage vMotion die virtuelle Maschine angeklickt und den Reiter Performance -> Advanced ausgeählt. Dort im Untermenü Disks sah ich die Werte von der iSCIS LUN mit Read / Write. Der max. Erreichte Wert war 72552 kb/s. Laut Umrechner im Internet sind das 544 MB pro Minute, geteilt durch 60 macht ca. 9 MB in der Sekunde.

Das wäre es fürs erste mal...

Danke und Gruß
Marc

[roeschu]

Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:

Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.

Und auch nur auf demselben Aggregate oder? Macht ja mehr oder minder ein Flex Clone...

[macomar]

Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:

Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.

Und auch nur auf demselben Aggregate oder? Macht ja mehr oder minder ein Flex Clone...

Wir machen ein Storage vMotion auf die jeweils beschrieben Aggregate hin und her.

[roeschu]

Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:

Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.

Und auch nur auf demselben Aggregate oder? Macht ja mehr oder minder ein Flex Clone...

Wir machen ein Storage vMotion auf die jeweils beschrieben Aggregate hin und her.

Ja das habe ich so verstanden. Aber ich meinte das VAAI Operationen nur auf demselben Filerkopf *und* demselben Aggregate gehen.

[macomar]

Erst einmal vielen Dank an alle Kollegen für die Hilfe.

Hier ein erster Zwischenbericht:
Es wurden die Schritte aus diesen Youtube Video druchgeführt
http://www.youtube.com/watch?v=Mu-HyD3E3cw

MTU auf dem vSwich und vmKernel Nics auf 9000 gesetzt.
Aktivieren von Round Robin auf dem Software iSCSI HBA

Die derzeitigen Performancewerte sind:
Größe der Test-vmdk: 72,13 GB
Dauer: 00:04:45
Richtung: von Kopf1 Aggr0 12x 600 GB SAS / Kopf2 Aggr1 24x600 GB SAS
errechneter Durchsatz: 259,16 MB/s

Jetzt fehlt noch die "finale" Lösung alle 4 Karten gleichzeitig zu nutzen, so dass 4x1 GB Performance in Summe zum Switch gehen.

Danke und Gruß
Marc Schömehl

[irix]

..

Jetzt fehlt noch die "finale" Lösung alle 4 Karten gleichzeitig zu nutzen, so dass 4x1 GB Performance in Summe zum Switch gehen.

Bitte lies den Thread nochmal von Anfang weil eine TCP Session splittet sich nicht auf und somit kann du bei Zugriff auf nur EINE LUN gleichzeitig nur 1 pNIC verwenden bei NFS.

Gruss
Joerg

[macomar]

Hallo Joerg,

wir sind mittlerweile weg von NFS da Round Robin dort
nicht möglich ist und stellen alles auf iSCSI um.
Auch der beschriebene Test läuft auf iSCSI LUNs.

Gruß Marc

[irix]

Welche PathPolicy ist denn fuer die LUN eingestellt? Wenn es RoundRobin ist und die richtige Einstellung gesetzt ist was den Pfadwechsel angeht, von Transfermenge bis Anzahl CMD usw. ist ja einiges Moeglich. Man sollte dann im esxtop sehen wir alle VMKs und somit pNICs Daten transferieren.

Gruss
Joerg