Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!
mehrere Netzwerkkarten gleichzeitig benutzen
mehrere Netzwerkkarten gleichzeitig benutzen
Hallo ins Forum,
ich betreibe einen vSphere 5 Cluster mit 7 Host. Jeder Server (HP DL380) ist mit 12 NICs ausgestattet. Angebunden ist das ganze via NFS an eine NetApp 2240. Dazwischen hängen zwei Cisco 3750 Switche für das Storage Netzwerk.
Mein Problem ist:
Für den Traffic zum SAN ist ein vSwitch mit 4 NICs angelegt worden. Jetzt wird der gesamte Traffic der virtuellen Maschinen aber immer nur über eine Karte rausgesendet.
Das gleiche ist auch der Fall, wenn eine VM in einen anderen Storage migriert wird (dauerte zum Test 4 Stunden).
Meine Frage ins Forum ist:
Kann bzw. Ist es möglich den DATA Traffic und Storage Migration über meherer Netzwekkarten gleichzeitig zu senden ?
Bsp.: Quad-PCI Karte mit 4 NICs in einen DATA vSwitch = 4x 1GB
Für Lösungsvorschläge wäre ich sehr dankbar.
Danke und Gruß
Macomar
ich betreibe einen vSphere 5 Cluster mit 7 Host. Jeder Server (HP DL380) ist mit 12 NICs ausgestattet. Angebunden ist das ganze via NFS an eine NetApp 2240. Dazwischen hängen zwei Cisco 3750 Switche für das Storage Netzwerk.
Mein Problem ist:
Für den Traffic zum SAN ist ein vSwitch mit 4 NICs angelegt worden. Jetzt wird der gesamte Traffic der virtuellen Maschinen aber immer nur über eine Karte rausgesendet.
Das gleiche ist auch der Fall, wenn eine VM in einen anderen Storage migriert wird (dauerte zum Test 4 Stunden).
Meine Frage ins Forum ist:
Kann bzw. Ist es möglich den DATA Traffic und Storage Migration über meherer Netzwekkarten gleichzeitig zu senden ?
Bsp.: Quad-PCI Karte mit 4 NICs in einen DATA vSwitch = 4x 1GB
Für Lösungsvorschläge wäre ich sehr dankbar.
Danke und Gruß
Macomar
ggf. hilft dir dieser artikel weiter
http://blog.scottlowe.org/2006/12/04/es ... -trunking/
http://blog.scottlowe.org/2008/07/16/un ... mware-esx/
hat mir damals bei dem gleichen problem sehr geholfen!
http://blog.scottlowe.org/2006/12/04/es ... -trunking/
http://blog.scottlowe.org/2008/07/16/un ... mware-esx/
hat mir damals bei dem gleichen problem sehr geholfen!
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
Die Links koennen nur begrenzt helfen haben weil die Fragestellung evtl. nicht ganz erfasst wurde.
Ist die Frage wie man das Loadbalancing bei einer NFS Storageanbindung realisiert oder? Falls ja dann ist die einfache Antwort "Warten auf pNFS4" . Ansonsten wird der Storagehersteller ein Bestpractice was im NFS Bereich extrem aufwendig ist. Nicht umsonst erschlage viele das Problem mit einer BigPipe aka 10GbE.
Gruss
Joerg
Ist die Frage wie man das Loadbalancing bei einer NFS Storageanbindung realisiert oder? Falls ja dann ist die einfache Antwort "Warten auf pNFS4" . Ansonsten wird der Storagehersteller ein Bestpractice was im NFS Bereich extrem aufwendig ist. Nicht umsonst erschlage viele das Problem mit einer BigPipe aka 10GbE.
Gruss
Joerg
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
iSCSI ist aber eine andere Baustelle und der Loesungsansatz ist ein Total anderer und es gibt keine Uebereinstimmung.
Bei NFS hat man einen Mix aus Etherchannels, viele IPs auf SP Seite, mehrere VMKs und die richtige Policy zusammen mit einer evtl. manuellen Aufteilung welche LUN wo rueber herein kommt.
Gruss
Joerg
Bei NFS hat man einen Mix aus Etherchannels, viele IPs auf SP Seite, mehrere VMKs und die richtige Policy zusammen mit einer evtl. manuellen Aufteilung welche LUN wo rueber herein kommt.
Gruss
Joerg
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
Hat Peter doch schon grob beschrieben
1x vSwitch mit 2 pNICs als Uplinks
- 1x VMK mit einer akt. pNIC und die andere Unused
- 1x VMK mit einer akt. pNIC und die andere Unused
- Aktieren des SW ISCSI Initiator und konfigurieren des Bindings (hinzufuegen der VMKs)
- Rebooten
- Kontrolle nach dem einbinden der ersten LUN welches SATP und Policy genommen wurde und ob dies die richtige ist fuer das Storage bzw. gewuenschte verhalten
Netapp hat doch eine vCenter Integration mit einer Optimierung fuer die entsprechende Anbinding. Frueher bei FC hab ich die NetApp HostUtils in der ESX Konsole installiert. Diese haben auch div. NFS Parameter mit veraendert gehabt. Da es die ESX Konsole nicht mehr gibt machen sie es ueber die vSphere API welche getriggert wird von deren vCenter Integration.
Gruss
Joerg
1x vSwitch mit 2 pNICs als Uplinks
- 1x VMK mit einer akt. pNIC und die andere Unused
- 1x VMK mit einer akt. pNIC und die andere Unused
- Aktieren des SW ISCSI Initiator und konfigurieren des Bindings (hinzufuegen der VMKs)
- Rebooten
- Kontrolle nach dem einbinden der ersten LUN welches SATP und Policy genommen wurde und ob dies die richtige ist fuer das Storage bzw. gewuenschte verhalten
Netapp hat doch eine vCenter Integration mit einer Optimierung fuer die entsprechende Anbinding. Frueher bei FC hab ich die NetApp HostUtils in der ESX Konsole installiert. Diese haben auch div. NFS Parameter mit veraendert gehabt. Da es die ESX Konsole nicht mehr gibt machen sie es ueber die vSphere API welche getriggert wird von deren vCenter Integration.
Gruss
Joerg
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
macomar hat geschrieben:wie kann ich denn Screenshots posten ? hier die Fehlermeldung:
Attachment kann nicht hinzugefügt werden, da die maximale Anzahl von 0 Attachments in dieser Nachricht erreicht wurde
Hier kann man keine Attachements mit hochladen. Verlinke sie auf deinem Webspace oder einen der Freehoster wo man keine Anmeldung benoetigt.
Gruss
Joerg
Danke für die Hilfe. Hier die Screenshots der Test iSCSI Umgebung.
http://www.it-schoemehl.de/test/iSCSI-Switch_1
hier der virtuelle Switch mit 4 separaten vmks
http://www.it-schoemehl.de/test/iSCSI-Switch_2
hier die Eigenschaften der Konfiguration. 1 Karte aktiv die anderen unused
http://www.it-schoemehl.de/test/iSCSI-Switch_3
hier die Übersicht des vSwitches
http://www.it-schoemehl.de/test/iSCSI-Switch_4
hier die Eigenschaften des iSCSI HBAs
Auf der NetApp ist jeweils eine iSCSI LUN auf Kopf 1 und die zweite auf Kopf 2 angelegt. Ein Migrationstest einer virtuellen Maschine zwischen den LUNs ergab einen Datendurchsatz umgerechnet von 8 MB/s, was nicht zufriedenstellend ist. Die vmdk der VM ist ca. 60 GB und das ganze dauerte 6:50 Minuten. Auch wenn durch die dezeitige Konfig nur eine 1 GB Karte genutzt wird ist der Durchsatz nicht zufriedenstellend.
Die Cisco Switche (Typ 3750) sind via 10GbE an die Köpfe der NetApp angeschlossen.
http://www.it-schoemehl.de/test/iSCSI-Switch_1
hier der virtuelle Switch mit 4 separaten vmks
http://www.it-schoemehl.de/test/iSCSI-Switch_2
hier die Eigenschaften der Konfiguration. 1 Karte aktiv die anderen unused
http://www.it-schoemehl.de/test/iSCSI-Switch_3
hier die Übersicht des vSwitches
http://www.it-schoemehl.de/test/iSCSI-Switch_4
hier die Eigenschaften des iSCSI HBAs
Auf der NetApp ist jeweils eine iSCSI LUN auf Kopf 1 und die zweite auf Kopf 2 angelegt. Ein Migrationstest einer virtuellen Maschine zwischen den LUNs ergab einen Datendurchsatz umgerechnet von 8 MB/s, was nicht zufriedenstellend ist. Die vmdk der VM ist ca. 60 GB und das ganze dauerte 6:50 Minuten. Auch wenn durch die dezeitige Konfig nur eine 1 GB Karte genutzt wird ist der Durchsatz nicht zufriedenstellend.
Die Cisco Switche (Typ 3750) sind via 10GbE an die Köpfe der NetApp angeschlossen.
-
- Member
- Beiträge: 359
- Registriert: 28.11.2011, 09:46
Hi,
die Konfig auf der ESXi Seite fast gut aus. Du must unterschiedliche Subnetze nehmen sonst geht es nicht!
Die Frage ist noch was hast du auf der NetApp Konfiguriert hast? In deinem Fall müsstest du auf dem NetApp Kopf jede e0? Port in eins der Subnetze packen.
Was wir hier meistens machen ist folgendes:
Auf der NetApp bildest du zwei vifs mit je zwei e0? (vif1 - e0a & e0c; vif2 - e0b & e0d)
Auf der ESX Seite machst du eine vSwitch mit zwei pNICs und zwei VMKernel Portgruppen.
Dann noch das Multipathing einrichten - fertig.
Gruß Peter
P.S. Wenn ich mich rechtentsinne würde man so aber auch die NFS Anbindung machen nur das du dann halt keinen iSCSI Initiator brauchst.
die Konfig auf der ESXi Seite fast gut aus. Du must unterschiedliche Subnetze nehmen sonst geht es nicht!
Die Frage ist noch was hast du auf der NetApp Konfiguriert hast? In deinem Fall müsstest du auf dem NetApp Kopf jede e0? Port in eins der Subnetze packen.
Was wir hier meistens machen ist folgendes:
Auf der NetApp bildest du zwei vifs mit je zwei e0? (vif1 - e0a & e0c; vif2 - e0b & e0d)
Auf der ESX Seite machst du eine vSwitch mit zwei pNICs und zwei VMKernel Portgruppen.
Dann noch das Multipathing einrichten - fertig.
Gruß Peter
P.S. Wenn ich mich rechtentsinne würde man so aber auch die NFS Anbindung machen nur das du dann halt keinen iSCSI Initiator brauchst.
Mit den 3750 Catalysts könnte man einen Portchannel (oder unter Cisco "Etherchannel",Lacp??) mit mehreren 1Gbit Links machen und dann halt mehrere NFS Sessions verwenden; sprich mehr als eine IP auf dem Storage für die NFS Anbindung verwenden und die Datastores auf den ESX über die verschiedenen IP's anbinden. Gesetzenfalls es werden mehrere Datastores verwendet und nicht nur ein grosser Datastore...
EDIT: sorry habs überlesen, Problem liegt ja woanders..hast ja 10GB zum Storage..
Ich würde nur von NFS auf Iscsi umschwenken wenns wirklich nicht anders geht. NFS ist unter Netapp halt Best Practice und hat m.E schon ein paar Vorteile in solchen Umgebungen
Du meinst mit "Migrationstest" ein Storage Vmotion gell? Wieviele/Was für Disks hast du eigentlich in deinem 2240-er? Könnte ja auch daran liegen. Und wenn du den Test machst während sonst schon für deine Verhältnisse viel läuft auf dem Storage kann es ja bei limitierteren Diskonfigurationen schnell mal eng werden.
EDIT: sorry habs überlesen, Problem liegt ja woanders..hast ja 10GB zum Storage..
Ich würde nur von NFS auf Iscsi umschwenken wenns wirklich nicht anders geht. NFS ist unter Netapp halt Best Practice und hat m.E schon ein paar Vorteile in solchen Umgebungen
Auf der NetApp ist jeweils eine iSCSI LUN auf Kopf 1 und die zweite auf Kopf 2 angelegt. Ein Migrationstest einer virtuellen Maschine zwischen den LUNs ergab einen Datendurchsatz umgerechnet von 8 MB/s, was nicht zufriedenstellend ist. Die vmdk der VM ist ca. 60 GB und das ganze dauerte 6:50 Minuten. Auch wenn durch die dezeitige Konfig nur eine 1 GB Karte genutzt wird ist der Durchsatz nicht zufriedenstellend.
Die Cisco Switche (Typ 3750) sind via 10GbE an die Köpfe der NetApp angeschlossen
Du meinst mit "Migrationstest" ein Storage Vmotion gell? Wieviele/Was für Disks hast du eigentlich in deinem 2240-er? Könnte ja auch daran liegen. Und wenn du den Test machst während sonst schon für deine Verhältnisse viel läuft auf dem Storage kann es ja bei limitierteren Diskonfigurationen schnell mal eng werden.
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
Also bei 8MB/s schaft man in 7min so ca. 3,36GB und wenn du sagst du hast 60GB bewegt dann passt das nicht zusammen. Allerdings wenn dein Storage VAAI und die OffLine Copy Primitive beherscht dann ist es kein Wunder wenn du so ein verfaellschtes Bild erhaelts.
VMware hat eine IO/Benchmark Appliance oder man nimmt sein IOmeter und kontrolliert mit esxtop.
Gruss
Joerg
VMware hat eine IO/Benchmark Appliance oder man nimmt sein IOmeter und kontrolliert mit esxtop.
Gruss
Joerg
irix hat geschrieben:Also bei 8MB/s schaft man in 7min so ca. 3,36GB und wenn du sagst du hast 60GB bewegt dann passt das nicht zusammen. Allerdings wenn dein Storage VAAI und die OffLine Copy Primitive beherscht dann ist es kein Wunder wenn du so ein verfaellschtes Bild erhaelts.
Funktioniert VAAI auch bei Storage Vmotion? Ich dachte das kommt nur beim Klonen innerhalb desselben Datastores zur Geltung?
Hallo in die Runde,
vielen Dank erst einmal für die vielen Hinweise. Hier der Status:
@ weigeltchen:
deinen Vorschlag werden wir jetzt als nächstes probieren.
@ Peter:
Das mit den vesch. Subnetzen verstehe ich jetzt nicht.... bedeut das, wir brauchen mehrere Storage Netze ? Wenn ja warum ???
Zur NetApp: Wir hängen mit jeden Kopf am 10 GbE Modul an dem Cisco dran.
Der Port der konfiguriert ist heisst bei uns san01 Type VIF und ist im gleichen Subnetz die die Konfigurierten vmKernels vom iSCSI.
@ roeschu:
ja, wir haben am Anfang die Best Practice in Erwägung gezogen. Wir sind jetzt mit dem Test Cluster auf iSCSI gegangen, da nur dort Round Robin geht, da VMware kein "Teaming" wie auf einem Windows 2008 Server beherrscht.
Ja mit dem Migrations-Test mein ich ein Storage vMotion. Wir haben ein 2240er mit 12x 600er SAS und einem zusätzlichen Shelf von 24x600 er SAS. Konfiguriert sind 2 Aggregate die jeweils einem Kopf zugewiesen sind.
Aggr01 -> Kopf 1 -> 12x 600 SAS
Aggr02 -> Kopf 2 -> 24x 600 SAS
@ irix:
Ich habe während des Storage vMotion die virtuelle Maschine angeklickt und den Reiter Performance -> Advanced ausgeählt. Dort im Untermenü Disks sah ich die Werte von der iSCIS LUN mit Read / Write. Der max. Erreichte Wert war 72552 kb/s. Laut Umrechner im Internet sind das 544 MB pro Minute, geteilt durch 60 macht ca. 9 MB in der Sekunde.
Das wäre es fürs erste mal...
Danke und Gruß
Marc
vielen Dank erst einmal für die vielen Hinweise. Hier der Status:
@ weigeltchen:
deinen Vorschlag werden wir jetzt als nächstes probieren.
@ Peter:
Das mit den vesch. Subnetzen verstehe ich jetzt nicht.... bedeut das, wir brauchen mehrere Storage Netze ? Wenn ja warum ???
Zur NetApp: Wir hängen mit jeden Kopf am 10 GbE Modul an dem Cisco dran.
Der Port der konfiguriert ist heisst bei uns san01 Type VIF und ist im gleichen Subnetz die die Konfigurierten vmKernels vom iSCSI.
@ roeschu:
ja, wir haben am Anfang die Best Practice in Erwägung gezogen. Wir sind jetzt mit dem Test Cluster auf iSCSI gegangen, da nur dort Round Robin geht, da VMware kein "Teaming" wie auf einem Windows 2008 Server beherrscht.
Ja mit dem Migrations-Test mein ich ein Storage vMotion. Wir haben ein 2240er mit 12x 600er SAS und einem zusätzlichen Shelf von 24x600 er SAS. Konfiguriert sind 2 Aggregate die jeweils einem Kopf zugewiesen sind.
Aggr01 -> Kopf 1 -> 12x 600 SAS
Aggr02 -> Kopf 2 -> 24x 600 SAS
@ irix:
Ich habe während des Storage vMotion die virtuelle Maschine angeklickt und den Reiter Performance -> Advanced ausgeählt. Dort im Untermenü Disks sah ich die Werte von der iSCIS LUN mit Read / Write. Der max. Erreichte Wert war 72552 kb/s. Laut Umrechner im Internet sind das 544 MB pro Minute, geteilt durch 60 macht ca. 9 MB in der Sekunde.
Das wäre es fürs erste mal...
Danke und Gruß
Marc
PeterDA hat geschrieben:Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:
Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.
Und auch nur auf demselben Aggregate oder? Macht ja mehr oder minder ein Flex Clone...
roeschu hat geschrieben:PeterDA hat geschrieben:Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:
Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.
Und auch nur auf demselben Aggregate oder? Macht ja mehr oder minder ein Flex Clone...
Wir machen ein Storage vMotion auf die jeweils beschrieben Aggregate hin und her.
macomar hat geschrieben:roeschu hat geschrieben:PeterDA hat geschrieben:Hi,
ergänzent zu Joergs Aussage gibt es eine Einschränkung:
Die beiden DS müssen auf dem selben NetApp Filer liegen sonst geht VAAI nicht. Wenn du auf der NetApp ein HA Pair hast (früher auch als Cluster bekannt) geht VAAI nur innerhalb einer Kopfes.
Und auch nur auf demselben Aggregate oder? Macht ja mehr oder minder ein Flex Clone...
Wir machen ein Storage vMotion auf die jeweils beschrieben Aggregate hin und her.
Ja das habe ich so verstanden. Aber ich meinte das VAAI Operationen nur auf demselben Filerkopf *und* demselben Aggregate gehen.
Erst einmal vielen Dank an alle Kollegen für die Hilfe.
Hier ein erster Zwischenbericht:
Es wurden die Schritte aus diesen Youtube Video druchgeführt
http://www.youtube.com/watch?v=Mu-HyD3E3cw
MTU auf dem vSwich und vmKernel Nics auf 9000 gesetzt.
Aktivieren von Round Robin auf dem Software iSCSI HBA
Die derzeitigen Performancewerte sind:
Größe der Test-vmdk: 72,13 GB
Dauer: 00:04:45
Richtung: von Kopf1 Aggr0 12x 600 GB SAS / Kopf2 Aggr1 24x600 GB SAS
errechneter Durchsatz: 259,16 MB/s
Jetzt fehlt noch die "finale" Lösung alle 4 Karten gleichzeitig zu nutzen, so dass 4x1 GB Performance in Summe zum Switch gehen.
Danke und Gruß
Marc Schömehl
Hier ein erster Zwischenbericht:
Es wurden die Schritte aus diesen Youtube Video druchgeführt
http://www.youtube.com/watch?v=Mu-HyD3E3cw
MTU auf dem vSwich und vmKernel Nics auf 9000 gesetzt.
Aktivieren von Round Robin auf dem Software iSCSI HBA
Die derzeitigen Performancewerte sind:
Größe der Test-vmdk: 72,13 GB
Dauer: 00:04:45
Richtung: von Kopf1 Aggr0 12x 600 GB SAS / Kopf2 Aggr1 24x600 GB SAS
errechneter Durchsatz: 259,16 MB/s
Jetzt fehlt noch die "finale" Lösung alle 4 Karten gleichzeitig zu nutzen, so dass 4x1 GB Performance in Summe zum Switch gehen.
Danke und Gruß
Marc Schömehl
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
macomar hat geschrieben:..
Jetzt fehlt noch die "finale" Lösung alle 4 Karten gleichzeitig zu nutzen, so dass 4x1 GB Performance in Summe zum Switch gehen.
Bitte lies den Thread nochmal von Anfang weil eine TCP Session splittet sich nicht auf und somit kann du bei Zugriff auf nur EINE LUN gleichzeitig nur 1 pNIC verwenden bei NFS.
Gruss
Joerg
-
- King of the Hill
- Beiträge: 12944
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
Welche PathPolicy ist denn fuer die LUN eingestellt? Wenn es RoundRobin ist und die richtige Einstellung gesetzt ist was den Pfadwechsel angeht, von Transfermenge bis Anzahl CMD usw. ist ja einiges Moeglich. Man sollte dann im esxtop sehen wir alle VMKs und somit pNICs Daten transferieren.
Gruss
Joerg
Gruss
Joerg
Zurück zu „vCenter / VMware VirtualCenter“
Wer ist online?
Mitglieder in diesem Forum: Google [Bot] und 6 Gäste