Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Jumbo Frames nachträglich aktivieren

Moderatoren: irix, Dayworker

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Jumbo Frames nachträglich aktivieren

Beitragvon pirx » 16.03.2012, 15:17

Hallo,

hier steht ein Cluster aus 6 ESXi Hosts (DL580G7 + NC523SFP 10 GbE NICs, Procurve 5412 10 GbE iSCSI Switches, P4500 Lefthand iSCSI Storage). Dort sind noch keine Jumbo Frames aktiv.

Soweit ich es herausfinden konnte, sollte jedes der Geräte in der Lage sein mit Jumbo Frames, bzw. einer MTU von 9000, klar zu kommen.

Wenn ich das nun nachträglich überall aktivieren möchte, in welcher Reihenfolge aktiviere ich es am Besten ohne eine Downtime zu verursachen? Mit ESXi 4.1 kann man die MTU des vSwitch und des vmk Ports ja auch nachträglich ändern. Ich habe unterschiedliche Aussagen dazu gelesen in welcher Reihenfolge man es aktivieren soll. Ich würde nur ungern den Zugriff auf die LUNs deswegen verlieren....

King of the Hill
Beiträge: 12940
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 16.03.2012, 15:23

1. pSwitche
2. Storage
3. Host / vSwitche / VMKs

Gruss
Joerg

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Beitragvon bla!zilla » 16.03.2012, 15:24

Wenn du Flow-Control und Jumbo Frames auf den P4500 aktivieren willst, musst du eh das Bonding auflösen, sofern du eines im Einsatz hast. Wenn du das pro Node machst, sollte nichts anbrennen.

1. VLAN auf dem ProCurve anpassen (conf > vlan # > jumbo)
2. P4500 Node anpassen
3. ESXi Host anpassen

Vorher würde ich die Gäste von dem Host auf einen anderen Host verschieben.

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Beitragvon pirx » 16.03.2012, 15:40

Ok, danke euch beiden. Ich hätte vom Gefühl her auch bei den Switches angefangen. Dass das bonding aufgelöst werden muss ist bekannt, ich habe neulich erst (ohne Unterbrechnung) flow control aktiviert. Der ESXi Host geht in den Maint. Mode und wir sicherheitshalber noch mal durchgebootet.

Ich gehe davon aus, dass ein Reboot für den pSwitch nich notwendig ist, schaue aber noch mal im Manual.

King of the Hill
Beiträge: 12940
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 16.03.2012, 15:42

pirx hat geschrieben:..
Ich gehe davon aus, dass ein Reboot für den pSwitch nich notwendig ist, schaue aber noch mal im Manual.


Bei anderen Herstellern waere dies aber der Fall. Aber dafuer hat man doch 2 Switche oder?

Gruss
Joerg

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Beitragvon pirx » 16.03.2012, 16:00

irix hat geschrieben:
pirx hat geschrieben:..
Ich gehe davon aus, dass ein Reboot für den pSwitch nich notwendig ist, schaue aber noch mal im Manual.


Bei anderen Herstellern waere dies aber der Fall. Aber dafuer hat man doch 2 Switche oder?


Ja sicher. Trotzdem verzichte ich wo es geht auf Reboots die nicht nötig sind. Wenn was schief geht, dann beim Reboot. Es sollte aber auch keiner notwendig sein.

HP ProCurve Switch Software
Management and Configuration Guide

Setting the maximum frame size does not require a reboot.

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Beitragvon pirx » 28.08.2012, 10:02

Ich muss das Thema noch mal rauskramen.

Edit: inzwischen ist dieser Cluster auf vSphere 5.

Auf Anfrage bei HP, wie ich beim Umstellen auf Jumbo Frames vorgehen muss, habe ich nun die Antwort erhalten, dass diese ohne Downtime des gesamten Clusters nicht möglich ist. Alle Geräte (ESXi Hosts, iSCSI Switches, Lefthand Knoten) müssten zur gleichen Zeit umgestellt werden.

Kann das jemand so bestätigen, oder mir mit Links zur korrekten Vorgehensweise aushelfen? Den kompletten Cluster mit seinen 270 VMs herunterzufahren ist mehr oder weniger unmöglich.

Ich dachte ja daran es wie weiter oben im Thread beschrieben im laufenden Betrieb durchzuführen:

- Jumo Frames auf den Switches ändern
- möglichst gleichzeitig alle Lefthand Knoten umstellen (was passiert mit dem Netzwerk RAID 10 zwischen einzelnen LH Knoten, wenn diese nicht die gleichte MTU haben?)
- ESXi Hosts (die ESXi Hosts kommunizieren ja im iSCSI Netz nicht untereinander, daher sollte ein kurzzeitiges Mischen der MTUs auf den ESXi Host nicht kritisch sein).

Ich bin mir nicht sicher was in dem Moment passiert, wenn die Lefthands schon eine MTU von 9000 haben und die ESXi Hosts noch 1500. Antwortet die LH dann auf 1500er Pakete von den ESXi Hosts mit 9000er Paketen, und wenn ja, was ist die Auswirkung?

Benutzeravatar
Guru
Beiträge: 3138
Registriert: 22.02.2008, 20:01
Wohnort: Hessen

Beitragvon PeterDA » 28.08.2012, 10:06

Hi,
Trotzdem verzichte ich wo es geht auf Reboots die nicht nötig sind. Wenn was schief geht, dann beim Reboot. Es sollte aber auch keiner notwendig sein.


Das Verfahren finde ich aber gefährlich, wenn die Switch dann Monate später doch mal einen Reboot braucht und du z.B. vergessen hast die Konfig zu speichern, dann geht ncihts mehr und du weist eigendlich nicht so genau was passiert ist bzw. was man alles geändert hat. Es sei denn du hast eine extrem gute Doku. Die habe ich aber noch nirgends gesehen.....

Gruß Peter

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Beitragvon pirx » 28.08.2012, 10:25

PeterDA hat geschrieben:Hi,
Trotzdem verzichte ich wo es geht auf Reboots die nicht nötig sind. Wenn was schief geht, dann beim Reboot. Es sollte aber auch keiner notwendig sein.


Das Verfahren finde ich aber gefährlich, wenn die Switch dann Monate später doch mal einen Reboot braucht und du z.B. vergessen hast die Konfig zu speichern, dann geht ncihts mehr und du weist eigendlich nicht so genau was passiert ist bzw. was man alles geändert hat. Es sei denn du hast eine extrem gute Doku. Die habe ich aber noch nirgends gesehen.....


Ein Reboot der Switches ist ok und kein Problem, das habe ich in den letzten Monaten häufiger gemacht ohne das was schief gelaufen ist.

Momentan bin ich aber mehr an der Aussage vom Support interessiert, dass die Umstellung der MTU nicht ohne Downtime des ganzen Clusters möglich ist. Bzw. wie das korrekte vorgehen ist.

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Beitragvon pirx » 28.08.2012, 14:34

Ich habe den VMware Foren folgende Antwort erhalten:

Code: Alles auswählen

I do not think you would have to shut down the whole cluster.

For me the order should be something like:

Physical switch: change to MTU on the iSCSI VLAN to 9000. This should not affect anything.

Virtual switch: change the MTU on the vSwitches connecting to the Vmkernels for iSCSI. Should also not disturb anything.

iSCSI SAN: Next change here. However, I do not know if the specific Lefthand SAN has to do anything for this change to apply. This you must check with HP. Perhaps the interface has to be shut down and up or something. This is SAN specific.

All this steps will not affect the actual MTU used. It is a common misunderstanding that all devices must have the same MTU settings or not the network will blindly sent large frames all over the place. The actual MTU being used is negotiated between the end nodes at the TCP session setup. This means that as long as the VMkernel iSCSI is not changed no frames will be larger than default.

So for the final step you should change the Vmkernel iSCSI adapters to 9000, and now all end-to-end devices must be configured with the higher MTU size. For the larger MTU to start apply a new TCP session to the iSCSI SAN must be setup and I does not know any real good way to easy verify this. If possible, it could be good to set a host to Maintance mode, migrate the VMs, change the Vmkernel MTU and then reboot.



Wenn ich es richtig verstehe, kann ich mir durch die Umstellung eigentlich nicht in den Fuß schießen, da im worst case die MTU von 9000 einfach nicht verwendet wird. Wobei ich in Erinnerung habe, häufiger von Problemen genau in diese Richtung gelesen zu haben.

Profi
Beiträge: 503
Registriert: 08.08.2008, 10:45

Beitragvon pirx » 31.08.2012, 13:14

Ich habe es nun schriftlich. Laut HP kann die Umgebung nicht im laufenden Betrieb auf Jumbo Frames umgestellt werden.

Unsere Tests in einer Laborumgebung haben ergeben,

dass die Umstellung auf Jumbo Frames nicht am aktiven Lefthand Cluster durchgeführt werden kann.

Diese Veränderung greift tief in die vorhandene Infrastruktur ein, und die Umstellung an den Nodes hätte zur Folge, dass diese nicht mehr an der Kommunikation innerhalb des Clusters teilnehmen können.

Davon wäre die Spiegelung sowie Lastverteilung auf den Nodes betroffen.

Eine Umstellung am aktiven Cluster wird seitens HP nicht supported.


Zurück zu „ESXi 4“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 7 Gäste