VMware-Forum

Hallo,

stehe hier gerade vor einem grundlegenden Design Problem.
Gegeben sind ein paar ESXi Hosts mit ESXi 6 Update 2 Patch 6. 2 10GB Netzwerkkarten, 2 Switchen und einem einem Storage mit 2 Controller a 2 Ports.

Unser Dienstleister hat pro ESXi Host 2 vSwitche erstellt mit jeweils einer Nic als Uplink.
Beide vSwitche enthalten jeweils einen vmKernel für iSCSI welcher per PortBinding an den Software iSCSI Adapter gebunden ist.

Beide vmKernel befinden sich im gleichen Subnetz: 10.0.2.x/24
Nic 1 ist mit Switch 1 verbunden.
Nic 2 ist mit Switch 2 verbunden.

Das Storage (EMC VNX) enthält 4 Ports (2 je Controller) Alle Ports sind entsprechend auf die beiden Switche per Kreuz gesteckt und haben eine IP aus dem 10.0.2.x/24 Subnetz.

Die Switche sind nicht untereinander verbunden, so dass wir zwei getrennte "Fabrics" haben.

Nun, grundsätzlich finde ich die Lun's vom Storage. Laut Pfad Verwaltung ist Round Robin aktiv und ich sehe auch 2 aktive Pfade. Einmal über vmbha41:C0 und einmal über vmhba41:C1

Im vmKernel Log sehe ich allerdings regelmäßig, dass ein iSCSI Target "down" ist. Fakt ist, da ist nichts down.
Wenn ich von der Commandline mit vmkping das Storage anpinge, erreiche ich auch nur 2 der 4 IP's vom Storage. Nutze ich vmkping -I vmk1 oder -I vmk2 erreiche ich immer die physikalisch erreichbaren IP's. Was ja idr. auch logisch ist.

Aufgefallen sind uns die Probleme dadurch, dass die Hosts beim Booten nun über eine Stunde brauchen um die iSCSI Targets zu erreichen. Danach scheint es zu laufen. Haben allerdings noch keine Last auf der Umgebung.
(Hierzu meinte der DL nun, es liegt am zuletzt eingespielten Patch 6, welcher die iSCSI Suche verändert)


Die Frage die ich mir nun stelle, ist das ein supportetes Design? Also ein Subnetz, über zwei getrennte "Fabrics" ? Oder müsste ich die Fabrics mit einander verbinden, damit es sauber funktioniert?

Oder ist es ein besseres/richtiges Design, wenn zwei getrennte IP Subnetze verwendet werden?

Würde mich über je Art von Erfahrung, bzw. Bewertung freuen. Ich finde zwar überall in den Design Guides von EMC und vSphere das zwei Subnetze verwendet werden. Aber nie warum, und wie physikalisch die Switche/Fabrics verbunden sind.

Vielen Dank.

PS: Crosspost hier: http://www.mcseboard.de/topic/207908-is ... 2-patch-2/

Wenn die getrennten Netze den gleichen IP-Adressbereich haben, woher weiß er dann auf welcher Karte er raus muss?

Hallo,

laut Using EMC VNX Storage with VMware vSphere Seite 47 empfiehlt EMC den Einsatz von zwei Subnetzen.

Gruß,
Ralf

kastlr hat geschrieben:Hallo,

laut Using EMC VNX Storage with VMware vSphere Seite 47 empfiehlt EMC den Einsatz von zwei Subnetzen.

Gruß,
Ralf

... und wenn man 2 (oder mehr) Subnetzte hat dann wird kein Binding der VMKs an den swISCSI Adapter gemacht.

Gruss
Joerg

... und wenn man 2 (oder mehr) Subnetzte hat dann wird kein Binding der VMKs an den swISCSI Adapter gemacht.

Gruss
Joerg

Mit welcher Begründung ?

brave_snoopy hat geschrieben:

... und wenn man 2 (oder mehr) Subnetzte hat dann wird kein Binding der VMKs an den swISCSI Adapter gemacht.

Gruss
Joerg

Mit welcher Begründung ?

1. Steht im VMware vSphere ISCSI Adminstration Guide
2. Steht in dem EMC VNX Best Practice Guide drin

Technisch muss jeder VMK eines swISCSI Portbindings jeden Storage Port erreichen koennen und das kann er nicht wenn er in einem anderen Subnet ist.
Das macht sich bemerkbar wenn man eine etwas groessere Anzahl an Datastores dann hat und man dem ESXi bei Booten zuschaut.... da bekommst du einen Bart weil er da Minuten beim Laden des Moduls und wiederverbinden festhaengt. Er muss die Timeouts abwarten.

Das ganze war hier neulich Thema weil da einer 2 unterschiedliche Storage Systeme hatte.

irix hat geschrieben:

brave_snoopy hat geschrieben:

... und wenn man 2 (oder mehr) Subnetzte hat dann wird kein Binding der VMKs an den swISCSI Adapter gemacht.

Gruss
Joerg

Mit welcher Begründung ?

1. Steht im VMware vSphere ISCSI Adminstration Guide
2. Steht in dem EMC VNX Best Practice Guide drin

Technisch muss jeder VMK eines swISCSI Portbindings jeden Storage Port erreichen koennen und das kann er nicht wenn er in einem anderen Subnet ist.
Das macht sich bemerkbar wenn man eine etwas groessere Anzahl an Datastores dann hat und man dem ESXi bei Booten zuschaut.... da bekommst du einen Bart weil er da Minuten beim Laden des Moduls und wiederverbinden festhaengt. Er muss die Timeouts abwarten.

Das ganze war hier neulich Thema weil da einer 2 unterschiedliche Storage Systeme hatte.

Die langen Bootzeiten sind bei uns genau das Problem.

Nur um die Sache rund zu machen, bei Port Bindung an den swISCSI meinen wir, dass man über Eigenschaften des Software ISCSI in dem Reiter "Netzwerkkonfiguration" die VMKs hinzufügt.

Richtig ?

brave_snoopy hat geschrieben:Die langen Bootzeiten sind bei uns genau das Problem.

Nur um die Sache rund zu machen, bei Port Bindung an den swISCSI meinen wir, dass man über Eigenschaften des Software ISCSI in dem Reiter "Netzwerkkonfiguration" die VMKs hinzufügt.

Richtig ?

Richtig!
Dann entferne mal das Binding und du wirst sehen es bootet wieder Flott und die Anbindung funktioniert immer noch.

Aber an deiner Stelle wuerde ich den von Ralf verlinkten Guide folgen sowie seinem Ratschlag. Was EMC Produkte angeht solltest du hier keinen besseren finden als ihn

Gruss
Joerg

irix hat geschrieben:

brave_snoopy hat geschrieben:Die langen Bootzeiten sind bei uns genau das Problem.

Nur um die Sache rund zu machen, bei Port Bindung an den swISCSI meinen wir, dass man über Eigenschaften des Software ISCSI in dem Reiter "Netzwerkkonfiguration" die VMKs hinzufügt.

Richtig ?

Richtig!
Dann entferne mal das Binding und du wirst sehen es bootet wieder Flott und die Anbindung funktioniert immer noch.

Aber an deiner Stelle wuerde ich den von Ralf verlinkten Guide folgen sowie seinem Ratschlag. Was EMC Produkte angeht solltest du hier keinen besseren finden als ihn

Gruss
Joerg

Danke für die Info. Ralf schreibt ja die Verwendung von 2 Subnetzen. Heißt dann aber auch mit deiner Aussage, bei Verwendung von 2 Subnetzen, welche logisch über VLAN's getrennt sind, die Portbindung aufzuheben ?

Das VMK Portbindung hat man nur wenn mal ein einziges Subnet hat. Also ja du must das entfernen weil du mehr hast als eines.

Der EMC Guide (Seite 43) von da oben zeigt das pro Port eines SP ein Subnet verwendet werden kann. In dem Beispiel sind es dann 4 Subnetze.

Ich habe zwar Kunden mit VNX Systemen aber die machen NFS und ich weis nicht ob jedes Modell aus der Serie 4 Ports hat oder auch mal nur 2 oder mehr.

In ein paar Monaten koennte ich evlt. mehr wissen weil dann ist es Teil der Portofolios mit.

Gruss
Joerg

Hallo Jörg,

bei mir ist es genau anders rum

Gruß,
Ralf