Verbindungsprobleme Fujitsu BX900 <---> Cisco Nexus 55

[Malte K.]

Hallo Leute,
/UPDATE: Hatte gestern etwas wenig Zeit für diesen Thread. Habe diverse dinge ergänzt.:

ich habe hier seltsame Probleme bei der Einrichtung eines Bladecenter mit ESXi4.1
Die Sache ist etwas kompliziert und dies ist das erste Forum, das ich in dieser Sache aufsuche:

Wir haben hier ein nagelneues Bladecenter von Fujitsu beschafft (Typ BX900). Das Bladecenter wird in einem Rack betrieben, der noch ein Cisco Nexus 5548P und einen NetApp FAS3140 + 2 Shelfs enthält.
Ich bin damit beauftragt die Installation dieser Sache zu machen. Der Filer von NetApp ist eingerichtet und läuft Problemlos. Die Nexus ist auch eingerichtet und läuft soweit auch zufriedenstellend (zumindest für die Verbindung zwischen dem Filer und dem Rest des Netzwerks).

Ich bin nun dabei das Bladecenter mit der Nexus zum laufen zu bekommen. Die Bladecenter von Fujitsu haben als Connection-Blades Eigenentwicklungen im Einsatz. Diese Connection-Blades kann man wie eine "normale" Switch betreiben oder in einem so genannten IBP Modus laufen lassen.

Dieser IBP Modus bewirkt, dass die Connection-Blades quasi wie Hubs laufen und die Pakete inklusive der jeweiligen VLAN Tags weiterleiten. Da ich nach dem Motto KISS arbeiten wollte habe ich mich entschieden die Connection Blades in diesem Modus zu betreiben. Die Idee ist, dass die Pakete mit den jeweiligen Tags durch die Switch, duch das IBP Modul und das Blade laufen und dann von dem ESXi Server auf die einzelnen "Virtual Networks" verteilt werden. So kann ich beliebige VLANs an den ESX Server führen. Es gibt keinerlei Portgruppen oder Load-Balancing etc. (siehe Screenshots unten)

Die Nexus habe ich entsprechende der diversen Anleitungen konfiguriert. Es sollen eigentlich Trunks an den Blades liegen, aber das funktioniert leider nicht. Ich bekomme teilweise keine Verbindung zu den ESXi-Servern oder die ESXi-Server können die DNS Server / den Router nicht pingen. Dies klappt dann manchmal (nach neustarts der Server oder "Kabel ziehen") Ich komme zumindest so weit, dass ich über das "Management Network" an die ESXi Server komme. Wenn ich das das iSCSI SAN mit dem NetApp-Filer an den Start bringen möchte klappt zuerst gar nichts. Ich bekomme dann teilweise eine Verbindung, wenn ich das SAN-Interface von dem Filer aus anpinge oder wenn ich das Interface am Filer offline stelle (ifconfig e1b down / up) und dann wieder online bringe. Diese Verbindung bricht aber wieder zusammen, wenn ich den ESXi Server neu starte.

Fazit: Mit der Trunk Konfiguration läuft das alles nicht wirklich gut und ich komme zu keinen echten Ergebnissen.

Ich habe dann testweise die Interfaces auf der Nexus vom Trunk in den access Modus geändert. Wenn ich den Interfaces dann das Entsprechende VLAN zuteile komme ich ohne Probleme auf den Filer und in das SAN. Es hat also definitiv mit den Trunks zu tun.

Es stellt sich nun die Frage: Warum klappt das nicht? Was verhindert das die Verbindung problemlos zu Stande kommt? Hat jemand eine Ähnliche Konfiguration bei sich am laufen? Hat jmd. Erfahrungen mit diesen IBP Modulen?

Falls ihr noch weitere Infos braucht kann ich hier gerne noch etwas ergänzen. Ich werde morgen auch noch eine Grafik hochladen, auf der man das ganze mal bildlich sehen kann.

Im Voraus schon mal: Vielen Dank für mögliche Hilfe!

Verkabelung:




Momentane Konfiguration:
Dies ist die Konfiguration wie ich sie momentan am laufen habe (aber eben ohne die verdammten Trunks):


Der ESXi Server ist folgendermaßen Konfiguriert.:


Das Connection Blade ist wie weiter unten beschrieben konfiguriert.

Die entsprechenden Ports der Cisco Nexus sind folgendermaßen konfiguriert:

Code: Alles auswählen

interface Ethernet1/15
  description BC1-CB1-1/19
  switchport access vlan 620
  spanning-tree port type edge
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on
 
interface Ethernet1/16
  description BC1-CB2-1/19
  switchport access vlan 500
  spanning-tree port type edge
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on

interface Ethernet1/17
  description BC1-CB1-1/23
  switchport access vlan 620
  spanning-tree port type edge
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on

interface Ethernet1/18
  description BC1-CB2-1/23
  switchport access vlan 500
  spanning-tree port type edge
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on


Gewünschte Konfiguration:
Dies ist die Konfiguration, wie ich sie gerne haben möchte die aber Probleme macht. (siehe oben)

Der ESXi Server sollte dann so aussehen:


So sehen die CDP Infos aus, die der ESX Server bekommt (man beachte, dass das IBP hier völlig transparent agiert)




[b]Die entsprechenden Ports der Cisco Nexus sind folgendermaßen konfiguriert:

Code: Alles auswählen

interface Ethernet1/15
  description BC1-CB1-1/19
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on

interface Ethernet1/16
  description BC1-CB2-1/19
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on

interface Ethernet1/17
  description BC1-CB1-1/23
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on

interface Ethernet1/18
  description BC1-CB2-1/23
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on


Die Konfiguration der Connection Blades sieht folgendermaßen aus:

Code: Alles auswählen

C1-CB1# conf
BC1-CB1(config)# show running-config
password admin set ***********
uplink-set "UP_19-22"
uplink-set "UP_23-26"
port-group "DOWN_1-9" "UP_19-22"
port-group "DOWN_10-18" "UP_23-26"
isolate port-group "DOWN_1-9"
isolate port-group "DOWN_10-18"
interface BC1-CB1/0/1
no     port-group
    port-group "DOWN_1-9"
    flowctl on on
    mac storm 2000000k 2000000k close
    exit
interface BC1-CB1/0/2
no     port-group
    port-group "DOWN_1-9"
    flowctl on on
    mac storm 2000000k 2000000k close
    exit
...
interface BC1-CB1/0/25
    uplink-set "UP_23-26"
    flowctl on on
    mac storm 2000000k 2000000k close
    exit
interface BC1-CB1/0/26
    uplink-set "UP_23-26"
    flowctl on on
    mac storm 2000000k 2000000k close
    exit
oob ip address **********
oob ip route 0 default ********
syslog facility 23
line console 0 0
    autologout 8h
    exit
line vty 0 0
    autologout 5m
    exit
terminal logging line 100


[Tschoergez]

Hi!
Poste doch auch mal die Netzwerkkonfiguration Deiner ESX-Server auf den Blades.
Erst dann ist die Dokumentation vollständig.

Welche Nic-Teaming einstellungen hast Du denn am vSwitch?

Viele Grüße,
Jörg

[Klefisch]

Hallo Malte,

ich stimme Tschoergez zu, die Konfiguration der ESX Server wäre nicht verkehrt.
Brauchst du Tags bei deinen ESX Devices oder erwartest du den Traffic untagged?

Mir ist aufgefallen das du auf dem Nexus keinen Channel (mode active) konfiguriert hast. Die Fujitsu IBPs haben aber per default dynamische Channel (LACP) auf den Uplinksets.

Gruß,
Klefisch

[Malte K.]

@Klefisch: Das ist mir auch schon aufgefallen aber ich kann davon nichts direkt in der IBP Config finden. Da ich auch keine Portchannel habe sollte das doch eigentlich keiner Änderung in der IBP Konfig bedürfen oder? (Wenn das so ist muss ich mich wohl im Serverraum einschließen und schreien )

[Klefisch]

Die Channel auf den Uplink-Sets sind wie gesagt Default, daher wird das in der Running-Config nicht ausgewiesen, da diese normalerweise nur Abweichungen vom Default enthält.

Per "show uplink-set" bekommst du aber eine Übersicht über alle Channel bzw. die logischen Interfaces. Du siehst hier immer 2 pro Uplink-Set da für die Port-Backup Funktion immer automatisch auch ein eigenes Interface angelegt wird.

In der Spalte LACP siehst du für das jeweilige Uplink-Set ob es sich um einen dynamischen Channel (LACP = yes / Cisco = mode actives) oder einen statischen Channel (LACP = no / Cisco = mode on) handelt und kannst den angeschlossenen Nxus entsprechend konfigurieren.

Für die VLAN Problematik fehlt wie gesagt noch die ESX Config.

[Malte K.]

@Klefisch: Was genau von der ESX Config brauchst du noch? Ich stelle das dann so schnell wie möglich zur Verfügung. Diese LCAP Sache schaue ich mir gleich mal an.

Hier die Ausgaben von show uplink-set
CB1

Code: Alles auswählen

Uplink Set External       External       External       Link  Port   IGMP
Name       ports          active ports   backup ports   state Backup snoop LACP
---------- -------------- -------------- -------------- ----- ------ ----- ----
default    -              -              -              yes   no     yes   no
UP_19-22   0/19,0/20,     0/19,0/20,     -              yes   no     yes   no
           0/21,0/22      0/21,0/22
UP_23-26   0/23,0/24,     0/23,0/24,     -              yes   no     yes   no
           0/25,0/26      0/25,0/26


CB2

Code: Alles auswählen

Uplink Set External       External       External       Link  Port   IGMP
Name       ports          active ports   backup ports   state Backup snoop LACP
---------- -------------- -------------- -------------- ----- ------ ----- ----
default    -              -              -              yes   no     yes   no
UP_19-22   0/19,0/20,     0/19,0/20,     -              yes   no     yes   no
           0/21,0/22      0/21,0/22
UP_23-26   0/23,0/24,     0/23,0/24,     -              yes   no     yes   no
           0/25,0/26      0/25,0/26


[Klefisch]

Also ich bin nicht der ESX Spezi aber ich hab gerade noch mal auf deine gewünschte Konfig geschaut und wenn ich das richtig sehe erwartest du ja im vSwitch ja getaggte Packete denn du hast ja VLAN 500 und 620 dort konfiguriert.

Im Nexus hast du diese VLANs aber als native auf den Trunks konfiguriert sprich untagged.
Also entweder stellst du jetzt die vSwitche zurück auf untagged oder du änderst das native VLAN auf dem Nexus und erlaubst die entsprechenden VLANs auf dem Trunk.

Nochmal zu den Channeln, die müssten dann aktuell auf dem Nexus als mode on konfiguriert werden. ICh würde dir aber empfehlen LACP zu nutzen, die Gefahr von Problem bei Fehlkonfigurationen ist hier ein bisschen geringer und du hast quasi keine Nachteile.
Oder gibt es einen Grund für static?

[Malte K.]

Erstmal vielen Dank für die Hilfe (ich hatte schon gedacht, dass hier niemand mit diesem Fujitsu Kram etwas anfangen kann)

Das mit dem VLAN hatte ich mir auch schon gedacht. Ich habe die Konfig auf der Nexus nun auch angepasst siehe: switchport trunk native vlan 3333 dies sollte ja nun dafür sorgen, dass die Pakete immer entsprechend der VLAN getaggt werden. Das VLAN 3333 ist bei uns nicht verwendet. Ich denke das ist etwas besser als die Ports auf das VLAN 1 (also ohne ein Native VLAN) zu konfigurieren.

Was LACP angeht kann ich nicht ganz folgen. Die Channel werden doch erst aktiv, wenn ich mehrere Anschlüsse zu einen einzigen Anschluss konfiguriere oder verstehe ich da etwas falsch? Ich werde mir das gleich noch mal durchlesen.

Was meinst du mit Static?

[Klefisch]

Kein Problem. Der offizielle Fujitsu Support ist aber auch nicht schlecht, die hätten dir hier sicher auch geholfen.

Bezüglich der Channel lies mal folgendes:

http://www.cisco.com/en/US/docs/switche ... annel.html

Sollte dann noch was unklar sein meld dich einfach nochmal.

Gruß,
Klefisch

[Malte K.]

Hi Klefisch,

das mit dem Support werde ich glaube ich gleich auch noch mal versuchen.

Wie ich das sehe ist diese ganze Port Channel Sache bei der momentanen Konfiguration nicht wichtig, da ich ja eben nur zwei einzelne "Kabel" habe die von der Nexus zu dem ESX Server gehen (Siehe hierzu meine Zeichnung) ich glaube daher nicht, dass ich hier etwas einstellen muss. Oder was genau meinst du?

Ich habe das momentan mit der Konfiguration am Laufen, die ich als "Gewünschte Konfiguration" beschreibe. Es ist wie ich geschrieben habe: Ich bekomme die LUN nicht gemountet, aber komme auf den Server. Der Server hingegen kann nicht die DNS Server oder die Router anpingen was bei einer "nicht-Trunk" Konfiguration aber funktioniert. Wenn ich nun hergehe und das Interface am Filer offline nehme und wieder online bringe kann ich die LUN mounten aber nach einem Neustart es ESX Server geht nichts mehr. Dann muss ich die gleiche Prozedur wiederholen.

Ich vermute, dass da irgendwas bei dem "aushandeln" der einzelnen Verbindungen nicht klappt aber ich habe keinen Plan was das sein könnte. Die Tatsache, dass alles klappt, wenn ich auf Trunks verzichte macht die Sache nicht eben besser.

[Klefisch]

Die Channel-Geschichte hat erstmal nichts mit dem ESX zu tun sondern bezieht sich auf die Verbindung zwischen IBP und Nexus. Und da der IBP auf den Uplink-Sets nur Channel kann musst du die Nexus Konfiguration entsprechend anpassen.

Über die andere Sache muss ich gleich nochmal Nachdenken, aber konfigurier mal bitte die Channel sauber und check ob das Verhalten dann immer noch da ist.

[Malte K.]

Also ich habe mich eben mal mit dieser Etherchannel / LCAP Sache beschäftigt die Idee wäre ja nun jeden einzelnen Port, der zu den IBP geht in eine einzelne channel-group zu packen (Da die ja alle einzeln funktionieren und nicht gebündelt werden o.ä.). Leider kann ich so LCAP nicht aktivieren es kommt:

Code: Alles auswählen

(config-if)# channel-group 1 mode active
Cannot add active-mode port to on-mode port-channel1

Ich vermute, dass man das nur machen kann, wenn mehr als ein Interface in der channel-group ist. Dies ist bei mir hier aber nicht der Fall.

Bist du dir sicher, dass ich nicht einfach ohne LCAP / Portchannel arbeiten kann? Ich verstehe nicht so ganz warum das nötig ist.

Sollte das wirklich so sein könnte ich noch weitere Kabel anschließen um das mal zu testen aber ich verstehe das nicht so wirklich muss ich sagen.


Aktuelle Nexus Config:

Code: Alles auswählen

!Command: show running-config
!Time: Tue May 17 15:06:17 2011

version 5.0(3)N1(1a)
feature privilege
feature telnet
feature tacacs+
feature private-vlan
feature udld
feature interface-vlan
feature lacp
feature lldp
feature vtp

...
no password strength-check
ssh key rsa 2048
ip domain-lookup

...

class-map type qos class-fcoe
class-map type queuing class-fcoe
  match qos-group 1
class-map type queuing class-all-flood
  match qos-group 2
class-map type queuing class-ip-multicast
  match qos-group 2
class-map type network-qos class-fcoe
  match qos-group 1
class-map type network-qos class-all-flood
  match qos-group 2
class-map type network-qos class-ip-multicast
  match qos-group 2
policy-map type network-qos jumbo
  class type network-qos class-default
    mtu 9216
    multicast-optimize
system qos
  service-policy type network-qos jumbo
vtp mode transparent
slot 2
slot 22
slot 39
slot 234

...
vrf context management
  ip route ...
vlan 1
vlan 500
  name SAN
vlan 600
  name Netz-Management
vlan 620
  name Servernetz
port-channel load-balance ethernet source-dest-ip invalid-hash


interface Vlan1

interface port-channel1
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  speed 10000
  flowcontrol receive on
  flowcontrol send on

interface port-channel2
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  speed 10000
  flowcontrol receive on
  flowcontrol send on

interface port-channel3
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  speed 10000
  flowcontrol receive on
  flowcontrol send on

interface port-channel4
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  speed 10000
  flowcontrol receive on
  flowcontrol send on

...

interface Ethernet1/15
  description BC1-CB1-1/19
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on
  channel-group 1

interface Ethernet1/16
  description BC1-CB1-1/19
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on
  channel-group 2

interface Ethernet1/17
  description BC1-CB1-1/19
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on
  channel-group 3

interface Ethernet1/18
  description BC1-CB1-1/19
  switchport mode trunk
  switchport trunk native vlan 3333
  switchport trunk allowed vlan 2-599,601-3967,4048-4093
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  spanning-tree guard loop
  spanning-tree bpdufilter enable
  flowcontrol receive on
  flowcontrol send on
  channel-group 4

...


[Klefisch]

Du willst doch Nic1 von Server 1,2 & 3 mit VLAN 620 über beide Ports (19&23) des IBP fahren. Wenn du das auf einem normalen Switch versuchen würdest würde Spanning-Tree zuschlagen und dir einen Port blocken.
Und genau aus diesem Grund nimmt man Channel um Switche mit mehreren Ports zu verbinden.

Also konfiguriere bitte Port 19&23 am IBP mit LACP und dann am Nexus Port 15&17 mit mode active. Wie das geht siehst du in der Cisco Doku aus dem letzten Post. Bei Fehlern setzt einfach die Interfaces vorher nochmal auf default.

[Malte K.]

Hallo Klefisch,

ich hatte da echt ein kleines Brett vor dem Kopf muss ich sagen

Diese Konfiguration musste so zu Problemen führen. Ich habe die IBP Module nun erst mal so konfiguriert, dass es nur einen Uplink gibt und alles klappt wunderbar im nächsten Schritt werde ich diese LCAP Sache einstellen.

Endlich klappt das ich hatte echt schon an meinem Verstand gezweifelt


/UPDATE: So das Problem hätte ich dann wohl gelöst LACP läuft auch wie erwartet auch wenn die Cisco Doku da etwas unklar bleibt.

[Klefisch]

Schön das ich dir helfen konnte und viel Spaß mit deiner BX900.

Gruß,
Klefisch