Bladecenter H - 3x HS23 Blade - Bei 1 Blade fehlt ein vmnic

[himbeertony82]

Hi,

ich habe ein komisches Phänomen bei einem HS23 Blade in einem Bladecenter H:

Insgesamt sind bislang 3 x baugleiche HS23 Blades verbaut

Alles wurden gleich installiert (Neuinstallation), jedoch fehlt bei einem Blade vmnic3 in der Konfig...

Unter /etc/vmware/esx.conf taucht der vmnic3 nur als device auf, nicht mit virtueller MAC.

sieht dann so aus:

Code: Alles auswählen

/device/000:027:00.1/vmkname = "vmnic5"
/device/000:012:00.0/vmkname = "vmhba0"
/device/000:027:00.0/vmkname = "vmnic4"
/device/000:032:00.0/vmkname = "vmnic6"
/device/000:032:00.1/vmkname = "vmnic7"
/device/000:000:26.0/owner = "vmkernel"
/device/000:022:00.4/vmkname = "vmnic2"
/device/000:022:00.5/vmkname = "vmnic3"
/device/000:000:29.0/owner = "vmkernel"
/device/000:022:00.0/vmkname = "vmnic0"
/device/000:022:00.1/vmkname = "vmnic1"


...

Code: Alles auswählen

/net/pnic/child[0006]/mac = "00:0a:f7:0d:17:3c"
/net/pnic/child[0006]/virtualMac = "00:50:56:5d:17:3c"
/net/pnic/child[0006]/name = "vmnic6"
/net/pnic/child[0005]/mac = "00:0a:f7:0d:17:3a"
/net/pnic/child[0005]/virtualMac = "00:50:56:5d:17:3a"
/net/pnic/child[0005]/name = "vmnic5"
/net/pnic/child[0008]/mac = "36:40:b5:e7:59:33"
/net/pnic/child[0008]/virtualMac = "00:50:56:57:59:33"
/net/pnic/child[0008]/name = "vusb0"
/net/pnic/child[0007]/mac = "00:0a:f7:0d:17:3e"
/net/pnic/child[0007]/virtualMac = "00:50:56:5d:17:3e"
/net/pnic/child[0007]/name = "vmnic7"
/net/pnic/child[0000]/mac = "34:40:b5:e2:b2:58"
/net/pnic/child[0000]/virtualMac = "00:50:56:52:b2:58"
/net/pnic/child[0000]/name = "vmnic0"
/net/pnic/child[0002]/mac = "34:40:b5:e2:b2:5a"
/net/pnic/child[0002]/virtualMac = "00:50:56:52:b2:5a"
/net/pnic/child[0002]/name = "vmnic2"
/net/pnic/child[0001]/mac = "34:40:b5:e2:b2:5c"
/net/pnic/child[0001]/virtualMac = "00:50:56:52:b2:5c"
/net/pnic/child[0001]/name = "vmnic1"
/net/pnic/child[0004]/mac = "00:0a:f7:0d:17:38"
/net/pnic/child[0004]/virtualMac = "00:50:56:5d:17:38"
/net/pnic/child[0004]/name = "vmnic4"


ich habe dann folgendes ergänzt:

Code: Alles auswählen

/net/pnic/child[0003]/mac = "34:40:b5:e2:b2:5e"
/net/pnic/child[0003]/virtualMac = "34:40:b5:e2:b2:5e"
/net/pnic/child[0003]/name = "vmnic3"


KEIN ERFOLG

Code: Alles auswählen

esxcfg-nics -l
Name    PCI           Driver      Link Speed     Duplex MAC Address       MTU    Description
vmnic0  0000:16:00.00 be2net      Down 0Mbps     Half   34:40:b5:e2:b2:58 1500   Emulex Corporation OneConnect 10Gb NIC (be3)
vmnic1  0000:16:00.01 be2net      Down 0Mbps     Half   34:40:b5:e2:b2:5c 1500   Emulex Corporation OneConnect 10Gb NIC (be3)
vmnic2  0000:16:00.04 be2net      Up   1000Mbps  Full   34:40:b5:e2:b2:5a 1500   Emulex Corporation OneConnect 10Gb NIC (be3)
vmnic4  0000:1b:00.00 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:38 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vmnic5  0000:1b:00.01 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:3a 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vmnic6  0000:20:00.00 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:3c 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vmnic7  0000:20:00.01 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:3e 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vusb0   Pseudo        cdc_ether   Up   10Mbps    Half   36:40:b5:e7:59:33 1500   Unknown Unknown


Im Bios wird die NW-Karte ordnungsgemäß erkannt. Ich kann die MAC-Adresse etc. sehen / konfigurieren.

Sofern ich die esx.conf editiere ändert sich nichts..

Ich sehe dass die Karte intern am Nortel Switch verbunden ist.


Jemand eine Idee? Was kann ich tun? Welche Logs muss ich prüfen?

[pirx]

Was sagt denn esxcfg-nic -l, bzw. ethtool -i vmnic3 ?

[himbeertony82]

Was sagt denn esxcfg-nic -l, bzw. ethtool -i vmnic3 ?

Code: Alles auswählen

/etc/vmware # ethtool -i vmnic3
Can not get control fd: No such file or directory


Code: Alles auswählen

esxcfg-nics -l
Name    PCI           Driver      Link Speed     Duplex MAC Address       MTU    Description
vmnic0  0000:16:00.00 be2net      Down 0Mbps     Half   34:40:b5:e2:b2:58 1500   Emulex Corporation OneConnect 10Gb NIC (be3)
vmnic1  0000:16:00.01 be2net      Down 0Mbps     Half   34:40:b5:e2:b2:5c 1500   Emulex Corporation OneConnect 10Gb NIC (be3)
vmnic2  0000:16:00.04 be2net      Up   1000Mbps  Full   34:40:b5:e2:b2:5a 1500   Emulex Corporation OneConnect 10Gb NIC (be3)
vmnic4  0000:1b:00.00 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:38 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vmnic5  0000:1b:00.01 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:3a 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vmnic6  0000:20:00.00 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:3c 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vmnic7  0000:20:00.01 bnx2        Up   1000Mbps  Full   00:0a:f7:0d:17:3e 1500   Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX
vusb0   Pseudo        cdc_ether   Up   10Mbps    Half   36:40:b5:e7:59:33 1500   Unknown Unknown


[pirx]

Seltsam.... Was sagt "lspci | grep Network" ?

Ansonsten hilft vll. http://kb.vmware.com/kb/2019871 weiter.

[himbeertony82]

Seltsam.... Was sagt "lspci | grep Network" ?

Ansonsten hilft vll. http://kb.vmware.com/kb/2019871 weiter.

Code: Alles auswählen

~ # lspci | grep Network
00:16:00.0 Network controller: Emulex Corporation OneConnect 10Gb NIC (be3) [vmnic0]
00:16:00.1 Network controller: Emulex Corporation OneConnect 10Gb NIC (be3) [vmnic1]
00:16:00.4 Network controller: Emulex Corporation OneConnect 10Gb NIC (be3) [vmnic2]
00:16:00.5 Network controller: Emulex Corporation OneConnect 10Gb NIC (be3) [vmnic3]
00:1b:00.0 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX [vmnic4]
00:1b:00.1 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX [vmnic5]
00:20:00.0 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX [vmnic6]
00:20:00.1 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709S 1000Base-SX [vmnic7]


im /var/log/vmkernel.log sehe ich folgenden eintrag:

Code: Alles auswählen

2013-04-12T08:15:42.588Z cpu8:8743)<6>bnx2 0000:20:00.1: vmnic3: Broadcom NetXtreme II BCM5709 1000Base-SX (C0) PCI Express found at mem aa000000, IRQ 208, node addr 00:0a:f7:0d:17:3e
2013-04-12T08:15:42.588Z cpu8:8743)<6>bnx2 0000:20:00.1: vmnic3: NetQueue Ops registered [3]


d.h. der vmnic3 wird dem broadcom adapter zugeordnet und nicht der emulex karte?
habe ich einfluss darauf?

[pirx]

Das sieht alles komisch aus. Falls der der Host noch nicht produktiv ist, würde ich ihn noch mal neu installieren, oder zumindest mit dem Installations ISO anbooten und bevor die Installation beginnt, auf die Console wechselen und dort mit esxcfg-nic usw. den Status anschauen. Wenn dort auch die vmnic3 feht, dann liegt es nicht an der aktuellen Installation.

Du könntest auch die esx.conf löschen und schauen was passiert. Bei unseren IBM Flex System Nodes/Blades habe ich übrigens Ethernet-über-USB im BIOS/Web-GUI deaktiviert (vusb0), den automatisch angelegten vSwitch auch.

[irix]

Also dieses vusb0 auf IBM Hosts hat uns auch graue Haare beschehrt beim Umgang mit den Hostprofiles. Die mochten das Ding gleichmal garnicht. Leider weis ich es nicht mehr ob man es auskomentieren konnte in den Host Profiles oder ob wie die Funktion im BIOS deaktiviert hatten.

Die Dinger mal schwupps loeschen ist nicht weil da ein Watchdog im Hintergrund laeuft welche die Dinger abfragt und automatisch wieder anlegt.

Gruss
Joerg

[pirx]

Ich hatte damals in den IBM Foren nachgefragt, habe dann aber den dort beschriebenen workaround selber gefunden.

http://webcache.googleusercontent.com/s ... de&ct=clnk

Am Ende habe ich das USB-Ethernet-Adapter einfach deaktiviert, so ist auch die Empfehlung von IBM.

http://www-01.ibm.com/support/docview.w ... g3T1018919

EDIT: ich habe bisher keine besonders gute Meinung von den IBM Systemen. Ich habe es geschafft über das ASU Tool, mit dem ich die Blades initial konfiguriere, eine komplettes Blade dauerhaft abzuschießen. Bestimmte IPv6 Einstellungen damit zu setzten ist ein no no (z.B. deaktivieren)!