[solved] Intel x710

[greenix]

Hallo,
bin dabei neue ESX Server zu installieren. Mit Intel x710 10 GB Netzkarten. Probleme macht die Intel x710 Netzwerkkarte mittels FC. VMware ISO Image 6.7u3 ist installiert, das Netzwerk sagt das der Link up ist, aber es lassen sich keine Daten senden. Weder ping noch sonst etwas funktioniert.

Ich hatte schon in mehreren Foren (Dell, VMware, Intel) gelesen das es damit Probleme gibt, aber keine Lösung gefunden.
Manche haben alte Treiber installiert (i4e), andere haben andere Netzwerkkarten genommen (worst case). Welche würden den funktionieren?
Hat vielleicht hier jemand eine Lösung


Daten:
DEll Server 740
Intel x710
VMware 6.7U3

Netztreiber:
Driver:i40en
Firmware Version:7.10
Version: 1.9.5

viele Grüße
Jens

[~thc]

Aus dem Datasheet der 710er Serie:

Note:
The X710/XXV710/XL710 does NOT support Fibre Channel over Ethernet (FCoE).

[greenix]

Habe mich verkehrt ausgedrückt.
Das sind FC-Kabel die mit SFP+ an die x710 angeschlossen sind. Darüber soll dann Ethernet laufen.
Also die Trunks für die VLans und für das Management von VMware.
Also eigentlich Ethernet over Fiberchannel.

[greenix]

Was du schriebst ist richtig. Muss wohl FCoE sein.
Da das nicht mehr unterstützt wird, welche NICs nehmt ihr wenn ihr 10 GB haben wollt?

[~thc]

Ich selbst nutze nur iSCSI und NFS als Storageprotokolle.

Ich habe aber gelesen, dass 10GBE FCoE-Adapter keine reinen Netzwerkkarten sind, sondern Kombinationen aus FCoE-HBA und NIC - genannt CNA. Man kann den FCoE-Teil natürlich auch in Software ausführen (so wie der VMWare Software-iSCSI-Adapter, dass geht dann zulasten der Host-CPU), aber ich bilde mir ein, dass ESXi 6.x das nicht per Software kann.

Wenn ich damit richtig liege, brauchst du ein CNA und keine NIC - manchmal werden die auch "CNA enabled NIC" genannt.

[irix]

Stopppp!
Ich glaube greenix hat uns nun 2x unbeabsichtigt ins Boxhorn gejagt in dem er zuerst FC sagte und dann nochmal das er Ethernet over Fibrechannel macht will. Oder habe ich es falsch verstanden?

Er sagt aber auch das er eigentlich nur Ethernet will wie es jeder will. Der Anschlusstyp ist halt SFP+ anstelle BaseT und somit Optisch. Die Woertchen Fibre vergessen wir einfach mal.

Hmm..... also ich habe garantiert schon ESXi Hosts mit der Intel x710 verkauft und kann mich nicht an Probleme erinnern wobei bei den aktuellen Intel extrem viel aus dem Treiber kommt und der sehr komplex ist. Die Mehrzahl meiner Hosts und die welche ich verkaufen hat aber die Broadcom (war mal guenstiger und evtl. ist sie das auch noch).

Was fuer ein Transceiver steckt denn drin oder kommt ein DAC zum Einsatz? Waren Transceiver bei der Karte dabei oder hast du irgendwelche genommen? Ich kann in meine Matrix gucken und das pruefen. Ansonsten sei gesagt das er verschiedene Arten von SR (ShortRange) Transceivern gibt fuer die enstprechenden Intel,Broadcom und Switschport.

Und wie immer wenn man ein Kabel hat....... es hat zwei Enden und das Problem kann auch auf Switchseite liegen. Welcher Switch und wie schaut die Konfig aus und falls VLANs ist es denn auch im ESXi verwendet worden?

Gruss
Joerg

[greenix]

Ja Jörg, das ist es was ich meine. Einfach Ethernet über ein SFP+. Sorry, wenn ich mich unklar ausgedrückt habe.
Die Transceiver wurden von Dell mitgeliefert.
An der anderen Seite, einem Cisco Switch, wurden die Transceiver durch unsere Netzwerkadmins besorgt.
Die haben da extra original Cisco Transceiver besorgt.
Unsere Netzadmins sehen auch das der Link besteht und das Broadcast Pakete gesendet werden, aber keine Nutzerdaten.

Die ganze SAN Umgebung hat ein eigenes VLAN. Da stehen alle ESX-Server und benötigten Komponenten drinnen. Ich kann nicht mal ein ping an Server innerhalb dieses VLan senden. z.B. VCenter.

Eigentlich sieht das auch alles Top aus wenn ich mir mit
esxcli network nic list und
excli network nic get -n vmnic0

die Umgebung ansehe:

Advertised Auto Negotiation:true
Advertised Link modes: Auto, 1000BaseSR/Full, 10000BaseSR/Full
Auto Negotiation: true
Cable Type: FIBRE
Current Message Level:0
Driver Info:
Bus Info: 0000:18:00
Driver: i40en
Firmware Version: 7.10 0x800075e5 19.5.12
Version: 1.9.5
Link Detect:true
Link Status:up
Name: vmnic0
PHYAddress:0
Pause Autonegotiate:false
Pause RX:true
Pause TX:true
Support Ports: FIBRE
Supports Auto Negotiation: true
Supports Pause: true
Supports Wakeon: true
Transceiver:
Virtual Address: 00:50:56:56:ff:90
Wakeon: MagicPacket(tm)

Bin etwas ratlos.

[irix]

Kann du mal auf 2 Servern nen VMK isolieren bzw. neu anlegen und eine VMNICx zuordnen. Dem VMK dann mal zwecks Test eine Dummy Netzt ala 192.168.78.x zuordnen und dann beiden NIC Ports direkt verkaben ohne Switch? Du solltest dann von der ESXi Konsole den anderen Host in dem Dummy Subnet anpingen koennen.

Du kannst mir mal die SKU von dem Dell Transceiver sagen.

Man koennte mal FW und ESXi Treiber Versionen auf der HCL kontrollieren und anstelle des NATIVE evtl. den alten VMKlinux Treiber ausprobieren. Allerdings kommt mir FW 19.5.12 durchaus bekannt vor und ohne nachgeschaut haben sollte es aktuell sein. Mit dieser Version supportet Dell auch ihre "Gut und Guenstig" SR Transceiver (so stehts in meiner Matrlix).

Ich hab seit 2010 Dell 10G Netwerk und so richtige Stoplersteine eigentlich nicht erlebt im Gegensatz zu 25G was irgend von einem anderen Planeten zustammen scheint.

Gruss
Joerg

[greenix]

Boh, Asche auf mein Haupt.
Es fehlte der VLan Eintrag auf dem ESX-Server.
Selbst innerhalb seines eigenen VLans möchte der ESX-Server die ID wissen.
Glaube mich zu erinnern das Cisco-Switche darauf bestehen.
Kleiner Fehler, große Wirkung.

Danke für eure Unterstützung.

[irix]

Wenn man tagged dann auch richtig!

Aber manchmal muss man auch nur drueber sprechen. Wir breiten den Mantel Schweigen aus und erzaehlen es nicht weiter.

Gruss
Joerg

[ReedyTT]

Ich würde behaupten, das ging jedem schon mal so mit vergessenen VLANS