Hallo zusammen,
bei einem Kunden ist heute zum zweitem Mal innerhalb eines Jahres folgendes Phänomen aufgrtreten:
Ein ESX Host (aus einem HA-Cluster mit drei Hosts) hat plötzlich mega hohe Latenzen beim Zugriff auf ein iSCSI Storage. Während die anderen beiden Hosts normale Latenzen auf die gleichen Datastores haben.
Der problematische Host hat durchschnittliche Latenzen von 0,xx ms. Die steigen während des Phänomens aber auf 7500 ms.
VMs auf dem Host laufen in Timeouts. Die Dienste stehen also in der Zeit.
Nach ca 1,5h ist der Spuk wieder vorbei und alles läuft normal.
Ein Rebuild o.A. vom Storage kann ausgeschlossen werden, die anderen Hosts sind in dieser Zeit nciht betroffen!
Der iSCSI Traffic geht über zwei dedizierte (nicht überbuchte!) pSwitche.
Hat jemand eine Idee?
Leider kann der Support nicht kontaktiert werden, da das Storage von IFT nur bis 4.x zertifiziert war, für die 5er stehts nciht mehr in der Liste. Angesprochen wird das Storage über Default_AA nciht ALUA. PSP ist RoundRobin.
Gruß,
Conne
Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!
Plötzlich extrem hohe Latenzen von einem Host aus
Die Hosts sind nicht Baugleich. EVC ist aber aktiv.
Für den iSCSI Verkehr werden aber überall gleiche Netzwertkkarten (zertifiziert) verwendet.
Patchlevel auf allen Hosts identisch.
Kabelart und -länge auch überall gleich.
Es handelt sich hier nicht um ein permanentes Problem. Es taucht sehr selten auf und nur auf diesem einen Host.
Für den iSCSI Verkehr werden aber überall gleiche Netzwertkkarten (zertifiziert) verwendet.
Patchlevel auf allen Hosts identisch.
Kabelart und -länge auch überall gleich.
Es handelt sich hier nicht um ein permanentes Problem. Es taucht sehr selten auf und nur auf diesem einen Host.
Re: Plötzlich extrem hohe Latenzen von einem Host aus
Login hat geschrieben:Der problematische Host hat durchschnittliche Latenzen von 0,xx ms.
Bitte mal prüfen. Latenzen >1ms sind eher unwahrscheinlich...
Was für ein Storage kommt zum EInsatz? Was für Switches kommen zum Einsatz? RR bei SATP Default_AA ist eher unglücklich. Bitte teste MRU oder FIXED.
Ist es IMMER der gleiche Host? Lässt sich das Problem umgehen, in dem du die aktiven Pfade wechselst?
Salute!
wie gesagt, normalerweise habe cih auf all diesen Hosts Latenzen von weniger als 1 ms im Durchschnitt.
Nur während des Spuks sind die Latenzen so exorbitant - und nur auf diesem einen Host.
Betroffen sind hier zwei iSCSI Storages der FA Infortrend (S12E-G1133-2 und DS S12E-G1140-2). Beide waren in Zeiten 4.x noch zertifiziert, für Default_AA und auch RR.
pSwitche sind zwei HP 1810G-8 mit aktiviertem FlowControl und JumboFrames. Pro Switch stecken 5 Kabel drin, wobei die Switches 11,XX Gbit/s auf der Platine verarbeiten können.
VMK ping auf die Storage Channels mit Framesize 8500 geht.
Ich hatte genau dieses Pänomen vor ca einem Jahr auf einem der anderen Hosts, damals war auch nur einer und nicht alle drei Hosts betroffen. Damals war es noch vSphere 4.1. Inzwischen sind die Hosts komplett neu mit ESXi5 installiert, NICHT upgegradet.
Aktive Pfade kann ich in der Konfig nciht welchseln, da die Storages jeweils nur 2x 1GBit Channels für iSCSI bieten und ich diese beide per RR nutze.
Auf MRU oder FIXED möchte ich nicht wechseln, wegen der Leistungseinbuße (1 GbE iSCSI ist eh schon grenzwertig)
wie gesagt, normalerweise habe cih auf all diesen Hosts Latenzen von weniger als 1 ms im Durchschnitt.
Nur während des Spuks sind die Latenzen so exorbitant - und nur auf diesem einen Host.
Betroffen sind hier zwei iSCSI Storages der FA Infortrend (S12E-G1133-2 und DS S12E-G1140-2). Beide waren in Zeiten 4.x noch zertifiziert, für Default_AA und auch RR.
pSwitche sind zwei HP 1810G-8 mit aktiviertem FlowControl und JumboFrames. Pro Switch stecken 5 Kabel drin, wobei die Switches 11,XX Gbit/s auf der Platine verarbeiten können.
VMK ping auf die Storage Channels mit Framesize 8500 geht.
Code: Alles auswählen
Ist es IMMER der gleiche Host? Lässt sich das Problem umgehen, in dem du die aktiven Pfade wechselst?Ich hatte genau dieses Pänomen vor ca einem Jahr auf einem der anderen Hosts, damals war auch nur einer und nicht alle drei Hosts betroffen. Damals war es noch vSphere 4.1. Inzwischen sind die Hosts komplett neu mit ESXi5 installiert, NICHT upgegradet.
Aktive Pfade kann ich in der Konfig nciht welchseln, da die Storages jeweils nur 2x 1GBit Channels für iSCSI bieten und ich diese beide per RR nutze.
Auf MRU oder FIXED möchte ich nicht wechseln, wegen der Leistungseinbuße (1 GbE iSCSI ist eh schon grenzwertig)
Also:
Ich habe den betroffenen ESX durchgebooted -> keine Besserung.
Rep. Installtion des ESX -> keine Besserung.
beide Storages durchgestartet -> keine Besserung
Software iSCSI HBA auf dem ESX deaktiviert, rebooted und wieder aktiviert, Rescan HBA -> Storages werden wieder mit normalen Latenzen angesprochen.
Diverse Tests unter Last -> alles wieder gut.
!?!?!?!?!?!?!?!?!?
In den Logs des ESX habe ich nach ERROR und WARNING gefiltert, da stehen ein paar Einträge, aber ncihts, was für mich auf das Problem hinweist.
WAS IST/WAR DA LOS?
Ich habe den betroffenen ESX durchgebooted -> keine Besserung.
Rep. Installtion des ESX -> keine Besserung.
beide Storages durchgestartet -> keine Besserung
Software iSCSI HBA auf dem ESX deaktiviert, rebooted und wieder aktiviert, Rescan HBA -> Storages werden wieder mit normalen Latenzen angesprochen.
Diverse Tests unter Last -> alles wieder gut.
!?!?!?!?!?!?!?!?!?
In den Logs des ESX habe ich nach ERROR und WARNING gefiltert, da stehen ein paar Einträge, aber ncihts, was für mich auf das Problem hinweist.
WAS IST/WAR DA LOS?
-
Dayworker
- King of the Hill
- Beiträge: 13658
- Registriert: 01.10.2008, 12:54
- Wohnort: laut USV-Log am Ende der Welt...
Sorry, aber der Filehoster ist Schrott und verlangt eine Anmeldung...
Dummerweise scheint das der Nachfolger unseres langjährig genutzter Freehosters http://ifile.it zu sein...
Dummerweise scheint das der Nachfolger unseres langjährig genutzter Freehosters http://ifile.it zu sein...
Zurück zu „vSphere 5 / ESXi 5 und 5.1“
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast