Die Leistung des Gerätes naa.xxxxx hat sich verschlechtert

[mcdaniels]

Hallo!

Ich hab hier seit ca 2 Monaten einen VM Ware Esxi 5.5.0 - 1331820 laufen.

Als Esxi Host kommt ein Dell Poweredgte T420 (mit aktueller Firmware) zum Einsatz.

Konfiguration: 6x600GB SAS 15K Platten, Raid 10, mit Dell Perc H710P Adapter, 96GB Ram

Nachdem heute ein paar Updates für den Server 2012 in der VM angestanden sind, habe ich diese installiert und den Server dann neu gestartet. Dabei ist mir aufgefallen, dass der Server ewig lange braucht um hochzufahren.

Ein Blick in die Ereignisse der VM brachte dann schließlich folgende Meldung zu Tage:

Die Leistung des Gerätes naa.xxxx (lange Zahl) hat sich verschlechtert. Das Gerät NAA = die Festplatten des Datastore. Die E/A Latenz hat sich von einem Durchschnittswert von 404ms auf 17386ms gesteigert.

Ich hab schon ein wenig gegoogelt, aber nichts wirklich Aussagekräftiges gefunden. Einige meinen offenbar, dass das eine normale Warnung ist. Allerdings ist die Latenz schon extrem hoch, wenn man bedenkt, dass der Server noch nicht unter Last läuft....

Könnt ihr mir da eventuell einen Tip geben?

Danke!

LG
Daniel

[JustMe]

Tja, das ist halt der Aerger mit diesen Suchmaschinen: Dass es eben keine FINDEmaschinen sind...

Aber im Ernst:
Was immer von besorgten Lesern dieser Warnung uebersehen wird ist, dass eben nicht der DURCHSCHNITTSWERT auf die riesige Zahl angestiegen ist, sondern diese Warnung nur fuer EINE EINZIGE Transaktion gilt. Solange der Durchschnittswert niedrig bleibt, ist meines Erachtens alles ok.

VMware hat sich dazu im KBArtikel Storage device performance deteriorated verbreitet.

Wenn also sichergestellt ist (wie im KB beschrieben), dass kein HW-Problem des Storage besteht, kann man diese Meldungen komplett vernachlässigen. Ausser in dem einen Spezialfall, wo man als Speicherplatzbereitsteller bestimmte Zusagen gegeben hat, selbstverstaendlich.

[Supi]

Was sagt denn der Status des Raids? (auch im Vcenter)
aktueller OMSA installiert?
http://www.dell.com/support/drivers/de/ ... egoryId=SM

Je nach umfang der Updates kann das schon mal dauern und auch höhere schreiblast erzeugen. 6 Platten im R10 sind ja jetzt auch nicht so die Rakete.
Angeleht an Blazilla http://www.blazilla.de/index.php?/archi ... ation.html
kommst du auf max 600 IOPS.
Vielleicht gibts ja noch für eine der Platten ein FW Update.
Was passiert, wenn du in der VM ein wenig I/O Last erzeugst?

Edit: Ansonsten hat JustMe das wesentlich dazu noch erläutert.

[mcdaniels]

Hallo,
danke für das Feedback!

FW Update der Platten werde ich checken, HW-Raid defekt kann ich aufgrund der LOGS ausschließen.

OMSA @VMWareExsi habe ich (noch) nicht installiert.

Was mir allerdings u.a. aufgefallen ist ist, dass der Dell Perc H710P eine Chiptemp von 94 Grad im Leerlauf hat... Das Kühlsystem des Dell T420 ist ein wenig eigenartig.. .wie ich finde...

Das kann jedenfalls nicht im Sinne des Erfinders sein. Interessanterweise wird das Ding passiv gekühlt.

Werde die Daten aus dem VCenter und OMSA nachreichen.

Danke!

LG
Daniel

[Supi]

bzgl. der Temps:

der Controller ist bis 60 °C Umgebungstemperatur ausgelegt. Daher sind die 94 °C wohl? noch ok.
Anders gesagt:
http://www.storagereview.com/dell_power ... 12g_review > Idrac Settings Thermal
kannst du wie hier auch die Einstellungen ändern? Wenn ja, ändert sich dann etwas?

[Dayworker]

Ausgehend von LSI-Controllern gelten die 60°C nur ohne BBU, mit sind dann meist nur noch 55°C zulässig und diese 55°C sind meist auch der Punkt, bei dem Festplatten grössere Probleme mit der Zuverlässigkeit bekommen.
Das viele Raid-Controller passiv gekült sind, darf nicht dazu führen, daß diese keine weitere Kühlung bekommen. Es macht speziell für den Einsatz im Rack nur wenig Sinn, dem Raid-Controller einen passenden Lüfter zu verpassen, wenn dadurch die gesamte Luftführung gestört wird. Ausgehend von normalen PCIe-Steckplätzen bis x8-Breite dürfen diese bis zu 25W verbrauchen, während bei Low-Profile-Karten nur bis zu 10W erlaubt sind.

[mcdaniels]

Hallo nochmals,
Ich habe nun auch noch einen andren Dell Server (T320) mit selbem Controller geprüft. Dieser hat im Leerlauf 80 Grad Celsius.

Wenn man sich nun das Kühlsystem dieser T320 / 420 Server anschaut, muss ich sagen, dass ich es nicht ganz verstehe.

Die Controller stecken in den dafür vorgesehenen PCI-Express Steckplätzen. Hinten am Gehäuse ist ein großer Lüfter, der allerdings durch eine Plastikabdeckung abgeschottet ist. Somit wird die Luft eigentlich nur über die CPUs und den Ram "gezogen". Die PCI Express Steckkarten bekommen da wohl kaum etwas "ab". (D..h. kaum Luftzirkulation im oberen Bereich des Mainboards?)

Obwohl der 710P das High End Modell ist, wird es ohne Lüfter ausgeliefert... und bekommt dann derlei hohe Temps sogar im Leerlauf.

Ich habe bereits den Dell Support kontaktiert. Dort meint man zumindest dass über 90 Grad Celsius schon sehr hoch ist (noch dazu im Leerlauf).

Da aber auch ein anderer Dell Server diese hohen Temps beim gleichen Controller aufweisen frage ich mich, wie lang die Dinger denn laufen, wenn sie unter Last stehen....

Alternative: Selbst einen Lüfter drauf montieren?

@Supi: Wenn ich diese Einstellung ändere, dann komme ich mir vor wie am Flugplatz (beim Start der Concorde)... Dadurch gehen die Temps aber definitiv runter...

Leider steht die Kiste in meinem Büro ... ist also nicht so toll

LG
Daniel

[blue_focus]

Servus,

ist wohl die Frage was das RAID grade treibt.
Hat das eine Last die vom ESXi kommt oder beschäftigt es sich gerade mit sich selbst -> RAID Rebuild etc.

Schau dir mal die Performancecharts deines Datastores an im vShere Client. Solange hier die Graphen in Schnitt unter 20ms bleiben ist alles im grünen Bereich. Sind die aber ständig > 30ms hat das definitiv einen Performanceimpact auf die VMs.

Bei den Charts solltest du auch schön sehen, was du so an IOPS machst und von wem die ausgelöst werden.

[mcdaniels]

Hey,
das Raid macht überhaupt nichts. Ich bin zuletzt im Raid Controller Bios gestanden und habe beobachtet wie die Temps kontinuierlich bis um die 88 Grad Celsius geklettert sind.

Es läuft keine Rebuild.

Werde mir die Performancecharts mal anschauen!

LG
Daniel

[Dayworker]

Wenn der Controller nur passiv gekühlt ist, sind die hohen Temperaturen verständlich und trotzdem deutlich oberhalb der zulässigen Temperaturen.
Die Kühlerfinnen dürfen auch nicht höher sein, da diese sonst bei Rack-Servern zu Platzproblemen führen und sich die Erweiterungskarten berühren würden.

Das Dells Verständnis zur Lautstärke ihrer Server nicht mit dem normalen, menschlichen Hörempfinden übereinstimmt, habe ich auch schon bei meinem T110ii am eigenen Leib feststellen müssen. Wenigstens funzt die Lüftersteuerung insoweit, daß sägezahnartiges auf- und abtouren der Lüfter unterbleibt.

Wenn ich mir mal Bilder zum T420 ansehe, ist die Positionierung der PCIe-Erweiterungsstecklätze direkt unterm Gehäusedach wirklich etwas ungünstig. Mein T110ii ist da in vielerlei Hinsicht etwas einfacher gestrickt und der H200-Controller steckt auch im obersten Erweiterungssteckplatz in der Nähe der Lufthutze. Mit einer zweiten Karte stehe ich aber höchstwahrscheinlich vor demselben Problem.

[UrsDerBär]

Zu Temperaturen: Keine Elektronik mag hohe Temperaturen. Manche hälts nur länger aus. Vor allem die Kondensatoren verdursten bei hohen Temperaturen ziemlich zügig. Ist die Kapazität zu gering, können die Ihrer Aufgaben nimmer gerecht werden. Das endet in teilweise unerklärlichen Fehlern. Deshalb immer schauen, dass man die Temperaturen möglichst runter bringt.

Bei vielen Consumer-Geräten werden die Kondis heute sogar bewusst in die Nähe der heissen Objekte verbaut. So funktionieren die Geräte eine Zeit lang hervorragend und perfekt, die Kondis altern aber dennoch verhältnissmässig zügig und die kleinen Zickereien fangen an. Zu den ganzen Hardware Bugs mit Zeitschaltern etc. die extra Fehler bringen oder die Laufzeit künstlich verkürzen obwohl noch alles in Butter ist, aber nen zähler sagt nein und die Software drauf reagiert.


Wie auch immer, mal nen IO mit hoher Latzenz ist wie die Vorredner schon sagten nicht wirklich bedenklich.

[mcdaniels]

Hallo Leute,
ich habe mittlerweile bei Dell ein Ticket "gelöst". Dell ist der Meinung, dass die Temperaturen viel zu hoch sind. (Support-MA per Telefon)

Als ich ihnen gesagt habe, dass sich das Gerät im Leerlauf befindet, waren die erstmal paff. Ich werde aber vermutlich wohl nicht der Einzige sein, der hiermit kämpft. (siehe Dayworker).

Einerseits will man die Hardware (den Controller) austauschen lassen, andererseits wird es wohl NICHT das Problem sein...

Ich bin ernsthaft am überlegen, ob ich da nicht selbst einen Lüfter installiere, auf dem Kühlkörper...

Update: Soeben einen Anruf vom Dell Support (2nd Level) erhalten... "Die Dinger werden bis 120 Grad heiß". Es soll aber im Sommer ein Firmware Update geben...

Fazit: Ich montiere einen Lüfter...

LG

[MarcelMertens]

Wo seht ihr die Temperatur?
Bei unserem T610, R710 und R720 sehe ich weder im iDRAC noch OMSA oder Hardware Status im vSphere Client eine Temp. Anzeige für den RAID Controller

[mcdaniels]

Hallo,
die Temps sieht man a.) im Controllerbios und b.) spürt man sie, wenn man mit dem Finger auf den Kühlkörper greift und es ganz komisch "zischt"

LG
Daniel

[Dayworker]

Auf das Controllerbios war ich nicht gekommen. Genauso wie bei "MarcelMertens" sind bei mir weder in OMSA noch in iDRAC (ich hab nur die Express-Variante) die Temperaturen ersichtlich, ich hatte dafür leihweise ein Meßgerät mit Temperaturdiode verwendet. Aber meine Controller-Temperatur ist deutlich unterhalb von "mcdaniels" seinen.

Vom Draufpatschen mit dem Finger auf Kühlkörper halte ich weder bei laufenden noch abgeschalteten Rechner etwas. Die Worte "elektrostatische Auf- bzw Entladung" sind mir geläufig und sowas kann in einer wesentlich verkürzten Lebensdauer oder viel schlimmer in einem schleichenden Fehler enden.

[MarcelMertens]

Naja, ich sitze im Homeoffice und der Server steht 100km weit weg.. Daher kann ich leider keine Zahlen liefern (auch neustart ist nicht drin)

[mcdaniels]

Hello,
mir ist schon klar dass ich auf die "Elektrostatik" aufpassen muss. Ich habe mich da zuvor ensprechend abgesichert, bevor ich irgendwo herumfingere .

Jedenfalls habe ich nun auf die Controller einen 60mm Lüfter montiert.

Temps sind nun selbst unter Last bei rund 50 Grad Celsius.

LG
Daniel

[Dayworker]

...und wie haben sich dadurch die Latenzen verändert?

[mcdaniels]

Morgen!
Bislang ist eine solche Meldung nicht mehr aufgetreten. Habe nun auch versucht in der VM für entsprechende Festplattenlast zu sorgen.

Das lässt VMWare relativ kalt.

Der Datastore hat im Performancechart einen max Wert von 15ms. Durchschnitt von 0,7.

LG
Daniel