Warning, Performance has deteriorated

[hape66]

Hello again,

ich bekomme seit kurzem folgende, unschöne Meldung im vSphere angezeigt:

Device mpx.vmhba1:C0:T0:L0 performance has
deteriorated. I/O latency increased from average
value of 6267 microseconds to 306514
microseconds.


Das verunsichert mich etwas. Dieser Artikel hilft zur Ursachenforschung auch nicht direkt:
http://kb.vmware.com/selfservice/micros ... Id=2007236

Wie gehe ich vor um den Auslöser ausfindig zu machen?

Danke,
Hape

[mbreidenbach]

Latenz heißt die Antwortzeit ist langsamer geworden.

Da ist jetzt die Frage - was beschäftigt die Storage so daß sie langsamer antwortet ?

- irgendwas kaputt
- irgendwas macht 'Streß' und verursacht mehr Last als früher

Ich hatte mal ein Fall da haben gleichzeitig alle ESXe Storage Latenz gemeldet und es stellte sich heraus daß gerade größere Testsysteme geklont wurden. Ich habe die Meldung auch schonmal bei Storage vMotion gesehen.

Man müßte halt mal den Zustand des Storagesystems prüfen und schauen was das denn gerade so tut.

[hape66]

Man müßte halt mal den Zustand des Storagesystems prüfen und schauen was das denn gerade so tut.

Wie prüfe ich den Zustand am schlausten? Habe nur den vSphere Client und SSH-Zugang zur Shell...

Danke
Hape

[MarcelMertens]

Um was für ein Storage handelt es sich? Lokal oder FC?

Ich würde erstmal in den Statistiken schauen ob zu der Zeit irgendetwas auffälliges zu sehen ist. Hohe lese/schreibraten in einer VM, Datenbankreorg etc

[hape66]

Leider zeigt er mir nur die letzten 24 Stunden an. Wie kann ich den Zeitraum für die Logs erhöhen?

[hape66]

Um was für ein Storage handelt es sich? Lokal oder FC?

Lokales RAID 1 an einem Adaptec 5405 Controller, die Monitoring-SW muss noch installiert werden, da gibt es m.W. noch keine für ESXi 5

[Dayworker]

Schau auf der Adaptec-Seite mal nach CIM-Providern für vSphere5.
Ohne Monitoring würde ich mir sogar den Einsatz eines Raids sparen. Eine akustische Controller-Alarmmeldung ist im RZ ja nutzlos. Das RZ betritt man höchstens mal zur Nachrüstung und ansonsten tut man sich den Geräuschpegel nicht freiwillig an.

[hape66]

Die 5er Serie soll erst ab Februar unterstützt werden....
http://tiny.cc/brdik

Wird es daran liegen mit der Fehlermeldung?

[hape66]

Hi,

also am RAID Controller liegt es nicht.

Die Meldung kommt aber weiterhin täglich von 4 Uhr morgens bis ca. 5 Minuten nach 4. Also in 5 Minuten kommt 4-5 Mal die Meldung

Code: Alles auswählen

Device mpx.vmhba1:C0:T0:L0 performance has
deteriorated. I/O latency increased from average
value of 6267 microseconds to 306514
microseconds.

Wobei die Zahlenwerte schwanken.
Sehr seltsam, jemand noch eine Idee?
Danke
Hape

[irix]

Hi,

also am RAID Controller liegt es nicht.

..

Das machst du woran fest? Die I/O Zugriffe werden halt nicht ausgefuehrt und das erzeugt zu Recht eine Warnung. Kauf halt was mit Cache und Batterie und alles wird Gut. Ansonsten lebe mit den Warnung.

Gruss
Joerg

[kastlr]

Hallo Hape,

du könntest den Zeitraum entweder mit esxtop oder vScsiStats überwachen.

Außerdem muß das gar nicht zwingend auf ein Problem hinweisen, vielleicht hast du um diese Zeit mit IO Peaks zu tun.
Und je nachdem, wie die IO Zeiten ermittelt werden kommen auch mal solche Werte raus.

Wenn z.B bei einem IO Burst 1000 IO's erzeugt werden und je IO eine Bearbeitungszeit von 3-4ms anfallen, geben einige Monitoring Tools schon mal eine Antwortzeit von 4 sec wieder.
Einfach weil der tausendste IO bis zur Bearbeitung sehr lange warten muß.

Das kannst du dann nur entkräften, wenn du auch noch die IO/sec prüfst.
Wenn nicht wirklich ein Problem vorliegt, hast du In so einem Fall ca. 250-300 IO/sec.
Und dann ist schnell klar, das einer der Werte berechnet wurde und nicht gemessen.

Schau dir einfach mal deine Gast Systeme an, vielleicht werden ja zu dieser Zeit immer Virenscans durchgeführt oder OS Patche installiert.
Zumindest in VMware View Umgebungen sind das immer die ersten Verdächtigen.

Viel Erfolg,
Ralf

[hape66]

@Joerg: Sorry, aber was soll mir Deine Antwort bringen?

@Ralf: Vielen Dank, du hast mir die Angst etwas genommen Vermutlich sind Defragmentierungen und Backups in einem Win-Gast die Ursache...

du könntest den Zeitraum entweder mit esxtop oder vScsiStats überwachen.

Wie sieht diese Überwachung genau aus? Kann ich das in der Shell machen?

MfG
Hape

[irix]

@Joerg: Sorry, aber was soll mir Deine Antwort bringen?

Das hab ich mich bei deinem Post gefragt. Somit nochmal "Warum kannst du den RAID Controller ausschliessen?". Bei allen die mit der Meldung hier im Forum aufgeschlagen sind war die Loesung das sie die Batterie fuer ihren Cache, welcher sich beim Schreiben deaktiviert , nachgeruestet haben.

Gruss
Joerg

[kastlr]

Hallo Hape,

zuerst einmal kann ich Jörg nur zustimmen, im professionellen Einsatz von VMware sollte die eingesetzte Hardware gewisse Mindestanforderungen erfüllen.
Und ein Batterie gebufferter Adapter gehört definitiv dazu.

Bevor ich den fraglichen Zeitraum aktiv überwache, würde ich mir mal die im vCenter gespeicherten Performance Daten ansehen.

Wenn du aktiv überwachen möchtest, könntest du esxtop über einen cronjob starten.
Gathering esxtop performance data at specific times using crontab

Gruß,
Ralf