Performance Probleme

[KDS]

Hallo Zusammen,

wir haben ein merkwürdiges Problem in unserem System.
Seid wir einen unserer ESXi Hosts auf 5.5 U2 Upgedatet haben haben wir Performance Probleme auf unseren virtuellen Maschinen. Bemerkbar sind diese dadurch, dass der Desktop sich für ein paar Sekunden aufhängt. Insgesammt haben wir 6 Hosts. Der Host der auf Version 5.5 U2 upgedatet wurde ist im Moment ausgeschaltet. Dadurch wurden die Probleme ein wenig reduziert, allerdings noch nicht ganz behoben.
Bei manchen Usern lässt sich eine Spitze des datenspeicherzugriffs feststellen während der Probleme allerdings nicht bei allen.

Für unser Desktop Management nutzen wir Unidesk.
Als Storage haben wir eine HP P2000 G3 eine Aktuallisierung auf die neuste Firmwareversion hat zu keiner Besserung geführt.


Vielen Dank schon mal für die Hilfe.

[irix]

Wenn ihr meint es ist ein Storage Problem dann hilft vmkernel und hostd log des Host wo die VM drauf laeuft. Bei 6 Hosts seit ihr ja auch kein Essentials Kunde und es wuerde sich anbieten den VMware Support mit ins Boot zu holen.

Welche vSphere Version wurde den vorher gefahren?

Gruss
Joerg

[KDS]

Die Log Dateien kann ich leider nicht anhängen, da ich die Folgende Fehlermeldung vom Forum bekomme (Attachment kann nicht hinzugefügt werden, da die maximale Anzahl von 0 Attachments in dieser Nachricht erreicht wurde)
Die vorherige ESXi Version war 5.1.0 (1117900).
Die vorherige VSphere Version kann ich nicht genau sagen. Es wurde allerdings auch auf 5.5 Upgedated.

[irix]

Dieses Forum kann aus technischen Gruenden keine Attachements. Also verlinke diese auf einen FreeHoster oder Poste einfach den letzten Abschnitt immer wenn die Probleme auftreten.

Gruss
Joerg

[KDS]

Anbei der Link zu den Dateien.
logs.rar
Das Problem trat am 29.04. gegen 11 Uhr bis 11:30 auf.
Kein Host an sich war betroffen sondern das Problem trat bei allen auf.

[Dayworker]

Das Problem tritt wohl nicht nur in dem von dir angegebenen Zeitraum auf. Ich finde jede Menge Einträge der Art "Command:0x2a Has reservation conflict" und "Command:0x28 Has reservation conflict". Es finden sich auch viele folgende Einträge:

2015-04-29T18:06:22.996Z cpu10:13959)NetPort: 2747: resuming traffic on DV port 1319
2015-04-29T18:06:22.997Z cpu10:13959)NetPort: 1380: enabled port 0x2000019 with mac 00:50:56:a9:6c:4e

Ausgehend von den vielen NetPort-Meldungen scheint die "HP P2000 G3" einige Probleme zu haben.

2015-04-29T16:51:16.215Z cpu18:11226)WARNING: ScsiDeviceIO: 1224: Device naa.600c0ff00012100c27e3745301000000 performance has deteriorated. I/O latency increased from average value of 4593 microseconds to 97222 microseconds.
2015-04-29T16:51:16.810Z cpu14:8206)WARNING: ScsiDeviceIO: 1224: Device naa.600c0ff00012100c27e3745301000000 performance has deteriorated. I/O latency increased from average value of 4593 microseconds to 196335 microseconds.

Ich würde da "irix" seinen Vorschlag echt einschlagen und sowohl VMware als auch HP mit ins Boot holen.

Wie ist eigentlich eure "HP P2000 G3" ausgestattet?

[kastlr]

Hallo,

also die extrem vielen "Reservation conflicts" gehen eindeutig zu Lasten der Performance, schließlich werden in so einem Fall von 5 Hosts alle IO's gegen eine LUN angehalten, bis der 6. Host die Reservierung wieder entfernt hat.

Überhaupt unterstützt die HP P2000 G3 laut VMware HCL doch VAAI ATS, daher sollten eure Hosts eigentlich kaum noch SCSI Reservations verwenden.
Habt Ihr das vielleicht deaktiviert?
Disabling the VAAI functionality in ESXi/ESX

Daraus könnten auch die Meldungen im Logfile resultieren, dass ihr immer mal wieder Probleme mit dem VMFS Heartbeat habt.
Von den vereinzelten hohen Latenzen mal ganz zu schweigen.

Habt ihr denn auch die Firmware/das BIOS des HPSA Adapters aktualisiert, denn Treiber und BIOS/FW sollten zueinander passen.

Viel Erfolg,
Ralf

[vl13]

Hm, zu VAAI ATS gibt es einen KB eintrag fuer die IBM Storwize Enabling or Disabling VAAI ATS heartbeat evtl. trifft das auch auf die P2000 zu wenn das problem erst seit 55u2 auftritt.

[2-D]

ich würde, wenn du die beiden Hersteller schon ins Boot holst, ganz ganz ganz dringend nach den Firmware und Treiberversionen schauen. Im Regelfall wird das nämlich abgefragt und gleich moniert, solltest du nicht die aktuellsten Versionen nutzen.

Übrigens im Zusammenhang mit dem Update gar keine schlechte Idee, habe schon den seltsamen Fall gehabt, das Treiber aus dem ESXi Update nicht angezogen wurden.

[KDS]

Hallo zusammen,

hier kurz der Patchstand.
s-hy-013 ist der Upgedate Host.

ESXi
s-hy-013 5.5U2 (2456374)
Anderen 5.1 (1117900)

Be2net device firmware
s-hy-013 4.2.401.6
andere 4.2.401.6

be2net driver
s-hy-013 10.2.298.5
andere 4.2.327.0

Smart Array Controller
s-hy-013 3.54
andere 3.42

Die VAAI Funktionen wurden lediglich bei dem 13 Host deaktiviert.
Allerdings haben die anderen Hosts momentan die Performance Probleme der Host 13 ist momentan ausgeschaltet. Wenn wir diesen Allerdings wieder anschalten, verstärken sich die Probleme.

[irix]

Aktuell sollte Build 2702864 sein. Bei Storage/Netzwerk immer auch in die Driver&Tools Sektion der Downloadseite gucken.

Ansonsten.. es gibt hier im Forum nur 2-3 Leute welche mit den oftmals kryptschen Meldungen in den Logs ueberhaupt herauslesen koennen woher der Wind wehen koennte.

Aber Storageprobleme sind die Dinge welche ich auch den Leuten nicht wuensche welche ich nicht mag. Drum mein Rat mach bei VMware nen #SR auf.

Gruss
Joerg

[2-D]

ESXi
s-hy-013 5.5U2 (2456374)
Anderen 5.1 (1117900)

Be2net device firmware
s-hy-013 4.2.401.6
andere 4.2.401.6

be2net driver
s-hy-013 10.2.298.5
andere 4.2.327.0

Smart Array Controller
s-hy-013 3.54
andere 3.42
.

Deine BE2NET Firmware ist nur für ESX 5.0 freigegeben:
--> http://partnerweb.vmware.com/programs/h ... config.pdf

BE2NET Driver ist (4.9.288.0) ist der aus dem 5.5 U2 Image .
--> http://h20564.www2.hp.com/hpsc/doc/publ ... =c04403538
Allerdings gibt es in MyVMware einen mit dieser Version als Download: 10.2.506.24

--> https://my.vmware.com/group/vmware/deta ... ductId=353

Für den Smart Array Controller hilft dir die HP Maintenance CD (Proliant Support Pack) weiter...

[PeterDA]

Hi,
wenn ich mich recht erinnere ist der VAAI Treiber dorch irgendwann mal aus dem HP Image geflogen. Sprich den muss man bei einer P2000 manuell nachinstallieren.

http://h20566.www2.hp.com/hpsc/swd/public/detail?swItemId=MTX_9df3d461bea14caba57e5b56a9&sp4ts.oid=4118575

Aber 100% weiß ich das auch nicht mehr. Hab schon lange keine P2000 mehr in Händen gehabt.

Gruß Peter

[irix]

Code: Alles auswählen

Note : Requirement – VAAI plugin software is required for TS250 firmware and earlier.  TS251 firmware and later doesn’t require the VAAI plugin software.

Gruss
Joerg

[KDS]

Vielen Dank für die Hilfe,

wir haben die neuen Treiber jetzt installiert und lassen es erst einmal laufen.
Bisher Sieht es eigentlich gut aus.
Ich melde mich noch einmal um Bescheid zu geben ob das Problem endgültig gelöst wurde.

Aber vielen Dank schonmal für die Hilfe.