Performance "aussetzer" --> Storage engpass?

[michael0101]

Hallo,

unsere Entwicklungs/Testabteilung kämpft derzeit mit Aussetzern während ihrer arbeiten auf den Servern. Im Regelfall friert das System kurz ein und läuft dann weiter als ob nichts gewesen ist. Dies ist unabhängig auf welchen Servern gearbeitet wird.

folgende Konfiguration wurde mir als Info gegeben:
ESXi 5.1
64 GB (vm: 16,24,16)
RAID 5 mit 6x 146GB SAS 10k an Controller mit 512MB Cache
VMs: SBS2011, Server 2008 R2 + SQL2008, Server 2012
NIC 3x 1GB (Lastverteilung wohl default)

Da ich selbst erst am Montag mir den Host anschauen kann wollte ich schon mal vorab eure Meinungen hören. Ich selbst vermute den Engpass bei der Storageconfiguration. Denke der Controller kommt mit dem Lesen/Schreiben nicht mehr hinterher und verursacht somit die Aussetzer.

Das System müsste wohl noch etwa 2-3 Wochen mindesten laufen, daher kam die Überlegung auf, ob Entlastung durch umstellen des RAIDs auf zB 3x RAID1 noch sinn macht. Alternativ könnten wir eine VM auf ein iSCSI Target auslagern, dies könnte via 1 GB (evtl 2x) direkt angebunden.

Gutes Nächtle

Michael

[pirx]

Das kann alle möglichen Ursachen haben. Was für eine Last wird durch die Entwickler primär erzeugt? CPU? Oder SQL DBs die auf die Disks hämmern.

Einfach am Mo. die Performance Graphen des Hosts anschauen, bzw. mit esxtop anschauen wenn wieder Probleme auftauchen. Auf RAID 1 umstellen bei so wenig Disks bringt aus meiner Sicht nichts.

[irix]

Das vCenter mit seinen Graphen und Alarms sollte aber aufzeigen wenn es ein Storage Problem ist.

- Laufen irgendwelche Snapshot aktionen?
- Wird Thinprovisioning verwendet?

Gruss
Joerg

[mbreidenbach]

"Entwicklung/Test" - werden da ggf VMs geklont während die Performance wegbricht ?

Ansonsten - man muß sich halt mal im vCenter oder mit ESXTOP die Performancestatistiken ansehen. Swapts ? CPU Ready ? Storage Latenzen ?

Lesestoff:
http://communities.vmware.com/docs/DOC-3930
http://www.yellow-bricks.com/esxtop/
http://communities.vmware.com/docs/DOC-11812

Anwender befragen was gemacht wird wenn das System 'hängt'.

(Anekdote aus dem letzten Jahrtausend: Novell Server stürzt immer wieder ab. Alle kratzen heftig am Kopf. Wir sind mal wieder am Sprint zum Serverraum als Stimme aus einem Büro kommt 'immer wenn ich hier auf den Knopf da drücke stürzt Euer Mist Server ab' - BREMS... was macht das Programm... ah ja 10000 Recordlocks auf einmal...ja da gibts nen Bug und nen Patch...ABER WARUM SAGT DER **** NE WOCHE LANG NIX)

Alternativ sowas wie Veeam One oder vCenter Operations einsetzen - free oder mit Testkey.

(Anekdote aus diesem Jahrtausend: ALLES IST SO LANGSAM. Sagen die Anwender. Wenn ich mir die Stats angucke rennts aber. Kopfkratz. Veeam Monitor free installiert und er sagt als erstes 14:21 alle ESX Hosts Storage Latenzen...was war um 14.21 ? Ach da haben die Entwickler die SAP Umgebung geklont. Wo liegt die ? Ah selbe Disk Group wie virtuelle Desktops... ja wer macht denn sowas...)

[michael0101]

Bei dieser Umgebung gibt es leider keinen vCenter Server. Muss somit mit den esxi Auswertungen vorlieb nehmen. Werde morgen mal via SSH Zugriff nehmen. Vlt installiere ich auch Testweise die vCenter Appliance. Veeam Monitor ist mir neu, werde ich aber auch gerne mal antesten.

Testumgebung bezieht in diesem Fall nicht auf ESX oder deren Funktionen. Es wird eine Software für den späteren Einsatz auf dem System getestet.

Die Software nutzt den SQL als Datenbank. Gleichzeitige Zugriffe mittels TS auf dem 2012 sind max 10. Die "Hänger" kommen ohne Regel. Teils funktionieren wohl Reportingauswertungen mit Last besser als das Öffnen eines Dokumentes. Der Exchange ist wohl mit einer internen Domain aktiv.


Festplatten sind alle Thick, ez.Bei den VMs liegen die RAM Ausnutzung bei durchschnittlich unter 60%, lediglich der SBS geht in Spitzenzeiten auf ca 85%.
vCPU Verteilung ist wie folgt:
SBS2011 2x2
Server 2008 R2 + SQL2008 2x3
Server 2012 2x2

Netzwerk ist innerhalb des vSwitch ebenfalls 1 GB.

Nach und nach erhalte ich weitere Infos.
Soweit von mir, ziehe mir mal den Lesestoff rein und schaue morgen auf den Host.

[irix]

Es gibt als Beta das vCenter Log Insight welche wie ein Splunk eine Auswertung von Syslog erlaubt. Meine ESXi Hosts verwenden diese als RemoteSyslog und ich kann queries zusammem klicken bzw. das vSphere Pack definiert schon diverse.

Ueber die Zeitachse kannst du evtl. erkennen was sonst noch so parallel laeuft bei dir.

Gruss
Joerg

[michael0101]

so, nach etwas Beobachtungszeit konnte kein Engpass gefunden werden.

Was uns jedoch zufällig aufgefallen ist:
Bei einem Neustart des TS führte Win ein Checkdisk aus. Anscheinend hatte die VM wohl mal einige Crashs erlebt. Da keiner dazu was sagen konnte, haben wir auf allem VMs einen Checkdisk ausgeführt. Seitdem gibt es keinerlei Rückmeldung bezüglich der Aussetzer mehr.

Werden es mal weiter im Auge behalten. Die NICs der VM werden jedoch trotzdem auf 10GBit/s umgestellt, schadet ja auch nicht.

Danke nochmal für eure Hinweise der verschiedenen Tools

Michael