Eigenartige Geschwindigkeitsprobleme (VM Win10 & VM Win2016)

[SysErr]

Liebes Forum,

ich habe auf meinem Dell R710 (74GB RAM, 2x Xeon E5620) ESXI 6.0 Free laufen. Darauf habe ich 4 VMs installiert:

1. Pfsense (Router bzw Gateway und VPN-Server; 1xCore, 1Gb RAM)
2. Windows 10 (Für zwei Datenbankserver; Zugewiesen: 32GB RAM, 4 Kerne (2xSocket und 2xCore), und ich glaube Thin-Provisioned Disk)
3. EcoDMS (derzeit nicht in Benutzung; 2x Core 2x Socket und 16Gb Ram)
4. Ubuntu (Mit einem Ticketsystem; 2xCore 2x Socket und 32Gb Ram)

Keine Maschine hat reservierte Ressourcen.

Probleme macht Windows 10 und eine heute installierte VM mit Windows Server 2016 (Eager-Zeroed Disk), die ich als Referenz heute mit einem der Datenbankserver bestückt habe. Auch auf der WIndows 2016-VM gibt es dieselben Probleme. Die Windows 10-VM war früher auf einer QNAP und dort schon spürbar langsamer, allerdings war das ein Host mit 16GB Ram und AMD GX-424CC (Passmark rund 2.500) und nun habe ich doch den E5620 (Passmark 4.800) und 72Gb in einer richtig professionellen Maschine.

Was funktioniert:
1. Große Dateien über SMB von einem Windows 10 Rechner an die Windows 10-VM senden. Über den 50MBit-Tunnel (Zuhause->Internet->Pfsense) zeigt die Leistungsübersicht im Taskmanager ohne Einbruch 44MBit an.
2. Große Dateien von einem Windows 10 Rechner über vSphere Datenspeicherbrowser an den Host senden. Innerhalb des Netzwerks in dem die Host-Maschine hängt zeigt der Taskmanager in der Leistungsübersicht ohne Einbruch rund 940 MBit an.

Was funktioniert nicht:
1. Die Banking Software liegt gemeinsam mit der Datenbank auf der Windows 10-VM. Starte ich diese Software dauert es über den Tunnel bis ca 5 Minuten bis der Login kommt. Während dieser Zeit zeigt der Taskmanager in der Leistungsübersicht, bei ständigen und langen Einbrüchen nur kurze Spitzen von 8kbit bis 12Mbit. Es sind eben immer nur ganz kurze plötzliche Spitzen mit vielen Sekunden Pause dazwischen. Starte ich die Anwendung nicht über den Tunnel, sondern im Büro im gleichen Netzwerk, sind die Spitzen höher und die Zeit zwischen Spitzen etwas geringer, aber der Start der Anwendung dauert trotzdem zu lange.
2. Unsere Branchensoftware ist auf jedem Client installiert. Die Datenbank läuft auf der Windows-VM. Bei Datenbankzugriffen, egal ob lesend oder schreibend, ist der Zugriff sehr langsam.

In der Übersicht der VMs zeigt die Windows-10-VM ununterbrochen bei "Host-CPU Mhz" Werte um die 2.600 und bei "Hostspeicher" von 32.300 an. Der Gastarbeitsspeicher schwankt zwischen 0% und 98%.

Könnt Ihr mir bitte helfen? BITTE!!! Um dem Problem auf die Schliche zu kommen, könnt Ihr mir sagen, welche weiteren Infos/Screenshots etc Ihr braucht? Ich verzweifle langsam...

lg
Stephan

[~thc]

Du hast eine Host-Maschine mit zwei Xeons mit jeweils vier physischen Kernen. Du betreibst darauf VMs mit 9 virtuellen Cores (leichtes Overprovisioning) und einer VM mir vier vCPUs. Diese VM bekommt nur dann Rechenzeit vom ESXi-Scheduler zugeteilt, wenn auf einem der beiden physischen CPUs vier Kerne gleichzeitig frei sind.

Öffne in einer ESXi-SSH-Shell "esxtop" und beobachte die CPU-Wartezeiten (%VMWAIT, %RDY - Ready und %CSTP - CoStop), wenn die VM so träge reagiert.

[SysErr]

Du hast eine Host-Maschine mit zwei Xeons mit jeweils vier physischen Kernen. Du betreibst darauf VMs mit 9 virtuellen Cores (leichtes Overprovisioning) und einer VM mit vier vCPUs. Diese VM bekommt nur dann Rechenzeit vom ESXi-Scheduler zugeteilt, wenn auf einem der beiden physischen CPUs vier Kerne gleichzeitig frei sind.

Öffne in einer ESXi-SSH-Shell "esxtop" und beobachte die CPU-Wartezeiten (%VMWAIT, %RDY - Ready und %CSTP - CoStop), wenn die VM so träge reagiert.

Danke. Laut vSphere sind es ja 16 logische Prozessoren, wegen Hyperthreading vermute ich. Kann man dann von 16 oder wirklich nur von 8 zu verteilenden Kernen ausgehen? Müssen auch vier Kerne auf EINEM Prozessor frei sein, wenn ich die VM mit 2x Socket mit je 2x Kernen eingestellt habe?

esxtop sagt für die langsame Maschine:
NWLD 9
%USED zwischen 40 und 102
%RUN zwischen 45 und 102
%SYS zwischen 0,83 und 1.40
%WAIT zwischen 845 und 860
%VMWAIT zwischen 7,2 und 10,2

Ich hab das ganze aufgenommen. Man sieht links oben die Auslastung laut vSphere, links den Prozess esxtop und rechts die Auslastung laut Taskmanager der VM.

Start eines Datenbankprogramms: https://youtu.be/UyHHRoMOx0o
Abruf von umfangreichen Daten in unserer Branchensoftware: https://youtu.be/dwDFUs3FXw8

Ist das hilfreich für eine Problem-/Fehlersuche?

lg
Stephan

[~thc]

Ja, die vier Kerne müssen auf einer CPU frei sein - aber das ist nicht das Problem deiner VMs.

Gut, dass du die Videos angefertigt hast. %RDY und %CSTP zeigen nämlich, dass die vCPUs nicht das Problem sind.
Die hohen %VMWAIT Werte deuten auf I/O-Probleme - benutze noch einmal den "esxtop" und drücke die Taste "D" - dann siehst du die Disk-I/O-Statistiken. Bitte zeige uns dann alle Werte.

[SysErr]

Ja, die vier Kerne müssen auf einer CPU frei sein - aber das ist nicht das Problem deiner VMs.

Gut, dass du die Videos angefertigt hast. %RDY und %CSTP zeigen nämlich, dass die vCPUs nicht das Problem sind.
Die hohen %VMWAIT Werte deuten auf I/O-Probleme - benutze noch einmal den "esxtop" und drücke die Taste "D" - dann siehst du die Disk-I/O-Statistiken. Bitte zeige uns dann alle Werte.

Vielen Dank für Deine Hilfe THC.

Ich habe nun Drei Videos gemacht auf denen der Prozess esxtop die Datenträger anzeigt, wie Du es vorgeschlagen hast. Der eigentliche Vorgang fängt immer nach ein paar Sekunden an und endet ein paar Sekunden vor Ende des Videos. Man sieht also immer den "Leerlauf" auch.

[*] Kopieren einer 4GB Datei von meinem Rechner auf die VM: https://youtu.be/vMLX6IXUCrQ
[*] Starten, Login, ausloggen und erstellen eines "Backups". Das "Backup" wird auch auf der VM abgelegt: https://youtu.be/85Q1ualUBv4
[*] Abrufen umfangreicher Daten aus unserer Branchensoftware: https://youtu.be/FNboAubWQzo

Man erkennt jeweils auch die Prozesse: Banking ist hbpm und die Branchensoftware ist Criteria 32-bit

Erkennst Du hier etwas auffälliges?

lg
Stephan

[~thc]

Die Daten sind alle unverdächtig - damit fallen die beiden häufigsten Ursachen unter den Tisch.
Du hast dir scheinbar mit dem Wechsel vom NAS auf den "richtigen" ESXi einen Performance-Sprung versprochen - der dann nicht eintrat.
Was ist denn die Vergleichsperformance? Wann und wie war es mal schneller?

[SysErr]

Die Daten sind alle unverdächtig - damit fallen die beiden häufigsten Ursachen unter den Tisch.
Du hast dir scheinbar mit dem Wechsel vom NAS auf den "richtigen" ESXi einen Performance-Sprung versprochen - der dann nicht eintrat.
Was ist denn die Vergleichsperformance? Wann und wie war es mal schneller?

Danke vielmals für Deine stete Hilfe. Ich weiss das sehr zu schätzen.

Auf der Qnap war es schon langsamer. Da war über RDP die VM fast unbedienbar. Das Ticketsystem auf ubuntu ist ziemlich schnell auf ESXi und war sehr langsam auf der Qnap.

Mich wundert aber auch, dass es über den ipsec-tunnel zwischen Büro und Zuhause (50mbit Up an beiden Endpunkten) unverhältnismäßig langsamer ist. Die Übertragungsspitzen innerhalb des Büro-LAN bei Datenbankzugriffen müsste der Tunnel auch leicht schaffen.

Der Hersteller unserer Branchensoftware hat sich bei diversen Eingriffen über Teamviewer schon beschwert, dass alles so ewig dauert, auch jetzt am ESXi. Auch der Support der Bank hat mir gesagt, dass irgendwas bei meiner EDV nicht passt, weil sie sowas langsames noch nie erlebt haben. Zitat „den Fortschrittsbalken auf den wir da gerade warten, sollte eigentlich gar nicht zu sehen sein.“.

Die Branchensoftware läuft laut Aussage des Herstellers „auf alten ausrangierten Rechnern mit Windows 7“ schneller als meine Installation.

Würde ein Passmarktest auf der VM Aufschluss geben?

lg
stephan

[Martin]

Hast Du schonmal versucht, z.B. mit Wireshark dem "langsamen" Netzwerktraffic auf die Finger zu schauen?

[~thc]

Kannst du probieren, ob das Vergeben von nur einem Socket mit zwei Cores eine Veränderung bringt?

[SysErr]

Kannst du probieren, ob das Vergeben von nur einem Socket mit zwei Cores eine Veränderung bringt?

Hat leider keine Veränderung gebracht.

Hast Du schonmal versucht, z.B. mit Wireshark dem "langsamen" Netzwerktraffic auf die Finger zu schauen?

Ich habe mit Wireshark alles von und zu dem host mitgeschnitten. Einmal die Banking Software und einmal die Branchensoftware. Mein Problem ist halt, dass ich mich mit dem jetzt nicht auskenne. Gar nicht. Ich hab keine Ahnung wonach ich sichen soll in diesen *.pcapng files.

[Dayworker]

Auf einem DB-Server mit Thin-Disks rumzuhantieren, halte ich persönlich für einen Fehler. DBs fragen fast immer nur kleine, extrem verteilte IOs an oder schreiben diese auf Platte weg, daß kann bei Thin-Provisioning zum Bumerang werden.

Die Videos laufen bei mir größtenteils nur in so schlechter Auflösung, daß ich da kaum etwas erkennen kann. Ausgehend von den in meinen Augen sehr niedrigen Lese- und durchwachsenen Schreibwerten, wie ist euer Storage aufgebaut?
Hast du die Messungen auf leeren ESXi gemacht oder liefen nebenher noch andere VMs?

[SysErr]

Auf einem DB-Server mit Thin-Disks rumzuhantieren, halte ich persönlich für einen Fehler. DBs fragen fast immer nur kleine, extrem verteilte IOs an oder schreiben diese auf Platte weg, daß kann bei Thin-Provisioning zum Bumerang werden.

Die Videos laufen bei mir größtenteils nur in so schlechter Auflösung, daß ich da kaum etwas erkennen kann. Ausgehend von den in meinen Augen sehr niedrigen Lese- und durchwachsenen Schreibwerten, wie ist euer Storage aufgebaut?
Hast du die Messungen auf leeren ESXi gemacht oder liefen nebenher noch andere VMs?

Vielen Dank für die INfos. ICh werde das nochmal probieren und alle VMs ausser pfsense dabei abschalten.

Wenn ich die Platte der VM konvertieren sollte, dann also in THICK oder? Lazy-Zeroed oder Eager-Zeroed? Was würdest Du empfehlen?