Hallo zusammen
ich habe hier etwas das ich nicht verstehe und würde mich SEHR über eure Meinung freuen:
Ich habe hier 3 Identische Server (IBM x3650 m3 3.33 DualCPU HEX Core - IBM/LSI Raid 5XXX)
Auf 2 dieser Server läuft WIN2012R2 mit HyperV
Auf einem habe ich zuerst mal ESXI 6 und jetzt doch die Custom Version von Ibm drauf gepackt (für diesen Maschinentype)
Alle 3 System weisen die identische Lauf Config auf:
Device1 = ein RAid10 aus 4 SSD´s
Device2 = ein Raid1 aus 2 HD´s
Auf der Win Maschine erreiche ich in dieser Konfiguration auf dem HV Host max 750mb/S lesend und 695mb/s schreibend) Das ist recht gut und entspricht im Live Betrieb einer wirklich hervorragenden Performance. In den Gas Systeme liegt die Leseleistung nur geringfügig (3-5% und die Schreibleistung 5-7% niederiger - also immer noch SEHR gut.
Ich wollte nun den ESXI5,5 Server in Betrieb nehmen und wundere mich schon die ganze zeit warum das kopieren auf den Datastore so lange dauert.
Nun lasse ich in einem WIN Gast mal den gleichen Benchmark laufen wie auf den 2012R2 und bekomme Werte um 120mb/s (lesend und schreibend)
Ich hab jetzt nochmals die RAID Controller config von allen 2 Systemen vergleichen - hier ist alles gleich.
Was kann zu so einer besch... Performance bei komplett identischer Hardware führen ?
PS: Alle FW/SW Stände (Board, Bios Raid, IMM) sind identisch - habe ich am Wochenende auf den aktuellen stand gebraucht.
Als Beispiel: Ein Kopieren einer 4,8GB ISO Datei auf dem SSD Datastore von einem in ein anderes Verzeichnis dauert 17 Minuten.
Mache ich das auf der WIN Maschine dauert das ein paar Sekunden .
Irgendwas stimmt hier nicht - nur was ?
CU
GTR
Nachtrag: ich hab jetzt mal das RAID10 aufgelöst (evtl Timing Problem) und nur mal eine SSD einzeln in den Datastore gebraucht - aber auch hier ändert sich nix ...
Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!
Unterirdische Leistung SSD/HDD Leist ´5.5 / IBM Server /Raid
-
kastlr
- Profi
- Beiträge: 993
- Registriert: 31.03.2008, 17:26
- Wohnort: Einzugsbereich des FC Schalke 04
- Kontaktdaten:
Hallo,
na ja, gleiche Hardware bedeutet ja nicht zwingend, dass deine Aktivitäten bei einem anderem OS nicht etwas anders bearbeitet werden.
Mit welchen Tools kopierst du denn, sind die eventuell nur single threaded?
Welche IO Size wird dabei verwendet, denn es ist schon ein Unterschied, ob ein Devie einen 1 MB IO oder 256*4k IO erhält.
Vielleicht reicht auch der Treiber nicht so viele IO's zum Controller durch wie unter Windows.
Beobachte das System bei deinen Aktivitäten doch mal mit esxtop.
Wenn du das Tool gestartet hast, wechselst du mit u in die Ansicht für die Platten und beobachtest die Werte.
Gruß,
Ralf
na ja, gleiche Hardware bedeutet ja nicht zwingend, dass deine Aktivitäten bei einem anderem OS nicht etwas anders bearbeitet werden.
Mit welchen Tools kopierst du denn, sind die eventuell nur single threaded?
Welche IO Size wird dabei verwendet, denn es ist schon ein Unterschied, ob ein Devie einen 1 MB IO oder 256*4k IO erhält.
Vielleicht reicht auch der Treiber nicht so viele IO's zum Controller durch wie unter Windows.
Beobachte das System bei deinen Aktivitäten doch mal mit esxtop.
Wenn du das Tool gestartet hast, wechselst du mit u in die Ansicht für die Platten und beobachtest die Werte.
Gruß,
Ralf
Vor jedem Benchmark erkennt man hier eigentlich, dass grundsätzlich etwas nicht passt.
Stimmen deine Angaben? 4,8GB und 17 Minuten? Das wären dann ja knapp 5 MB/s?
Wie ist denn die Datenrate auf dem HDD Raid1?
Der Controller hat auch Cache und BBU?
Für ESXi 6 ist der Server aber nicht mehr freigegeben, oder?
Was sind denn das für SSD's? Der Windows Server wird auch bei Consumer SSD's ein Trim Signal schicken. Ob das ein ESXi mitlerweile macht, ist die Frage?
Stimmen deine Angaben? 4,8GB und 17 Minuten? Das wären dann ja knapp 5 MB/s?
Wie ist denn die Datenrate auf dem HDD Raid1?
Der Controller hat auch Cache und BBU?
Für ESXi 6 ist der Server aber nicht mehr freigegeben, oder?
Was sind denn das für SSD's? Der Windows Server wird auch bei Consumer SSD's ein Trim Signal schicken. Ob das ein ESXi mitlerweile macht, ist die Frage?
Hallo
also - zu den Punkten:
1: Screenshot von esxtop hab ich angheängt
2: ich hab grad nochmals eine 4GB ISO Datei auf dem SSD Raid von einem in ein anderes Verzeichnis kopiert - dauer der Aktion: 13 Minuten = 5,5mb/s
3: Ich hab das ESXI File von Lenovo genommen (5,5 Update2) das ist für diesen Server freigegeben
4: Ich mache weitere Test´s auf dem HDD Array und berichte
5: BBU ist vorhanden und Aktiv (aber selbst ohne BBU 5mb/s ???)
Ich kopiere gerade von einem anderen Server etwas über das neue 10GBE Netzwerk - wenn ich mir die Datenrate so anschaue kommen mir die tränen...
Ich stimme supi hier zu - hier kann irgendwas definitiv nicht stimmen....
Nachtrag: DAs ist ein M5014 Controller mit LSI Feature Key, BBU und Cache
Nachtrag2: ich hab grad von einer anderen ESXI Maschine eine VM (110GB) in knapp 45Minuten auf ein NAS kopiert (1GBE NETZ) - Der Upload dieses Images auf die beschriebene Maschine dauerte laut kalkulation 14 Stunden - wobei das Netzwerk nicht ausgelastet war ...
also - zu den Punkten:
1: Screenshot von esxtop hab ich angheängt
2: ich hab grad nochmals eine 4GB ISO Datei auf dem SSD Raid von einem in ein anderes Verzeichnis kopiert - dauer der Aktion: 13 Minuten = 5,5mb/s
3: Ich hab das ESXI File von Lenovo genommen (5,5 Update2) das ist für diesen Server freigegeben
4: Ich mache weitere Test´s auf dem HDD Array und berichte
5: BBU ist vorhanden und Aktiv (aber selbst ohne BBU 5mb/s ???)
Ich kopiere gerade von einem anderen Server etwas über das neue 10GBE Netzwerk - wenn ich mir die Datenrate so anschaue kommen mir die tränen...
Ich stimme supi hier zu - hier kann irgendwas definitiv nicht stimmen....
Nachtrag: DAs ist ein M5014 Controller mit LSI Feature Key, BBU und Cache
Nachtrag2: ich hab grad von einer anderen ESXI Maschine eine VM (110GB) in knapp 45Minuten auf ein NAS kopiert (1GBE NETZ) - Der Upload dieses Images auf die beschriebene Maschine dauerte laut kalkulation 14 Stunden - wobei das Netzwerk nicht ausgelastet war ...
https://www.ibm.com/developerworks/comm ... 11e23e3090
?? LSI recommendations: "NOReadAhead / Direct / WriteThrough for SSDs" ??
Wo auch immer die steht, aber vielleicht mal so testen.
Edit: https://forums.servethehome.com/index.p ... ssds.2239/
das kann wohl manchmal tricky sein. Server und Controller stammen ja aus Zeiten, wo es mit SSD's gerade anfing.
Edit2:
https://wiki.mikejung.biz/LSI
According to LSI, to get the best performance with SSDs, you should be using the following settings:
Read Cache: DISABLED
Write Cache: WriteThrough
IO: DIRECT
?? LSI recommendations: "NOReadAhead / Direct / WriteThrough for SSDs" ??
Wo auch immer die steht, aber vielleicht mal so testen.
Edit: https://forums.servethehome.com/index.p ... ssds.2239/
das kann wohl manchmal tricky sein. Server und Controller stammen ja aus Zeiten, wo es mit SSD's gerade anfing.
Edit2:
https://wiki.mikejung.biz/LSI
According to LSI, to get the best performance with SSDs, you should be using the following settings:
Read Cache: DISABLED
Write Cache: WriteThrough
IO: DIRECT
-
kastlr
- Profi
- Beiträge: 993
- Registriert: 31.03.2008, 17:26
- Wohnort: Einzugsbereich des FC Schalke 04
- Kontaktdaten:
Hallo,
was für Werte erhältst du denn nun bei esxtop, denn deinen Screenshot von esxtop konnte ich nicht finden.
Unter DQLEN wird aufgeführt, wie groß die Device Queue ist.
Unter ACTV, wie viele IO's sich gerade in der Bearbeitung befinden.
Unter QUED solltest du nur dann Werte ungleich 0 sehen, wenn DQLEN = ACTV ist.
Interessant sind auch noch die Werte unter CMDS und GAVG sowie die IO/s oder MB/s sowie die Anzahl der Read & Write IO/s.
Bei deinen 5 MB/s vermute ich, das du mit kleinen, sequentiellen IO's arbeitest und die schlechten Performance Werte daher kommen..
Mit welchem Tool kopierst du denn die 4 GB Datei?
Und wie schnell legt dein System z. B. eine 4 GB eagerzeroedthick vmdk an, wenn du dies mit vmkfstools ausführst?
Gruß,
Ralf
was für Werte erhältst du denn nun bei esxtop, denn deinen Screenshot von esxtop konnte ich nicht finden.
Unter DQLEN wird aufgeführt, wie groß die Device Queue ist.
Unter ACTV, wie viele IO's sich gerade in der Bearbeitung befinden.
Unter QUED solltest du nur dann Werte ungleich 0 sehen, wenn DQLEN = ACTV ist.
Interessant sind auch noch die Werte unter CMDS und GAVG sowie die IO/s oder MB/s sowie die Anzahl der Read & Write IO/s.
Bei deinen 5 MB/s vermute ich, das du mit kleinen, sequentiellen IO's arbeitest und die schlechten Performance Werte daher kommen..
Mit welchem Tool kopierst du denn die 4 GB Datei?
Und wie schnell legt dein System z. B. eine 4 GB eagerzeroedthick vmdk an, wenn du dies mit vmkfstools ausführst?
Gruß,
Ralf
Hallo zusammen
Heute mal ein Test mit Crystal Disk Mark (liefert relativ konstate und reproduzierbare Benchmarkw werte - sowohl mit großen Dateien als auch mit kleinen /Seq und Rand)
Der Anhang zeigt wohl relativ gut wo das Problem liegt - beim Lesen ist alles im Butter - beim SChreiben - dazu muss ich wohl nix sagen ...
bei der HDD schaut es ähnlich aus - die Lesewerte sind Ok (nicht berauschend - aber OK ) die Schreibwerte sind um 10-14MB bei großen Dateien.
Wie gesagt - lasse ich genanntes Tool auf einer alten ESXI5 mit SSD Array und nem Adaptec laufen erhalte ich sowohl schreiben als auch lesend um die 200mb/s
Auf den WIN2012R2 Maschinen (identsiche Hardware erreicht der 1. Wert (große datei) - lesend und Schreibend Werte >600mb/s
Da der Anhang nicht funktioniert - hier der Link:
https://www.dropbox.com/s/scmvbks7q1mqu ... hot742.jpg
CU
GTR
Heute mal ein Test mit Crystal Disk Mark (liefert relativ konstate und reproduzierbare Benchmarkw werte - sowohl mit großen Dateien als auch mit kleinen /Seq und Rand)
Der Anhang zeigt wohl relativ gut wo das Problem liegt - beim Lesen ist alles im Butter - beim SChreiben - dazu muss ich wohl nix sagen ...
bei der HDD schaut es ähnlich aus - die Lesewerte sind Ok (nicht berauschend - aber OK ) die Schreibwerte sind um 10-14MB bei großen Dateien.
Wie gesagt - lasse ich genanntes Tool auf einer alten ESXI5 mit SSD Array und nem Adaptec laufen erhalte ich sowohl schreiben als auch lesend um die 200mb/s
Auf den WIN2012R2 Maschinen (identsiche Hardware erreicht der 1. Wert (große datei) - lesend und Schreibend Werte >600mb/s
Da der Anhang nicht funktioniert - hier der Link:
https://www.dropbox.com/s/scmvbks7q1mqu ... hot742.jpg
CU
GTR
Schonmal die einzelnen Platten geprüft? Völlig unterirdische Werte hatte ich mit SSD's als ich vor ein paar Jahre 6 Consumer-SSD's in nen RAID 10 packte.
Am Ende war das Problem, dass die Latenzstreuung der einzelnen SSD's schlicht zu hoch war. Natürlich nie bei den selben Blocks. Jede einzelne für sich hatte gute Werte.
Als ich die SSD's gegen gscheites Material tauschte, war das Ergebnis plötzlich mehr als top obwoh die Dinger auf dem Papier deutlich langsamer waren.
Vielleicht hat ja eine oder zwei deiner Dinger nen knacks weg.
Am Ende war das Problem, dass die Latenzstreuung der einzelnen SSD's schlicht zu hoch war. Natürlich nie bei den selben Blocks. Jede einzelne für sich hatte gute Werte.
Als ich die SSD's gegen gscheites Material tauschte, war das Ergebnis plötzlich mehr als top obwoh die Dinger auf dem Papier deutlich langsamer waren.
Vielleicht hat ja eine oder zwei deiner Dinger nen knacks weg.
-
kastlr
- Profi
- Beiträge: 993
- Registriert: 31.03.2008, 17:26
- Wohnort: Einzugsbereich des FC Schalke 04
- Kontaktdaten:
Hallo,
leider sagt die Grafik nichts darüber, wie viele IO's du in der Zeit erzeugst.
Ich nehme außerdem an, das du die Benchmark's in einer VM durchführst.
Wenn dies zutreffen sollte, stelle bitte sicher, das die vmdk's im eagerzeroedthick Format angelegt worden sind.
Denn sonst stimmen deine Ergebnisse nicht.
Gruß
Ralf
leider sagt die Grafik nichts darüber, wie viele IO's du in der Zeit erzeugst.
Ich nehme außerdem an, das du die Benchmark's in einer VM durchführst.
Wenn dies zutreffen sollte, stelle bitte sicher, das die vmdk's im eagerzeroedthick Format angelegt worden sind.
Denn sonst stimmen deine Ergebnisse nicht.
Gruß
Ralf
Hallo zusammen
also - es schaut alles nach einem defekten RAID Controller aus.
Ich hab gestern mal aus verzweifelung WIN2012 drauf gepackt und siehe da - auch hier entsprechend schlechte werte.
Alles nochmals zurückgesetzt - alle Arrays gelöscht - nur einzelne Platten als Array - mit Cache etc. gespielt - es ändert sich nix.
Werde heute einen andren Controller bestellen und dann nochmals testen ...
CU
GTR
also - es schaut alles nach einem defekten RAID Controller aus.
Ich hab gestern mal aus verzweifelung WIN2012 drauf gepackt und siehe da - auch hier entsprechend schlechte werte.
Alles nochmals zurückgesetzt - alle Arrays gelöscht - nur einzelne Platten als Array - mit Cache etc. gespielt - es ändert sich nix.
Werde heute einen andren Controller bestellen und dann nochmals testen ...
CU
GTR
-
Dayworker
- King of the Hill
- Beiträge: 13561
- Registriert: 01.10.2008, 12:54
- Wohnort: laut USV-Log am Ende der Welt...
Wenn man LSI-Controller einsetzt, sollte man auch immer die Firmware-Version im Auge haben. Beim LSI 92XX (Chip SAS2008 und neuer) ist die momentan aktuellste Firmware P20 ein solcher Unsicherheitsfaktor. Als bekannte Probleme finden sich "IO timeouts, disk errors and corruption on nearly every storage drive on LSI’s compatibility list". Die einfachste Lösung besteht weiterhin darin, die P19 einzuspielen.
-
Dayworker
- King of the Hill
- Beiträge: 13561
- Registriert: 01.10.2008, 12:54
- Wohnort: laut USV-Log am Ende der Welt...
Das der mit IBM oder whatever gelabelt ist, spielt für vermutlich jeden Controller mit LSI-Chip im Grunde keine Rolle. Meinen Schmalspur-Controller Dell H200 (Raids 0/1/10, weder Cache noch BBU) beispielsweise habe ich nach der vorbeugenden Einnahme von reichlich Herztropfen relativ unkompliziert von Dell- auf LSI-FW gebracht und inzwischen sogar den Downgrade von P20 zurück auf die P19 gemacht. Das ist also nicht das Problem.
Anders sieht es natürlich aus, wenn der Server nur IBM-gelabelte HW akzeptiert oder du ggf dadurch sogar deinen Support verlierst.
Mit welcher Fehlermeldung bricht das LSI-Update denn immer ab?
Falls das zu schnell durchrauscht, nimm das Update einfach per Smartphone auf und filme den Monitor ab. In den meisten Fällen kommt man damit schon einer Problemursache auf die Schliche oder kann dann zumindest die Suchmaschine seiner Wahl befrägen.
Anders sieht es natürlich aus, wenn der Server nur IBM-gelabelte HW akzeptiert oder du ggf dadurch sogar deinen Support verlierst.
Mit welcher Fehlermeldung bricht das LSI-Update denn immer ab?
Falls das zu schnell durchrauscht, nimm das Update einfach per Smartphone auf und filme den Monitor ab. In den meisten Fällen kommt man damit schon einer Problemursache auf die Schliche oder kann dann zumindest die Suchmaschine seiner Wahl befrägen.
Hi
"neuen" controller erhalten - gleicher FW Stand wie der den ich hatte - dachte schon "mist" - ok - gleiche IBM Update CD - Update läuft durch -schon mal gut ....
ESXI6 gestartet - DAtei von Datastore zu Datastore kopierte - schnell - --ahhhh
Ok - Benchmark Test´s - AHHHHHH - es läuft !
Das war wohl der vermaldeite Controller....
Unfassbar - 4 Tage verplempert
Vielen Dank für eure Tipps
Eine Frage hätte ich noch in Bezug auf diesen LSI Controller:
Daran hängt auch ein Array aus 3 Platten als Raid5 - BBU ist aktiviert - Cache daher ebenso.
Hatte heute einige Tests mit nem Benchmark Tool und größeren Dateien gemacht und hier die Beobachtung gemacht dass ich nahezu doppelt so hohe Schreibraten wie Leseraten habe - ich dacht bisher immer dasss das bei Raid5 umgekehrt ist ?!?
CU
GTR
"neuen" controller erhalten - gleicher FW Stand wie der den ich hatte - dachte schon "mist" - ok - gleiche IBM Update CD - Update läuft durch -schon mal gut ....
ESXI6 gestartet - DAtei von Datastore zu Datastore kopierte - schnell - --ahhhh
Ok - Benchmark Test´s - AHHHHHH - es läuft !
Das war wohl der vermaldeite Controller....
Unfassbar - 4 Tage verplempert
Vielen Dank für eure Tipps
Eine Frage hätte ich noch in Bezug auf diesen LSI Controller:
Daran hängt auch ein Array aus 3 Platten als Raid5 - BBU ist aktiviert - Cache daher ebenso.
Hatte heute einige Tests mit nem Benchmark Tool und größeren Dateien gemacht und hier die Beobachtung gemacht dass ich nahezu doppelt so hohe Schreibraten wie Leseraten habe - ich dacht bisher immer dasss das bei Raid5 umgekehrt ist ?!?
CU
GTR
-
mbreidenbach
- Experte
- Beiträge: 1006
- Registriert: 30.10.2004, 12:41
Zurück zu „vSphere 5.5 / ESXi 5.5“
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 14 Gäste