ProLiant DL380G5 - Harddisk Performance optimieren

[SonicBoom]

Hallo zusammen,

Ich wollte fragen wie ich meinen DL380G5 am besten Upgrade um eine bessere Harddisk Performance zu bekommen.

Im moment sind im System 2x 72GB 15'000 RPM SAS Platten in einem Raid1. Dort ist auch der ESXi drauf installiert.

Jedoch liegen alle VMs auf der MSA60 mit 8x 750GB SATA Platten. Irgendwie eine komplette Fehlüberlegung meiner Meinung nach. Den die SATA Platten haben doch viel eine schlechtere IOPS als die SAS Platten?

Würde es Sinn machen weitere 6 72GB 15'000 RPM SAS Platten zu kaufen. Ein Raid zu erstellen Raid5? Raid6? Raid1??? und die VMs dort hin zu verschieben?

Vielen Dank für eure Hilfe

Grüsse
Sonic

edit:// ich habe gerade HD Tach 3.0.4.0 auf einer der VMs laufen lassen mit dem traurigen ergebnis von 7.7 MB/s Average read....

Irgendwie weiss ich nicht genau wo da der hacken ist....

[Dayworker]

Im moment sind im System 2x 72GB 15'000 RPM SAS Platten in einem Raid1. Dort ist auch der ESXi drauf installiert.

Hut ab vor soviel Verschwendung für den ESXi. Der läßt sich bekanntlich auch auf einem 1GByte USB-Stick installieren und die stündliche Sicherung seiner Config nimmt auch nicht groß Platz in Anspruch.

Jedoch liegen alle VMs auf der MSA60 mit 8x 750GB SATA Platten. Irgendwie eine komplette Fehlüberlegung meiner Meinung nach. Den die SATA Platten haben doch viel eine schlechtere IOPS als die SAS Platten?

Ich kenn die MSA60 zwar nicht. Daher weniger IOPS ja, aber die meisten Storage-Anbieter fahren aus Kosten- & Platzgründen intern immer noch SATA-Platten. Es kommt zudem drauf an, ob das Storage überhaupt SAS-Platten unterstützt und wie die interne Aufteilung ist.
Wenn du eine hohe Schreibleistung sicherstellen mußt, wäre daher auch ein Raid10 über alle 8 Platten eine Überlegung wert, wenn es die MSA60 konfigurieren kann und du dabei trotzdem noch unter der Grenze von 2TB-minus-512Byte bleibst. Wie ich von Jörg (irix) mitbekommen habe, kann nicht jedes Storage bei jedem Raidlevel noch den Platz weiter aufteilen.

[SonicBoom]

Hut ab vor soviel Verschwendung für den ESXi. Der läßt sich bekanntlich auch auf einem 1GByte USB-Stick installieren und die stündliche Sicherung seiner Config nimmt auch nicht groß Platz in Anspruch.

Okay, ich werd das wohl gleich mal ändern morgen früh. USB Stick dran und das ESXi da drauf.

Ich kenn die MSA60 zwar nicht. Daher weniger IOPS ja, aber die meisten Storage-Anbieter fahren aus Kosten- & Platzgründen intern immer noch SATA-Platten. Es kommt zudem drauf an, ob das Storage überhaupt SAS-Platten unterstützt und wie die interne Aufteilung ist.
Wenn du eine hohe Schreibleistung sicherstellen mußt, wäre daher auch ein Raid10 über alle 8 Platten eine Überlegung wert, wenn es die MSA60 konfigurieren kann und du dabei trotzdem noch unter der Grenze von 2TB-minus-512Byte bleibst. Wie ich von Jörg (irix) mitbekommen habe, kann nicht jedes Storage bei jedem Raidlevel noch den Platz weiter aufteilen.

Naja, die MSA60 ist eine Storage von HP welche via Glasfaser auf einen HP P800 Raid Kontroller connected wird. Ist eigentlich ganz nett das Ding... Aber irgendwie Sau lahm. Man könnte alles mit SAS ersetzten habe das abklären lassen.

Jedoch denke ich das wir die so lassen wie sie sind und den anderen P400 Kontroller wo jetzt die 2x 72GB 15'000 RPM Platten dran sind um 6 weitere 72GB 15'000 RPM Platten erweitern. Dort dann ein Raid10 machen...

Jedoch frage ich mich schon wieso die Performance so schlecht ist. Kann es am der Konfig vom Kontroller liegen? Muss man da noch eine Option aktiveren / deaktivieren...

Angeblich war die Performance früher vieeel besser. Muss man vmfs auch defragmentieren?

[al!ve]

Welches RAID-Level fahren die SATA-Platten aktuell? Und was sprechen die beiden RAID-Controller über ihre Batterien? Ich hab die Situation selbst (Gott sei Dank) noch nie ausprobiert weil mein ESX recht neu ist, die Batterie meines Controllers dürrfte also noch ne Weile halten. Man liest aber so einiges und die Begründung dafür eigentlich eine Selbstverständlichkeit. Das Vorhandensein und die Funktionstüchtigkeit einer BBU am RAID-Controller haben grundsätzlich (tierisch) Auswirkung auf die Performance.

Kennt dein ESX deine Controller und kann dir die Status deiner Platten und der Batterien anzeigen?

Ich hab nen kleinen ML330 mit P410-Controller, an dem hängen aktiv drei 250GB SATA-Platten im RAID5 (BBU mit 512MB Cache hab ich am Controller), ich hab in den VMs ~150MB/s, lesend wie schreibend. Wenn du nur auf 7MB/s kommst würde ich oberflächlich betrachtet behaupten "da ist was ganz schön kaputt". Auf gut Glück Platten zu kaufen muss da nicht zwingend die erwünschte Verbesserung bringen.

Auf deinem 2*72er SAS-Mirror müssten ja noch ~70GB Platz sein der sich auch als Datastore verwenden lassen sollte ohne dass du dazu viel am ESX drehen musst. Unterscheiden die sich beide in ihrer Geschwindigkeit oder sind die recht ähnlich?


Grüße,
Stephan.

[affabanana]

Hallo zusammen

Ich kenne das nur wenn auf dem RAID Controller der Writeback Cache nicht aktiviert ist.
Schau Dir das mal an.
Wenn alles an 1er oder 2 USV hängt sollte das kein Problem geben. Datenverlust wenn der Cache nicht mehr geleert werden kann.

Hast Du die Batterie am Controller? P800

Hab grad gelesen Read.. Das sollte schon schneller gehen.

Häng die 72GB SAS nachher mal ins MSA60 rein. WEnn das mit dem USB Stick klappt.
dann mach RAID 1 oder RAID 0 um die Mögliche Performance zu sehen.

Ich meine das die MSA per SAS Kabel an den P800 angeschlossen wird.


gruass affabanana

[SonicBoom]

Also ich habe kurz alles via SmartStart gecheckt... Ist glaube ich alles IO...

hier die Bilder dazu (die Reihenfolge stimmt leider nicht):












Hier noch ein Screenshot vom HD Tach:

[bla!zilla]

HDTach ist unbrauchbar und nicht geeignet um die Performance von einem RAID zu testen. Verwende IOmeter o.ä. HDTach kann man nutzen, wenn man eine Einzelplatte hat, aber nicht für ein RAID.

[eini]

SATA Schafft kaum I/Os. Stimmt schon was du sagst.
Nimm I/O Meter um verlässliche Ergebnise zu bekommen.
Den Cache würde ich auf 75% lesen und 25% schreiben stellen.
BBWC ist Pflicht.
Raid 10 wäre I/O technisch das Performanteste.
Nutzt du Para Treiber in den VM´s?
Einen Test zu machen wenn alles läuft liefert natürlich keine besonders guten Werte.
Kannst du Tests machen wenn keine VM´s in Betrieb sind?

Ob man VMs defragmentieren muss ist eine gute Frage, ich persönlich bleibe immer noch bei ja. Insbesondere wenn man wie du keine Storagevirtualisierung einsetzt wie z.B. bei einem NetApp sondern schlicht ein Subsystem. Stichwort verschränkte Fragmentierung.... NTFS->VMFS->StorageFileSystem

Wobei alle auf einmal defragmentieren lassen bringt nur noch mehr Fragmentierung. Das Thema ist sehr komplex...

[Dayworker]

Hmm, laut den verlinkten Bildern hat der P400 keinen Akku/Kondensator und 256MB während der P800 über 2 Akku/Kondensatoren und 512MB Storage-Cache verfügt.
Stimmt eigentlich PCI als "Busschnittstelle" des P800?


PS: Dein HDTach-Bild sagt was von 24.2MByte/s im Read. Unschön sind dabei natürlich die Einbrüche bis runter auf 5MByte/s, aber das könnte wie "bla!zilla" schon anmerkte auch an HD Tach liegen.

PPS: Von wo nach wo hast du denn kopiert? Etwa innerhalb des Raid5 oder von Extern rauf bzw von Intern runter?

[SonicBoom]

HDTach ist unbrauchbar und nicht geeignet um die Performance von einem RAID zu testen. Verwende IOmeter o.ä. HDTach kann man nutzen, wenn man eine Einzelplatte hat, aber nicht für ein RAID.

Gut, ich hab einfach das erst beste genommen. Aber egal ob Raid oder nicht die Performance dürft doch nie so lausig sein?

Nutzt du Para Treiber in den VM´s? Kannst du Tests machen wenn keine VM´s in Betrieb sind?

Ich nutze den LSI Logic Parallel Treiber, schlecht? Es waren zu diesem Zeitpunkt keine anderen VMs am laufen... Desshalb vermutlich die 24,8MB/s anstatt den üblichen <10MB/s

Hmm, laut den verlinkten Bildern hat der P400 keinen Akku/Kondensator und 256MB während der P800 über 2 Akku/Kondensatoren und 512MB Storage-Cache verfügt. Stimmt eigentlich PCI als "Busschnittstelle" des P800?

Der P800 ist auf einem PCI-X steckplatz das stimmt soweit, das mit den 2 Akku/Kondensatoren kann auch sein da der glaube ich immer das automatisch als zubehör dabei hat. Würde es sinn machen das ganze für den P400 auch zu bestellen?

Von wo nach wo hast du denn kopiert? Etwa innerhalb des Raid5 oder von Extern rauf bzw von Intern runter?

Also ich hab schon diverestes probiert... via SSH (Putty) von data1 (RAID5 von 4x 750GB auf dem P800) auf datastore1 (Raid5 von 8x 72GB SAS 15'000) extrem langsam... hab aber keinen genauen Wert dauerte einfach ewig... um eine VM von 20GB zu kopieren.
Dann mit HD Tach auf einer VM W2k3 x64 EE ohne das eine andere VM gelaufen ist...
Dann via WinSCP etwas auf das datastore1 versucht zu kopieren von meinem Client mit irgendwie 8-10 MB/s

[SonicBoom]

Ich hab inzwischen von den 2x 72GB SAS Platten aufgestockt auf 8x 72GB SAS Platten. Leider ohne wirklichen erfolg. Ich hab eine RAID 1+0 Array über die 8x 72GB Platten gemacht. Eine VM auf das neue Array verschoben und HD Tach laufen lassen mit dem ergebniss von 38MB/s read... das kann doch nicht sein dass 8x 72GB SAS Platten so schlecht performen?

[eini]

@SonicBoom

LSI Logic Parallel halte ich für falsch, es sollte wenn dann doch ein LSI Logic SAS Typ oder besser ein VMware Paravirtual SCSI-Controller-Typ sein.

Und besorg dir unbedingt die CacheEnabler sonst brauchst du gar nicht weitersuchen.

[Dayworker]

Ich hab inzwischen von den 2x 72GB SAS Platten aufgestockt auf 8x 72GB SAS Platten. Leider ohne wirklichen erfolg. Ich hab eine RAID 1+0 Array über die 8x 72GB Platten gemacht. Eine VM auf das neue Array verschoben und HD Tach laufen lassen mit dem ergebniss von 38MB/s read... das kann doch nicht sein dass 8x 72GB SAS Platten so schlecht performen?

Hmm. Das Posting von "bla!zilla" "HDTach ist unbrauchbar und nicht geeignet um die Performance von einem RAID zu testen. Verwende IOmeter o.ä. HDTach kann man nutzen, wenn man eine Einzelplatte hat, aber nicht für ein RAID." war ja wohl eindeutig.
Deine weiteren Tests damit machen für mich absolut keinen Sinn mehr.

[SonicBoom]

@SonicBoom

LSI Logic Parallel halte ich für falsch, es sollte wenn dann doch ein LSI Logic SAS Typ oder besser ein VMware Paravirtual SCSI-Controller-Typ sein.

Und besorg dir unbedingt die CacheEnabler sonst brauchst du gar nicht weitersuchen.

Ich kann nur zwischen LSI Logic Parallel und BusLogic Parallel auswählen... Was meinst du mit den CacheEnablern?

Hier der Link zum IOMeter Benchmark:

[Supi]

Na er meint das BatteriePack, damit der Controller von Write-Through auf Write-Back umschaltet.

[SonicBoom]

Okay, ist bestellt für den P400. Der P800 hat das ja schon per default.

[SonicBoom]

Habe jetzt via IOMeter ein 64KB Write / Read Test gemacht auf einem neue w2k3 server mit VMware Paravirtual SCSI-Controller, interessantes Resultat...

Read:

Write:

[Dayworker]

Wenn ich das richtig sehe, haben sich deine Werte um den Faktor 10 verbessert.

[SonicBoom]

Ja, wenn ich nun mal nur die Benchmarks berücksichtige mag das stimmen. Jedoch hab ich das 2GB Benchmark FIle einfach versucht auf der gleichen VM in der gleichen Platte zu copy pasten und das ging so ca. 50 Sekunden.... was bei mir wenn ich rechne einen schnitt von 40.96 MB/sec gibt... Desweitern haben ich über unser NAS welches wirklich über 200 MB/Sec bringt einen download gemacht und es ging auch verhältnismässig lange...

wie kann ich das ganze weiter analysieren wie sollte ich IO Meter konfigurieren um das richtig zu testen?

[sirrossi]

Moin, moin,

wenn Du die üblichen Tagesaktivitäten nachstellen möchtest, sind folgende Parameter sinnvoll:
6 Workers, Blockgröße: 4 kB, 75 % Read, 75 % Random

Aber nicht enttäuscht sein, wenn nur wenige MB/s zu Buche stehen