RAID Einteilung ESX4i

[CLSsupport]

Hi Kollegen

Ich benötige ein paar Profitips für die RAID Einteilung. Habe vor einen Fujitsu RX300S5 mit 12x SAS 145GB HDDs beim Kunden einzusetzen und überlege gerade welche Plattenpartitionierung denn so sinnvoll wäre.

Auf die Kiste kommt
- ein DC für 30user Win2003 Std SP2 und
- ein TS für 5user Win2003 Std SP2
- dann noch eine Appliance für die Backups der VMs (eventuell ghettoVCB2)
- und eigentlich würde ich gerne eine VM mit einem virtuellen iSCSI SAN starten (ich denke da an LeftHand) die den Speicher des RAID60 (6xHDDs) verwaltet und wo die VMs ihre Daten speichern sollen.

Ich dachte ich lasse das ESX auf einem RAID 1 (oder 1E) hochfahren, wobei aber nur wenige GB gebraucht werden.

Was mach ich mit den restlichen 10 HDDs
Ich würde es so einteilen:
noch zwei RAID 1E mit den nächsten 4 HDDs für die 2 Haupt VMs
und dann ein RAID60 mit den restlichen 6 HDDs

Vorerst haben der DC und der TS mit je 145GB ausreichend Platz und wir können den Plattenplatz der restlichen 6 HDDs mit diversen virt SAN Appliances Testen.

Eventuell können wir die mehr als 100GB ungenutzten Plattenplatz auf dem ESX Boot-RAID auch noch für Installdateien nutzen und via Lefthand den Win2003 Servern zur Verfügung stellen.

Das Backup wäre geplant via einem VMware zertifizierten LSI SAS HBA auf simple externe SATA 1TB HDDs mittels Scripts zu sichern (siehe ghettoVCB oder ähnlichem)
Dafür würden wir 5 bis 7 Stück TB SATA HDDs vorsehen die in SATA Wechselrahmen HotPlug eingesetzt werden sollten um dort Daily Backups vorzunehmen.

Gibt es da irgendwelche Tips dazu ?

Michael

[irix]

Mach ein RAID 10 mit Hotspares. Das heist von deinen 12 fallen 2 weg und es verbleiben 10. Das bedeutet 5x146GB bleiben ueber. Das liegt locker unter der 2TB Grenze und macht die Sache einfacher. Gibt dir ca. 250MB/s und reicht somit auch fuer IO intensive Anwendungen.

Aber... bei der Installation des ESXi kann keine Blockgroesse angeben werden und somit kann hinterher nur einer max. Dateigroesse von 256Gb erreicht werden. Wenn du keine Festplatten brauchst welcher groesser sind kannst du das so machen. Wenn nicht dann must du in deinem RAID Controller 2 Volumes anlegen. Ein kleines auf das der ESXi installiert wird und ein zweites an dem hinterher ein Datastore angelegt wird mit benutzerdefinierten Settings.

Gruss
Joerg

[PeterDA]

Hi,
ich kann Joerg nur zustimmen! So würde ich das auch machen!

Gruß Peter

[CLSsupport]

Es gab mal eine Regel - jeder VM sein eigener Plattenstapel. Ich habe mir auch gedacht dies ist hier nicht wirklich nötig. Wir haben keine permanent IO intensiven Anwendungen. Allerdings werden einige Anwendungen von 250MB/sec schon profitieren.

Frage zu Plattencache:
Gibt es Erfahrungen mit dem Einschalten des LSI Read-Ahead Cache oder des Write-Back-Cache der durch die BBU plus die USV abgesichert ist. Read Ahead darf immer eingeschaltet sein. Bringt ein Adaptive Read Ahead (am LSI Controller) bei den grossen Datenblöcken der Virt HDDs einen Performancegewinn ?

Wenn ich schon so vielle HDDs habe ist da nicht auch RAID50 oder 60 ein Thema ? Oder geht dann die Performance schon allein dadurch in die Knie, da dann der LSI RAID Controller dauernd Berechnungen machen muss ?

Andere Frage: Werden auf den grossen SANs mit 20 HDDs und mehr auch meist nur RAID10 Konfigurationen mit Hot Spares gemacht ?

In der vorgeschlagenen RAID10 Konfig könnten mir ja hintereinander (nach dem Rebuild) 3 HDDs eingehen und das System würde sich automatisch wieder Rebuilden. Jedoch dürfen nicht 2 beliebige HDDs zur selben Zeit den Geist aufgeben.

Bei RAID60 mit 10 HDDs mit 2 HotSpares könnten 2 beliebige HDDs zur selben Zeit ausfallen (oder während dem Rebuild darf noch eine beliebige HDD eingehen) und es würden 6 x 145 GB = ca 900 GB als Nettodaten übrig bleiben. Nach dem Rebuild können nochmals 2 beliebige HDDs eingehen - dann müsste ich mich aber schon fragen was am Environment nicht stimmt
Der Serverschrank ist nämlich auch klimatisiert, was den Platten sicher guttut.

Also RAID60 mit 2 Hot Spares - wäre das eine Option oder eher Hände weg davon ?

Michael

[CLSsupport]

RAID Konfiguration:
Ich hab mich für ein RAID60 (10x146GB) mit 2 GlobalHotSpares entschieden. Redundanz 50% der Ausfall einer beliebigen 2ten HDD vor vollendetem Rebuild ist so verkraftbar. Bei den 146GB HDDs dauert ein Rebuild möglicherweise schon mal 10h

Leseperformance: Eigentlich werden die Daten von 10 Spindeln mit je 2 Platten und 4 RW-Heads gleichzeitig gelesen, da die Parity Informationen ja verteilt sind.
Die Schreibperformance muss ich mir mal ansehen (und dann hier melden)

Eigentlich würde es mich noch interessieren, wie der ESX3i mit der gleichen HW-Kiste und dem selben Plattenstapel performt und ob es da merkliche Unterschiede gibt. ESX3i kann ich ja vom USBstick booten und die VMachines hab ich schon in der Virtual HW Version 4 konvertiert.

Und wie ein RAID10 plus 2 GHSpare sich bei der Schreibperformance verhält wäre auch interessant aber das werde ich hier nicht mehr testen.

Cache Konfiguration:
Ich habe mir nun die Mühe gemacht, den User Guide des LSI RAID Controllers durchzuarbeiten.
Die VMachines arbeiten nämlich mit Adaptive Read-Ahead und Write-Back Cache wesentlich performanter.
Ausgestattet mit einer leistungsfähigen USV mit getesteten Shutdown Scripts auf ESX Ebene, einer geladenen BBU Unit am LSI Controller werde ich die vorgesehenen Performance Booster genannt "Schreib/Lese Cache" nicht deaktiviert versauern lassen.

Bei LSI heissen die Einstellungsmöglichkeiten folgendermassen:
Lesemodus (eigentlich Read-Ahead-Cache): KEIN Read-Ahead / Adaptive Read-Ahead / IMMER Read-Ahead (Adaptive heisst: immer dann wenn die letzten 2 Leseoperationen hintereinanderliegende Blöcke angefordert hat, werden (einige) nachfolgende Blöcke gleich im Voraus gelesen und im Read Cache bereitgestellt. Kann für VMDKs oft zutreffen.
Schreibmodus (eigentlich Write-Cache): Write-Through / Write-Back wenn BBU OK / Immer Write-Back (egal ob BBU OK oder vorhanden ist)
Cachemodus (eigentlich ReReadCache): Direkt / Cached (Bei Direkt wird der Block gleichzeitig an den Host weitergegeben und in den Read Cache eingelesen. Bei einem ReRead dieses Blocks wird dann sowieso aus dem Cache gelesen. Beim Cached Modus wir zuerst in den Cache eingelesen und dann von dort an den Host weitergegeben. Welches nun in welcher Situation sinnvoller ist kann ich nicht beurteilen.)
Festplattencache: AUS / EIN - Jede meiner Fujitsu MBB2147RC hat 16MB Festplattencache. Eiegntlich sollte diese HDD so konstruiert sein, dass bei einem plötzlichem Stromausfall durch Kondensatoren soviel Energie gespeichert ist, dass der "dirty cache" auf die Platten geschrieben wird. Der "dirty Cache" ist der noch nicht geschriebene Inhalt des Caches, der gegenüber dem Platteninhalt (eventuell) geändert ist und zum Zurückschreiben dort abgelegt wurde.

Die RAID60 Initialisierung dauert noch 7,5h
also gute Nacht

[bla!zilla]

Es gab mal eine Regel - jeder VM sein eigener Plattenstapel. Ich habe mir auch gedacht dies ist hier nicht wirklich nötig. Wir haben keine permanent IO intensiven Anwendungen. Allerdings werden einige Anwendungen von 250MB/sec schon profitieren.

Ist im Prinzip quatsch. In machen Fällen reicht man Raw-Devices durch, aber jeder VM ein Plattenstapel führt das Prinzip der Virtualisierung ad absurdum

Wenn ich schon so vielle HDDs habe ist da nicht auch RAID50 oder 60 ein Thema ? Oder geht dann die Performance schon allein dadurch in die Knie, da dann der LSI RAID Controller dauernd Berechnungen machen muss ?

Nein. RAID 6 macht bei vielen SATA Platten Sinn, bei langen sequentiellen IOs Sinn. Dank der neuen großen Platten (> 750 GB) steigt die Gefahr bei einem Plattenausfall, während des Rebuilds, eine weitere Platte zu verlieren. Da macht RAID 6 Sinn. RAID 5 kann man gerne nehmen, wenn man ein Verhältnis von 70/30 bei Read/Write hat. Sonst nicht. RAID 5 macht eher bei langen Writes Sinn, wo ein ganzer Stripe geschrieben wird, samt Parity. Bei short Writes ist RAID 5 die Hölle und RAID 6 noch schlimmer. Die Kombination mit RAID 0 ist eher kosmetischer Natur.

Andere Frage: Werden auf den grossen SANs mit 20 HDDs und mehr auch meist nur RAID10 Konfigurationen mit Hot Spares gemacht ?

Ich habe Array mit > 200 Platten bei Kunden und auch da RAID 1+0 (oder VRAID 1). Klar habe ich Spare-Disks, wenn ich sie konfigurieren kann.

In der vorgeschlagenen RAID10 Konfig könnten mir ja hintereinander (nach dem Rebuild) 3 HDDs eingehen und das System würde sich automatisch wieder Rebuilden. Jedoch dürfen nicht 2 beliebige HDDs zur selben Zeit den Geist aufgeben.

Falsch. Du kannst 50% der Platten bei einem RAID 1+0 verlieren, sofern sie nicht zum gleichen Mirror gehören. Bei RAID 0+1 darfst du auch 50% der Platten verlieren, aber nur, wenn sie alle zum gleichen Stripe gehören.

Also RAID60 mit 2 Hot Spares - wäre das eine Option oder eher Hände weg davon ?

Finger weg.

RAID Konfiguration:
Ich hab mich für ein RAID60 (10x146GB) mit 2 GlobalHotSpares entschieden. Redundanz 50% der Ausfall einer beliebigen 2ten HDD vor vollendetem Rebuild ist so verkraftbar. Bei den 146GB HDDs dauert ein Rebuild möglicherweise schon mal 10h

Uhhh... na ja, du scheinst zu wissen was du tust.

[CLSsupport]

Danke Bla!zilla für deine Antworten.

Also werde ich doch noch zu Performancewerten bei RAID60 und RAID10 kommen. Zuerst werde ich heute ESX4i aufsetzen und die 2 Physikalischen DL380er konvertieren, starten und testen.

Dann starte ich ESX3i vom USB Stick.

Dann möchte ich die VMachines mittels script auf ein externes SATA Laufwerk kopieren - als Test des Backups

Dann aber werde ich mit hoher Wahrscheinlichkeit (über Nacht doch nochmals ein RAID10 konfigurieren. Wenn nicht andere Profis gute Erfahrungen mit RAID60 melden

Die ESX4i Installation dauert dann sowieso nur Minuten.

RAID 60 (PQ) wär von der Theorie so schön ausfallssicher - warum sind die ASICs auf den HBAs nicht schon so schnell, dass die Berechnungen beim Schreiben nicht mehr bremsen ??


@Bla!Zilla

Die Kombination mit RAID 0 ist eher kosmetischer Natur.

Beim Schreiben ist mir das einleuchtend, wenn die Berechnungen sowieso so lange dauern, dass es egal ist wieviele Spindeln dahinter auf die Datenaufnahme warten.
Beim Lesen aber werden doch keine Parity Blocks gelesen und daher sollten eigentlich die Daten von 10 Spindeln gleichzeitig geliefert werden, also müsste die Leseperformance bei RAID0, oder RAID00 genauso schnell sein wie bei RAID50 oder RAID60 wenn alle 10 HDDs beinhalten ? Eventuell mit einem geringen Overhead im 5% Bereich.
Wir haben kein Oracle und keinen SQL Server mit heavy IO in einer VMachine. Ein DC mit FS für 30 user und Tobit David und einen TS mit 5 usern. Und da möchte ich mir in der Praxis einmal ansehen, wie das mit RAID60 performt.

Try to keep pool sizes down/distributed tho; you wouldn't want a 2-drive failure to take out 40TB or so.

Quote in VMware communities.
Ich denke, das mit dem Kleinhalten der Poolsizes gilt erst für den TB Bereich. Unter einem TB ist ein einzelnes RAID mit 700-800 GB in heutigem Sinne eh schon wieder "klein" auch wenn alle 12 HDDs daran beteiligt sind.

Michael

[CLSsupport]

Dazu vielleicht noch eine Verständnisfrage:
Defaultmässig legt ESXi seine Datenpartition mit einer Blockgrösse von 1MB an womit eben "nur" die 256GB grossen VMDK Files generiert werden können. Kann man das auch auf 2MB vergrössern sodass 512GB grosse VMDK Files verwaltet werden können, wenn man nur EIN einziges RAID betreibt ? Oder kann man das nur auf einem 2ten RAID Volume einstellen wie es irix vorgeschlagen hat.

Und nochwas: Bei VMserver und VMware Workstation gibt es die monolithic VMDKs oder die twoGbMaxExtentFlat/Sparse - Gibt es eine solche Einstellung auch bei ESX am VMFS oder gibt es dort quasi nur die preallocated monolithicFlat Version der VMDKs

Michael

[irix]

Dazu vielleicht noch eine Verständnisfrage:
Defaultmässig legt ESXi seine Datenpartition mit einer Blockgrösse von 1MB an womit eben "nur" die 256GB grossen VMDK Files generiert werden können. Kann man das auch auf 2MB vergrössern sodass 512GB grosse VMDK Files verwaltet werden können, wenn man nur EIN einziges RAID betreibt ? Oder kann man das nur auf einem 2ten RAID Volume einstellen wie es irix vorgeschlagen hat.

Ich habe nur von einem RAID gepsrochen da deine Anzahl von Platten fuer alles andere zu gering ist. Bei den meisten Kontrollern kann man auf seiner einen gewaehlten RAID Gruppe mehrere Volumes, vDisks ($Vendor-bezeichnung) anlegen. Manchmal haengt dieses Feature auch vom gewaehltem RAID Level ab.

Im Gegensatz zum ESX3 laesst sich im Nachhinein der bei der Installation angelegte Datastore nicht mehr loeschen da hier die Konsolen VMDK liegt.

Und nochwas: Bei VMserver und VMware Workstation gibt es die monolithic VMDKs oder die twoGbMaxExtentFlat/Sparse - Gibt es eine solche Einstellung auch bei ESX am VMFS oder gibt es dort quasi nur die preallocated monolithicFlat Version der VMDKs

Michael

Das ging schon immer und hies Thinprovisioning. Ging bei ESX3 nur auf der Kommandozeile und war unter Umstaenden nicht ueberall Support. Bei ESX 4 stehen dieses Optionen in der GUI beim Anlegen/Clonen bzw. Storage vMotionen zur Verfuegung.

Gruss
Joerg

[bla!zilla]

Beim Schreiben ist mir das einleuchtend, wenn die Berechnungen sowieso so lange dauern, dass es egal ist wieviele Spindeln dahinter auf die Datenaufnahme warten.
Beim Lesen aber werden doch keine Parity Blocks gelesen und daher sollten eigentlich die Daten von 10 Spindeln gleichzeitig geliefert werden, also müsste die Leseperformance bei RAID0, oder RAID00 genauso schnell sein wie bei RAID50 oder RAID60 wenn alle 10 HDDs beinhalten ? Eventuell mit einem geringen Overhead im 5% Bereich.

Wie kommst du darauf? RAID 5 dürfte in deinem Beispiel als 9+1, bzw. RAID 6 als 8+2 organisiert sein. In Kombination mit RAID 0 dann wohl als 4+1 bzw. 3+2. Das heißt bei einem nackten RAID 5 und 10 Platten liefern 9 Platten die Daten. Die 10. hat ja, bei dem Stripe den du liest, keine produktiven Daten. Wenn du das mit RAID 0 kombinierst, lesen 8 bis 6 Platten. RAID 5 und 6 arbeiten schon mit Striping. Du stripest also ein Stripeset. In meinen Augen Kosmetik für den Käufer. Sowas ist in keinem ernstzunehmenden Storage implementiert. Wenn du zwei RAID 0 per Software stripest, wird es i.d.R. nicht schneller, teilweise sogar langsamer.

[kraab]

Mach ein RAID 10 mit Hotspares. Das heist von deinen 12 fallen 2 weg und es verbleiben 10. Das bedeutet 5x146GB bleiben ueber. Das liegt locker unter der 2TB Grenze und macht die Sache einfacher. Gibt dir ca. 250MB/s und reicht somit auch fuer IO intensive Anwendungen.

Gruss
Joerg

Macht es eventuell im Sinne der "möglichst viele Spndeln Idee" nicht mehr Sinn bei 12 Platten drei RAID 10 mit jeweils 4 Platten anzulegen ? Man hätte dann 3 unabhängige "Spindeln" und im Endeffekt sogar eine etwas höhere Nutzkapazität. Die fehlenden Hotspares könnte man auch verkraften, weil bei 4 Platten die Ausfallwahrscheinlichkeit geringer ist als bei 12 und die 3 RAID´s unabhängig voneinander redundant sind.
Performancemäßig bringt es m.E. nach ernorm viel, wenn die System- und die Datenplatten auf verschiedenen Spindeln liegen...

[CLSsupport]

Ich habe nur von einem RAID gepsrochen da deine Anzahl von Platten fuer alles andere zu gering ist.

Und ich freu mich schon wenn ich eine Maschine mit 12 HDDs verkaufe oder in die Finger kriege und du sagst, dass meine Anzahl der Platten zu gering ist.
Ich muss mich auch bei einer Firma der TOP100 als VMware Spezialist in Österreich bewerben, dann kann ich auch mit viellen ESXen und echten SANs mit viellen hundert Platten herumspielen. Beim Support von Klein und Mittelbetrieben

Das ging schon immer und hies Thinprovisioning.

Aha - das heisst, wenn ich bei 10 Servern als SYS Volumes je 32GB Partitionen anlege, von denen aber nur je 20GB genutzt sind und die restlichen 12GB frei sind, dann habe ich insgesamt nur 200GB im Datastore belegt ? Super - ich hab bisher nicht einmal den Versuch gemacht den Begriff Thin-Provisioning zu verstehen.

Dann bin ich gespannt, wann die Deduplicating Technologie der Backup Systeme ins Thin Provisioning einfliesst. Warum müssen alle W2k3 Server die gleichen dll's und System Files auf ihren System Volumes parken. Das könnte man ja auch noch "verdünnen"

@kraab
Dieser Ansatz war mir nicht fremd. 3 x 4HDDs mit jeweils RAID10
oder 3 x 2HDDs RAID1 - für ESX für VM1 für VM2 und dann 1 x RAID50 mit 6HDDs für den Datastore für alle anderen
oder doch nur 1 x 2HDDs mit RAID1 und die restlichen 10 HDDs im RAID10 Verbund

Diese Multi Spindel Konfiguration ist für irix eher kein Thema gewesen. Wir haben aber auch keine IO intensiven Applikationen dort.

Mal sehen: Die Konfiguration von einem grossen RAID Volume über 10 HDDs mit 2 Hot Spare auf dem auch die ESX4i Partitionen drauf installiert sind, hat zu einer Fehlermeldung geführt bei einem Versuch, von ESX4i Build 164009 auf 17xxxx zu kommen.
Nun haben wir die ESX Boot Partitionen nochmals am USB Stick !
mal sehen
mfg MG

[bla!zilla]

Es gibt vier ganz einfache Regeln für RAID Sets, die hier offenbar nur wenige beherzigen und der Rest gepflegt ignoriert:

- Applikationen mit gegensätzlichen IO Anforderungen nicht auf den gleichen Platten mischen
- IO (sequential oder random) in Arrays isolieren
- Mehrere logische Laufwerke in einem Array bei random IO
- Ein logisches Laufwerk pro Array bei sequential IO

Warum also kompliziert mit vielen RAID Sets rumhantieren und sich die Performance versauen? 2x RAID 1 für das System, oder direkt vom USB Stick booten, und dann den Rest der Platten in ein Array. Fertig. Gib maximalen Bumms.

btw: Von wegen SAN usw. nicht im Mittelstand: Davon haben wir haufenweise im Mittelstand stehen. Gerade für VMware. Ich würde nie auf die Idee kommen 12 Platten in einen Server zu knallen, eher hänge ich einen JBOD hinter einen Server. Da bin ich definitiv skalierbarer.

[ente]

Aber... bei der Installation des ESXi kann keine Blockgroesse angeben werden und somit kann hinterher nur einer max. Dateigroesse von 256Gb erreicht werden.

Dazu vielleicht noch eine Verständnisfrage:
Defaultmässig legt ESXi seine Datenpartition mit einer Blockgrösse von 1MB an womit eben "nur" die 256GB grossen VMDK Files generiert werden können. Kann man das auch auf 2MB vergrössern sodass 512GB grosse VMDK Files verwaltet werden können, wenn man nur EIN einziges RAID betreibt?

Es kann sehr wohl eine Blockgröße angegeben werden.
Mann muß dazu nach der Installation einfach den Datastore löschen und neu anlegen, dabei wird man gefragt, welche Blockgröße verwendet werden soll!
256GB (1MB-Blockgröße), 512Gb (2MB-Blockgröße) 1TB (4MB-Blockgröße) oder 2TB (8MB-Blockgröße).

Das klappte zumindest bei mir mit dem ESXi 4.0 und sollte auch mit dem ESX klappen.

Gruß Heiko

[JMcClane]

Ist nur ein wenig doof den Datastore zu löschen auf dem der ESX liegt...

[irix]

Ist nur ein wenig doof den Datastore zu löschen auf dem der ESX liegt...

"Schwund ist ueberall und mit Verlusten ist stets zu rechnen"

SCNR,
Joerg