"guter" Raidlevel auf MSA P2000

[czwecker]

Hi,

wir setzen grade ein neues System bestehend aus 3 vsphere 5.5 Hosts (HP DL380) und einer HP MSA P2000 G3 FC auf.

Alles via FC Switch verbunden, ich habe die letzten Tage so einiges gelesen und konkret kann man natuerlich keine genaue aussage darüber treffen wie der Storage optimal eingerichtet sein muss, aber ich wäre froh wenn jemand kommentieren könnte ob was ich vorhabe total unsinnig ist oder nicht.

Es laufen über die 3 Hosts verteilt ca 30 VMs, die meisten kleine Windows oder Linux (Webserver) Server auf denen nicht viel passiert. Dabei sind dann ua AD und Exchange Server . User sind an die 70.

Der Fileserver sollte auch eine VM sein die einen eigene MSA 2000 per direkt mode zugewiesen bekommt.

wir haben 14x600 GB SAS Platten in der neuen P2000. 2 Controller.
Ich dachte mir ich erstelle pro Controller ein RAID5 und insgesamt 2 Globalspares.

Was meinst ihr - macht das Sinn ? oder totaler Blödsinn?

Bin für jeden Kommentar dankbar, wenn mehr infos benötigt werden gebe ich die gerne noch durch.

Dankeschön!

[bla!zilla]

Im Prinzip hängt es von deinen Anforderungen ab. Die Vdisks werden per Round Robin auf die Controller verteilt. Vdisk 1 landet also automatisch bei Controller 1, Vdisk 2 bei Controller 2. Damit landen auch alle Volumes in den Vdisks bei dem jeweiligen Vdisk Owner. Bei der maximalen Plattenanzahl bist du je nach RAID Level unterschiedlich eingeschränkt. Bei RAID 5 kannst du maximal 16 Disks in einer Vdisk nutzen.

Wenn du eine Vdisk pro Controller bauen willst, dann sind das 6x 600G. Zwei Global Spare halte ich in dem Konstrukt für übertrieben. Denkbar wären also ein 12x 600G als RAID 5 mit zwei Volumes oder vielleicht sogar ein RAID 1+0 mit zwei Volumes. Mehrere Volumes in einer Vdisks sind in diesem Umfeld kein großes Problem. 12x 600G hätte auch den Vorteil von mehr IOPS gegenüber dem Nachteil, dass du nur eine große Failure Domain hast. RAID 6 würde ich persönlich nicht einsetzen.

[czwecker]

hm ok, angenommen ich baue ein RAID5 über 12 Platten, das wäre dann ja nur eine vdisk die an nur einem controller hängt oder. Ich dachte mir bei zwei RAID5 an je einem controller performt das besser, oder ist das bei der Dimension zu vernachlässigen?
Mangels Erfahrung kann ich das nicht einschätzen.

Un bei einem RAID5 über 12 Platten, warum dann 2 Volumes und nicht ein grosses ?

danke und schöne Grüße

Im Prinzip hängt es von deinen Anforderungen ab. Die Vdisks werden per Round Robin auf die Controller verteilt. Vdisk 1 landet also automatisch bei Controller 1, Vdisk 2 bei Controller 2. Damit landen auch alle Volumes in den Vdisks bei dem jeweiligen Vdisk Owner. Bei der maximalen Plattenanzahl bist du je nach RAID Level unterschiedlich eingeschränkt. Bei RAID 5 kannst du maximal 16 Disks in einer Vdisk nutzen.

Wenn du eine Vdisk pro Controller bauen willst, dann sind das 6x 600G. Zwei Global Spare halte ich in dem Konstrukt für übertrieben. Denkbar wären also ein 12x 600G als RAID 5 mit zwei Volumes oder vielleicht sogar ein RAID 1+0 mit zwei Volumes. Mehrere Volumes in einer Vdisks sind in diesem Umfeld kein großes Problem. 12x 600G hätte auch den Vorteil von mehr IOPS gegenüber dem Nachteil, dass du nur eine große Failure Domain hast. RAID 6 würde ich persönlich nicht einsetzen.

[bla!zilla]

Ich glaube nicht, dass du in der Umgebung einen Controller ans Limit bringst. Wegen der Volumegröße: Lieber zwei kleinere Volumes, als ein großes Volume. Geht dir das mal kaputt, dann hast du richtig Spaß beim Restore. RTO und RPO haben auch Einfluss auf die Größe eines Volumes.

[czwecker]

ah ok. wenn ich zwei volumes habe (so ist es bei uns aktuell). "Präsentiere" ich den hosts dann optimalerweise die zwei volumes als EIN Datastore (so ist es momentan 2x1,8 TB=ein 3.6TB Datastore).

Oder sollte man lieber zwei stores getrennt nutzen,

Ich frage mich sowieso, wenn ich zwei volumes zu einem Datastore zusammenfasse, dann hat man keine Kontrolle was wo landet oder ? Wenn dann ein Volume ausfällt ist eh alles hinüber oder ?

danke für die hilfe

[bla!zilla]

Zwei getrennte Datastores. Mit Extents würde ich heute nicht mehr unbedingt arbeiten.

[continuum]

Falls RAID 5 verwendet werden soll - dann sollte die Wartung der Controller von jemand übernommen werden der sich WIRKLICH gut damit auskennt.

Hatte erst heute wieder einen Fall bei dem ein Rebuild eines Raid5 nach Plattenausfall mit einem Totalverlust geendet hat.

Meine erste Reaktion wenn jemand wegen VMFS-problemen anruft und erzählt dass er RAID 5 (oder Extents) verwendet ist jedenfalls immer : "oh je "

[Dayworker]

Ist in meinen Augen nichts ungewöhnliches, daß sich ein Raid5 beim Rebuild komplett verabschiedet. Daher wäre für mich die Frage, ob man heutzutage gerade im Hinblick auf die inzwischen verfügbaren Plattengrössen überhaupt noch auf ein Raid5 setzen sollte?

Das man um ein Backup in keinem Fall herumkommt, ist mir klar und ebenso, daß man mit einem Raid5 den geringsten Plattenverschnitt hat.

[manuel-33]

Hallo,

verfolge gerade die Diskussion hier mit den RAID-Levels usw.

Mich würde interessieren was Ihr dann so empfehlt wenn es immer wieder Probleme mit RAID5 und VMFS gibt.

[irix]

Ich finde obige Aussagen laecherlich ohne dirkten Kontext.

@Dayworker
Es gibt die Empfehlung von Herstellern bei >900GB kein Raid5 mehr zuverwenden da die Gefahr bei langen Rebuildzeiten bei Platten bis zu 4TB besteht das eine weitere ausfallen kann.

Gibt Systeme welche diesen Level dann nicht mehr anbieten. Des weiteren koennen Platten in Pools zusammengefasst werden in denen die Daten in optimiertererq Reihenfolge abgelegt werden so das bei einem Rebuild viele Platten mithelfen.

Auch wird versucht bei einem drohenden Ausfall von der bedrohten Platte die Daten auf die Hotspare zukopieren um somit den die Rebuildzeiten soklein wie moeglich zuhalten.

Gruss
Joerg

[UrsDerBär]

Naja, RAID 5 ist nach wie vor weit verbreitet.
Die Belastung beim Rebuild ist aber nunmal ziemlich gross. Vor allem für etwas ältere Discs. In ver Vergangenheit liess es sich meist mit einem Force-Online wieder richten. Irgendwie hat man fast alles wieder hinbekommen.

Für robuste Dateisysteme wie NTFS war das in der Regel sogar gut machbar und es gingen höchstens ein paar Files über den Jordan. Der Rest kam vom Backup.

Heute hat man aber das Problem, das ganze Computer ein paar wenige Files sind und eben teilweise auch eher anfällige Dateisysteme wie das VMFS im Einsatz sind. Kleine, verhältnissmässig simple Fehler können theoretisch die ganze Umgebungen über den Jordan gehen lassen. Gilt sowohl fürs Backup als auch das produktive System.

Meiner Meinung nach ist es schwieriger als auch schon, hier eine sinnvolle Risiko-Beurteilung zu treffen und entsprechende Massnahmen bereitzuhalten. Vor allem wenn es irgendwo noch sinnvoll finanzierbar sein soll.

[MarcelMertens]

Grundsätzlich sind natürlich die Raid Rebuildzeiten im Raid5/6 als kritisch zu betrachten.
Zum einen da die Performance massiv in den Keller geht, zum anderen da die Rebuildzeiten je nach Anzahl Disks / Größe Disks teilweise in Tage gezählt werden.

Wie Irix schon sagte, gibt es Empfehlungen (ich kenne hier z.B. explizit Dell) die sagen, dass bei Platten >900GB statt RAID5 besser RAID6 zu verwenden ist.
Gerade bei Parity Raid Sets mit 2-4 TB Platten würde ich nie mehr RAID5 Verwenden.

Meine Grundsätze (so lange der Performanceverlußt im Rebuild hinnehmbar ist)
300-600 GB HDDs -> RAID5 mit max 9 Platten
900GB HDDs -> RAID5 mit max 5 Platten
>900GB HDDs -> RAID6 mit max. 7 Platten


Das es zu korrupten VMFS Datastores nach dem Rebuild von RAID5 kommt habe ich bis jetzt nocht nie erlebt. Wenn das wirklich so sein sollte, würde ich mir aber Gedanken über generelle Tauglichkeit des RAID Controller machen

[dhx256]

Was ist denn mit dem Mischraidlevel z.B. RAID 50 dort ist die vom Rebuild betroffenen Plattenanzahl doch schonmal deutlich kleiner.

Gruss
Martin

[Dayworker]

Was soll damit sein?
Ein Raid50 ist für mich in erster Linie ein Konstrukt-mit-irreführer-Raid-Bezeichnung (Raid0), bei dem ein Raid0-Array aus mindestens zwei Raid5-Verbünden aufgebaut ist und pro Raid5-Verbund darf genau eine Platte ausfallen. Fällt ein Raid5-Verbund beim Rebuild aus, fehlen im Raid0-Array der mit dem ausgefallenen Raid5-Verbund verbundene Speicherplatz oder kurz: kompletter Datenverlust.

[irix]

Was ist denn mit dem Mischraidlevel z.B. RAID 50 dort ist die vom Rebuild betroffenen Plattenanzahl doch schonmal deutlich kleiner.

Gruss
Martin

Ich kann mich mit RAID50 anfreunden und wuerde das an deiner Stelle waehlen.

Gruss
Joerg

[UrsDerBär]

Jau, RAID 50 mit eher kleineren Disc-Sets ist nicht sooo übel.


Wie auch immer, mir gefällt folgende Formel:
SAS = RAID 5 OK, RAID 50 für grössere. Lieber RAID 10
NS (7.5k mit SAS-Anschluss) = RAID 10 oder besser 1:N wobei N für mehr als einen Spiegel pro Disc steht

RAID 10 ist einfach deutlich schmerzfreier, ziemlich performant und Rebuilds sind verhältnismässig schnell. Heute ist der reine Storage-Platz doch eh seltener das Problem wenn nich grad mit SSD's gearbeitet wird. IOPs ist da viel eher der limitierende Faktor bei Magnetdiscs. Davon brauchts auch heute noch jede Menge um auf eine vernünftige Leistung zu kommen. Da fährt man mit Local-Storage häufig nicht unbedingt schlechter

Bezüglich LocalStorage: Mir in performanter Form (SSD/Mixbetrieb mit modernem Controller), in Verbindung mit nem schnellen Backupsystem (Read), deutlich lieber als ne vergleichsweise lahme SAN. --> Geringere Lizenzkosten, günstigeres aber viel schnelleres Storage, dafür mit Komfortverlust. Da ist ein Rebuild von X-100 GB in ein paar Minuten/Stunden durch.
Alles immer in kleinen 1-3 Host Umgebungen. Mit was anderem habe ich nicht zu tun