Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Fragen zur Config HP MSA P2000 G3

ESX(i)-taugliche Hardware, HCL .....

Moderatoren: irix, Dayworker

Member
Beiträge: 39
Registriert: 29.03.2010, 08:23

Fragen zur Config HP MSA P2000 G3

Beitragvon xwing70b » 04.07.2011, 20:58

Hallo Forum,

ich habe heute ein vorkonfiguriertes SAN bekommen. Ich bin mir nur nicht sicher, ob die Config sinnvoll ist.

SAN: HP MSA P2000 G3 mit 24 500GB Platten, 2 Controller mit je 4xiSCSI
Server: 2 x Dell
Switch: 3 x HP

SAN Config: RAID 50 über 22 Platten und 2 Hot Spare – je zwei Netzports (kein trunk) an jeden Switch bei beiden Controllern

Nun eine vDisk über alles mit 10GB Nutzkapazität. Diese dann in 20 LUNs an den ESX gereicht.

Die Server haben 4 Ports onboard inkl. iSCSI Offload. Jeweils 2 Ports an jeden Switch.
Für die Netzanbindung gibt es eine 4 Port Netzwerkkarte. Alle an den 3. Switch ohne Trunk

Nun die Fragen:
- Ist die SAN-Verkabelung ok ? Wo liegen Vor- und Nachteile wenn man Trunks bzw. Teaming macht ?
- Ist die LAN-Verkabelung ok ? Wo liegen Vor- und Nachteile wenn man Trunks bzw. Teaming macht ?
- Macht das Raid 50 Sinn, oder hätte man Raid 10 deutlich mehr Performance ?
- In der MSA Oberfläche habe ich gesehen, dass die vDisk einem Controller zugeordnet ist. Hätte ich dann bei nur einer vDisk ein aktiv/passiv System, oder werden trotzdem beide Controller genutzt ?
- Welche Pfad Richtlinie würdet ihr verwenden: Zuletzt verwendet, Round Robin …
- Da die MSA ja ALUA-fähig ist, welche Vorteile kann ich daraus ziehen ?
- Sollte man Jumboframes aktivieren ?

Viele Fragen, ich hoffe ihr habt die Antworten

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Re: Fragen zur Config HP MSA P2000 G3

Beitragvon bla!zilla » 04.07.2011, 21:09

xwing70b hat geschrieben:- Ist die SAN-Verkabelung ok ? Wo liegen Vor- und Nachteile wenn man Trunks bzw. Teaming macht ?


Die P2000 G3 kann kein Teaming. Daher erübrigt sich die Frage. Zudem habe ich bei einem Team/ Trunk/ Etherchannel eine Leitung, wobei die Verteilung der Frames per Verwahren (z.B. Hash über Quell-Ziel Mac-Adress Paar) passiert. Habe ich jeden Link einzeln und fahre MPIO darüber, erreiche ich eine bessere Lastverteilung und i.d.R. ein besseres IO-Verhalten.

- Macht das Raid 50 Sinn, oder hätte man Raid 10 deutlich mehr Performance ?


Das RAID 50 ist Blödsinn. Ich hätte bei 24 Platten zwei RAID 5 á 11 Disks gemacht und zwei Globals Spares konfiguriert. Dann wäre die erste Vdisk Controller A und die zweite Controller B zugeordnet worden. Bessere Lastverteilung, da beide Controller was zu tun gehabt hätten.

- Welche Pfad Richtlinie würdet ihr verwenden: Zuletzt verwendet, Round Robin …


Für die P2000 G3 ist nur MRU supported.

- Da die MSA ja ALUA-fähig ist, welche Vorteile kann ich daraus ziehen ?


VMware weiß welche Pfade die optimierten sind. Damit wird verhindert, dass VMware einen falschen, nicht optimierten Pfad nutzt. Proxy IO wird vermieden.

- Sollte man Jumboframes aktivieren ?


Selbstverständlich. Genau wie Flowcontrol. Auf der MSA, auf den Switches, auf den vSwitches und VMkernel Ports.

Member
Beiträge: 18
Registriert: 28.10.2009, 13:39

Beitragvon VMhaubizze » 04.07.2011, 23:42

Das RAID 50 ist Blödsinn. Ich hätte bei 24 Platten zwei RAID 5 á 11 Disks gemacht und zwei Globals Spares konfiguriert. Dann wäre die erste Vdisk Controller A und die zweite Controller B zugeordnet worden. Bessere Lastverteilung, da beide Controller was zu tun gehabt hätten.


Wieso ist Raid 50 Blödsinn ?
da werden doch alle Spindeln genutzt und je grösser die Anzahl Spindeln um so höher die IOs, und es kommt ja noch drauf an wie das Raid 50 konfiguriert ist,
bsp 8x3 oder 6x4 und dies hat doch mit der Ausfall Wahrscheinlichkeit doch einiges zu tun.
Bei einem Raid 5 mit 11 Platten wird es mir einfach ziemlich Bammelig wenn da mehr als ein Platte gleichzeitig ausfällt, da nützen mir auch 2 Global Spares nichts !

Für die P2000 G3 ist nur MRU supported.

Wo steht das geschrieben, ich lese da was ganz anderes in der HP Doku ?

Ich habe bei HP Housten gelernt dass bei 2Stk FC oder iSCSI Controller ALUA mit RoundRobin konfiguriert werden soll, und habe dies auch bei allen meine MSA Kunden und eigenen Installationen so konfiguriert.

Es wird lediglich bei einer ESX/ESXi 4.1 Installation mit 2 Controller MRU als default gesetzt dies ist aber nicht das Optimale.

HP document "Configuration best practices for deploying VMware vSphere 4.1 on the HP P2000 G3 MSA Array combo controller" (page 20) Round Robin is best path selection policy.
http://h20195.www2.hp.com/V2/GetDocumen ... c=us&lc=en

Gruss VMHaubizze

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Beitragvon bla!zilla » 05.07.2011, 08:11

VMhaubizze hat geschrieben:Wieso ist Raid 50 Blödsinn ?
da werden doch alle Spindeln genutzt und je grösser die Anzahl Spindeln um so höher die IOs, und es kommt ja noch drauf an wie das Raid 50 konfiguriert ist,
bsp 8x3 oder 6x4 und dies hat doch mit der Ausfall Wahrscheinlichkeit doch einiges zu tun.
Bei einem Raid 5 mit 11 Platten wird es mir einfach ziemlich Bammelig wenn da mehr als ein Platte gleichzeitig ausfällt, da nützen mir auch 2 Global Spares nichts !


Ändert nichts an der Tatsache, dass durch EIN RAID 50 der zweite Controller brach liegt. Und das ist von der Lastverteilung her total suboptimal. Darüber hinaus ist es sinnvoll IO durch verteilung auf unterschiedliche Vdisks ein wenig zu separieren. Ist sogar bei EVAs immer noch Best Practice: Separation von IO Domains durch unterschiedliche Diskgroups/ Vdisks.

Wo steht das geschrieben, ich lese da was ganz anderes in der HP Doku ?


VMware HCL.

Ich habe bei HP Housten gelernt dass bei 2Stk FC oder iSCSI Controller ALUA mit RoundRobin konfiguriert werden soll, und habe dies auch bei allen meine MSA Kunden und eigenen Installationen so konfiguriert.


Mag Best Practice von HP sein, als Master ASE kann ich dir nur den Rat geben: Du hast zwei Hersteller im Boot, von denen einer nur MRU laut HCL supported. Das wird dann wohl der kleinste gemeinsame Nenner sein.

Es wird lediglich bei einer ESX/ESXi 4.1 Installation mit 2 Controller MRU als default gesetzt dies ist aber nicht das Optimale.


Jetzt widersprichst du dir aber selber. Etwas weiter oben schreibst du noch, dass HP sagt, man sollte RR verwenden. Nun soll bei zwei Controllern (übrigens Maximalausbau der P2000 G3...) MRU als Default verwendet werden.

Was optimal ist und was nicht, wird immer davon beinflusst was supported ist.

HP document "Configuration best practices for deploying VMware vSphere 4.1 on the HP P2000 G3 MSA Array combo controller" (page 20) Round Robin is best path selection policy.


Kenn ich. Und?

Member
Beiträge: 39
Registriert: 29.03.2010, 08:23

Beitragvon xwing70b » 05.07.2011, 08:46

Vielen Dank für die Infos. Nun weiss ich wieder mehr.

Ein Frage bleibt jedoch. Wie sieht es mit dem Anschluß ans LAN aus. Alle 4 Ports der QuadKarte an einen Switch ohne Trunk ? Es gibt 2 Switche fürs LAN (einen alten und einen neuen). Beide sind im gleichen Subnetz über ein Kabel verbunden. Könnte ich je zwei Ports an jeden Switch hängen ? Somit könnte ich den Ausfall eines Switches kompensieren.

Member
Beiträge: 18
Registriert: 28.10.2009, 13:39

Beitragvon VMhaubizze » 06.07.2011, 09:04

bla!zilla hat geschrieben:
VMhaubizze hat geschrieben:Wieso ist Raid 50 Blödsinn ?
da werden doch alle Spindeln genutzt und je grösser die Anzahl Spindeln um so höher die IOs, und es kommt ja noch drauf an wie das Raid 50 konfiguriert ist,
bsp 8x3 oder 6x4 und dies hat doch mit der Ausfall Wahrscheinlichkeit doch einiges zu tun.
Bei einem Raid 5 mit 11 Platten wird es mir einfach ziemlich Bammelig wenn da mehr als ein Platte gleichzeitig ausfällt, da nützen mir auch 2 Global Spares nichts !


Ändert nichts an der Tatsache, dass durch EIN RAID 50 der zweite Controller brach liegt. Und das ist von der Lastverteilung her total suboptimal. Darüber hinaus ist es sinnvoll IO durch verteilung auf unterschiedliche Vdisks ein wenig zu separieren. Ist sogar bei EVAs immer noch Best Practice: Separation von IO Domains durch unterschiedliche Diskgroups/ Vdisks.

Wo steht das geschrieben, ich lese da was ganz anderes in der HP Doku ?


VMware HCL.

Ich habe bei HP Housten gelernt dass bei 2Stk FC oder iSCSI Controller ALUA mit RoundRobin konfiguriert werden soll, und habe dies auch bei allen meine MSA Kunden und eigenen Installationen so konfiguriert.


Mag Best Practice von HP sein, als Master ASE kann ich dir nur den Rat geben: Du hast zwei Hersteller im Boot, von denen einer nur MRU laut HCL supported. Das wird dann wohl der kleinste gemeinsame Nenner sein.

Es wird lediglich bei einer ESX/ESXi 4.1 Installation mit 2 Controller MRU als default gesetzt dies ist aber nicht das Optimale.


Jetzt widersprichst du dir aber selber. Etwas weiter oben schreibst du noch, dass HP sagt, man sollte RR verwenden. Nun soll bei zwei Controllern (übrigens Maximalausbau der P2000 G3...) MRU als Default verwendet werden.

Was optimal ist und was nicht, wird immer davon beinflusst was supported ist.

HP document "Configuration best practices for deploying VMware vSphere 4.1 on the HP P2000 G3 MSA Array combo controller" (page 20) Round Robin is best path selection policy.


Kenn ich. Und?


Sorry das mag ja bei einem Shelf mit nur einer vDisk der Fall sein
aber wenn mehrere Shelf dran sind habe ich auch mehrere vDisk und diese kann ich dann auf die Controller aufteilen, und dann hat es ja gar nichts mehr mit Raid50 zu tun.

Ich denke einfach Du bist Grundsätzlich gegen ein Raid 50
aber so richtig Erklären warum Du dagegen bist kannst Du nicht.

Sorry ich bin selber auch Master ASE ! und Jetzt ?

Wo genau in der VMware HCL steht geschrieben dass nur MRU Supported wird, bitte mit Link und auf welcher Seite.

http://www.vmware.com/resources/compati ... tOrder=Asc
Da steht zbsp.
Attention: Storage partners using ESX 4.0 or later may recommend VMW_PSP_RR for path failover policy for certain storage array models. If desired, contact the storage array manufacturer for recommendation and instruction to set VMW_PSP_RR appropriately.

Ich wiederspreche mir überhaupt nicht, ich habe gesagt das es bei der Installation als default gesetzt wird, und dies ist eben nicht Optimal.
Sorry wer lesen kann ist ganz klar im Vorteil.

Na ja ob Du das Dokument gekannt hast sei mal dahin gestellt,
aber es belegt ganz klar was ich gesagt habe !

Und Jetzt ?, dies ist so ein Satz der von oben herab kommt.

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Beitragvon bla!zilla » 06.07.2011, 10:05

VMhaubizze hat geschrieben:Sorry das mag ja bei einem Shelf mit nur einer vDisk der Fall sein
aber wenn mehrere Shelf dran sind habe ich auch mehrere vDisk und diese kann ich dann auf die Controller aufteilen, und dann hat es ja gar nichts mehr mit Raid50 zu tun.


Hier steht aber nichts von mehreren Enclosures. Und bei einem Enclosure ist ein RAID 50 Blödsinn.

Ich denke einfach Du bist Grundsätzlich gegen ein Raid 50
aber so richtig Erklären warum Du dagegen bist kannst Du nicht.


Die hohe Anzahl an Platten, kombiniert mit RAID 0 sind einfach sehr, sehr unschön. Die Gefahr eines Double Failures in einem Leg, und damit der komplette Datenverlust, sind zu hoch. Theoretisch kann ich zwar pro Leg eine Platte verlieren, aber theoretisch kann ich das auch bei einer EVA durch RSS - aber ist halt Theorie. Und da in so einer großen Vdisk dann auch oft viele Volumes liegen, sind von einem Ausfall direkt alle Volumes betroffen. So ist es dann, von der Verfügbarkeit her besser, die Anzahl der Platten pro Vdisks zu senken, auf mehr Vdisks zu setzen und damit auch dann noch die Last über die Controller zu verteilen. RAID 50 ist nur dann sinnvoll, wenn ich sehr große Vdisks/ Volumes brauche.

Sorry ich bin selber auch Master ASE ! und Jetzt ?


Komisch, dann solltest du dich ja damit auskennen. Dann wundert mich auch dein Beitrag hier.

Wo genau in der VMware HCL steht geschrieben dass nur MRU Supported wird, bitte mit Link und auf welcher Seite.


Let me google this for you...

P2000 G3 10G iSCSI MSA
P2000 G3 1GbE iSCSI MSA
P2000 G3 FC/iSCSI

Man beachte den interessanten Hinweis auf VMW_PSP_RR und den Hersteller. Damit weißt VMware die Verantwortung beim Einsatz von sich und überlässt das dem Hersteller, hier HP. Kurz gesagt: Wir supporten das nicht, aber wenn HP das so macht, ist das euer Bier.

Benutzeravatar
Moderator
Beiträge: 3476
Registriert: 23.02.2005, 09:14
Wohnort: Burgberg im Allgäu
Kontaktdaten:

Beitragvon Tschoergez » 06.07.2011, 11:40

ruuuuhig bleiben, Leute! :grin:

Fakt ist: VMware supported nur MRU, weils nur so imcompatibility Guide steht.
Fakt ist auch: HP empfiehlt (und supported damit hoffentlich) eine andere Einstellung.

Das ist durchaus gebräuchliche vorgehensweise, gibts auch bei anderen Herstellern (von der Diskussion um Datacore usw. mal abgesehen).
Hintergrund: Um bestimmte Einstellungen auf die HCL zu bekommen, muss ein Hersteller ziemlich viel Aufwand bzgl. Test und QA betreiben und protokollieren.
Wenn das dem Hersteller zu viel ist, kann er gerne sagen: Ok, wir können's unseren Kunden zumuten, so eine von VMware nicht supportete Umgebung zu betreiben, weil er ja bei uns entsprechenden Support bekommt.

Ob man sich als Kunde darauf einlässt, muss man selber entscheiden (die Gefahr vom "Support-PingPong" ist auf jeden Fall ne ganze Ecke größer als sonst).

Meine Empfehlung: Schau einfach mal, ob Du bei der (von VMware supporteten) Standardeinstellung überhaupt irgendwie Performanceprobleme hast (oder befürchtest).
Man sollte da immer den kompletten Stack (von den Anfroderungen der VM bis runter zu den Spindeln) betrachten, und wenn z.B. die VMs gar nicht so viel Last erzeugen, dass ein einzelner Pfad oder ein Controller ein Engpass darstellt, dann ist die ganze diskussion hinfällig.

Viele Grüße,
Jörg

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Beitragvon bla!zilla » 06.07.2011, 11:44

Tschoergez hat geschrieben:Ob man sich als Kunde darauf einlässt, muss man selber entscheiden (die Gefahr vom "Support-PingPong" ist auf jeden Fall ne ganze Ecke größer als sonst).


Letztendlich muss es der Kunde entscheiden und nicht der Dienstleister. Ich wundere mich immer wieder über Setups wo es dann heißt: Das wurde uns so hingestellt. Selbst wenn der Kunde keine Ahnung hat, muss ich ihn über Pro und Contra aufklären. Wenn er es dann immer noch nicht entscheiden kann, dann muss ich ihm einen Vorschlag zur Umsetzung machen. Wenn ich damit dann ins Klo gegriffen habe, dann hab ich eben ein Problem. Aber ich sehe es auch als meine Aufgabe den Kunden soweit fit zu machen, dass er es entscheiden kann. Stichwort: Knowhow-Transfer.

Meine Empfehlung: Schau einfach mal, ob Du bei der (von VMware supporteten) Standardeinstellung überhaupt irgendwie Performanceprobleme hast (oder befürchtest).
Man sollte da immer den kompletten Stack (von den Anfroderungen der VM bis runter zu den Spindeln) betrachten, und wenn z.B. die VMs gar nicht so viel Last erzeugen, dass ein einzelner Pfad oder ein Controller ein Engpass darstellt, dann ist die ganze diskussion hinfällig.


Das ist der springende Punkt: Am Ende des Tages muss der komplette Stack supported sein. Und VMware ist hier für mich das größte gemeinsame Nenner. HP ist das egal, was ich einstelle - VMware aber nicht.

Benutzeravatar
Moderator
Beiträge: 3476
Registriert: 23.02.2005, 09:14
Wohnort: Burgberg im Allgäu
Kontaktdaten:

Beitragvon Tschoergez » 06.07.2011, 11:57

Etwas OT, bringt zum letzten Punkt der Diskussion:
Am Ende des Tages muss der komplette Stack supported sein. Und VMware ist hier für mich das größte gemeinsame Nenner.


siehst Du da nen Unterschied, wenn man die VMware Lizenzen auch als OEM-Lizenzen beim Hardware-Hersteller kauft ?
(und ja sowie so dann auch dort den ersten Support-Ansprechpartner hat)

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Beitragvon bla!zilla » 06.07.2011, 11:59

Nee, sehe ich keinen Unterschied. Wir kaufen die Lizenzen i.d.R. über HP. Hatten jetzt aber auch schon mehrfach den Fall, dass Lizenzen mal da und mal da gekauft, und dann von VMware komplett unter Support genommen wurden.

Benutzeravatar
Moderator
Beiträge: 3476
Registriert: 23.02.2005, 09:14
Wohnort: Burgberg im Allgäu
Kontaktdaten:

Beitragvon Tschoergez » 06.07.2011, 13:40

macht sinn, Danke!

Member
Beiträge: 39
Registriert: 29.03.2010, 08:23

Beitragvon xwing70b » 09.07.2011, 16:28

Und wie ist nun die Anbindung ans LAN am sinnvollsten ? Kann ich von einem Server 2 Ports auf den einen und zwei Ports auf einen anderen Switch stecken ? Die Switche sind verbunden und im gleichen IP-Bereich. Oder baue ich dann einen Ring bzw. wissen die Switche nicht mehr hinter welchem Adapter welche VM ist.

Guru
Beiträge: 2082
Registriert: 21.10.2006, 08:24

Beitragvon bla!zilla » 10.07.2011, 13:46

Ich würde zwei VLANs bauen. Die P2000 G3 hat vier 1 GbE Ports pro Controller. Controller 1 Ports A1 und A2 kommen in VLAN 1, A3 und A4 in VLAN 2. Die gleiche Config wird für Controller 2 realisiert. Pro Server hast du zwei NICs. Eine NIC kommt in VLAN 1, ein Port in VLAN 2. Pro VLAN ein IP Subnetz. Wenn du nicht soviele Ports opfern willst, kannst du pro MSA Controller auch nur zwei Ports verwenden. Die Switches werden untereinander verbunden und die VLANs mittels MSTP verteilt. Verwende keine Trunks, sondern MSTP zur Verteilung der VLANs.


Zurück zu „Hardware“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 9 Gäste