Probleme mit Storage (Intel ICH10R/3ware 9750SE)

[neogeoz]

Hallo Zusammen!

Ich bin hier und in der 4er-VMWare-Welt neu. Ich hoffe ich stelle keine Trivialfragen - bin bei der Suche aber bislang nicht fündig geworden.

Ich habe eine fertige Hardware vorgesetzt bekommen, mit der Aufgabe einen ESX-Host aufzusetzen. Laut Aussage des Distributors ist der Server ESX- bzw. ESXi-kompatibel. Der eigentliche Hypervisor soll dabei gespiegelt sein.

Der Server ist ein "Supermicro 825TQ-R700LPB".

Am internen RAID-Kontroller (Intel ICH 10R) hängen zwei SATA-Festplatten (500 GB) im RAID1-Verbund. Die Grundidee ist, das OS (ESX oder ESXi) zu spiegeln.

Am Zusatzcontroller (3ware 9750SE-8LP) hängen 6 x 2 TB-SATA-Festplatten, die als VM-Storage dienen sollen. Hier ist ein RAID5-Verbund definiert.

Um die Hardware vorab zu testen, habe ich ESX4i-Ebedded installiert. Für den 3Ware-Contoller musste ich übrigens erst einmal über vihostupdate den Treiber nachinstallieren.

Nun meine Probleme/Fragen:
1.) Der Bootplatten-Spiegel wird als 2 unabhängige Platten im VIClient angezeigt. Ist es überhaupt möglich ein SATA-RAID1 zu verwenden? Hier habe ich widersprüchliche Informationen gefunden?
2.) Im RAID5-Verbund kann ich maximal 2 TB als LUN adressieren. Wenn ich anschließend versuche, über "Extend" die restlichen 7 TB anzuhängen, wird mir kein verfügbares Storage mehr in der Liste angezeigt. Ich schaffe also nicht mehr als die 2-TB-Partition.

Bin ich hier auf Hardwareinkomtibilitäten gestossen oder fehlt mir ESX4-KnowHow?

Danke für Eure Antworten!

Gruß
neogeoz

[Martin]

(Fast) alle onboard Raid-Adapter sind keine vollwertigen Controller, sondern verlagern die Raid-Funktionen in die (Windows-)Treiber. Daher sieht ESX diese auch nur als normale SATA-Controller, womit die Platten nur einzeln verwendbar sind.

Am 3ware-Controller müsstest Du im Controller das Raid-5 Array in mehrere Volumes <2GB aufteilen, die dann im ESX als Extents zusammengehängt werden können.

[Dayworker]

Ob die Controller onboard sind oder nicht, ist völlig unwichtig. Entscheidend ist allein, daß der/die Controller eigenständig ohne Treiber ein HW-Raid aufsetzen können. Dies ist bisher nicht mit den Chipsatz-Controllern möglich und ob sich das mal ändert...

Die maximale Größe einer VMFS-Partition beträgt 2TB-512Byte und nicht 2GB.

Für die weitere Inst wäre es schon wichtig zu wissen, was ihr nun einsetzen wollt: ESX oder ESXi. Beim ESXi wären die 500GB in meinen Augen nämlich völlig sinnlos rausgeschmissener Platz, den dieser startet hervorragend auch vom USB-Stick mit min 1GB Größe. Beim ESX sieht es da schon anders aus, dieser läßt sich meines Wissens nach nicht auf Stick oder SD-Karte installieren.

[primetime]

Nach meiner Interpretation ist dein Storage nicht zertifiziert, da es auf SATA-Platten basiert.

Auf Seite 1 der I/O-HCL steht:

NOTE: IDE RAID and SATA RAID are not supported for the VMFS file system



Gruß
Christian

[Dayworker]

Ich glaube "IDE RAID and SATA RAID are not supported for the VMFS file system", war anders gemeint und bezog sich hoffentlich nur auf ein Chipsatz-Raid.
Okay, IDE ist inzwischen obsolent, aber auf Sata-Basis läuft vieles (die HCl enthält auch 32 Einträge für Sata) und nicht immer macht SAS eine glückliche Figur. Speziell die Controller sind da extrem wichtig und nicht jeder SAS-Controller spielt vernünftig mit dem ESX(i) zusammen...

[neogeoz]

Hallo Zusammen!

Erst einmal vielen Dank für die schnellen Antworten!

Das die 500-GB-Bootplatten überdimensioniert wären, wenn ich denn ESXi einsetzen würde, ist mir klar. Genau das wollten wir uns bei Kauf aber offen lassen und die 500 GB waren von der Preis-Leistung absolut passend.

Das dieser Boot-Spiegel nicht über den Onboard-Controller läuft, leuchtet mir ein. Dann werde ich einen anderen Controller kaufen, oder die Platten ebenfalls an den 3ware hängen müssen.

Ich habe noch einmal in der HCL nachgelesen. Der 3ware-Controller wird dort aufgeführt. Wie Christian aber schon richtig gesagt hat, steht dort auch "IDE RAID and SATA RAID are not supported for the VMFS file system ".

Wenn ich das viel gelobte Buch "VMware vSphere 4 - Das umfassende Handbuch" auf Seite 374 aufschlage, steht dort jedoch " Seit VI 3.5 und damit auf vSphere kann nun problemlos auf SATA Festplatten zugegriffen werden, vorausgesetzt, der SATA-Controller besitzt offiziellen Support [in der HCL aufgeführt]. Eine Installation auf SATA-Festplatten ist uneingeschränkt möglich, allerdings sollten Sie immer eine ausfallsichere RAID-Variante [...] wählen.". Es wird lediglich auf einen Performance-Mangel gegenüber FC hingewiesen.

Was denn nun? Damit bin ich nun komplett verwirrt, was meine Konfiguration angeht!?!

Außerdem bleibt mein Problem, daß ich lediglich 1,09 TB adressiert bekomme. Der vSphere-Client spricht zwar von 9.0 TB Gesamtgröße, aber eben nur 1,09 TB verfügbar. Unter "extend" ist kein weiterer Space auswählbar.

Laut Distributor sollte ich im Controller-BIOS auf "Autocarving" umstellen, um 2TB-Partitionen zu erstellen. Das hat leider auch nicht geholfen!

Danke & Gruß
Sebastian

[irix]

Es ist wie Dayworker sagte:
Mitllerweile darf man den ESX(i) auf SATA INSTALLIEREN.... aber da duerfen dann halt keine VMs drauf mitlaufen. Das man es kann.... ist dann etwas anderes.

Das die meisten SAN/Arrays intern SATA benutzen interessiert einen ESX nicht denn der sieht die einzelnen Platten ja garnicht.

@neogeoz
Da ein ESX nur 2TB -512bytes LUNs verwalten kann kommt es zu sehr komischen Effekten wenn man ihm etwas groesserers präsentiert. Ein 9TB modulus 2" ergibt 1TB und das ist was du dann siehst.

Ein ESX spricht SCSI2 und dort ist das Feld fuer die Groesse einer Platte nunmal nur 32bit.


Gruss
Joerg

[neogeoz]

Hallo Zusammen!

Ich habe mein Problem nun gelöst und wie es sich gehört, poste ich die Lösung abschließend hier im Thread.

Auf dem 3ware-Controller muss "Autocarving" mit einer Größe von 2TB aktiviert werden. Er erzeugt anschließend 2TB-LUNs im vorhandenen RAID5-Verbund und die LUNs werden anschließend im vSphere-Client sichtbar und adressierbar. Nach Erstellen des ersten Speichers können die weiteren dann über "Extend" angehangen werden und man kommt auf die Gesamtgröße.

Den Onboard-Controller verwende ich nicht weiter. Ich habe die zwei übrigen Ports auf dem 3ware-Controller dazu genutzt, einen RAID1-Verbund für die Bootplatten zu erstellen.

Danke für Eure schnellen Antworten. Ich werde mich jetzt mal weiter durchkämpfen und dabei hoffentlich etwas schlauer!

Ich habe zwar noch einige Fragen, aber ich versuche mich erst einmal selbst und suche mich durch. Ggf. mache ich dann ein entsprechendes neues Thema auf. Super Forum!

Danke & Gruß
Sebastian

[irix]

Mir erschliesst sich der Sinn nicht ueber Extends das Volume zuvergroessern da es nichts an der max. Dateigroesse auf einem VMFS aendert. Ohne Grund ist das nur ein unnoetiges Risiko bzw. ein evtl. Problemherd.

Mache lieber mehrere Datastores und bleibe Gluecklich bis ans Lebensende.

Gruss
Joerg
Behrens

[Dayworker]

Jep, sehe ich genauso wie Jörg.
Wichtig im Zusammenhang mit Extends ist es zu wissen, daß du nicht einfach ein Extend mittendrin löschen kannst, falls du dein Volume anders aufteilen willst. Extends sind aneinander gekettet und du hast meines Wissens nach auch keine Möglichkeit das noch nachträglich zu ändern, sondern mußt dann halt immer von hinten aufdröseln und zusätzliche neue Datastores erstellen. Das dabei immer auch alle Daten verloren gehen, sollte dir klar sein. Also immer schön Backuppen.

[neogeoz]

Alles klar!

Ich werde den Server wohl noch ein paar Mal installieren, damit ich mal alle Möglichkeiten gesehen/ausprobiert habe.

Das mit den Extends stimmt natürlich. Ich kann jederzeit welche hinzu nehmen, aber nie welche aus dem Verbund lösen. Ich bin natürlich immer auf der Suche nach den "Best-Practise-Tips" - daher werde ich mir das mal zu Herzen nehmen und in der nächsten Runde ohne Extends arbeiten. Es war mir halt nur so sympatisch, weil die Administration dadurch übersichtlicher ist (ohne Storage vMotion etc.), wenn es nur ein Storage ist. Wenn es anschließend aber Probleme gibt, schrumpft der Komfort natürlich ganz erheblich! Sehe ich also ein...

Danke & Gruß
Sebastian

[whackmann]

Hi all,

ich stehe vor einem ähnlichen Problem. Ich möchte eigentlich 8 SATA (je 2TB) Platten im Raid10 als LUN benutzen. Das geht aber ja nicht, da dies ja 8TB ergeben würde...

Irgendwie finde ich bei Google nicht wirklich viel zu "Extends".
Meine Frage: Ich würde auf dem Raidcontroller (3ware9650SE) nun 4 Raid1 Verbunde erstellen (also 4 LUNs), und diese ominöse Extends Funktion macht mir daraus ein quasi Raid10, weil die Daten vom vSphere "intelligent" über alle Raid1-LUNs verteilt werden?

Wenn JA, wäre das cool

Blöde Frage: Wo kann man das einstellen? In den Einstellungen des vSphere Clients?

Danke und Gruß
Carsten

EDIT:
1) Interessant, aber nicht vollständig: http://www.thomas-krenn.com/de/wiki/VMw ... r_als_2_TB

2) Da ich ein Angsthase bin, teste ich gerne alles vorher in VMs Habe das aktuelle Fusion auf meinem Mac installiert und dort kann man locker ESX(e) installieren und testen, sehr geil... Wird bestimmt auch mit Windows Workstation gehen, denke ich.

[Dayworker]

Der 3ware9650SE taugt meines Wissens nach nicht als Bootcontroller für den ESXi und läßt sich dort nur als zweiter Controller einsetzen. Siehe Freds The CD provided is not valid VMware ESX Server Driver CD und Raid-Treiber bei ESXi-Setup installieren // 3Ware 9750-4i oder die vielen anderen mit 3ware in Titel oder Body.

Weshalb willst du 4x Raid1 anlegen, wenn du ein wesentlich performanteres Raid10 hast? Du erstellst einfach 4 Volumes in der Größe 2TB-minus-512Byte und richtest dort jeweils einen Datastore ein.
Extends haben den entscheidenden Nachteil das sie immer an ein aneinander gekettet sind und du diesen Verbund nur unter Datenverlust wieder auflösen kannst.


PS: Wie du den ESXi4 in der WS zu laufen bekommst, steht im ESXi4-Bereich als Sticky-Fred ganz oben.

[whackmann]

Hallo Dayworker,

vielen Dank für die schnelle Antwort!

Bei uns taugt der 3ware9650SE sehr wohl als Bootcontroller, weil wir den Treiber (zertifiziert) bei der Installation eingebunden haben (ESX, nicht ESXi...)

Ich will ja eigentlich NICHT 4x Raid1 erstellen, sondern ein großes Raid10 benutzen, aber ich kann im vSphere Client das 8TB LUN nur mit einem einzigen Datenstorage mit eben max. 2TB benutzen. Danach ist das LUN "verbraucht". Oder übersehe ich da etwas???

LG
Carsten

[Dayworker]

Du mußt den Datastore kleiner als 2TB-minus-512Byte einrichten und den freien Bereich dann weiter in dieser Größe partitionieren.
Notfalls mußt du die 4 Volumes schon vorher erstellen mit der Tool-CD für den 3ware und dann die 4 Volumes dem ESX präsentieren.

[irix]

Hallo Dayworker,

Ich will ja eigentlich NICHT 4x Raid1 erstellen, sondern ein großes Raid10 benutzen, aber ich kann im vSphere Client das 8TB LUN nur mit einem einzigen Datenstorage mit eben max. 2TB benutzen. Danach ist das LUN "verbraucht". Oder übersehe ich da etwas???

Das siehst du so richtig. Das was zutun ist hat Dayworker auch schon gesagt.... schauen ob man aus der RAID10 Gruppe mehrere virtuelle Volumes IM RAIDCONTROLLER erstellen kann.

Ich kenne RAID Controller welche das nur fuer bestimme RAID Gruppen anbieten (PERC5(6?)) sind solche. Da kann man also ein RAID10 so wie du es hast nicht dem ESX vorsetzen.

Gruss
Joerg

[whackmann]

Schade, der 3ware9650SE kann wohl keine Raid-Stücke aus dem Raid10 bereitstellen... Oder bin ich wieder zu blöd? Habe weder direkt im Controllerbios, noch per Webfrontend eine Möglichkeit gefunden.

Also bleibt nur die Lösung mit den Extends, richtig. Die Einstellung habe ich auch gefunden Ok, Profis würden wohl sagen: "Nimm einen fernüftigen Raidcontroller!". Wobei ich sagen muss, dass der Controller sonst alles bietet und bisher super läuft! Der hat auch schon erfolgreich eine Fehlerhaftes Devise gemeldet und automatisch ein HotSpare eingebunden -> Hammer!

Egal, weiß jemand, ob das Zusammenfassen von mehreren Devices zu Extends wie ein Raid0 fungiert? Dann wäre mir ja prinzipiell geholfen

LG
Carsten

[irix]

..
Egal, weiß jemand, ob das Zusammenfassen von mehreren Devices zu Extends wie ein Raid0 fungiert? Dann wäre mir ja prinzipiell geholfen

Natuerlich funktioniert das NICHT SO. Es wird ein normaler Concat gemacht und aus diesem Grund fliegt einem auch nicht gleich alles um die Ohren wenn eins der mittleren Extends ausfaellt. Das wuerde nur passierern wenn man das erste verliert.

So ein grosses Volume ermoeglicht es aber immer noch nicht entsprechend grosse VMDKs und aus diesem Grund wird zumind. mir fuer immer verschlossen bleibem warum man sich auf Extends einlassen will.

Gruss
Joerg

[whackmann]

Natuerlich funktioniert das NICHT SO. Es wird ein normaler Concat gemacht und aus diesem Grund fliegt einem auch nicht gleich alles um die Ohren wenn eins der mittleren Extends ausfaellt. Das wuerde nur passierern wenn man das erste verliert.

Hm, dann bringt das natürlich NIX, buäh...

Kennt jemand eine andere Möglichkeit, dem vSphere kleine virtuelle Laufwerke von meinem großen Raid10 "vorzugaukeln"? Mit XEN3 und LVM klappt das ja extrem gut und einfach...

Danke und Gruß
Carsten

[e-e-e]

Hallo,

hat doch Dayworker schon gesagt:

Du mußt den Datastore kleiner als 2TB-minus-512Byte einrichten und den freien Bereich dann weiter in dieser Größe partitionieren.
Notfalls mußt du die 4 Volumes schon vorher erstellen mit der Tool-CD für den 3ware und dann die 4 Volumes dem ESX präsentieren.

Ich könnte mir auch vorstellen, die Kiste mit einer Live-CD zu booten, und entsprechende Partitionen anzulegen, und danach vom ESX formatieren zu lassen. Ob das klappt, kann ich nicht sagen, Versuch macht kluch!

[whackmann]

ups, das mit der Tool-CD hatte ich wohl überlesen...
Werde ich testen und natürlich posten, wie es gelaufen ist

Danke für eure Geduld.

LG
Carsten

EDIT:
So, jetzt habe ich es: Wer lesen kann... Man muss Autocarving aktivieren, dann werden entsprechend der Einstellung (Standard = 2TB) automatisch Volumes erzeugt. Wie GEIL!