Virtuelle Festplatte auf mehreren Storages

[menkusa]

Hallo Leute,

ich habe ein Problem und zwar muss ich für einen Kunden eine virtuelle Festplatte in der Größenordnung 2 TB erstellen. Diese virtuelle Festplatte muss auf einem SSD Storage erstellt werden, denn die Kundenapplikation benötigt unbedingt SSD Festplatten da Sie sehr viele Datenbankanfragen abfertigen muss. Der Anbieter hat jedoch nur 800 GB große SSD Festplatten die im RAID 1 funktionieren.

Kann ich unter Vsphere 5.5 eine virtuelle Windows Server 2008 R2 Maschine so konfigurieren das eine Partition auf 2 oder 3 großen Storages verteilt ist? Somit würde ich dann eine 2 TB Partition auf 3 im hintergrund agierenden SSD Storages haben!

Geht das irgendwie unter VMWARE?
Sonstige Ideen? Danke Leute

MENKUSA

[irix]

Ich wollte erst Nein schreiben aber dann ist mir eingefallen das es "Extents" gibt. Ja man kann eine LUN erweitern in dem man eine andere anhaengt und bekommt so zusammenhaengenden Speicherplatz.

Aber das kenn ich nur fuer SAN LUNs und nicht Lokal Storage. Mal davon abgesehen das man sowas eigentlich nicht will.

Gruss
Joerg

[~thc]

Ja - du kannst

- einen VMFS-Datastores im ESXi aus mehreren Teilen (Extends) zusammensetzen und auf diesem eine große VMDK erstellen.

- drei Datastores a 800 GB erstellen, der VM drei 800 GB DIsks zuweisen und diese als Volume unter 2K8 R2 zusammenfügen

[mbreidenbach]

'Richtige' SAN Storage Systeme können beliebig viel Speicher via SSD bereitstellen. Kostet halt.

Windows kann Laufwerke über mehrere Platten aufteilen.

Eine VM kann VMDKs in mehreren Datastores haben.

Also kann ich ein 'Windows Laufwerk' über mehrere Datastores aufteilen.

Ob das jetzt gut so ist ist eine andere Frage.

Da stellt sich mir die Frage ob 'der Anbieter' die richtige Lösung zm Problem anbietet.

EDIT: und man kann einen Datastore über mehrere LUNs aufteilen via Extends... hatte ich jetzt gar nicht berücksichtigt. Dann hätte man unter Windows nur ein Laufwerk.

[Dayworker]

Was du sicherlich machen kannst ist, mehrere auf verschiedenen Datastores des Hosts bzw Storages liegende VMDKs in das Gast-OS einzubinden und dieses dann seinerseits die Datenpartition entweder über die Funktion "Dynamischer Datenträger", falls es das unter Win2k8-R2 überhaupt noch gibt, oder sinnvoller über ein Raid zusammenbasteln zu lassen. Dynamische Datenträger sind nicht ganz ohne, denn es gibt einige grundlegende Vorgaben seitens M$ und viele Backup-SW scheitert daran sogar komplett. Welches Raidlevel du aufbauen müßtest, dürfte von der DB und/oder der Aktualisierungsrate der DB abhängen. Wenn diese nur viele Leseanfragen bearbeiten muß, dürftest du mit einem Raid5 gut auskommen. Bei hoher Schreib-IO bietet sich dagegen ein Raid10 an, wenn man mindestens 4 Platten hat, mit dessem Platzverschnitt von 50 Prozent leben kann und bei nur 4 Spindeln keine Wunder erwartet.


Du bist allerdings auch recht ungenau bei den Möglichkeiten deines Anbieters und ich könnte dich daher einfach falsch verstanden haben. Falls der Anbieter ein Storage bietet, welches seinen Platz über NFS oder iSCSI anbietet, bräuchtest du dich eigentlich nicht mehr darum kümmern, wie das Storage aufgebaut ist. Der Anbieter spezifiert im Normalfall die möglichen IOPS und Datenraten und du mußt herausfinden, ob du damit hinkommst. Dann wiederum sind deine wagen Angaben "sehr viele Datenbankabfragen" wenig hilfreich, zumal du auch kein Budget genannt hast.



edit: zu langsam...

[menkusa]

Hallo,

danke für eure Antworten. Ich werde nun diese an meinen Anbieter direkt versenden und dann mal schauen vielleicht können Sie dies realisieren.
Freundlichen Gruß
Menkusa

[menkusa]

Hallo Dayworker,
nun bekommst du mehr Infos.

Ein Großkonzern (weltweit tätig) hat ca. 2 Terrabyte an Datendownloads die der seinen Kunden aus der ganzen Welt bereitstellen möchte. Nun jede Downloadanfrage muss authentifiziert werden. Das geschieht über eine MSSQL Datenbank. Über die IP-Adresse wird festgestellt welche Downloads welche Kunden aus bestimmten Ländern bekommen dürfen. Durch die spezifischen Datenbankabfragen wird viel I/O auf den Storages generiert. Die gesamte Applikation ist auf Microsoft IIS und Win2k 2008 Server aufgebaut. Zumal die großen Downloaddateien in Chunks aufgeteilt werden sodass Sie heruntergeladenen werden können.
Ich habe fixe nicht modifizierbare SSD NFS Storages im Raid 1 Verbund. Jedes Storage hat 800 GB Kapazität und wenn ich nun 2TB Kapazität benötige so muss ich 3 solcher Storages zusammenbinden sodass ich dann auf diesen 3 Storages eine Partition in der Größe 2 TB unter Win2008 einrichten kann.

Die Frage war: Wie kann ich nun unter VSPHERE 5.5 eine virtuelle Maschine so konfigurieren sodass Sie eine 2 TB Partitionnen verteilt auf den 3 SSD Storages im Hintergrund nutzen kann?! Win2008 kann ja Datenträger zusammenführen ich muss jedoch bereits vorab unter VSPHERE 5.5 die virtuelle Maschine einrichten sodass Windows 2008 überhaupt diese 2 TB Partition sehen kann.

Das Vsphere System ist ja so aufgebaut das die Storages viele verschiedene virtuelle Maschinen nutzen können. Gibt es eine Beschränkung wie viel I/0 eine einzelne VM generieren darf? Höchstwahrscheinlich geht Vsphere davon aus das auch andere VMs von dem gleichen Storage bedient werden wollen und begrenzt die Kapazität bei jeder VM. Gibt es eine Möglichkeit das Storage bzw. die Storages komplett für die eine VM freizugeben.
Diese Applikation des Kunden funktioniert perfekt auf einem Root-Server. In der hoch perfomanten Cloud und riesigen Storages wird nach ca. 30 Minuten alles so träge! Wir vermuten dass nur SSD Platten Abhilfe schaffen könnten, denn diese sind viel schneller! Das Rechenzentrum in dem die Storages stehen, meint das Vspehre eher auf Qualität der Dienste und nicht auf Geschwindigkeit über NFS ausgelegt ist. Wenn ich mehr Leistung haben will so muss ich SSD Storages nutzen.

Die Fragen:

• Wie kann ich nun unter VSPHERE 5.5 eine virtuelle Maschine so konfigurieren sodass Sie eine 2 TB Partitionen verteilt auf den 3 SSD Storages im Hintergrund nutzen kann?!
• Wie kann ich unter Vsphere die VM so konfigurieren das Sie die gesamte Leistung der SSD Storages im Hintergrund nutzen darf?

Ich hoffe ich konnte mich nun besser ausdrücken.

Freundlichen Gruß
Menkusa
menkiSys Networks e. U.
https://www.menkisys.de

[irix]

Also von NFS hattest du noch nichts gesagt.

Bei NFS gibts keine Extents auf ESXi Seite so wie bei Block Storage. Also verwende wie Vorgeschlagen die Funktion innerhalb des Windows OS.

Es gibt keine aktive automatische Limitierung was Storageperformance angeht. Man muss halt nur wissen obs Oueues gibt in die man laeuft oder aber das ein NFS Datastore per Sync Option gemountet wird. Natuerlich gibts Optionen die IO zu limitieren oder zur verteilen.

Kunden die 2TB und mehr an SQL Datenbanken haben, da gibts einige, aber was die Bereitstellung von grossen Downloads angeht, gibts andere Loesungen, weil diese Anforderung ist ja nicht neu.

Wer grosse Datenbanken hat, der hat auch viel Arbeitsspeicher.

Gruss
Joerg

[menkusa]

Hallo,

also ist die Lösung im Prinzip einfach.
Man erstellt einfach eine virtuelle Maschine und installiert und konfiguriert in dieser 3 Festplatten. Diese 3 Festplatenn sind dann auf diesen 3 SSD Storages im Hintergrund angelegt (eine Festplatte auf einem SSD Datastore).

Dann kann man im WIndows Server 2008 R2 die 3 Festplatten als ein Laufwerk zusammenbinden.
Welchen SCSI Controller soll ich denn bei diesem Server-System denn wählen?

LSI Logical Paravirtual
LSI Logical SAS
oder soll ich sogar die 2 anderen nicht empfohlenen SCSI Controller nutzen (Buslogic oder VMWare Paravirtual)?

Danke

Grüße
Menkusa

[Dayworker]

Zur Frage des Controllers lies dir mal http://blogs.vmware.com/vsphere/2014/02/vscsi-controller-choose-performance.html durch.

[opa12]

Ein Großkonzern (weltweit tätig) hat ca. 2 Terrabyte an Datendownloads die der seinen Kunden aus der ganzen Welt bereitstellen möchte. Nun jede Downloadanfrage muss authentifiziert werden. Das geschieht über eine MSSQL Datenbank.

Verstehes ich das richtig, dass nicht die MSSQL Datenbank 2TB groß ist sondern "nur" Files die zum Download bereitgestellt werden?
Wenn ja müsste es doch genügen die SQL auf eine SSD zu legen und die wird dann wohl keine 800GB haben.
Und was spircht dagegen die Files auf 3 Laufwerke zu verteilen?
Die Anwendung die die Downloads bereitstellt muss ja dann nur wissen wo jeder File liegt.

Lg Franz

[Dayworker]

Je nach einzelner Dateigrösse sind 3 Einzellaufwerke genauso ungünstig, wie das Rumgehampel mit mehreren Partitionen in einer VMDK.
Falls eine Datei reinkommt, die grösser als der freie Platz ist, beginnt nur wildes Umhergeschiebe der bestehenden Daten, damit man die neue Datei doch noch irgendwo abspeichern kann und wenn die Datei die bestehende Partitionierung komplett sprengt, hilft dir das in keinster Weise weiter. Dann mußt du auf sowas wie "Storage Spaces" bzw ReFS, ZFS, LVM oder Raid ausweichen.

[menkusa]

Hallo Leute,
nun zu meiner Erfahrung mit den dynamischen Datenträgern unter Windows!
Leider funktionieren dynamische Datenträger in einer VMWARE 5.5 Cloudumgebung überhaupt nicht zufriedenstellend!

Folgende Konfiguration wurde von mir erstellt:

Windows Server 2008 R2 auf einem 300 GB NFS Raid 1 Storage wurde installiert.
Darauf liegen die C und D Partition des Windows Server Systems. Auf C: ist das Windows Server Betriebssystem installiert und auf D: der IIS Server der die ganzen Downloads abfertigt.
Nun habe ich zu dieser virtuellen Windows Server VM, 3 zusätzliche 1 TB große Festplatten eingebunden. Dahinter stehen 1,08 TB große Storages. Das heißt eine einzelne Festplatte auf einem dieser Storages abgelegt.
Im Windows Server 2008 R2 sah ich dann 3 zusätzliche Datenträger mit einer Kapazität von je 1 TB Größe.
Nun erstellte ich aus diesen einzelnen Festplatten eine einzige dynamische Partition die 3 TB groß war! Diese dynamische Partition bekam dann den Laufwerksbuchstaben E:\ unter Windows!
Ich lud dann alle Downloaddateien (insgesamt waren es 1 TB an Daten) auf diese E: Partition drauf.
Im Hintergrund füllte Windows nur das erste Storage mit den Daten voll! Die anderen Storages wurden nur wenig mit Daten befüllt. Das zweite und das dritte Storage war mit ca. 50 GB Daten befüllt.

Der Server lief so sehr zufriedenstellend und war extrem schnell. Ich musste jedoch nach einer kurzen Zeit beobachten das andere Linux Maschinen die in der Nähe waren, massive Filesystemerrors haten!!
Die Hostsysteme hingen manchmal bis zu 100 Sekunden und dabei generierten die Linuxmaschinen massive Filesystemerrors die nur aufwendig repariert werden konnten.
Die Frage ist wo habe ich einen Fehler gemacht? Habe ich einen Fehler überhaupt gemacht?
Es kann nicht sein das VMWare damit inkompatibel ist!
Ich vermute dass der Fehler dieser war:
Ich habe die restlichen nicht vollgeladenen Storages die als dynamische Datenträger unter Windows liefen für bestimmte Linuxtestserver eingesetzt. Auf dieser war rein virtuell eine dynamische Partition drauf. Also das erste Storage war randvoll also wurde es von mir für andere Zwecke nicht benutzt. Die anderen Storages waren mit nur 50 Gigabyte voll geladen. Also spielte ich meine anderen Linuxserver teilweise drauf und belegte somit 200 GB der Storages mit Linuxservern.

Alle Windows Server die in dieser Cloud liefen hatten nie irgendwelche Filesystemerrors ( zu keinem Zeitpunkt). Nur Linuxserver generierten massive Filesystemfehler.

Was meint Ihr nun zu dieser Problembeschreibung?!
Seit ich diesen Windows Server mit dynamischen Datenträgern abgeschaltet habe laufen alle Linuxserver problemlos. Diese Sache ist wirklich sehr merkwürdig.

Warum generierten die Linuxserver diese massive Probleme als ich diese eine Windows Server VM mit einem großen dynamischen Datenträger betrieben habe?
Testen werde ich die nächsten Tage noch folgendes:

Ich werde die Windows Server VM mit diesem dynamischen Datenträger nochmals starten bzw. testen aber dann ohne das andere Linuxmaschinen (auf den anderen nicht komplett befüllten Storages) gespeichert werden. Ich vermute das dies ein Problem sein kann. Denn Windows hat auf den anderen nur teilweise genutzten und befüllten Storages die dynamischen Parititonen erstellt. Das wissen aber die anderen Linuxserver nicht und dabei entstehen höchstwahrscheinlich diese massiven Probleme.

Das absolut merkwürdige dabei war, das die ganzen Hostsysteme mit Premiumhardware von Supermicro komplett und das sogar mehrfach wegen dieser Dynamischen Datenträger abgestürzt sind! Dynamische Datenträger und Linuxserver, sind in einer virtuellen Umgebung eher Feinde als Freunde!?!

Über diese Problematik fand ich nirgends etwas im Netz. Sogar größte Experten in versch. Rechenzentren wussten wenig darüber.

Grüße
MENKUSA

[~thc]

Habe ich das richtig verstanden? Du hast den Platz der drei NFS-Storages für deine Windows-Server-VM einmal komplett vergeben - und dann (da NFS-VMDKs immer thin-provisioned sind und Windows die Teildatenträger sequentiell befüllt), den Platz noch einmal an Linux-VMs vergeben?

[menkusa]

Hallo,

nun gerade aus diesem Grund weil die VMWare Systeme: thin-provisioned agieren habe ich dieses getan. Ich möchte doch nicht 3 Storages mieten müssen und diese dann halb leer oder halb voll nutzen können oder dürfen?
Wie bereits erwähnt waren die übrigen Storages nicht mal bis zu 7 % befüllt. Bei direkten thin-provisioned Festplatten wäre dies sicher kein Problem. Da hier aber Dynamische Datenträger vom Windows im Spiel sind, entstehen höchstwahrscheinlich die Probleme. Ich kann ja unter Windows und Linux die bereits vergebenen thin-provisioned Storages auch anderen Systemen bereitstellen. Dabei können sich die bereits vergebenen Partitionen überlappen!!

Das ist ja auch Sinn und Zweck von thin-provisioned Technologie. Nun bei Dynamischen Datenträgern ist das so wie es aussieht nicht möglich.

Wie soll ich da am besten vorgehen?

Gruß
Menkusa

[mbreidenbach]

Wie sind diese NFS SSD Storages denn angebunden ? 10GBit ? Und wieso werden SSDs über NFS angebunden ? Und was für ein System stellt dieses NFS überhaupt bereit ?

[~thc]

Ich kann dir nicht raten, an irgendetwas herumzudrehen.

Wie viele physische Maschinen sind da eigentlich beteiligt?
Wie viele ESXi-Hosts? Welches Patchlevel?
Wie viiele NFS-Hosts?
Welche Storage kommt zu welchem Zweck zum Einsatz?
Wie genau sind die NFS-Storages angebunden?
Wie viele VMs?

Wenn dir die Hosts abschmieren, welche Infos stehen auf den Purple Screens?
Wenn die Linux-VMs in massive Timeouts laufen, was sagen die Logdateien des ESXi, auf dem sie laufen?

[menkusa]

Hallo,

es sind 3 einzelne NFS Storage Systeme (keine SSD) die mit 10 Gbit angebunden sind.

Insgesamt sind da ca. 60 Server in der Cloud. Wenige Windows Server und sehr viele Linux Maschinen.
Was in den Logs steht kann ich selber nicht direkt nachprüfen, da ich hier eine Managed Cloud habe. Direkten Zugang zu den Hostsystemen per SSH habe ich hier jedoch trotzdem. Experten in dem Rechenzentrum wussten tagelang nicht wo das Problem lag. Keiner konnte sich erklären warum eine hochverfügbare Cloud mit mehr als 4 Hostsystemen instabil wurde.
ESX 5.5.0 pcc-2 Version ist derzeit installiert.

Höchstwahrscheinlich darf bei dynamischen konfigurierten Datenträgern ein Linuxserver nicht mal ansatzweise in der Nähe dieser dynamischen Datenträger sein. Auch dann nicht wenn der reservierte dynamische Speicherplatz kleiner ist als das Storage bzw. die Partition. Diese Partitionen der Linuxmaschinen dürfen wie es aussieht die Partitionen der dynamischen Datenträger nicht überlappen! Sobald hier dynamische Datenträger eingeschaltet werden muss auch der gesamte reservierte Speicherplatz als reserviert betrachtet werden. Da ist dann thin-provisioning definitiv nicht anwendbar!

Als die Speicherplatznutzung der Linuxserver stieg, überlappten diese die dynamischen Partitionen und dann kamen die Linuxserver alle in einen "Read Only Modus". Manche vmdk wurden so beschädigt das Sie nicht mal repariert werden konnten.
Wenn hier dynamische Datenträger gemeinsam mit Linuxservern (EXT4) so viele Probleme bereiten können so muss darüber mehr in der FAQ oder sonst wo stehen. Ich fand nichts darüber bei VMWare. Und bei Microsoft schon gar nicht.

Mann müsse halt annehmen das bei thin-provisioned betriebenen Systemen diese auch bei eingesetzten dynamischen Datenträgern eingesetzt werden. Die Größe der Partitionen hat sich nur gering überlappt und das verursachte so viele Probleme.

Gruß
Menkusa

[mbreidenbach]

Den Linux VMs sollte es völlig schnurz sein wie die Windows VMs ihre virtuellen Platten partitiioniert haben. Da 'überlappt' sich nichts; allenfalls läuft der Datastore voll und dann ist bei Thin Provisioned eventuell die VMDK hinüber. Dann liegt das aber an einer Überprovisionierung und dem Vollaufen des Datastores ohne daß jemand reagiert hat - damit kann man jeden Datastore gegen die Wand fahren.

Was ist das denn für ein NFS Storage ?

Hört sich für mich so an als kommt da irgendeine Komponente nicht mit.

[soehl]

Also ich glaube nicht, dass die Probleme aufgrund von der Nutzung von dynamischen Datenträgern auftreten.

Wenn es tatsächlich nur möglich ist 800GB in einem Stück an die VM zu präsentieren, gäbe es auch noch die Möglichkeit innerhalb des MSSQL-Servers unterschiedliche Filegroups zu erstellen und gezielt einzelne Tabellen zu verteilen oder auch Tabellen über mehrere Filegroups zu partitionieren.

Warum handelt sich eigentlich nur um eine VM?!
Normalerweise trennt man doch Frontend von Backend und baut auch noch HA-Mechanismen auf Applikationsebene ein. Gerade mit den Microsoft-Mitteln ist das doch relativ einfach zu erreichen. (gerade bei der Größenordnung sollten da ein paar Manntage drin sein um so etwas umzusetzen)

Zu den beschrieben Performanceproblemen, Thin-provisioned im Storage oder in der VM?! Oder beides?!

Als die Speicherplatznutzung der Linuxserver stieg, überlappten diese die dynamischen Partitionen und dann kamen die Linuxserver alle in einen "Read Only Modus".

Das hört sich ein wenig so an als ob der Storage die IOPS nicht liefern kann, die vom ihm abgefordert werden und maßlos überlastet ist. Aber das sollte der Storage-Admin schon sehen.

Viele Grüße, S.

[~thc]

@menkusa: Höre bitte auf, wild in der Gegend herumzuspekulieren, welche Linux/Windows-Kombination da ursächlich für die Probleme verantwortlich zu sein scheint.

Die massiven Disk-I/O-Timeouts der Linux-Server mit Filesystem-Korruption und die Komplettabstürze der Hosts sprechen doch für sich: Da stimmt etwas generell nicht.

[Dayworker]

@menkusa
Bevor hier völlig nutzlos rumgeraten wird. Zippe und verlinke mal bitte sowohl alle "vmware.log" der abgestürzten Linux-Gäste als auch die üblichen ESXi-Logs im Verzeichis ./var/log/* zum Zeitpunkt der Abstürze auf einen Freehoster oder am einfachsten euren eigenen Webspace.