Kopieren extrem langsam von Festplatte auf RAID-Controller

[vmhigh72]

Hallo NG,

ich habe noch ein kleines Problem. Ich habe hier einen 2 Wochen alten, von Mindfactory gebauten und selbst zusammengestellten ESXi-Server:

Intel Xeon E3-1276v3 4x 3.60GHz So.1150 BOX
4x8GB Kingston ValueRAM DDR3-1333 ECC DIMM CL9
Intel DBS12003RPS Intel C222 So.1150 Dual Channel DDR3 mATX Retail
LC-Power 648B Midi Tower ohne Netzteil schwarz
530 Watt Thermaltake Hamburg Non-Modular 80+
HP LSI 9217-4i4e 1 Port Multi-lane PCIe 3.0 x8 Low Profile retail
2 GB Transcend JetFlash 300 schwarz USB 2.0
(inkl. Bau und Transport knapp 1.200 € brutto)

Schlagt mich jetzt bitte nicht wegen des Gehäuses... Das ist super billig, tut aber seinen Zweck.

Mein Problem ist, dass der LSI-Controller das alte HP-Raid-1 der zuvor verwendeten 2x WD-Red 2TB nicht mehr erkannt hat, somit habe ich einfach zwei neue WD-RED genommen, ein RAID-1 erstellt, und eine der alten als normale Festplatte an den onboard AHCI-Sata-Anschluss gehängt und mit dem vSphere-Center von der einen auf die beiden Raid-Platten die VM's kopiert... D.h. Samstag vor einer Woche habe ich den Kopierauftrag gegeben, ca. 1.8 TB Daten von A nach B zu kopieren und der Server ist immer noch nicht fertig... Er hat jetzt ca. 80% kopiert.

Ist das normal? Muss ich mir Sorgen machen, dass die In-Betrieb-Performance des Raid-Controllers unterirdisch ist? Hätte ich besser ein iSCSI-fähiges NAS als Speicherplatz genommen? Ich bin etwas überfordert.
Dazu kommt, dass der RAID-Controller sich in der vSphere-Oberfläche zwar zeigt, ich aber nicht weiß, ob ein mögliches Rebuild gerade stattfindet und bereits fertig ist.

Der Hintergrund: Das Sicherungskonzept war bisher so, dass neben den normalen Datei Sicherungen einmal alle 4 Wochen eine der beiden Raid-Platten entfernt wurde und im Wechsel jeweils die älteste Sicherung (von vier identischen WD Red) am Windows-PC per Disk-Part gecleant wurde und von Samstag auf Montag per Raid-1-Rebuild wiederhergestellt wurde. Das hatte super geklappt und wurde vom vSphere-Center in der Oberfläche auch gezeigt, wie viel Prozent und wann fertig. Und zwar im Bereich Konfiguration -> Systemstatus -> Sensor -> Speicher.

Und genau den Punkt finde ich nicht... Kann ich irgendwo sehen, ob ein Rebuild läuft und wie es ggf. wann fertig ist?

Danke vorab und Grüße
vmhigh72

[~thc]

Ist auf dem Controller eine BBU installiert? Wenn nicht, ist die Standard-Cache-Policy von LSI-Controllern, den Schreibcache ohne BBU zu deaktivieren. Dieses sorgt für die Grotten-Performance.

Hast du auf dem ESXi den SMI-Provider von LSI installiert? Wenn nicht, siehst du den Controller nicht.

[Supi]

Grob überschlagen komme ich da auf unter 6 MB/s Datenrate?

Liegt wohl am nicht vorhanden Cache des Controllers.

Edit: Ja, die write Policy ändern und damit den Plattencache einschalten würde etwas bringen.
Aber dann wirklich noch eine klene USV Vorschalten.

Ich verstehe immer nicht, wieso sich nur wegen der 400€ vmware solche Konstrukte gebaut werden. Und von der Backup Umsetzung will ich gar nicht anfangen. Wie umständlich ist das denn?

Beim Voelkner gabs diese Woche ein Lenovo ix2 für 45€. Zwei mal gekauft, da die Reds rein und imm Vmware präsentiert. ( der einfachheit halber per NFS)
Das eine wäre immer für Backups nutzbar. Und der Speed selbst von einem marvel 1,6Ghz Single Core wäre besser.

[vmhigh72]

Ne, eine Batterie hängt nicht dran. Kann ich in der Controller Firmware den Cache einschalten, auch ohne Batteriepack?

Auf dem alten Server war ein HP-Image installiert, daher war der SMI-Provider vermutlich schon installiert. Dank Deiner Hilfe habe ich mit googlen das hier gefunden:
https://www.thomas-krenn.com/de/wiki/VS ... stallieren

oder das?
http://kb.vmware.com/selfservice/micros ... Id=2004166

Wo kriege ich die Tools her, direkt von LSI?

Danke vorab.
vmhigh72

[vmhigh72]

Grob überschlagen komme ich da auf unter 6 MB/s Datenrate?

Liegt wohl am nicht vorhanden Cache des Cotrollers.

Ich verstehe immer nicht, wieso sich nur wegen der 400€ vmware solche Konstrukte gebaut werden.
Beim Voelkner gabs diese Woche ein Lenovo ix2 für 45€. Zwei mal gekauft, da die Reds rein und imm Vmware präsentiert. ( der einfachheit halber per NFS)
Das eine wäre immer für Backups nutzbar. Und der Speed selbst von einem marvel 1,6Ghz Single Core wäre besser.

Ums Geld ging's ja gar nicht. Das ist mein fehlendes Wissen. Ich hatte mir überlegt, dass ein Raid-Controller intern schneller sein müsste, als ein per iSCSI angebundenes NAS. Irre ich mich? Ok, bei der Performance wohl schon... Aber ich habe ja jetzt schon einen Controller für 200 € genommen. Vielleicht liege ich da falsch.

Noch kann ich den zurückgeben (hatte ich trotz B2B-Geschäft mit Mindfactory ausgehandelt). Tausch gegen ein NAS? Kann ich mit dem kostenfreien ESXi überhaupt iSCSI-Nodes anlegen? Habe ich noch nie gemacht.

Wenn ich Dich richtig verstehe, kann ich sogar zwei Netzwerkfestplatten im ESXi zu einer Art Software-RAID bündeln? Oder habe ich Dich da missverstanden?

Danke vorab.
vmhigh72

[~thc]

Ja, du kannst - auf eigene Gefahr - im BIOS den Controllers oder mit der StorCLI oder mit dem MSM die Cache-Policy der VDs auf Write Cache ohne BBU einstellen.

Downloads:

http://www.lsi.com/products/host-bus-adapters/pages/lsi-sas-9217-4i4e.aspx#tab/tab4

[Supi]

Noch kann ich den zurückgeben (hatte ich trotz B2B-Geschäft mit Mindfactory ausgehandelt). Tausch gegen ein NAS? Kann ich mit dem kostenfreien ESXi überhaupt iSCSI-Nodes anlegen? Habe ich noch nie gemacht.

Wenn ich Dich richtig verstehe, kann ich sogar zwei Netzwerkfestplatten im ESXi zu einer Art Software-RAID bündeln? Oder habe ich Dich da missverstanden?

Danke vorab.
vmhigh72

Ich mutmaße aus deinen Anmerkungen, dass dir doch ein wenig Vorwissen fehlt.
Ob du denn Rechner behalten willst, kannst nur du beurteilen. Wenn der aber als B2B für eine Firma gekauft ist, kann ich nur raten, zurückschicken und einen richtigen Server kaufen.
Schon alleine aus Garantiegründen. Hast du einen Fehler, kannst du herausfinden, an welchen Bauteil dies liegt.
Board Garantie macht A , Netzteil macht B. Na viel Spass.

Aber ansonsten kennen ich/wir zu wenig die VM's, die auf dem Server laufen sollen, um eine Alternative vorzuschlagen.

Epische Diskussion zu einem Klein-Server:
http://www.hardwareluxx.de/community/f1 ... 63207.html

[vmhigh72]

Naja, ich arbeite schon länger mit ESXi-Servern, habe mir aber alles selbst beigebracht, quasi mit Versuch-und-Irrtum-Methoden. Nicht wirklich schlau, hatte aber bisher auch ohne Rückfrage in einem Forum funktioniert. Bisher hatten wir einen richtigen Server, der nun aber leider nach wenigen Sekunden bis Minuten trotz redunter Netzteile einfach ausgeht und dessen Garantie auch abgelaufen war. Es musste jetzt eine schnelle und möglichst wenig teure Lösung her.

Also aus WhiteList-Teilen einen Server zusammengestellt hatte ich schnell. So habe ich es auch mit meinem Multimedia-Server zu Hause gemacht, der sogar mehr VMs verkraften muss und gerade mal so bei 40 - 60 % Last vor sich hindümpelt. Die Anforderungen für diesen Server sind noch viel geringer, daher habe ich das für keine so große Herausforderung gehalten. Es stellt sich nun leider heraus, dass es doch irgendwie eine ist.

Zu meiner RAID-Controller-Problematik:
Bei meinem Server habe ich einen 9271-8i Controller, dafür gibt es eine vmware-esx-provider-lsiprovider.vib Datei, die ich heruntergeladen und installiert habe. Ohne diese Installation habe ich zuvor versucht, per MegaRAID-Manager auf den Server zu schauen. Gebe ich im Server die IP des ESXi an, komme ich nicht drauf. Oder muss ich die Software in einem virtuellen Rechner installieren oder geht es nur, wenn ein SMIS-Provider-Tool installiert ist? Fragen über Fragen...

Auf meinem Server jedenfalls habe ich per Putty und SSH eben folgendes zu lesen bekommen:

Code: Alles auswählen

esxcli software vib install -v /vmfs/volumes/.../vmware-esx-provider-lsiprovider.vib
Installation Result
   Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
   Reboot Required: true
   VIBs Installed: LSI_bootbank_lsiprovider_500.04.V0.54-0004
   VIBs Removed:
   VIBs Skipped:


Den Reboot habe ich noch nicht gemacht. Ich gehe davon aus, dass ich jetzt auf der ESXi-vSphere-Oberfläche nun den Status des Raid-Controllers sehen kann.

Bei dem betroffenen Server ist allerdings der Controller ein anderer: nämlich ein 9217-4i4e. Für den finde ich keinen SMIS-Provider auf der Avago-Webseite. Kann ich das jetzt generell vergessen oder ... Ach Mist.

Ich bin jetzt langsam soweit, dass ich mich doch mit einer Thematik befassen müsste, die ich zuvor ausgeklammert hatte: iSCSI Software Adapter und iSCSI-NAS.

Ich hatte jetzt überlegt, den Controller zurückzuschicken und stattdessen eine Synology Disk Station DS214se zu kaufen. Die sind eh ungefähr gleich teuer. Im ESXi richte ich einen Software-iSCSI-Adapter ein und binde den an eine freie Netzwerkkarte. Von der gehe ich ohne Umweg über einen Switch mit einem Gigabit-Kreuzkabel direkt in das NAS, wo ich die Netzwerkschnittstelle ebenfalls als iSCSI-LUN (oder -Target???) auf dem RAID einrichte... oder ich nehme die 214+ und nehme zwei Schnittstellen (Link-Aggregation???) und müsste dann die Performance-Lücke ausgemerzt haben.

Gute Idee? Oder saudoof? Falsch gedacht? Doch über den Switch? Ich habe echt keine Ahnung und unter Zeitdruck wird's nicht besser...

Ich muss da heute anrufen, sonst klappt das nicht mehr...

Danke vorab.
vmhigh72

[Supi]

Je nach Zeit würde ich wie folgt empfehlen:

2-3 Wochen Zeit: Zurückschicken und einen richtigen Server bei Dell/HP/Transtec/lenovo holen. Kostet aber wohl wenigstens 500€ mehr.

keine Zeit:
Behalten, die 2 Platten in ein NAS einbauen. Wenns billig sein soll die DS214SE, besser aber die 214. Dann per NFS an den Server eingebunden. Ist einfacher als ISCSI.

Edit: Alternativ gibts ja auch noch die SYNOLOGY DS215j

Alternative2: Alle Platten in eine Ix4-300D:
http://geizhals.at/de/lenovoemc-storcen ... ml?hloc=de
Diese per NFS angebunden.
Und als Backup per rsync job an der Iomega auf eine USB3.0 Platte sichern. (VM's vorher runterfahren)

Und die Sicherung per Trilead / Veeam Free auf das NAS gezogen.
Das kann ja gleichzeitig Storage für den ESXI als auch als Netzwerkspeicher dienen.

Für Server und NAS aber bitte noch eine USV besorgen.
Und dann noch ein ESXI Buch oder DVD:
http://www.amazon.de/VMware-vSphere-5-5 ... y_b_text_y

[~thc]

Ich kann Supi nur zustimmen. Der preiswertere DS214se ist nicht hot-swap-fähig, hat etwas kleiner dimensionierte Hardware und ist eher für den Heimbereich konzipiert. Beide laufen unkompliziert mit ESXi 5 zusammen.

[vmhigh72]

Ja, ein ordentliches Smart UPS von APC (1500VA) hängt davor. und versorgt Server, DSL-Modem, Firewall, TK-Anlage und Switches (jetzt wo ich es schreibe fätt mir auf, dass die Switche vielleicht Quatsch sind)...

Warum ist iSCSI schwieriger als NFS? Das sah so schwer auf den Screenshots von Thomas Krenn gar nicht aus... Ich dachte an iSCSI, weil ich dann mit zwei Netzwerkkarten via LinkAggregation lockere 130 MBit rausholen kann, oder nicht?

Wir haben jetzt die 214+ bestellt. Auf 100 € mehr oder weniger kommts nicht an, bei einem "richtigen" Server wären es aber weit mehr gewesen...

Habe auch bei mir zuhause den richtigen Server mit Garantie und Vor-Ort-Service (nie gebraucht) gegen einen Selbstbauserver getauscht. Klar, wenn was dran ist, habe ich das Problem, dass ich nicht weiß woran. Wir haben aber wenigstens alles beim gleichen Händler gekauft.

Wir wollen jetzt so verfahren, dass wir einen Backup-Server (ein alter Dell Xeon 1 HE quasi als Cold-Standby-Gerät) stehen haben, der dann hochgefahren wird, wenn der Selbstbau-Server ein Problem hat. Dann fahren wir halt während der Reparatur mit weniger Bumms, aber dank der Synology mit dem gleichen Datenbestand...

Ok, das ist besser. Sehe ich ein.

Was ist, wenn die Synology streikt...? Kann ich dann bei einer neuen einfach das Raid-1 einbauen und es wird sofort als Raid-1 im Neugerät erkannt??? War ja jetzt beim Selbstbau-Server auch nicht so, dass er das alte Raid erkannt hatte...

Was ist gegen den vierwöchtenlichen Dauerstress der Festplatten durch Ausbauen und Rebuild einzuwenden? Das ging wenigstens Live ohne Herunterfahren der Maschinen.

Danke und Grüße
vmhigh72

PS: Buch bestelle ich auf Rechnung des Autohauses...

[Supi]

Ich sag einfach mal, jeder muss seine eigenen Erfahrungen machen in Sachen Garantie und vor-Ort-Service.
Das sind die Anforderungen auch zu verschieden.
Aber mal nur so als Beispiel: wenn du im Urlaub/krank bist und eine Platte fällt aus. Wer tauscht dann bzw. kann das system betreuen?

Zum ISCSI : befasse dich genauer mit dem Thema. Das ist eine ip Verbindung. Ohne Anpassungen erreichtst du beim ESXI bei einem copy nicht mehr wie 1Gbit. Und mit den zwei Platten wirst du auch keine Bäume ausreißen. Für den Betrieb der VM's nützen dir die sequentiellen 120MB/s nix.

Bei Nutzung von NFS kannst du die VM runterfahren und die Ordner einfach wegkopieren.
Bei ISCI wird dir der Speicher als Laufwerk präsentiert. Damit ist der Platz auch nur über den ESXI nutzbar.
Aber dafür ist ja der Tipp mit der Lektüre gedacht.

Wenn die synology streikt: naja, wie beim Server. Da hast du einen SPOF.

Zum migrieren: https://www.synology.com/en-us/knowledg ... orials/484

Zwecks preiswerten Backup : VM Explorer .

[vmhigh72]

Zum ISCSI : befasse dich genauer mit dem Thema. Das ist eine ip Verbindung. Ohne Anpassungen erreichtst du beim ESXI bei einem copy nicht mehr wie 1Gbit. Und mit den zwei Platten wirst du auch keine Bäume ausreißen. Für den Betrieb der VM's nützen dir die sequentiellen 120MB/s nix.

Bei Nutzung von NFS kannst du die VM runterfahren und die Ordner einfach wegkopieren.
Bei ISCI wird dir der Speicher als Laufwerk präsentiert. Damit ist der Platz auch nur über den ESXI nutzbar.
Aber dafür ist ja der Tipp mit der Lektüre gedacht.

Ok, das ist super. Danke. Wir brauchen den Platz auf der Synology ja ausschließlich für die VMs. Z. B. sind die eigenen Dateien ja in der Domäne auf dem Server und somit Teil des VM-Platzes.

Also auch, wenn ich zwei Netzwerkkarten bündele, kriege ich keine 2 GBit hin? Ich stelle mir iSCSI eigentlich wie ein SAS bzw. SATA-Kabel per Netzwerk vor. Genauso performant, wie Netzwerk eben ist, allerdings ohne den Overhead von TCP/IP. Damit müsste ich doch mehr Performance bekommen, oder? Oder ist das nur marginal? Dann würde es sich vielleicht doch lohnen, das ganze per NFS anzubinden, um tatsächlich wenigstens die Möglichkeit zu haben, die VMs mal wegzukopieren. Gerne mit dem VM Explorer. Ich hatte mir zwischenzeitlich mal dieses Veeam FastSCP bzw. Backup Free Edition angeschaut. Das hatte aber bei uns selbst bei kleinsten Dateien minutenlangen Stillstand und dann einen "kann-ich-nicht-lesen-Fehler" gebracht. Liegt aber möglicherweise an dem schrottigen LSI-Controller.

Das mit dem iSCSI und NFS scheint ja ein Riesenthema im Netz zu sein... Da schlagen sich die Experten ja schon fast... Ich glaube, diese Diskussion will ich eigentlich hier gar nicht führen...

Du schreibst "ohne Anpassungen"... Meinst Du damit statt MultiPath I/O MC/S einrichten auf dem ESXi? Denn nur das würde ja die Festplattengeschwindigkeit tatsächlich deutlcih erhöhen.

Danke vorab.
vmhigh72

[~thc]

Also auch, wenn ich zwei Netzwerkkarten bündele, kriege ich keine 2 GBit hin?

Beim Trunking gilt leider: 1 + 1 = 1. Jede TCP/IP-Verbindung (OSI Level 3) basiert auf einer Ethernet-Verbindung (OSI Level 2), die zwischen einer physischen Netzwerkkarte (MAC A) und einer anderen Netzwerkkarte (MAC B) besteht. Die maximale Bandbreite ist durch die Leistung der Netzwerkkarten begrenzt. Nur bei mehreren, unabhängigen Netzwerkverbindungen sind im Trunk mehr als 1 GBit erreichbar - aber nur für verschiedene Netzwerkverbindungen zusammen.

Ich stelle mir iSCSI eigentlich wie ein SAS bzw. SATA-Kabel per Netzwerk vor. Genauso performant, wie Netzwerk eben ist, allerdings ohne den Overhead von TCP/IP. Damit müsste ich doch mehr Performance bekommen, oder? Oder ist das nur marginal?

iSCSI ist als Block-IO auch so konzipiert, aber es basiert trotzdem auf TCP/IP - also wird das nix mit dem "Overhead einsparen".

[Supi]

Zum Thema backup: mit dem vmexplorer kannst du die vm im laufenden Betrieb sichern. Wenn du die VM's runterfährst, kannst du die vm direkt vom nas kopieren. Also per Freigabe am Windows pc auf die nas Freigabe und wie von einer Windows Freigabe kopieren. Damit auch vollen Speed, da NAS zu PC direkt.

Den Rest hat thc ja schon sehr genau beschrieben.

Ich stelle trotzdem in den Raum, das hier der microserver g8 oder ein Dell T20 vielleicht der passendere Server gewesen wäre, wenn die VM's eh auf dem nas liegen.

Die Sache mit den User Daten habe ich nicht so verstanden. Und welches Autohaus hat 1,8TB ? Wenn hier 20 plus MA auf die Dienste See VM's angewiesen sind, wie hoch sind denn dann die Ausfallkosten pro Stunde?

[vmhigh72]

Das mit dem T20 mag sein. Wir wollten unbedingt so viel wie möglich Arbeitsspeicher. Die hätte ich dann auch nachrüsten müssen. Und statt 3,2 GHz 3,4 macht auch nicht mehr so viel aus.

Aber was meintest Du mit

Die Sache mit den User Daten habe ich nicht so verstanden. Und welches Autohaus hat 1,8TB ? Wenn hier 20 plus MA auf die Dienste See VM's angewiesen sind, wie hoch sind denn dann die Ausfallkosten pro Stunde?

Das habe ich nicht verstanden.

Die eigenen Dateien und die gemeinsamen Dateien liegen auf der Server VM (Windows Server 2008 R2). Ich habe dem Server zwei LUNs spendiert, eine für das BS und eine für die Dateien, warum auch immer. Die LUNs habe ich Thick angelegt. Zusammen mit einer opsi-VM, die die automatisierte Neuinstallation von Clients macht, sind das zwei VM mit zusammen 1,8 TB Festplattenverbrauch, auch wenn nur insgesamt 1,0 TB benötigt werden.

Was sind "Dienste See VM's"? Wir haben ja keinen Ausfall, weil die langsame Kiste im Moment rödelt. Und selbst wenn mal einen Tag Ausfall wäre, wäre das nichts, was das Autohaus umbringt. Als die mich mal nicht erreicht haben, hatten die mal zwei Tage Ausfall, das war dann schon grenzwertig...

Grüße
vmhigh72

[Supi]

Das mit dem T20 mag sein. Wir wollten unbedingt so viel wie möglich Arbeitsspeicher.

Wofür ? bei 2 VM's?

Die eigenen Dateien und die gemeinsamen Dateien liegen auf der Server VM (Windows Server 2008 R2). Ich habe dem Server zwei LUNs spendiert, eine für das BS und eine für die Dateien, warum auch immer. Die LUNs habe ich Thick angelegt. Zusammen mit einer opsi-VM, die die automatisierte Neuinstallation von Clients macht, sind das zwei VM mit zusammen 1,8 TB Festplattenverbrauch, auch wenn nur insgesamt 1,0 TB benötigt werden.

Das mit 2 Luns für OS und Daten ist "best practice" würde ich mal behaupten. Du könntest den Server auch entlasten, wenn du die OS Lun auf das lokale Raid legst und die Daten-Lun auf die Synology 214.


Also noch mal 2 VM's ?!. Da hätte doch auch locker ein Quad oder Vielleicht sogar Dual Core HP Gen8 oder der T20 gereicht.
Vielleicht sogar ein Qnap NAS mit VM Funktion. Die Freigabe für die User wäre dann vom NAS erfolgt und die eine Software-Verteilungs-VM auf dem Qnap betrieben.

Aber ich denke mal die User-Share-VM wird auch der Domain Controller mit sein, oder?!


Dein Hauptproblem mit dem Kopieren tritt ja nur bei beim Backup auf.
Und das auch nur, weil der ESXi aus Sicherheitsgründen den Plattencache abschaltet und nichts selber cached. Bei viel sequentiell wie bei einem Backup bricht dann die Datenrate ein.

Mit dem VM's auf einem NAS per NFS und dem von dort kopieren (im Power-Off Zustand) hast du das Problem nicht. Noch weniger wenn du 400€ für die essential Lizenz ausgibst und per CBT nur die Änderungen wegkopierst und nicht immer einen full-Backup.

Was sind "Dienste See VM's"?

Ipad autokorrektur. Meinte nur welche VM's du hast.