Kopieren extrem langsam von ESX auf NAS

[xaero1982]

Hallo Zusammen,

ich hoffe mal, dass ihr mir vielleicht bei meinem kleinen Problem weiter helfen könnt

Also folgende Konstellation:

Server: Intel Xeon 5450, 24GB Ram, 2 TB Sata HDD (Gespiegelt ->1GB), Intel Netzwerkkarte, ESXi
NAS Allnet ALL6400Pro

Ich muss den Server neu aufsetzen, weil u.a. eine neue Netzwerkkarte rein soll und statt des ESXi soll der ESX 4.0 installiert werden.
Dazu muss ich nun die VMs von den Platten vom Server aufs Nas kopieren (ja, ich weiß nicht gut, dass die VMs auf dem Server liegen, aber Geldmangel)

Problem ist nun: Ich habe für 280Gb sage und schreibe: 22Stunden und 40Minuten benötigt.
Den Kopiervorgang habe ich über den VSPhere Center Server angestoßen.
Laut Leistungsindex eine Übertragungsrate von ca. 3800kbit/s!! (ja! kbit!)
Nun muss ich noch eine Maschine kopieren (150gb) und hab nun Veeam FastSCP installiert und es damit angeschoben und nun sind es immerhin 5 Mb/s (Megabyte)

Das Nas, der Server etc. alles was so dran hängt haben alle 1Gbit Netzwerkkarten.

Das gleiche Spiel hatte ich schon mal und es waren auch dort nur ca 5Mbyte/s...

Hat einer vielleicht ne Idee woran das liegen kann? Das ist jedenfalls nicht normal find ich, dass bei einem 1Gbit Netzwerk gerade mal 5Mbyte/s verschoben werden
Die Maschinen müssen auch alle wieder zurück auf den Server ...

LG und dank im Vorraus!

[Supi]

Tja, das ist leider ein Manko vom Vsphere, langsamer Service-Consolen Speed. Veeam Backup könntest du beschleunigen, wenn du auf ein NFS oder ISCSI Ziel kopieren würdest. (besser noch ein Ziel, das über den ESXI erreichbar ist, sprich dort eingebunden)
Der Allnet scheint da nicht so toll geeignet für zu sein.

[Dayworker]

Mit "Veeam FastSCP" wäre ich übrigens sehr vorsichtig. Hoffentlich hat vSphere/ESX4 nicht dasselbe Problem damit wie der ESXi4. Siehe auch die Warnung von Ulli im Thread Wichtig: Vorsicht: VEEAM FastSCP und ESX 4i.

[xaero1982]

Hi
@Supi: Aha ... ich glaube kaum, das in großen Firmen die damit arbeiten 5mbyte da das absolute Top sind ... kann ich mir kaum vorstellen.
Das Allnet unterstützt NFS und ist auch aktiviert. Das NAS ist als NFS Storage eingerichtet ...

Deine Aussage, dass es nicht so toll dafür geeignet sein soll kann ich irgendwie nicht nachvollziehen.
Alles in allem sehr wenig hilfreich

@Dayworker: Dem Thread nach zu urteilen: http://www.veeam.com/forums/viewtopic.php?f=4&t=1535
Ist das ganze wohl doch nicht so problematisch ... aber danke für die Info ...

LG ... und wenn noch jemand eine Idee hat wäre ich sehr dankbar

[Martin]

Hast Du die NFS-Geschwindigkeit schonmal von einem nicht virualisierten Linux Client aus getestet? Viele diese billigen NAS-Boxen können wegen ihrer langsamen CPUs noch nicht einmal einen 100Mbit Netzwerkadapter auslasten, auch wenn fürs Marketing ein Gigabit-Adapter eingebaut wird.

[sirrossi]

Moin, moin,

die ALL6400 Serie hat eine zu schwache CPU, die vielleicht noch durch ein RAID 5 weiter belastet wird.
Selbst die schnellere ALL6500 Serie mit iSCSI (hat einen Celeron mit 1,6 GHz) erreicht mit RAID 5 meist auch nur Werte bis 25 MB/s.

Für Produktivumgebungen sicherlich zu langsam, zur Sicherung schon eher geeignet, wenn das Backupfenster ausreicht.

[Supi]

Meine Aussage bezog sich darauf, dass ich bei Allnet nix zu NFS gefunden hatte. Wenn er es doch kann, um so besser.
Und Vsphere ist wirklich langsamer als ESX 3.5, was kopieren über die Service-Konsole angeht.
Zum Testen würde es sich ja auch anbieten, die VM's vom ESXi mal über VCB zu sichern. Und wenn jetzt ein ESX 4.0 drauf soll, kannst du dessen Serial auch für den ESXi nehmen, um VCB "freizuschalten".
Wenn das NAS auf dem ESXi eingebunden ist, könntest du doch auch Storage-VMotion machen. Sicher bei abgeschalteter VM. Einfach die VM dann auf das NAS verschieben lassen. Hier ebenso vielleicht zuvor mit einer kleinen TEST-VM (z.b. eine 5GB XP Installation) den speed testen.

[xaero1982]

Hallo Zusammen,

@Martin: Nein, habe ich noch nicht getestet ...

@Sirossi: Na das ist ja nicht so super Nun aber sie sollte auch nur zur Zwischensicherung genutzt werden und eigentlich wollte ich die VMs dann wenn der ESX installiert ist zum Backupen benutzen, sprich die VMs als Sicherung darauf kopieren - notfalls inkrementell, wobei ich noch nicht weiß, ob das machbar ist.

Werde dann mal versuchen ne Maschine vom Esxi auf meinen Ersatz -Esx zu kopieren ... mal sehen, ob da die gleichen Geschwindigkeiten erreicht werden ... wenn ja kann es ja wiederum nicht am NAS liegen, oder?

@Supi: Ok, das hörte sich so endgültig an, aber nach sirossis Aussage hast du da wohl scheinbar nicht mal so unrecht
Was VM VSphere angeht ist mir das noch Neuland. Also VCB sagt mir nichts ...
Wie mach ich das mit Storage VMotion?
Die VMs sind momenten eh alle down ... werden gerade nicht benötigt (Ferien)

LG und Dank
Edit: :/ Habe gerade mal vom ESXi (HDD) eine 500mb Datei auf den ESX (HDD) kopiert ... 13 mb und steigend (da war er dann aber fertig).
Gleiche Datei noch mal vom ESXi aufs NAS 4mb und konstant
Machts vielleicht Sinn die Platten ausm Nas auszubauen und im Server einzubauen .. mh nun nicht mehr merk ich gerade sonst ist das Raid hin .. aber danach?

[xaero1982]

Hallo noch mal,

ich hab da noch mal einige Verständnisfragen .. vielleicht könnt ihr mir da ja auf die Sprünge helfen.

Ich hab gerade noch mal ein Kopiervorgang (150gb) vom Esxi auf den Esx angestoßen. Jeweils von HDD zu HDD.

Der Esxi hat nen Xeon 5450 und der Esx nen Core 2 Duo E6300
Im Esxi hängen zwei 1TB Platten gespiegelt mitm extra Raidcontroller.
Im Esx ist nur eine alte WD Platte mit 320gb.

Die Prozessorauslastung liegt während des Kopierens beim esxi auf im Schnitt zwischen 2 und 20%
Auf dem Esx zwischen 0 und 7%

Der esxi liest die Daten nur halb so schnell von der Platte wie der esx sie schreibt?!
Die Netzwerkauslastung entsprechend .. beim esxi sendet ca. 20000kbit/s und beim esx empfangend ca. 40000kbit/s.

Liegt das nur am Raid? Ansonsten find ich 20mb auch nicht gerade berauschend fürn GigabitLan

LG

[irix]

- VCB und StorageVMotion sind zulizenzierende Optionen. Sofern du da nur einen FreeESXi hast bringt dir das nichts solange du nicht mehr in der TRIAL Phase bist
- IIRC gibs oder gabs ein Problem das ein ESX(i?) beim kopieren nicht erkannt hat das die Daten aus einem Datastore kommen und die entsprechenden Kernelfunktionen nicht benutz hat.
- Wer in der SC kopiert mit den falschen Linux oder Busybox Befehlen Daten kopiert darf sich nicht wundern wenn die Performance schlecht ist
- Mir ist noch kein NAS in der <1000,- Klasse untergekommen welche befriedigende Performance bietet. Das scheitert schon immer gleich an zu wenig CPU und Softwareraid. Letzteres ist nicht verkehrt wenn die Rahmenbedingungen stimmen. Wenn die es schaffen eine 100Mbit zufuellen kann man fast schon zufrieden sein

Gruss
Joerg

[sirrossi]

Welchen Switch verwendest Du denn, wie sind die Einstellungen Deiner NICs (AUTO oder 1000 FULL)?

Ja Software RAID ist OK, wenn ein Dual- oder besser Quadcore dahinter steckt, dann geht es richtig vorwärts (z.B. Open-E mit > 105 MB/s).
Kommen jedoch bei den "kleinen" Systemen noch mehrere gleichzeitige Zugriffe erschwerend hinzu, dann steigen die Latenzzeiten auf mehrere hundert ms, Spaß sieht anderst aus

[xaero1982]

Hi,

@irix: Wie ich schon sagte: ich bin neu auf dem Gebiet und von daher sagt mir VCB nichts
Der Testzeitraum des Esxi ist noch nicht abgelaufen ... lizenziert ist folgendes auf dem ESX:

Bis zu 256gb Speicher
Bis zu 4 Wege Virtual SMP
vCenter Agent für ESX Server
vStorage-APIs
VMSfe
DVFilter
VMWare HA

IIRC? Meinst du das Problem mit Veeam? Nun ich hab die kopierten Maschinen gestartet vom NAS und sie laufen ... sollte also kein Problem vorhanden sein...

SC? Ich hab mit Veeam kopiert bzw. direkt über den Center Server exportiert bzw. auch migriert. Hilft mir nun nicht weiter bei der Aussage ... aber wie ich bereits anmerkte liegt es scheinbar wirklich am NAS, das nicht mehr als 4-5 Mbyte/s packt.

Tja, nur leider sind nicht immer genug Geldreservern da, dass man mal eben 2-3000 Euro ausgeben kann fürn richtiges Nas/San.
Softwareraid? Vermutlich im Nas meint ihr oder? Im Server steckt nen Adaptec Raid Controller ...

@Sirossi: Benutzt habe ich als erstes nen HP Procurve 4058 oder sowas .. mit GB Modul ... nun habe ich es mitm Netgear GS108T versucht ...
Die Nics stehen auf AUTO und werden als 1000er erkannt Fullduplex

Ansonsten hab ich gerade mal noch woanders nachgesehen .. ähnliche Konstellation:

ESX Server mitm Nas. Dort wird via BackupExec aufs Nas gesichert (Netgear 0815 irgendwas) und kommt auf über 1500mbyte/min ... ebenfalls Gigabit Lan... Merkwürdig ...

LG

[irix]

IIRC heist If I Remember Corretly.... nein das war ein KB Artikel bei VMware und betraf den lokalen Datastore. Aus diesem Grunde hab ich mich nicht betroffen gefuehlt weil wir hier SAN haben bzw. bie ESX 3.5 haben wir mit VCB diese Probleme irgendwie nicht.

Mit VCB ist das VMware Consolidated Backup Framework gemeint was primaer eine VM direkt vom SAN/Storage oder aber auch von einem lokalem ESX(i) sichern kann. Letzeres geht dann aber durch die besagte SC (ServiceConsole).

Neben Server Hardware gehoert halt zum Konzept auch Softwarelizenzen, 3rd Party Tools sowie eine Backup Landschaft. Bei vielen reichts warum auch immer gerade mal zur Server Hardware und darum sprechen wir jede Woche ueber solche Themen wie dieses hier . Aber da spricht ja auch nichts gegen solange man halt die Realitaet akzeptiert.

Gruss
Joerg

[UrsDerBär]

Tja, nur leider sind nicht immer genug Geldreservern da, dass man mal eben 2-3000 Euro ausgeben kann fürn richtiges Nas/San.
Softwareraid? Vermutlich im Nas meint ihr oder? Im Server steckt nen Adaptec Raid Controller ...

Kenne die Problematik leider nur zu gut. Da ein paar tausender, dort ein paar. Dann noch die OS-Software, dann die Backupsoftware die auch um ein vielfaches teurer wird usw. usf. Zieht sich durch wie nen Rattenschwanz. Auch Folgekosten für Support darf man nicht vergessen.

Ein Kumpel hat mir mal gesagt, entweder man spielt mit Enterprise-Kram und man macht es richtig oder man lässt es besser bleiben und macht normal.

Tja recht hat er und trotzdem möchte man eben auch als KMU eine möglichst unproblematische und sichere Umgebung. Das ist das Dillemma. Leider. Deshalb bleibt meist nix anderes übrig als halt Abstriche zu machen oder aber die Kohle in die Finger zu nehmen. Wichtig ist nur, das man die Abstriche am richtigen Ort macht *rofl*.

[Supi]

@Threadstarter:
Da du mit der ganzen Thematik nicht so vertraut bist, empfehle ich dir, lese dich parallel in die Thematik ein, z.b. mit dem Video-Training von Thomas Zimmer http://www.galileocomputing.de/2057?GPP=zimmer
Ich hatte bis Anfang ges Jahres nur mit VmWare Workstation zu tun. Dank reintesten in die Technik, am besten mit einem Server der über ist, wird man schnell recht fit.
Ich hatte als Notlösung unter Workstation nen virtuellen ESXi laufen, der wiederum die TEST VM's gehostet hat. Bis auf HA,das wollte trotz zweier virtualisierter ESXi nicht laufen.
Wieviele Nutzer habt ihr denn? Auch wenn Quadcore 3Ghz und 24GB Ram ok sind, jedoch ist mit 2 SATA Platten im Raid1 nicht viel zu holen.
Wenn da wirklich wichtige Unternehmensdaten drauf sind, würde ich auch eher Beratung vorort einiholen. Denn das wäre dann am falschen Ende gespart.
Ne preisweirte, zertifizierte SAN gibts doch von Iomega, http://www.thomas-krenn.com/de/virtuali ... orage.html.

[Dayworker]

Als Standalone-Version hatte ich das NAS Iomega StorCenter ix4-200d schon mal HW-Bereich inklusive VMware-Zertifizierung erwähnt.

[xaero1982]

Hi Zusammen,

@irix: Ich hatte eigentlich vor die VMs aufs NAS zu backupen und notfalls dann halt nur inkrementell. Mir wurde gesagt, dass das möglich sei, nur wie? Was müsste denn ggf. zusätzlich zertifiziert werden?

Sicher gehört es dazu, aber es handelt sich hier um einen öffentlichen Träger und da ist es nicht einfach mal getan mit: Hey Cheffe das wird so nix, zahl mal mehr...

@UrsDerBär: Sicher hat dein Kumpel recht, aber es soll ja in der Regel auch viel umgesetzt werden und das mit möglichst wenig Kosten .. das das nicht machbar ist ist vielen unklar ...

@Supi: Ich habe damit nicht gemeint, dass ich neu bin im Gebiet der Virtualisierung, sondern eher im Bereich der Möglichkeiten des ESX und VSphere Center Servers.
Tja und die zwei Sata Platten wurden auch nur auf Grund von Geldmangel genommen ... ich hätte auch lieber SAS Platten genommen, aber wo soll man noch sparen?
Nutzer? Effektiv ca. 120 + teilweise Daten von 1200
Wichtige Daten? Jo, aber das sind nun keine Mengen .. die könnte ich auch aufs NAS sichern. Mir geht es eher um eine Sicherung der VMs, weil eine Backuplösung wie BackupExec einfach nicht bezahlbar ist und vorallem nicht bezahlt werden würde. Es war schon ein Krampf die ESX Lizenz zu bekommen...
Deinen Link in allen Ehren, aber leider gibt es nicht mal eben 1500€ für nen NAS ...
Wenn das da wäre würde ich auch allerhand anderes tauschen. Wie z.B. uralte Switche etc. Aber das geht halt alles nur stückchenweise ...

@Dayworker: Das NAS Storage, schreibst du doch selbst bietet wohl kaum genug Ressourcen für den ESX... also kann ich den Vorschlag nicht ganz nachvollziehen - sorry.

@All: Der Esx ist nun neu eingerichtet. Lesen geht natürlich erheblich schneller als das Schreiben aufs NAS. Immerhin hab ich nun fast alle VMs innerhalb von ca 16 Stunden kopiert.

Nun ist halt meine Frage in erster Linie... aber ich glaube dazu mach ich nen neuen Thread auf ... hat nichts mehr damit zu tun ...

LG und Danke für die Antworten

[Dayworker]

Naja vielleicht nicht als Live-Device, aber zum Backup könnte es reichen und irgendwas wird sich VMware ja hoffentlich auch dabei gedacht haben, daß zu Zertifizieren...

[Supi]

Irgendwie sträuben sich bei mir da immer die Nackenhaare. wenn ich lese, 120 Nutzer und dann ist kein Geld für richtige HW da. Auch ein öffentlicher Träger muss doch ein Budget für die IT haben.
Ich würde dem Chef einfach mal vorrechnen: Beim Server fällt der RaidController oder beide Platten aus, jetzt muss ich erstmal 24h lang das Backup auf die noch zu beschaffende neue Hardware kopieren...
Vom Management wärst du mit dem ESXi ggf besser dran. Da hast du im Schrank nen Reserver-USB-Stick, auf dem der ESXi als Kopie vorliegt.

[xaero1982]

Hi,

@Supi: Dem Chef? Mhh da müsste ich wohl zum Bildungsministerium oder so
Leider gibt es nur ein bestimmtes Etat pro Jahr und ich habe hier in diesem Jahr die Administration übernommen.
Dazu muss man sagen, dass hier ein HP ProLiant ML370 mit 2 Xeons der ersten Generation rumsteht. Sprich null VT.
Darauf war dann ein Server 2003.
Das Booten der Clients hat ca. 8-12 Minuten gedauert. Als ich sie vom Netz zog waren es noch 2-3 MInuten.
Mein Vorgänger hat das leider so dermaßen verhunzt, dass dort nichts mehr zu machen war außer einer kompletten Neuinstallation.
Zusätzlich mussten wir also zum Einen einen neuen Server kaufen, weil ich nicht wieder Print, File, Mail, AD, etc auf einem Server haben wollte.
Dann musste ich für ca. 150 Clients Windowslizenzen kaufen (warum kein Linux? Weil es keine Software dafür gibt in dem Bereich und das ließe sich hier in dem Bereich auch leider nicht umsetzen, weil die Nutzer nicht mal mit Windows zurecht kommen)
Außerdem wurden noch 7 neue Laptops und 23 PCs gekauft um alte zu ersetzen.
Dann musste noch eine neue USV her, weil die alte hin war.
Zusätzlich mussten noch Ersatzteile beschafft werden und das NAS und die ESX Lizenz...
Irgendwann ist auch das dickste Portemonaie mal leer...
Vielleicht im kommenden Jahr wieder - mal sehen.
Ja, wenn beide Platten ausfallen ist eh Schicht. SataPlatten sind aber mal schneller im Laden um die Ecke besorgt für 200€ als neue SAS Platten. Der Kopiervorgang ging nun immerhin in schlappen 16 Stunden von statten ...

Der ESX lässt sich also nicht aufm USB Stick installieren? Zumal .. wenn die Platten abrauchen ist eh alles hin und einen Ersatzserver gibts nicht und die 10 Minuten für die ESX Installation hab ich dann auch noch ...

LG
PS: Mir fällt da ein Spruch ein ...
Wir, die guten Willens sind, geführt von Ahnungslosen, versuchen für die Undankbaren das unmögliche zu vollbringen. Wir haben so viel mit so wenig so lange versucht, dass wir jetzt quliafiziert sind, fast alles mit nichts zu bewerkstelligen.

Trifft es ganz gut *lach*

[irix]

Wie ich sehe werden meine Steuergelder sinnvoll invesitert

Aber wir sollten nun zurueck zum eigentlichem Thema.

Gruss
Joerg

[Dayworker]

OT:
xaero1982
Dein Spruch ist richtig gut, allerdings stossen mir einige deiner Äußerungen ganz übel auf und lassen mich noch schlimmeres für die Bildung in Deutschland befürchten, als ich sie damals noch "geniessen" durfte. Wer auch sonst als ein Ministerium kommt auf den abwegigen Gedanken, mehrere (einzelne) Windows-Lizenzen zu kaufen, wenn es in der Größenordnung doch schon vernünftige Preise für eine Volumen-/Firmen-Lizenz gibt und man sich damit weiteren Ärger erspart, falls sich unvorhergesehen die HW durch Ausfall mal ändern sollte. Zum Neukauf der Computer fallen mir auch nur zwei Wörter ein, nämlich Systemhaus und Behörde. Beide Begriffe sind mit Einsparungen und einem Komplettpreis verbunden.

Vor diesem Hintergrund hast du mein volles Mitgefühl für deine Arbeit. Gleichzeitig klärt sich über deine Aussage "weil die Nutzer nicht mal mit Windows zurecht kommen" auch die Frage, weshalb einige Politiker der Meinung sind, das Internet ausdrucken zu können.



PS: Wir sollten wirklich zurück zum Thema kommen...

[xaero1982]

Hi,

@irix: jup

@Daywalker: Ich weiß nicht genau was du mit dieser Aussage bezwecken möchtest.
Ich habe nichts von Einzellizenzen gesagt etc.
Es existiert ein Open License Vertrag und über diesen wurden die Lizenzen gekauft. Nur leider, sofern du dich damit schon mal auseinander gesetzt hast, wirst du feststellen, dass die Lizenzen im öffentlichen Bereich meist teurer sind als wenn du sie im Laden einzeln kaufen würdest.
Das einzige was günstiger war, war z.B. die ESX Lizenz und die Windows Server 2008 Lizenz. In dem Fall hatte ich Rücksprache mit MS die mir dazu rieten die Enterprisevariante zu nehmen, weil ich hier mit einer Lizenz 4 virtuelle Maschinen installieren kann/darf.

So, Computerneukauf: Die Computer wurden bei Bechtle gekauft und dort gibt es besondere Konditionen. Wir haben uns über unser Amt hinweggesetzt und dort bestellt, obwohl wir bei einem anderen Anbieter hätten kaufen "müssen". Mit dem kleinen, aber feinem Unterschied, dass dort die Rechner in vergleichbarer Ausstattung rund 150€ mehr kosten pro Stück.

Also das ist alles nicht so wie es immer geglaubt wird und dass es ja so viel billiger ist im Bildungssektor.

Ich habs auch nicht glauben wollen, aber inzwischen bekomme ich Einblicke die man nicht haben möchte...
Nicht nur was den IT Bereich angeht, sondern prinzipiell, wenn es um Bildung geht.

Ich bekomme für meine Tätigkeiten dort auch nur ein Appel und ein Ei.
Es wurden bereits Firmen bestellt die eine Umsetzung mit ca. 40.000€ bezifferten.
Ich bekomme einen Bruchteil ...

Warum? Weil ich die nicht hängen lassen wollte wie mein Vorgänger ...

LG
Edit: Achso ... im Ergebnis entscheide nicht ich was gekauft wird, sondern das Amt ... ich kann nur Bitten unterbreiten und das möglichst günstig. Ich hätte auch lieber BackupExec gekauft zum sichern, aber die paar Tausend waren dann nicht mehr drin ...

[xaero1982]

@Topic:

Inzwischen hab ich das Recovery Plugin installiert.

Die Frage die sich mir stellt ist nur: Mit wieviel Speicherbedarf hab ich zu rechnen, wenn ich zumindest Mail und File täglich sichere und Print und AD/DHCP ein mal in der Woche...

Ansonsten plage ich mich gerade noch mit VLans rum und das leider auf Uraltswitchen und einem Router, der keine VLans unterstützt ...

LG