Geschwindigkeit Shared Folders vs. Virtual Disc's

[MarroniJohny]

Hi

Bin gerade einiges an Daten am verschieben. Ich habe meine gesamte Entwicklungsumgebung virtualisiert. Bislang hatte ich Backup's und Daten in diesen virtuellen Maschinen in virtuelle Festplatten gespeichert.

Nun geht es um die Geschwindigkeit einerseits von grossen gepackten Dateien (Acronis Backup's), andererseits von vielen kleinen Dateien (PHP Files und sowas).

Am liebsten würde ich für die genannten Daten komplett auf virtuelle Disc's verzichten, da ich mit shared Folder's auch nativ Zugriff auf die Daten habe.

Nun stellt sich die Frage, wie Ihr die Daten speichern würdet. Ist das für beide Datentypen ratsam, dieses mit shared Folder's zu lösen? Das wäre mir am liebsten. So könnte ich auch am Host sichern, und hätte zusätzlich die Backup's und Daten nativ zur Hand.

Bei meiner Umstellung ist mir einfach aufgefallen, dass das kopieren der PHP Dateien von den virtual Disc's zu den shared Foldern sehr langsam von statten ging.

[MarroniJohny]

Hi

Ich habe das mal ausgelotet. Mit Shared Folder's klappt das besser, sei es für viele kleine oder auch grosse Dateien.

[Dayworker]

Das VMware-Feature "Shared Folders" ist immer noch ziemlich buggy und ich würde darauf weiterhin nur für unwichtige Dinge zurückgreifen.

Mir ist auch nicht klar, was du mit "auf virtuelle Disc's verzichten" meinst. Schreib-IOs sind gerade die Archillesverse einer Virtualisierung ala VMware sprich vollständigen Virtualisierung inklu Plattencontroller. Dadurch ist der Durchsatz innerhalb einer VM immer von der Host/Gast-Auslastung abhängig und bei vielen kleinen Dateien macht sich dieses Nadelöhr noch deutlicher bemerkbar, da die Host-CPU jeden Gast-IO abarbeiten bzw auf den Host-Datenträger umsetzen muß.

[MarroniJohny]

Hi Dayworker

Was meinst Du mit "ziehmlich buggy"? Wenn das Feature einen Fehler verursacht, bekomme ich das dann mit? Besteht die Gefahr, dass die Verzeichnisse auf dem Host bzw. deren Inhalt gelöscht wird? Oder das was falsch geschrieben wird?

Ich würde in die Verzeichnisse nur "von Hand" rein schreiben (hauptsächlich vom Gast, aber auch vom Host aus). Also keine automatisierten Backup's oder dergleichen. Wäre echt schade, wenn ich darauf verzichten müsste. Mit dem Feature shared Folder's wäre das ideal, so wie ich es jetzt eingerichtet habe. Die Daten sind allerdings durchaus wichtig.

[Dayworker]

In Abhängigkeit der Tools-Version ist es da schon zu Datenkorrumption gekommen oder die Folders waren nicht bzw nicht mehr erreichbar. Im VMTN finden sich dazu jede Menge Postings und speziell wegen der Datenkorrumption hatte VMware mehrere Anläufe gebraucht, um das halbwegs nutzbar zu machen. Den aktuellen Stand habe ich jedoch nicht verfolgt.

Vom Prinzip her ist das Feature "Shared Folders" gut gedacht, da das auch OS-übergreifend klappt. Aber leider hat VMware bei dessen Umsetzung wieder mal kein glückliches Händchen bewiesen.

[MarroniJohny]

Hi

Ich muss das Thema nun nochmals aufgreifen:

Ist es möglich, vom Hostsystem (mit Acronis) die VM's nativ und inkrementell zu sichern? Einerseits könnte ich mit "Image einbinden" so auf die Daten der VM Backup's zugreifen ohne die VM starten zu müssen. Andererseits bräuchte ich nicht alle Lizenzen von meinem Family Pack...

Mit den shared Folder's wäre das soweit ja möglich. Gibt's da noch Alternativen dazu? Oder muss ich die Backup's zwingend auf virtuelle Disk's legen?

Gruss und danke!

[rprengel]

Hi

Ich muss das Thema nun nochmals aufgreifen:

Ist es möglich, vom Hostsystem (mit Acronis) die VM's nativ und inkrementell zu sichern? Einerseits könnte ich mit "Image einbinden" so auf die Daten der VM Backup's zugreifen ohne die VM starten zu müssen. Andererseits bräuchte ich nicht alle Lizenzen von meinem Family Pack...

Mit den shared Folder's wäre das soweit ja möglich. Gibt's da noch Alternativen dazu? Oder muss ich die Backup's zwingend auf virtuelle Disk's legen?

Gruss und danke!

Hallo.
da es um die Worksation geht.
1)
Vollsicherung
VM aus schalten und den kompletten Ordnerd er VM sichern
2)
Daten innerhalb der VM
mit einem geegneten backuptool regelmässing über ein Windowsshare auf ein Zielsystem kopieren

Für beides nutze in personal backup.
Kostet nichts und ist verdammt mächtig.

Gruss

[MarroniJohny]

Hi

Da sehe ich folgende Probleme:

1. Vollbackup vom Host aus:

Einerseits, wie der Name schon sagt, ist kein inkrementelles Backup möglich, soweit ich das sehe. Es handelt sich um drei VM's mit insgesammt ca 250 GB,... Ausserdem kann ich nicht auf die Daten auf dem Container zugreifen, da die Daten ja in einer VMDK liegen.

2. Daten von der VM aus sichern:

Ich habe jetzt die VM's auf eine SSD genommen. Ich hatte bei den VM's noch je eine Backup VMDK eingehängt gehabt, vor dem Umzug. Ich hatte die Festplatte mit diesen virtual Disk's dann temporär für etwas anderes benutzt, und musste sie Notfallmässig formatieren. Als ich dann die VM's per öffnen Befehl wieder einhängen wollte, konnte ich die Backup Platten, die es ja nicht mehr gab, nicht mehr löschen bei den Setting's. Also würde ich gerne auf die Aktion mit mehreren virtual Disk auf verschiedenen Platten verzichten. Da lasse ich die Daten lieber auf der Systempartition und mache entweder ein Vollbackup der VM, oder sichere die Daten, so wie es Du vorgeschlagen hast (auf einen Netzwerk Share).

Schade! Die Version mit Backup sowohl des VM System's (aus der VM heraus in ein Shared Folder), wie auch der Daten per Shared Folder vom Host aus wär für mich die deutlich elegantere Lösung gewesen. Aber wenn das nicht sicher ist, bzw. die Daten dabei flöten gehen könnten, führt wohl kein Weg an Deiner Lösung vorbei.

Wie wär's denn, wenn ich auf dem Host ein Netzlaufwerk einrichte, und die Sachen dorthin sichere? Die vNIC's der VM's sind gebridged, und liegen im selben Range wie der Host...

[Dayworker]

Wie "rprengel" bereits anmerkte, gehts um die Workstation und damit einhergehend kannst du leider nicht wie beim ESXi auf die gleiche Weise inkrementelle Sicherungen anstossen. Dazu fehlt der WS die entsprechende Funktonalität. Du kannst aber über das VDDK sprich "Virtual Disk Development Kit" von VMware jede inaktive VMDK als weiteres Laufwerk mounten und dann auch Acronis drüberlaufen lassen. Das Host-OS muß dann im Gegensatz zum "Shared Folder" ala VMware natürlich mit dem im Gast-OS laufenden Dateisystem auch klarkommen.
Das VDDK bietet sich dann prima zum Scripten, sprich VM-Suspend, VMDK mounten, backuppen, unmounten und VM-Restart, an.


Ja die WS mag es nicht, wenn man ihren VMs konfigurierte VMDKs wegnimmt. Falls die WS die VMX-Datei dann nicht mehr anfassen mag, ist das auch kein Problem. Zumindest solange, wie die man die VM nicht über die WS verschlüsselt hat und in diesem speziellen Fall ist auch die VMX-Datei verschlüsselt.
Ansonsten sieht man sich die VMX-Datei an und setzt die fehlende VMDK entweder bei scsi0:0.present oder ide0:0.present passend auf "false".


Ein Netzlaufwerk auf dem Host ist doch eine Netzwerkfreigabe und die funktioniert immer. Du könntest genausogut auch ein NAS ins Heimnetzwerk hängen und das als Sicherungsziel eintragen.

[MarroniJohny]

Hi

Ja danke! Dann werde ich das wohl über zwei Netzwerkshare's auf dem Host lösen.

Inkrementelles System Backup (der VM's) aus der VM heraus auf den Netzwerkshare des Host's (mit Acronis).

Die Daten, die ich in der VM nutze (vor allem PHP und ASP Scripts) liegen dann direkt auf einem weiteren Netzwerkshare des Host's. Diese werden dann auch auf dem Host gesichert. Eventuell richte ich dann auch ein Codeverwaltunsserver ein. Im Moment gehts aber nur um die Files.

So brauche ich halt alle drei Acronis Lizenzen (Host und zwei VM's), aber was solls.

Gibt es dagegen etwas einzuwenden?

[Dayworker]

Wenn es dir nur um die Dateien geht, würde ich mich mit "rsync" mal näher beschäftigen. Soweit mir bekannt ist, kannst du das auch mit "git" oder "svn" als Versionsverwaltung verheiraten.

Wenn du auf dem Host dein Tool einrichtest und die Gäste-VMDKs per "VDDK" mountest, sparst du dir doch die zusätzlichen Lizenzen oder geht das nicht?

[rprengel]

Hi

Ja danke! Dann werde ich das wohl über zwei Netzwerkshare's auf dem Host lösen.

Inkrementelles System Backup (der VM's) aus der VM heraus auf den Netzwerkshare des Host's (mit Acronis).

Die Daten, die ich in der VM nutze (vor allem PHP und ASP Scripts) liegen dann direkt auf einem weiteren Netzwerkshare des Host's. Diese werden dann auch auf dem Host gesichert. Eventuell richte ich dann auch ein Codeverwaltunsserver ein. Im Moment gehts aber nur um die Files.

So brauche ich halt alle drei Acronis Lizenzen (Host und zwei VM's), aber was solls.

Gibt es dagegen etwas einzuwenden?

Hallo,

spar dir die Lizenzen. Abgesehen davon habe ich mit Acronis auch schon eine Menge defekter Sicherungen gehabt.
Sichere mit personalbackup die Daten aus den VMs via share und beim Start deines Hosts die VMs komplett via personalbackup auf ein anderes Sysem oder eine USB-Platte.
Wenn dein Host mal stirbt einfach neu aufsetzten, Workstation installieren und schon bist du wieder im Spiel.
Mache ich so mit einem Linux-Laptop als Host seit Jahren.
Man muss sich halt nur angewöhnen nur innerhalb von VMs zu arbeiten. Dann ist das eine sehr saubere Lösung.

Gruss

Gruss

[MarroniJohny]

Hi

Ich muss das Thema nochmals aufgreifen. Die VM's liegen jetzt auf der selben SSD wie das Hostsystem. Die SSD ist unterteilt in zwei Partitionen (1x Host und 1x VM's). Der Host und die VM's laufen super flüssig!

Dann habe ich 2 Platten im Host. Auf beide möchte ich aus den VM's raus auf einen Windows Netzwerkshare des Host's sichern. Ausserdem habe ich auf der wichtigeren Platte einen "Shared Folder" eingerichtet (auch eine Windows Netzwerkfreigabe des Host's).

Wie gesagt, die VM's laufen super flüssig, der Host macht auch, was er soll. Wenn der Host sowie die VM's am idlen sind, versuche ich nun, aus einem meiner Netzwerkshares etwas auf die VM zu kopieren (auf die SSD).

Das geht aber so langsam, dass die Lösung absolut nicht zu gebrauchen ist. Für ein paar 2 MB grosse Bilder brauche ich ein paar Minuten. Wenn ich das Feature "Shared Folder" von vmWare nutze, habe ich das Performance Problem nicht. Weder die Host CPU, noch die CPU Auslastung (Taskmanager) in der VM sind annähernd ausgelastet.

Ich habe auf beiden Platten je 3 Windows Shares eingerichtet, und in den VM's jeweils einige dieser Shares per "Netzlaufwerk verbinden" gemountet.

Bei den Virenscanner habe ich "Netzlaufwerke scannen" deaktiviert. Ich habe auch versucht, nur eine einzelne VM zu starten, und habe sowohl am Host wie auch in der VM den Virenscanner komplett aus gemacht.

Bei den Netzwerkeinstellungen habe ich ein VMnet0, welches bridged zum betreffenden Hostadapter ist. Ich habe auch versucht, die VM direkt zu bridgen, selbes Ergebnis.

Wenn ich von den Shares aus über's Netzwerk kopiere, läuft's volle Pulle (auch mit eingeschaltetem Virenscanner).

Wär echt cool, wenn ich das so hinkriegen würde, wie ich das jetzt eingerichtet habe.

Edit:

Scheint tatsächlich am Bitdefender zu liegen. Wenn ich am Host die Firewall aus mache, dann kopiere ich mit ca. 20 MB/s. Wenn ich in der VM die Firewall auch noch aus mache, dann gehts mit 125 MB/s zu Gange.

Naja, mir ist ja schon mehrmals von Security Packages abgeraten worden, vielleicht ist ja doch was dran

[rprengel]

Wie gesagt, die VM's laufen super flüssig, der Host macht auch, was er soll. Wenn der Host sowie die VM's am idlen sind, versuche ich nun, aus einem meiner Netzwerkshares etwas auf die VM zu kopieren (auf die SSD)..

Hallo,
kontrolliere mal deine Netzwerkkondigurationen.
Alle IPs (Gateway etc.) bis auf die letzte Stelle der IP des Systems identisch?
Wie sprichts du die System an? Mit IPs oder per Name.
Gateway korrekt eingetragen?

Gruss

[rprengel]

Scheint tatsächlich am Bitdefender zu liegen. Wenn ich am Host die Firewall aus mache, dann kopiere ich mit ca. 20 MB/s. Wenn ich in der VM die Firewall auch noch aus mache, dann gehts mit 125 MB/s zu Gange.

Naja, mir ist ja schon mehrmals von Security Packages abgeraten worden, vielleicht ist ja doch was dran

Passt,

haben wir immer wieder bei Kunden.
Gerne genommen auf zentralen Servern mit dutzenden Clients.

Gruss

[UrsDerBär]

Normalerweise liegts am Host OS. Du musst Endungen oder spezifische virtuelle Discs vom Scanning ausschliessen. Dann gehts normalerweise zackiger.

[rprengel]

Normalerweise liegts am Host OS. Du musst Endungen oder spezifische virtuelle Discs vom Scanning ausschliessen. Dann gehts normalerweise zackiger.

Ja,
aber nicht wenn die Gäste auf ESX laufen.
Ist hier zwar Workstation aber es gibt ja immer mehrere Möglichkeiten sich ins Bein zu schiessen.

Gruss

[UrsDerBär]

yep, auf ESX logischerweise ned...

Da ist dann meist auch eher die CPU oder IO-Leistung der Bremser... Auslastung ist dann jeweils ziemlich heftig.

[MarroniJohny]

So. Mir wurde bisher mehrmals empfohlen, insbesondere von Dayworker, keine aufgeblasenen Security Pakete zu nutzen. Natürlich wusste ich das bislang immer besser, und habe seit Jahren auf Bitdefender gesetzt.

Habe den Rotz jetzt komplett runter genommen.

Seither funktioniert alles bestens! Schade eigentlich, denn einige Funktionen werde ich echt vermissen (vor allem die Firewall Konfiguration). Aber wenn ich das nicht geregelt kriege, dass ich auch auf den vollen Speed meines Storage hoffen kann, dann lass ich das mit den Suite's halt.

Manchmal sollte ich besser zuhören lernen,...

[Dayworker]

OT:

Die Sec-Funktionen lassen sich mit viel Geduld durch ständige Meldungen beim Hersteller nachführen. Jeder dieser Hersteller sieht aber Virtualisierung als keine Grundfunktion eines Desktop-Rechners/OSes an und erschwerend kommt noch hinzu, daß es verschiedene Virtualisierungslösungen gibt. In den meisten Fällen kann man bis zu einem gewissen Grade die Ausnahmelisten der Sec-Pakete füllen und muß diese nach jedem Update sowohl der Sec-Suite als auch der VT-Lösung auf neue Probleme überprüfen.

Wenn einige, der in den Sec-Paketen enthaltenen Virenscannern bereits Probleme mit Signaturen zu grundlegenden Windows-Dateien haben, kann man sich vorstellen, wie schwerfällig diese Hersteller dann bei üblichen Desktop-Rechnern eher selten eingesetzten VT-Lösungen agieren. Ich verstehe insgesamt nicht, weshalb solche überbordenen Suiten überhaupt genutzt werden. Jedes Windows seit WinXP-SP2 bringt bereits eine Firewall für den eingehenden und seit Vista auch für den ausgehenden Verkehr mit. Kombiniert man das mit einem sich häufig aktualisierenden Virenscanner, sollte man relativ (*1) sicher sein. Heutige Pakete haben inzwischen eine solche Komplexität erreicht, daß dort in meinen Augen niemand mit "nur" hoher Sicherheit davon ausgehen kann, daß man die Suite gerade aufgrund der Komplexität nicht doch umgehen kann. Erschwerend zur häufig als 360Grad-Schutz verkauften Komplexität kommt noch hinzu, daß sich ein potentieller Angreifer dann nur noch um den einen genutzten Paket-Anbieter kümmern muß und sobald der Angreifer einen Weg ins System gefunden hat, ist die Suite kein Hindernis mehr. Falls man jedoch auch SW abseits des Mainstreams (Office, Internet, Zocken) einsetzt, verkehren sich solche Pakete vielfach ins Gegenteil, da sie auch gewünschte Funktionen beeinflussen können. Leider gibt es da keine für alle ohne Nachteile nutzbare oder empfehlenswerte Sec-Suite. Ich hatte mich mal mit Kaspersky angefreundet und war dann zu Avira gewechselt. Aviras erste Amtshandlung damals bestand darin, die Beseitigung diverser unliebsamer von Kaspersky übersehene Gäste vorzunehmen. Aufgrund der Menge und noch mehr der Dauer der Beseitigung bei einem nachher immer möglichen Endresultat, daß die Inst aufgrund fehlender Dateien nicht mehr startet, habe ich dann doch neu aufgesetzt. Avira ist aber wiederum auch so bekannt, daß sich Eingriffe dieses Herstellers in den VMware-Produktbetrieb namentlich im "vmware.log" wiederfinden lassen. Mit der Aufnahme des VMware-Programmeordners, diverser Prozesse wie "vmware-vmx.exe" und den Dateiendungen VMX, VMDK, NVRAM in dessen Ausnahmeliste kommt man aber schon ziemlich weit.


*1
Eine absolute Sicherheit gibt es nicht; selbst für komplett abgeschottete Systeme ohne Netzwerkzugang. Diese muß man dann extern per USB, CD oder SD-Karte entweder mit Updates oder den Nutzdaten versorgen und auf allen drei Medien können sich unerwünschte Gäste verstecken. Aber man kann zumindest die eigene Angriffsfläche reduzieren und für den Rest muß man seinen Kopf anstrengen.