Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

Performance Probleme NAS

ESX(i)-taugliche Hardware, HCL .....

Moderatoren: irix, continuum, Dayworker

Member
Beiträge: 14
Registriert: 10.04.2012, 11:56

Performance Probleme NAS

Beitragvon worf » 03.12.2013, 11:31

Hallo

leider bin ich mir nicht ganz sicher ob der Eintrag hier in diesem Forum richtig ist – da sich die Sache aber mehr und mehr zu einem Hardwareproblem entwickelt hoffe ich das ich hier richtig bin.
Mein grobes Ziel ist:
Ich möchte ein NAS in eine ESXi5.0 einbinden und es zum Speicherplatz für Backups von virtuellen Maschinen machen. Daneben sollen auf dem NAS noch einige Windows-Freigaben laufen die als allgemeiner Speicherplatz im Netzwerk fungieren.

Die ESXi5.0 läuft auf einem Dell PowerEdge Server R710
· 2 Intel Xenon CPU`s E5620 2,4GHz
· 24GB RAM
· Festplatten 5 x 1TB Seagate Constellation ES 1TB, SAS 6Gb/s (ST1000NM0001) im Raid 5 Verbund
· Netzwerk 4 x Broadcom NetXtreme II Gigabit Schnittstellen
Davon NIC1 und NIC2 als Trunk zusammengeschlossen (Adressbereich 192.168.1.X)
NIC 3 ist Anschluß DMZ (Adressbereich 10.10.10.X)
NIC4 ist ausschließlich für iSCSI (Adresse 192.168.1.xxx)
· Betriebssystem VM-Ware ESXi5.0
Hier laufen 3 virtualisierte Server (SBS 2003 als DC, Server2008 Standard als Lotus Mailserver, Server2008 als allgemeiner Server)

Als NAS habe ich vor Kurzem eine Buffalo Terrastation 5600D angeschafft:
· Betriebssystem Windows Storage Server 2012
· Feste IP-Adresse 192.168.1.xxx
· Eingebunden in die lokale Active Directory Domäne
· Volume C:\ ist Bootpartition (Größe 100GB)
Volume D:\ ist Speicherplatz (Größe 8,6TB im RAID5 Verbund) davon sind 5TB als iSCSI Bereich freigegeben - Rest sind Windows-Shares

Der freigegebene iSCS-Bereich ist in der ESXi eingebunden


Verkabelt ist die ganze Sache über D-Link Gigabit Switches
· D-Link DGS 1210-48 (48 Gigabit Ports)
· Vergabelung Gigabit
· Alle Rechner im Netz sind mit Gigabit NIC´s ausgestattet und laufen auch im Gigabit Modus


Nun zum Problem:
Vorletztes Wochenende habe ich von einem der virtuellen Server (Größe etwa 800GB) ein Backup erstellt, indem ich im Host die Funktionen „Datenspeicher durchsuchen“ und „Kopieren“ verwendet habe.
Dieser Kopiervorgang hat sage und schreibe 41 Stunden gedauert!!!!

Nun sollte man für solche Zwecke den vCenterServer nehmen, und man macht besser ein Update auf die ESXi 5.1 U1.
(Nur fürs Protokoll: Genau deshalb mache ich die Backups..... um das Update und den Einsatz einer vCenterServer Appliance vorzubereiten.)
Zurück zum Kopiervorgang, In einigen Foreneinträgen habe ich dann gelesen das der Kopiermechanismus des ESXi nicht der schnellste ist, und man über WinSCP die VM-Dateien direkt laden kann.
Das habe ich dann auch versucht. Ich habe WinSCP auf dem Betriebssystem des NAS installiert und gestartet. Ich bin auf eine Datenübertragungsrate von knapp 2KB/s gekommen – das ist der Grund für die 41 Stunden!

Auf meine Anfrage beim Hersteller Buffalo wurde mir nur lapidar geantwortet „...die ESXi5 wird von der Terrastation nicht unterstützt“. Auf meine Frage wo das denn stehen würde bekam ich einen Link zu einer VM-Ware-Compatibility-List. Ich hätte eine solche Info beim Hersteller erwartet, aber das ist ein anderes Thema und soll hier nicht besprochen werden.

Was ich wirklich nicht verstehe ist: Wir reden hier doch von normalen Datenpaketen TCP/IP, NFS, iSCSI die über`s Netz geschickt werden. Diese Datenpakete müssen gewissen Normen entsprechen sonst werden sie vom Gegenüber ja logischerweise nicht verstanden.
Buffalo unterstützt diese Datenpakete....VM-Ware unterstützt diese Datenpakete......
Wie kann es dann zu einer so desaströsen Ausbremsung des Datenverkehrs kommen?
Was mach VM-Ware bei der Datenübertragung anders, das es überhaupt eine Compatibility-List geben muss?

Für alle Ideen bin ich von Herzen dankbar.....!
Viele Grüße

Member
Beiträge: 359
Registriert: 28.11.2011, 09:46

Beitragvon weigeltchen » 03.12.2013, 11:54

Das vCenter hat nur sehr bedingt was mit dem Backup von VM's zu tun und ist daher nicht notwendig für den hier geschilderten Einsatzfall. Für performante Backup braucht man neben der Hardware auch die entsprechende Software, die dann sicherlich auch was kostet. Nur so als Beispiel: ich sichere hier 1,5 TB an VM als Fullbackup in zwei Stunden auf einen Backupserver mit Veeam, der mit SAS am SAN hängt. Durch die Komprimierung bleiben ca 500 GB, die dann auf dem Server landen.
Was Du gemacht hast, war eine 1:1 Kopie mit Bordmitteln. Ich vermute mal, das ist ein freier Hypervisor. Dem fehlt die API fürs Backup.
Eine Möglichkeit wäre, Veeam-Zip in einer weiteren VM zu installieren, Freigabe vom NAS als Backuprepository definieren und mal testen. Wobei 800 GB schon eine Hausnummer sind, wenn die über Netzwerk gezogen werden sollen.

Experte
Beiträge: 1333
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Beitragvon Supi » 03.12.2013, 12:13

Also ich komme auf ca 5,4MB/sek bei 41h und 800GB. Aber nur so nebenbei.

Die Konfig schein generell vermurkst. Wozu ein Trunk bei 2 Ports? Auch ist das ISCSI mit nur einer NIC suoptimal.
Das erste was ich bei Buffalo zu der Station lese ist "Vmware und NFS certified". Du verwendest aber ISCSI.
Wie viele Platten sind denn im dem Raid-5 Verbund?
Wie schnell schreibst du den auf die CIFS Freigabe des NAS?
Es wohlgemerkt auch "nur" ein ATOM D2700 NAS.

Wie bereits geschrieben, hast du genau die langsamste Möglichkeit verwendet, eine Kopie/Backup zu ziehen.
Teste doch alternativ auch mal den Trilead Explorer oder veeam free. Und am besten erst mal die Essential Lizenz erwerben, wegen der Backup api.

King of the Hill
Beiträge: 12193
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 03.12.2013, 12:27

Aehm.... das Thema ist das du "denkst" du machst ein Backup in dem du einfach so Daten kopierst.

Fuer das Thema Backup hat der Hersteller VMware eine API integriert welche entsprechende Produkte dann verwenden. Diese Produkte koennen dann durchaus dein NAS zur Datenablage verwenden. Diese API bringt ein Paar Feature mit um Datendeltas schnell zu ermitteln (CBT) oder aber die Herrsteller verwenden Boardmittel wie HotAdd um Daten optmierter zulesen.

Wenn du Dateien auf dem ESXi selber kopieren willst dann must du es richtig mit vmkfstools machen und nicht einfach mit CP, WinSCP oder dem unsaeglichem Datastorebrowser.

Aber die Einzig taugliche Loesung ist Veeam/vRanger bzw. wenn man Ruecksicht mehmen muss dann CA/Symantec/HP und wie sie heissen.

Gruss
Joerg

Profi
Beiträge: 991
Registriert: 31.03.2008, 17:26
Wohnort: Einzugsbereich des FC Schalke 04
Kontaktdaten:

Beitragvon kastlr » 03.12.2013, 12:28

Hallo,

mir ist dein Konstrukt leider noch nicht ganz klar.

Bindest du den verfügbaren Speicher als iSCSI Datastores unter den ESX Server ein?
Damit dürften das dann die Quell Devices sein, aber wohin führst du dann dein Backup durch?

Du kannst ja mal mit folgendem Kommando prüfen, wie schnell deine iSCSI LUN's die Daten bereitstellen.
dd if=/vmfs/devices/disk/naa.xxxx of=/dev/null bs=64k count=1048576

Damit liest du 64GB von der Quelle und dabei werden 64k IO's verwendet.

Wenn du dann parallel mit esxtop prüfst was auf der LUN los ist hast du schon einmal grob die Read Performance der iSCSI LUN ermittelt.

Gruß,
Ralf

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 03.12.2013, 16:04

Das sollte mit voller Gigabit-Geschwindigkeit funktionieren:

NAS als Datastore mit NFS eingebunden

vmkfstools -i source destination

King of the Hill
Beiträge: 12193
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 03.12.2013, 16:31

leo hat geschrieben:Das sollte mit voller Gigabit-Geschwindigkeit funktionieren:

NAS als Datastore mit NFS eingebunden

vmkfstools -i source destination


Mit dieser Methode kommen zumind. schon mal die ESXI DataMover Funktionen zum Einsatz. Aber bei der Qualitaet des NAS wird man keine Gigabit Geschwindigkeit erreichen.

Gruss
Joerg

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 03.12.2013, 18:07

irix hat geschrieben:Aber bei der Qualitaet des NAS wird man keine Gigabit Geschwindigkeit erreichen.


Das NAS müsste das schon schaffen, mit einem Intel Atom D2700, 2x 2.13GHz.

Member
Beiträge: 14
Registriert: 10.04.2012, 11:56

Beitragvon worf » 04.12.2013, 10:08

Guten morgen zusammen

vielen Dank erst mal für die Antworten.

@ Weigeltchen
1,5TB in 2 Stunden - da werd ich richtig neidisch. Was die Hypervisorengeschichte angeht, ich hab mit den Bordmitteln der ESXi5 kopiert. Keine Ahnung ob die einen freien Hypervisor nutzt?! Wie funktioniert das mit den Hypervisoren denn überhaupt? Muss da eine Software oder eine Art Treiber auf beiden Geräten (ESXI und NAS) installiert sein? Dann kann ich mir auch vorstellen was Du mit "da fehlt die API" meinst. Die API würde so für einen schnelleren Schreibprozess sorgen.

@ Supi
Es sind 6 x 1TB Festplatten im RAID 5 Verbund. Mit schreiben auf CIFS Freigabe meinst Du wahrscheinlich eine Standard-Windows Freigabe. Wenn ich eine 8GB Datei auf eine Freigabe des NAS schreibe so komme ich auf Übertragungsraten bis zu 85 MBit/s und die Datei ist Ruck Zuck kopiert. Nur auf der VM-Ware Seite, da hakt`s mächtig.

@ irix
OK, vmkfstools probiere ich am Wochenende mal. Aber wenn ich Dich richtig verstehe wären wir da auch wieder bei dem Punkt von Weigeltchen, das da irgendwo ein Stück API/Treiber/Software fehlt.

@ kastlr
Der Dell Server hat ein eigenes RAID5 Speichersystem. Da das aber nicht groß genug ist um alle Backups der VM`s aufzunehmen, habe ich das NAS als iSCSI eingebunden und kopiere die Backups nun vom internen Datastore auf das NAS.
Kannst Du mir das mit dem Testbefehl mal genauer erklären? Wo soll ich den eingeben? In der Konsole ESXi?

@ leo
Ich hab das NAS zuerst auch nur mit NFS eingebunden. Das Ergebnis war das gleiche. Ich habe parallel auch über unseren Lieferanten eine Reklamation eingegeben. Dieser hat sich daraufhin mit Buffalo in verbindung gesetzt. Unser Lieferant hat mir dann den ganzen E-Mail Verkehr weitergeleitet und da stand etwas interessantes drin "iSCSI und NFS Dienste parallel kann nicht funktionieren". Mir ist zwar nicht klar warum, aber ich habe morgen Vormittag eine Teamviewer Sitzung mit den Jungs und dann werde ich das erörtern.


Vielen Dank erst mal für die Tipps
Ich halt euch auf dem Laufenden...

King of the Hill
Beiträge: 12193
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 04.12.2013, 10:23

Ein und die selben Daten kann man entweder als Block (ISCSI) oder aber File (NFS, CIFS) bereit stellen. Somit ist die Aussage das nur eins geht richtig (Aber eigentlich auch selbsterkaerlich :) )


Nur weil die Busybox des ESXi ein paar Befehle mitbringt heist es nicht das man sie misbrauchen soll. Bei Verwendung von "cp", "scp" verwendet der ESXi nicht die passenden internen Befehle zum optimalen Zugriff auf die VMDKs. Das sieht bei vmkfstools ganz anders aus.

Du solltest dir ghettoVCB2 angucken wenn du da weiter frickeln moechtest. Ansonsten nimm ein paar Euro in die Hand fuer die vSpehre Essentials Lizenz und dann Veeam, vRanger. Die vSphere Essentials schaltet dann die APIs frei so das die ein Sicherungsprodukt die VADP Schnittstelle nutzen kann.

Gruss
Joerg

Benutzeravatar
Guru
Beiträge: 3129
Registriert: 22.02.2008, 20:01
Wohnort: Hessen

Beitragvon PeterDA » 04.12.2013, 10:57

Hi,
meiner Meinung nach ist der Buffer der Switch zu klein. Anders gesagt Switch,
Storage und Erwartungen passen nicht.

Gruß Peter

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 04.12.2013, 11:57

irix hat geschrieben:Ein und die selben Daten kann man entweder als Block (ISCSI) oder aber File (NFS, CIFS) bereit stellen. Somit ist die Aussage das nur eins geht richtig (Aber eigentlich auch selbsterkaerlich :) )


Nur weil die Busybox des ESXi ein paar Befehle mitbringt heist es nicht das man sie misbrauchen soll. Bei Verwendung von "cp", "scp" verwendet der ESXi nicht die passenden internen Befehle zum optimalen Zugriff auf die VMDKs. Das sieht bei vmkfstools ganz anders aus.

Du solltest dir ghettoVCB2 angucken wenn du da weiter frickeln moechtest. Ansonsten nimm ein paar Euro in die Hand fuer die vSpehre Essentials Lizenz und dann Veeam, vRanger. Die vSphere Essentials schaltet dann die APIs frei so das die ein Sicherungsprodukt die VADP Schnittstelle nutzen kann.

Gruss
Joerg


Das sehe ich genauso, die Busybox ist hier der Engpass. Alle Befehle, die innerhalb der Busybox-Console laufen sind langsam. Kopieraktionen, welche man im VSphere-Client absetzt, sind genauso langsam.

Deshalb hilft nur vmkfstools, wenn man kein Geld für Backup-Tools bezahlen will.

ghettoVCB2 benutzt auch vmkfstools. Für eine einmalige Kopieraktion ist das Script aber zu kompliziert. Hier kann man auch direkt einen einzelnen vmkfstools-Befehl eingeben.

Member
Beiträge: 14
Registriert: 10.04.2012, 11:56

Beitragvon worf » 05.12.2013, 17:26

Hallo zusammen

es gibt erste (gute) Nachrichten. Ich habe mit dem Trilead VM Explorer getestet und er hat eine 38GB VM ohne Kompression in 17min gebackupt...!!!!
Ich bin tief beeindruckt..!!!
Es sieht also wirklich so aus als wenn die fehlenden API`s das Problem wären.

@ leo
Ich habe mir die vmkfstools angesehen, das geht, ist aber wirklich recht kompliziert. In meiner Firma legt man großen Wert darauf das alles auch von einem Ersatzmann bedient werden kann (falls ich mal ausfalle). Deshalb habe ich gerade eine 500 Seiten Netzwerkdoku fertiggestellt. Einem Ersatzmann aber die vmkfstools anhand einer Doku beizubringen, und das auch noch im Ernstfall, halte ich für nicht machbar. Da hilft wirklich nur Geld in die Hand nehmen.
Eines noch, was meinst Du mit "ein paar Euro in die Hand nehmen für ein vSphere Essentials Lizenz"? Was ich habe ist eine "VmWare vSphere 5 Essentials" Lizenz für 6 Prozessoren und eine für den vCenterServer - brauche ich denn sonst noch was?

@irix
Habe mir auch mal ghettoVCB2 angesehen. Die Problematik ist aber die gleiche wie ich gerade oben bei leo beschrieben habe. Die Einrichtung des Scripts ist recht umfangreich, da passieren in einer Notlage mehr Fehler als sonst was, trotzdem danke für den Tip.

@PeterDA
Also ausschließen will ich die Switches auch nicht ganz, aber ich denke sie tragen nur einen kleinen Teil zum Hardwareproblem hinzu. Ich meine beim oben beschriebenen Kopiervorgang wurde immerhin durchschnittlich eine Übertragungsrate von ca 45 MB/s erreicht. Das ist gegenüber vorher ein Quantensprung.
Was ich aber festgestellt habe ist, das beim Kopiervorgang der Atom Prozessor teilweise schon recht stark belastet wird. Das liegt aber wahrscheinlich an meiner fehlerhaften Konfiguration. Der Buffalo Mensch meinte man könne das NAS entweder per iSCSI oder per NFS einbinden - man solle sich aber für eines entscheiden.
Sicher ist jedenfalls, je weniger Serverrollen ich auf dem StorageServer2012 installiere, desto weniger Dienste laufen - und um so weniger wird auch die CPU belastet. Aber das kläre ich wie gesagt morgen.

@ Alle
Vor lauter vmkfstools, vmCli, Hypervisoren und VM-Storage ist mir mittlerweile schon ganz wirr im Kopf. Ich habe nur eine recht kleine Umgebung in der ein ESXi5 Host und ein vCenterServer 5.1 ist. Die verwalten 6 virtuelle Server.
Gibt es eurer Meinung nach noch irgendwelche Tools oder Appliances die ich installieren oder aufnehmen sollte?


Für das Backup werde ich wohl auf lange Sicht eine Software besorgen und mir auch die Produkte von Veeam und den vRanger mal ansehen

Viele Grüße

King of the Hill
Beiträge: 12193
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 05.12.2013, 20:11

@Worf,
das du ein vSphere Essentials hast ist irgendwie untergegangen weil dann sind die API naehmlich vorhanden und Nutzbar. Auch ein Trilead benutzt die.

Wenn ich aber jetzt lese "In meiner Firma legt man großen Wert" geht mir das Klappmesser in der Hose auf. Da reden wir hier seitenweise rum ueber Tage wo man in der Zeit einfach ein paar Hundert EURO in die Handgenommen haette um eine einfach und zuverlaessige Sicherungssoftware zukaufen.

Wenn dir Trilead gefaellt dann kauf es. Ich habe es bei einigen wenigen Kunden wo gezielt danach gefragt wurde bzw. wo nur wenige VMs gesichert werden muessen und das von Personal welche nicht von Hauptberuf "Admin" sind.

Veeam ist das "komplizierteste" von den 3 genannten weil es am meisten Moeglichkeiten bietet.

Gruss
Joerg

Member
Beiträge: 359
Registriert: 28.11.2011, 09:46

Beitragvon weigeltchen » 05.12.2013, 21:23

Die Info, dass Essentials vorhanden sind, ist nicht untergegangen. Sie wurde nicht kommuniziert. Sooo kompliziert ist Veeam auch wieder nicht. Interessant ist auch die Aussage vom TE, dass alles auch von einem "Laien" im Bedarfsfall bedient werden soll, aber keine Kohle rausgerückt wird, um eben dieses realisieren zu können. Ich weigere mich z.B. vehement, eine Kurzdoku für die Vmware-Umgebung für einen "Laien" zu scheiben.

Benutzeravatar
Guru
Beiträge: 3129
Registriert: 22.02.2008, 20:01
Wohnort: Hessen

Beitragvon PeterDA » 05.12.2013, 22:56

weigeltchen hat geschrieben:Die Info, dass Essentials vorhanden sind, ist nicht untergegangen. Sie wurde nicht kommuniziert. Sooo kompliziert ist Veeam auch wieder nicht. Interessant ist auch die Aussage vom TE, dass alles auch von einem "Laien" im Bedarfsfall bedient werden soll, aber keine Kohle rausgerückt wird, um eben dieses realisieren zu können. Ich weigere mich z.B. vehement, eine Kurzdoku für die Vmware-Umgebung für einen "Laien" zu scheiben.


Es ist doch immer das gleiche man will kein Geld ausgeben und ein nicht IT-ler soll das ganze per Kommandozeile bedienen. Wann lernen die Leute endlich. Endwerder Geld fürs Personal ausgeben oder für einfache Bedienung.

Benutzeravatar
Guru
Beiträge: 3129
Registriert: 22.02.2008, 20:01
Wohnort: Hessen

Beitragvon PeterDA » 05.12.2013, 22:58

@worf
es gibt nur wenige Geräte die aus einer Box sowohl Block- wie auch File-Storage bieten. Die einzigen die das in einer Box können sind NetApp. Okay EMC, DELL usw. können das auch brauchen für ihre Block Lösungen dann aber NAS Köpfe. ;o)

Und um es vorwegzunehmen für diese Lösungen braucht man eine größere Euromünze.....

Gruß Peter

King of the Hill
Beiträge: 12193
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 06.12.2013, 08:52

@Peter,

jedes Linux, jedes NAS und mit GoodWill auch jedes Windows(gerade >2012) kann Block und File Storage anbieten. Aber ein und der selbe "Bereich/Datei" nicht zur gleichen Zeit. Auch eine NetApp kann das nicht.

Um wieder OnTopic zu werden. Der OP hat die Grundverraussetzungen was vSphere Lizenz angeht und ein NAS welches Block/File kann und somit muss er nur noch den 3 Baustein sich holen spriche eine Datensicherungssoftware. Dann wird es auch einfach bedienbar und zuverlaessigkeit kann erreicht werden.

Ich wuerde dann auf CIFS sichern da man so im Fall der Faelle auch an die Sicherungsdateien heran kommt und nicht NFS oder iSCSI nehmen. Auf letzterem waere dann VMFS drauf und das ist fuer die Aussenwelt nun einmal schlecht lesbar.

Gruss
Joerg

Guru
Beiträge: 2791
Registriert: 27.12.2004, 22:17

Beitragvon rprengel » 06.12.2013, 11:35

PeterDA hat geschrieben:
weigeltchen hat geschrieben:Die Info, dass Essentials vorhanden sind, ist nicht untergegangen. Sie wurde nicht kommuniziert. Sooo kompliziert ist Veeam auch wieder nicht. Interessant ist auch die Aussage vom TE, dass alles auch von einem "Laien" im Bedarfsfall bedient werden soll, aber keine Kohle rausgerückt wird, um eben dieses realisieren zu können. Ich weigere mich z.B. vehement, eine Kurzdoku für die Vmware-Umgebung für einen "Laien" zu scheiben.


Es ist doch immer das gleiche man will kein Geld ausgeben und ein nicht IT-ler soll das ganze per Kommandozeile bedienen. Wann lernen die Leute endlich. Endwerder Geld fürs Personal ausgeben oder für einfache Bedienung.


Einfache Antwort:
Nie

Ich sehe gerade wie sinnvoll Trilead ist. Mit wenig Aufwand ist eine neue Kollegin in der Lage das Teil zu bedienen. Umgerechnet liegt die Lizenz bei um die 30 Euro pro Monat.
Gut das das bei uns keine Diskussion ist.

Gruss

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 06.12.2013, 14:04

irix hat geschrieben:Ich wuerde dann auf CIFS sichern da man so im Fall der Faelle auch an die Sicherungsdateien heran kommt und nicht NFS oder iSCSI nehmen. Auf letzterem waere dann VMFS drauf und das ist fuer die Aussenwelt nun einmal schlecht lesbar.



Bei Linux müssen sich CIFS und NFS nicht gegenseitig ausschließen. Ich habe schon öfters einen nfs-export und eine samba-share auf das gleiche Verzeichnis gelegt. Den samba-share als readonly, das reicht, um die Daten für Backup-Zwecke abholen zu können.

King of the Hill
Beiträge: 13008
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 06.12.2013, 15:41

Dein Quoting ist [edit]unglücklich gewählt[/edit]. Das sich CIFS bzw SMB und NFS ausschliessen, hatte niemand behauptet. Was sich aber ausschließt und von vielen NAS-Firmen (QNAP, Synology etc) meist auch nicht direkt niedergeschrieben wird, ist der gleichzeitige Export desselben Shares über NFS und iSCSI.
Hier im Forum hatten einige mit QNAP-NAS aus genau diesem Grund gleich mehrfach Schiffbruch erlebt, bevor sie es wirklich geglaubt haben. Zur Ehrrettung dieser Leute muß man halt sagen, daß es die NAS-Hersteller nirgends direkt hingeschrieben haben (Tenor im NAS-Manual: unser NAS unterstützt NFS und iSCSI) und der gleichzeitige Export desselben Shares je nach Nutzung für 24 bis 48 Stunden klappt. Nach dieser Zeit brauch dann entweder die Verbindung über NFS oder iSCSI ab und lies sich dummerweise durch ein NAS-Restart wieder kurzzeitig in Gang setzen.

Member
Beiträge: 84
Registriert: 17.07.2013, 15:42

Beitragvon leo » 07.12.2013, 10:35

@dayworker

Ich wollte den Aussagen von Irix nicht widersprechen, das ist alles richtig, was er schreibt. Was ich nur deutlicher machen wollte ist, dass VMWARE bei nfs im Gegensatz zu iSCSI das Volumen nicht in vmfs partitioniert, die Dateien liegen also später im Dateisystem auf der Unix-Maschine. Dadurch ist es einfach, NFS und CIFS miteinander zu verbinden. Zumindest bei einem Linux-System, welches man selber installiert. Bei einem NAS wird das nicht bei jedem Hersteller funktionieren.

King of the Hill
Beiträge: 13008
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 07.12.2013, 12:38

NFS und CIFS sind bis auf die unterschiedliche Rechteverwaltung ja völlig unkritisch. Beide sind dateibasierte Netzwerkdateisystem- während iSCSI wie FC blockbasierte Massenspeicherzugriffsprotokolle sind. Bei den letzten Beiden spielt es daher auch keine Rolle, ob der ESXi das mit VMFS, Win-Server mit NTFS oder Linux mit XYZ formatiert, weil es eh wie eine Festplatte angesprochen wird und diese zur Nutzung irgendwie passend formatiert sein muß. Auf die im iSCSI Container gespeicherten Daten kommst du bei vielen NAS jedoch nicht oder inzwischen nicht mehr per FTP, Samba oder NFS ran, das geht nur noch über einen Rechner über iSCSI im selben Netzwerk.

Was aktuelle NAS-Boxen bezüglich NFS und CIFS bzw SMB veranstalten, kann ich dir nicht sagen, aber bei gleichzeitiger Nutzung kommt man bei völligem Rechteverwaltungschaos unter SMB/CIFS zumindest noch über NFS an einzelne Dateien heran. In meinen Augen würde es ein Armutszeugnis für ein NAS darstellen, wenn es idiotischerweise die Freigabe desselben Shares per NFS und iSCSI gestattet, um sich dann bei NFS und CIFS/SMB zu verweigern.


Da NAS jedoch fast ausschließlich auf hohe sequentielle IO-Leistung getrimmt sind, machen sie als Ablage in der virtualisierten Welt nur begrenzt Sinn, wenn man sich mit der beim Random-Zugriff wesentlich geringeren IO-Leistung noch arrangieren kann. Der Rest nimmt ein NAS ausschließlich als Backup-Ziel, bei dem sich dann auch die Optimierung auf sequentiellen IO-Durchsatz bemerkbar macht, wobei Optimierung in meinen Augen auch noch zu hoch gegriffen ist. Bei üblichen Consumer-NAS mit ein oder zwei Einschüben geht es eigentlich nur darum, daß der NAS-Prozessor die IO-Performance der verbauten Platten möglichst wenig einbremst und möglichst viel davon dauerhaft an das Netzwerkinterface durchreichen kann.

Member
Beiträge: 14
Registriert: 10.04.2012, 11:56

fff

Beitragvon worf » 09.12.2013, 09:23

Hallo und guten morgen

am Wochenende habe ich noch einige Tests durchgeführt und möchte diesen Eintrag dazu nutzen um abschließend noch einmal alles zusammenzufassen.
Bevor ich diesen Thread angelegt hab, habe ich mich kreuz und quer durch`s Forum gelesen und habe noch einige Einträge gefunden die ähnlich gelagert waren. Daher hoffe ich das dies nun anderen helfen wird die vor einem ähnlichen Problem stehen.

Das Problem:
Benutzt man die interne Kopierfunktion des ESXi Host, so ist die Performance unterirdisch und Kopiervorgänge dauern unendlich lang. Die Erstellung von Backups der virtuellen Maschinen wird so zur Qual.
Kennt man die Hintergründe nicht, macht es den Anschein eines Hardwareproblems. Denn auch wenn man nach Hardwareproblemen in der vmware Doku sucht, so findet man nicht gleich den folgenden Grund als Ursache.

Der Grund:
Verantwortlich hierfür ist nicht die Hardware, sondern die vmware. Ob die Hardware für vmware zertifiziert ist oder nicht spielt hier keine Rolle.
Der interne Kopiermechanismus ist einfach langsam. Vmware hat hier aber Programmierschnittstellen (API`s) geschaffen, die einen schnelleren Kopiervorgang unterstützen. Diese werden aber erst freigeschaltet wenn ein vSphere Lizenzschlüssel einegegeben wird!!
Der interne Kopiermechanismus wird davon aber immer noch nicht schneller!!

Die Lösung:
Grundvoraussetzung ist, das ein vSphere Lizenschlüssel eingegeben wird. Dieser schaltet die API`s frei, die die schnelleren Kopiermechanismen unterstützen.
Dann muss man sich eine externe Software besorgen die auf diese API`s zugreifen kann und somit die Kopiervorgänge beschleunigt.
Getestet habe ich den kostenpflichtigen Trilead VM Explorer, der sich als sehr übersichtlich und einfach bedienbar erwiesen hat. Somit ist er in meinen Augen jeden der 500,-€ wert, die die Lizenz kostet.
Weiterhin habe ich noch die Free-Version von Veeam getestet. Diese war bei Kopiervorgängen sogar noch etwas schneller als Trilead. Erwähnenswert ist hier auch Veeam-Zip, der von einer laufenden VM ein Backup erstellen kann und das auch noch um ein Vielfachens komprimiert bevor es als Backupdatei abgelegt wird.
Was die Bedienung angeht ist es sicher nicht ganz so einfach wie Trilead, aber überschaubar. Und.....kostenlos!
Weiterer Vorteil der beiden Lösungen, man kann auf einfache CIFS/SMB Shares sichern.
Weiterhin währe zu erwähnen ghettoVCB und vmkfstools, welche auch kostenlos aber etwas aufwändiger zu bedienen bzw einzurichten sind.

Es ist also auch mit begrentzten finanziellen Mitteln möglich zu einem vernünftigen Ergebnis zu kommen.

Bleibt mir noch eines zu tun: Ich möchte mich bei allen Beteiligten herzlich bedanken für eure Hilfe!


PS.: Am Freitag den 06.12 hatte ich ja noch den Fernwartungstermin mit dem Support von Buffalo. Ich möchte euch auch nicht vorenthalten was daraus geworden ist. Einen Tag vorher hatte sich ja des Rätsels Lösung bereits abgezeichnet. Der Supporter hat sich über die Fernwartung meine Konfiguration angesehen und für gut befunden und ich habe gewartet ob er wohl auch drauf kommt. Nun ich gebe zu das war etwas gemein von mir, aber zu Begin der Sitzung hat er großspurig verkündet das er VCP (Vmware Certified Professional) ist. Na ich dachte, der wird doch wohl darauf kommen - leider nicht. Hab dann irgendwann das Rätsel gelöst.



Viele Grüße und Danke nochmal....


Zurück zu „Hardware“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast