VMware-Forum

Hallo und guten Morgen!
Ich arbeite seit einigen Tagen an der Umstellung meiner Datensicherung. Es handelt sich um eine kleine Virtualisierung (5 Maschinen, Windows-Umfeld, 10 User) auf einem Dell T410 (64GB RAM, 12 Core) mit ESXi 6 U3. RAID-Kontroller ist ein PERC H710P. Er treibt ein RAID5 (6x300GB SAS) und eine einzelne HDD 2TB SAS. Das RAID5 beinhaltet alle produktiven Maschinen.
Auf der einzelnen 2TB-Platte habe ich ein Linux virtualisiert und ein LTO5-Laufwerk angeschlossen. Das Linux exportiert ein 1.7 TByte großes NFS3-Verzeichnis (async). Das Verzeichnis ist ein extra Mount-Point und verweist auf eine XFS-Partition.
Der NFS-Zugriff von Drittsystemen (Linux, Windows) klappt super, stabil um 100 MByte/s, auch bei großen Dateien (> 50GByte). Sicherung der Daten auf das LTO ist ein Traum ...

Jetzt das Problem:
Mounte ich nun diese NFS-Freigabe auf dem ESXi, halte die Maschinen auf dem RAID5 an und kopiere die VMs, springt die Write-Latenz auf 500 ... 1500 ms und die Performance liegt zwischen 2 und 10 MByte/s. Lesen ist dann wieder rasend ...

Ich lese nun schon seit 3 Tagen alles was ich zu dem Thema finden kann. Es dreht sich am Ende immer wieder um das Thema "nfs-sync-write" des ESXi-Servers.
Noch habe ich die Hoffnung nicht aufgegeben und vielleicht mache ich ja auch was anderes nicht richtig ...
Ich würde mich über jeden Hinweis freuen!
Micha

P.S. Ich habe gerade mal die Übertragung der Daten über SCP angestoßen. Also vom virtualisierten Linux ausgehend auf den datastore des ESXi zugegriffen. Das läuft auch mit ca. 100 MByte/s recht gut.

irix hat geschrieben:Der ESXi verwendet die Option "sync" beim Mounten des NFS.

Wie du ja schon schriebst, exportiert dein Linux das NFS-Verzeichnis als "async" und ist somit immer schnell. Mir ist nichts bekannt, daß der ESXi überhaupt ein "async" bei NFS anbietet. Es ist daher Aufgabe des NFS-Servers, den Write schnellstmöglich abzuarbeiten und dann den Sync an den ESXi zu melden. Das bedingt entweder schnellen Write- bzw SSD-Cache oder gleich den Einsatz von SSDs im NFS-Server.

Je nach NFS-Server kann dieser jedoch intern auch "async" arbeiten, der ESXi geht dabei trotzdem noch von "sync" aus. Ausgehend von meiner Nappit-Appliance kann ich dort NFS zwischen "sync" und "async" umstellen und der Unterschied ist gewaltig. Mit synchronem Schreiben erreiche ich hier höchstens 10MB/s, asynchron sind es dagegen 100MB/s. Mit einer Optane-SSD als Cache würde dann trotz "sync" wieder in die Nähe der asynchronen Werte kommen.

Guten Morgen Dayworker!
Von deiner Nappit-Lösung habe ich schon verschiedentlich gelesen und werde mir diese mal ansehen.
Ich habe mir aktuell erstmal mit einer geskripteten SCP-Lösung beholfen.

Guten Rutsch für dich, deine Familie und Freunde!
Micha

micha.tietz hat geschrieben:Guten Morgen Dayworker!
Von deiner Nappit-Lösung habe ich schon verschiedentlich gelesen und werde mir diese mal ansehen.
Ich habe mir aktuell erstmal mit einer geskripteten SCP-Lösung beholfen.

Guten Rutsch für dich, deine Familie und Freunde!
Micha

Hallo,
neben Napit gibt es auch weitere fertige NAS Distributionen.
Ich nutze hier ein einfaches Debian mit einem Softwareraid und habe es um z.B. urbackup ergänzt.
Hat alles seine Vor und Nachteile.