NFS Async/Sync bzw. Performance

[mcdaniels]

Hallo zusammen,

Ich habe mir nun quasi als Backup-Storage ein NAS angeschafft (2x 1GB 1x 10Gbit-Anbindung, 1GBit momentan aktiv) Asustor. Auf dem NAS hab ich dann eine Freigabe per NFS (v3), SYNC erstellt und diese am ESXI-Server eingebunden.

Schließlich habei ich testhalber per Veeam einen VM-Copy-Job angestoßen, der als Ziel das NAS hatte. Hierbei wurde mir dann beim Kopieren eine Datentransferrate von 10Mb/sec attestiert und als Bottleneck "Target" angegeben. Das NAS selbst "langweilt" sich während des Datentransfers, was die Auslastung angeht.

Ist dies ggf. eine Limitierung, die durch das NFS-Protokoll (am ESXI) ausgelöst wird? Mit dem NAS erreiche ich sonst in der Regel zumindest einen Datendurchsatz (über das Netzwerk) von 100MB/sec. Beispielsweise wenn ich unter Windows auf das NFS Share zugreife und eine Datei vom Server auf das NAS kopiere.

NFS Async soll mehr Performance bringen, soll aber aufgrund des asynchronen Vorgehens unsicherer sein.

Ich gehe davon aus, dass dieser copyjob von veeam über das Management-Netzwerk gefahren wird. Die Settings hierfür sehen bei mir so aus:

Danke!

[Dayworker]

Der ESXi bindet ein NFS-Share immer Synchron ein. Es ist somit Aufgabe des NFS-Shares dafür zu sorgen, daß die anstehenden Writes schnellstmöglich weggeschrieben werden und dann das Done an den ESXi gemeldet wird. Wenn du den Sync am NAS nicht abstellen kannst, was mit Risiken beim Schreiben im Falle eines Spannungsverlustes verbunden ist, wirst du über diese 10MB/s nicht hinauskommen. Der Hintergrund dafür ist, daß das NFS-Share keine sequentiellen sondern zufällige Zugriffe abarbeiten muß und genau für diese Random-Writes ist kein NAS ausgelegt.

[mcdaniels]

Hi,
danke für deine Antwort. Sync am NAS kann ich abdrehen, aber eigentlich bin ich schon eher auf Sicherheit bedacht. Wenn du sagst: Es ist Sache des NAS das abzuarbeiten, dann würde ich jetzt denken, dass das NAS "ausgelastet" ist. (Was es aber nicht annähernd ist).

Würde ISCSI hier Performancevorteile bringen? Wobei das ja wieder etwas "hakeliger" ist wenn das Share mal "dropped".

[~thc]

Diese "Performance" eines per NFS eingebundenen NAS kenne ich auch.
Dabei ist es unerheblich, ob das NAS-Share synchron oder asynchron konfiguriert ist.
Helfen würde hier nur eine echte Performance-Steigerung auf dem NAS (z.B. SSD).

Ein in den ESXi (als pRDM, als Datastore aber auch getestet) eingebundenes iSCSI-Target (Debian-Server mit RAID) bringt bei mir um die 100 MB/s. Probier es aus.

[mcdaniels]

Guten Morgen,
ich muss meine Ansage von oben betreffend Geschwindigkeit des Share unter Windows "revidieren". Ich hatte vor lauter herumprobieren doch Async beim Windowstest aktiv.

Schalte ich auf Sync, bekomme ich unter Windows 12MB/sec.

Sorry!

Werde jetzt mal die iScsi Anbindung testen.

[mcdaniels]

iScsi hat in etwa die gleiche Performance wie NFS (async). Wie gefährlich ist es grundlegend, wenn man NFS (async) verwendet. Mir ist klar, dass es bei einem Strom/Netzwerkausfall zu einem Problem kommen kann.

Wie sind hier die Erfahrungswerte? Setzt ihr NFS (async) ein?

Ist iScsi "sicherer"? anders gefragt: Überlebt iScsi einen Stromausfall eher?

Ich denke, da ich das NAS nur für VM-Copy-Jobs (in der Nacht alle VMs -> NAS) verwende, könnte man ggf. async riskieren.

[Dayworker]

Die meisten NAS sind bei SMB immer Async, weil der Win-Dateisystemcache meist eh schon genug Daten bei Spannungsproblemen vernichtet, und beim Rest halt Sync. So ist jedenfalls auch "gea" seine Nappit-Appliance voreingestellt. Ich setze NFS und SMB beide async ein. Der Kauf einer Optane als Log-Device für Nappit und als Speicherort der Appliance ist geplant. Damit könnte ich Sync wieder einschalten, ohne die unterirdische Performance ertragen zu müssen.

Das Problem bei Stromausfällen ist, daß dir niemand sagen kann, welche und auf einem virtualisierten System wieviele Dateisysteme nachher betroffen sind. Das jedes Raid ohne BBU plus Spannungsabsicherung immer das Risiko einen Datenverlust beinhaltet, sollte jedem vor dem Aufsetzen eines jeden Raid-Levels bekannt sein.
iSCSI ist per se nicht sicherer und stellt in meinen Augen auch höhere Anforderungen. Es hat beim ESXi sogar den Nachteil, daß es nach Ausfall (Spannung und/oder Netzwerk) nicht automatisch vom ESXi wieder eingebunden wird. Daran ändert auch keine VM als iSCSI-Target etwas. Bei NFS als Netzwerk-FS geht der ESXi dagegen davon aus, daß die Verbindung auch mal kurzzeitig wegfallen kann, bevor der ESXi überhaupt einen Fehler oder den APD wirft. Im Heimbereich sehe ich daher NFS als die einfacher umsetzbare Technik an.

Womit sicherst du den ESXi?

[mcdaniels]

Hey,
danke dir für deine detaillierte Antwort!

Betreffend Sicherung:
VMs:
Veeam B&R (täglich incr. - Samstag Full) --> Backupserver (10Gbit - Raid 10)
Replication aller VM am Sonntag auf einen zweiten ESXI. (1x die Woche)

Bandsicherung von div. Arbeitsdaten + Veeam Datastore:
Mo (Full) - Di + Mi (incr) Do (Full), Fr (incr)
1 Monat rückwirkend.

ESXI-Config: "manuelles exportieren nach jeder Configänderung.
ESXI startet von SD-Card (Mirror = 2x SDCards quasi im Raid1)

Das NAS ist im Moment nur ein Test, da ich mit dem Gedanken gespielt habe, dass ich so vlt. ein "Notfallstorage" für beide ESXI-Server zusammenbringe. Die Frage ist allerdings, wie sinnvoll das im Endeffekt dann ist. Für "mehr Performence" über NFS brauch ich async. Das wiederum ist "unsicher", da hilft dann auch die ganze Absicherung per USV und geregeltem Shutdown nichts.

Es ist KEIN HA-Setup! Nicht notwendig und zu wenig $$$ vorhanden

[Dayworker]

Bezüglich Notfallstorage hat da "gea" momentan etwas am Entwickeln. Schau dir mal ZFS vCluster in a Box an.