NFS Finetuning

[josch12]

Hallo Jungs,
ich komm mal wieder mit meinem Storagen Fragen ums Eck

Heute Nacht hammer im Rechenzentrum ein neues Storage verbaut,
wir haben wieder auf ZFS ( Freenas ) gesetzt, und im Lab sowie im RZ auf einem 1GB Interface Uebertragungsgescwhindigkeiten per FTP von 700-800 Mb/s hinbekommen.

Die Performance via NFS von ESXI zum Storage ist allerdings noch nicht so der Bringer , vms klonen mit etwa 100 Mbit

Wo koennen wir da ansetzen ?
ich wollte eigl, nimmer auf ISCSI setzen

Hardware:
HP Server mit 2x Intel Xeon L5520 Quad Core 2.27 GHz
72 GB Ram
HBA - SAS 9211-8i

[rprengel]

Hallo Jungs,
ich komm mal wieder mit meinem Storagen Fragen ums Eck

Heute Nacht hammer im Rechenzentrum ein neues Storage verbaut,
wir haben wieder auf ZFS ( Freenas ) gesetzt, und im Lab sowie im RZ auf einem 1GB Interface Uebertragungsgescwhindigkeiten per FTP von 700-800 Mb/s hinbekommen.

Die Performance via NFS von ESXI zum Storage ist allerdings noch nicht so der Bringer , vms klonen mit etwa 100 Mbit

Wo koennen wir da ansetzen ?
ich wollte eigl, nimmer auf ISCSI setzen

Hardware:
HP Server mit 2x Intel Xeon L5520 Quad Core 2.27 GHz
72 GB Ram
HBA - SAS 9211-8i

Welchen Durchsatz erreichst du wenn du mal direkt auf der Konsole eine VM mit cp auf das NFS Ziel kopierst?

[irix]

Der ESX sollte fuer den NFS mount "sync" benutzen und das wird die Unterschiede erklaeren. Mal davon abgesehen das 7 Jahre alte HW auchh nicht der Hit ist.

Gruss
Joerg

[Dayworker]

Die Performance von ZFS als NFS-Freigabe steht und fällt mit der Sync-Einstellung. Unter Nappit ist die Sync-Standardeinstellung für SMB "aus" und für NFS "ein".
Wie ist denn dein ZFS aufgebaut?

In jedem Fall muß das SLOG-Device deutlich schneller als die Datenlaufwerke sein, andernfalls bremst das Device das ZFS aus. Besteht der Aufbau aus HDDs, sollte eine schreiblatenzstabile SSD und dazu zählen alle Server-SSDs, als SLOG-Device zum Einsatz kommen. Falls ZFS als SSD-only konfiguriert ist, fallen direkt alle SATA/SAS-SSDs raus und es bleiben nur noch entsprechend teure NVMe-SSDs übrig. Diese sollten ebenfalls für Server konzipiert sein, damit die Schreiblatenz in einem fest definierten Rahmen bleibt. Bei allen Consumer-SSDs ist das nicht gegeben und die Schreiblatenz schwankt zu stark. Ein weiterer Nachteil von Consumer-SSDs ist, daß diese meist nicht gegen Spannungsab/ausfall abgesichert sind. Alternativ bleibt zu einem noch höheren Preispunkt nur noch ZeusRAM als SLOG-Device übrig.
Kann der ZeusRAM-Preis nicht aufgebracht werden, bleiben nur 2 Möglichkeiten übrig. Entweder man lebt mit der geringeren Performance und das ZFS bleibt im empfehlenswerten Sync-Modus oder man schaltet das Sync ab und spart sich dann auch gleich das SLOG-Device. Da Server im Allgemeinen hinter einer USV stehen, sollte ein abgeschalteter Sync-Modus keine Probleme machen, aber ein Restrisiko bleibt natürlich und VMware sieht meines Wissens auch nur den Sync-Betrieb vor.

[josch12]

Hallo Sync-Einstellungen war das Stichwort.
haben das Thema heute Nacht noch einmal betrachtet, und hatten n nettes Ergebnis:

Windows: round 80 Mbyte ( ok das geht noch besser )
Linux: 108 Mbytes Write
117 Mbytes Read

das ist schon ordentlich, hier kommt dann auch die Grene der 1GB/s Nics, da noch nicht alle Server ne 10Gb Karte ham...

Kopieren in der VM landschaft ( von Node zu Node ) mit etwa 300 Mbit ... kann man da noch optimieren ?

[josch12]

Edit: migrieren geht nun auch mit 900 Mbit ...