Hallo Jungs,
ich komm mal wieder mit meinem Storagen Fragen ums Eck
Heute Nacht hammer im Rechenzentrum ein neues Storage verbaut,
wir haben wieder auf ZFS ( Freenas ) gesetzt, und im Lab sowie im RZ auf einem 1GB Interface Uebertragungsgescwhindigkeiten per FTP von 700-800 Mb/s hinbekommen.
Die Performance via NFS von ESXI zum Storage ist allerdings noch nicht so der Bringer , vms klonen mit etwa 100 Mbit
Wo koennen wir da ansetzen ?
ich wollte eigl, nimmer auf ISCSI setzen
Hardware:
HP Server mit 2x Intel Xeon L5520 Quad Core 2.27 GHz
72 GB Ram
HBA - SAS 9211-8i
NFS Finetuning
Re: NFS Finetuning
josch12 hat geschrieben:Hallo Jungs,
ich komm mal wieder mit meinem Storagen Fragen ums Eck
Heute Nacht hammer im Rechenzentrum ein neues Storage verbaut,
wir haben wieder auf ZFS ( Freenas ) gesetzt, und im Lab sowie im RZ auf einem 1GB Interface Uebertragungsgescwhindigkeiten per FTP von 700-800 Mb/s hinbekommen.
Die Performance via NFS von ESXI zum Storage ist allerdings noch nicht so der Bringer , vms klonen mit etwa 100 Mbit
Wo koennen wir da ansetzen ?
ich wollte eigl, nimmer auf ISCSI setzen
Hardware:
HP Server mit 2x Intel Xeon L5520 Quad Core 2.27 GHz
72 GB Ram
HBA - SAS 9211-8i
Welchen Durchsatz erreichst du wenn du mal direkt auf der Konsole eine VM mit cp auf das NFS Ziel kopierst?
-
- King of the Hill
- Beiträge: 12950
- Registriert: 02.08.2008, 15:06
- Wohnort: Hannover/Wuerzburg
- Kontaktdaten:
Re: NFS Finetuning
Der ESX sollte fuer den NFS mount "sync" benutzen und das wird die Unterschiede erklaeren. Mal davon abgesehen das 7 Jahre alte HW auchh nicht der Hit ist.
Gruss
Joerg
Gruss
Joerg
-
- King of the Hill
- Beiträge: 13572
- Registriert: 01.10.2008, 12:54
- Wohnort: laut USV-Log am Ende der Welt...
Re: NFS Finetuning
Die Performance von ZFS als NFS-Freigabe steht und fällt mit der Sync-Einstellung. Unter Nappit ist die Sync-Standardeinstellung für SMB "aus" und für NFS "ein".
Wie ist denn dein ZFS aufgebaut?
In jedem Fall muß das SLOG-Device deutlich schneller als die Datenlaufwerke sein, andernfalls bremst das Device das ZFS aus. Besteht der Aufbau aus HDDs, sollte eine schreiblatenzstabile SSD und dazu zählen alle Server-SSDs, als SLOG-Device zum Einsatz kommen. Falls ZFS als SSD-only konfiguriert ist, fallen direkt alle SATA/SAS-SSDs raus und es bleiben nur noch entsprechend teure NVMe-SSDs übrig. Diese sollten ebenfalls für Server konzipiert sein, damit die Schreiblatenz in einem fest definierten Rahmen bleibt. Bei allen Consumer-SSDs ist das nicht gegeben und die Schreiblatenz schwankt zu stark. Ein weiterer Nachteil von Consumer-SSDs ist, daß diese meist nicht gegen Spannungsab/ausfall abgesichert sind. Alternativ bleibt zu einem noch höheren Preispunkt nur noch ZeusRAM als SLOG-Device übrig.
Kann der ZeusRAM-Preis nicht aufgebracht werden, bleiben nur 2 Möglichkeiten übrig. Entweder man lebt mit der geringeren Performance und das ZFS bleibt im empfehlenswerten Sync-Modus oder man schaltet das Sync ab und spart sich dann auch gleich das SLOG-Device. Da Server im Allgemeinen hinter einer USV stehen, sollte ein abgeschalteter Sync-Modus keine Probleme machen, aber ein Restrisiko bleibt natürlich und VMware sieht meines Wissens auch nur den Sync-Betrieb vor.
Wie ist denn dein ZFS aufgebaut?
In jedem Fall muß das SLOG-Device deutlich schneller als die Datenlaufwerke sein, andernfalls bremst das Device das ZFS aus. Besteht der Aufbau aus HDDs, sollte eine schreiblatenzstabile SSD und dazu zählen alle Server-SSDs, als SLOG-Device zum Einsatz kommen. Falls ZFS als SSD-only konfiguriert ist, fallen direkt alle SATA/SAS-SSDs raus und es bleiben nur noch entsprechend teure NVMe-SSDs übrig. Diese sollten ebenfalls für Server konzipiert sein, damit die Schreiblatenz in einem fest definierten Rahmen bleibt. Bei allen Consumer-SSDs ist das nicht gegeben und die Schreiblatenz schwankt zu stark. Ein weiterer Nachteil von Consumer-SSDs ist, daß diese meist nicht gegen Spannungsab/ausfall abgesichert sind. Alternativ bleibt zu einem noch höheren Preispunkt nur noch ZeusRAM als SLOG-Device übrig.
Kann der ZeusRAM-Preis nicht aufgebracht werden, bleiben nur 2 Möglichkeiten übrig. Entweder man lebt mit der geringeren Performance und das ZFS bleibt im empfehlenswerten Sync-Modus oder man schaltet das Sync ab und spart sich dann auch gleich das SLOG-Device. Da Server im Allgemeinen hinter einer USV stehen, sollte ein abgeschalteter Sync-Modus keine Probleme machen, aber ein Restrisiko bleibt natürlich und VMware sieht meines Wissens auch nur den Sync-Betrieb vor.
Re: NFS Finetuning
Hallo Sync-Einstellungen war das Stichwort.
haben das Thema heute Nacht noch einmal betrachtet, und hatten n nettes Ergebnis:
Windows: round 80 Mbyte ( ok das geht noch besser )
Linux: 108 Mbytes Write
117 Mbytes Read
das ist schon ordentlich, hier kommt dann auch die Grene der 1GB/s Nics, da noch nicht alle Server ne 10Gb Karte ham...
Kopieren in der VM landschaft ( von Node zu Node ) mit etwa 300 Mbit ... kann man da noch optimieren ?
haben das Thema heute Nacht noch einmal betrachtet, und hatten n nettes Ergebnis:
Windows: round 80 Mbyte ( ok das geht noch besser )
Linux: 108 Mbytes Write
117 Mbytes Read
das ist schon ordentlich, hier kommt dann auch die Grene der 1GB/s Nics, da noch nicht alle Server ne 10Gb Karte ham...
Kopieren in der VM landschaft ( von Node zu Node ) mit etwa 300 Mbit ... kann man da noch optimieren ?
Re: NFS Finetuning
Edit: migrieren geht nun auch mit 900 Mbit ...
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste