ISCSI oder NFS

[schnaedderle]

Wir bauen gerade eine kleine virtualisierunsumgebum mit dem Essential Plus Bundle auf.

Wir besitzen bereits eine DS die mit ISCSI oder NFS angebunden werden kann.

Was ist performanter ISCSI oder NFS.

Ist es möglich mit mehreren ESX-Servern auf die gleiche ISCSI-Lun zuzugreifen?

Danke für eure Antworten

Gruß

Jens

[bla!zilla]

Natürlich ist es möglich mit iSCSI und mehreren Initiatoren auf eine LUN zuzugreifen. Je nach Infrastruktur würde ich zu iSCSI tendieren. Was für ein Speichersystem hast du denn da stehen?

[schnaedderle]

Eine von Exone mit EOPEN Dss4 zur Verwaltung.

Wenn es nicht möglich ist dann funktioniert ja HA auch nicht. da müsste ja jeder Server den Storage sehen.

[irix]

Also sofern du DSS6 gemeint hast gehts das ohne Probleme. DSS4 waere vor meiner Zeit gewesen und sagt mir erstmal nix. Wir haben noch denen noch iSCSI R3 im Einsatz was auch gut funktioniert.

Gruss
Joerg

[net-mas]

ich würd auf jeden Fall NFS verwenden - mach ich ja in meinem Produktiv-Einsatz mit mehrereren Terminalservern, Datenbankservern etc. (in Summe 13) auch.
Der Datendurchsatzunterschied ist zu vernachlässigen - sind nach Tests die gleichen Werte...

Der Vorteil bei NFS: Du kannst mit dem Linux, was du auf dem File-Server hast, die einzelnen HDDs deiner VMs separat wegsichern. Bei ISCSI kann das Linux die Ordnerstruktur der VMs (einzelne HDDs als Dateien in Unterordner je VM) nicht sehen und somit nur die gesamte Partition wegsichern.
Das wird genau dann problematisch, wenn es dir früh morgens einfällt, mal eben schnell eine ganz bestimmte HDD einer VM zurück zu sichern - das genau geht mit ISCSI nicht!!!
Sei dir dessen stehts bewusst bei der Wahl deiner Anbindelösung.

Diese Probleme habe ich innerhalb der letzten 2 Jahre (seit ich ESX einsetze), bestimmt schon so an die 7-10 mal gehabt. Speziell dann, wenn dir z.B. ein Windows-Update eine Systempartition einer VM wegschießt, daß merkste teilweise erst 14 Tage später, probierst noch ein wenig rum und musst schlussendlich doch zurücksichern.
Bei der NFS-Lösung ists total einfach - die einzelne VM runterfahren - alte Monatssicherung (2TB-Sicherungs-HDD) in die SAN und die 80GB-Systempartitions-Datei der VM zurückkopieren - einzelne VM wieder starten - alles läuft wieder, als wäre nie was mit der VM gewesen - Klasse Konzept...

[net-mas]

Also sofern du DSS6 gemeint hast gehts das ohne Probleme. DSS4 waere vor meiner Zeit gewesen und sagt mir erstmal nix. Wir haben noch denen noch iSCSI R3 im Einsatz was auch gut funktioniert.

Gruss
Joerg

DSS von EOPEN hatte ich am Anfang auch im Einsatz - hab ich direkt nach 1 Woche zurück gegeben - der HDD-Durchsatz war im Vergleich zu dem danach drauf installiertem Linux grottenschlecht.
Kann natürlich sein, daß sich da innerhalb der letzten zwei Jahre auch einiges getan hat - aber damals wars einfach nicht tragbar...

Das Linux bietet mir nebenbei noch diverse andere Möglichkeiten, die das InTheBox-OS logischerweise nicht bringen kann...

[the-d]

Hi,

wir haben uns auch für NFS entschieden (HP mit Solaris).
Wegen dem besseren Handling der VMs unter dem Storage-OS und Performanceunterschiede hab ich keine besonderen feststellen können bei ein paar Tests (wobei auch nix besonders großes auf den virtuellen HDs passiert, nur kleine DBs).
Die Erfahrungen mit OpenE sind jetzt auch nicht sooo doll (Performance mit NFS und auch Samba), ist allerdings auch eine ältere Version, über 2 Jahre alt, da hat sich vielleicht auch was getan.

Sind die VMs denn sehr Festplattenlastig bzw. Festplattenkritisch? Dann würd ich einfach mal testen.

@net-mas
Ist dein NAS über 10Gbit angeschlossen (wegen deineer Sig.)?
Was sind denn das für welche? Nur mal interesse halber, bin am überlegen, ob wir nicht umsteigen sollten, ist ja nicht mehr so teuer.

[e-e-e]

Hallo,

wenn Du performancetechnisch noch etwas aus einem NAS mit Solaris rausholen willst (ihr habt ja wahrscheinlich ein ZFS eingerichtet), dann bau' noch 2x SSDs (min. 64 GB) als Spiegel für den Cache des zpools ein.

[the-d]

Hallo,

wenn Du performancetechnisch noch etwas aus einem NAS mit Solaris rausholen willst (ihr habt ja wahrscheinlich ein ZFS eingerichtet), dann bau' noch 2x SSDs (min. 64 GB) als Spiegel für den Cache des zpools ein.

Jo, ZFS
Danke für den Tipp, mit ZFS-tunig hab ich mich noch so beschäftigt, unser "Flaschenhals" ist eher das NAS-LAN. Hast du zuuufällig ein Link?

Edit: hab was gefunden, da steht einiges drin:
http://www.solarisinternals.com/wiki/in ... ices_Guide

[e-e-e]

Hier mal einige Sachen:
http://www.solarisinternals.com/wiki/index.php/ZFS_Best_Practices_Guide#ZFS_and_NFS_Server_Performance
http://ifile.it/lbvtc42/ZFS_Deep_Dive.pdf
http://ifile.it/oyeahvw/zfstutorial.pdf
http://ifile.it/y531flx/Installation%20Opensolaris%20als%20ESXi%20Backup%20Server%20_%20ngud.de_1271334920842.jpeg und
http://ifile.it/fzbrn5x/SolarisStep_ZFS-1.pdf
Viel Spaß beim Lesen und Tante Google sowie das Tutoral bei Sun (Oracle) bietet noch viel mehr Stoff.

[the-d]

Danke für die die Links, das kenne ich schon (ausser dem jpeg, ist das deine Seite?).
Die Solarisinternals sind am interessantesten für mich.

Grüße

[e-e-e]

Nöö, habe ich nur als Anleitung für mich aus dem Inet abgespeichert.

[Tschoergez]

Hi Ronny,

hast Du denn Performance-Daten von Deiner opensolaris-Kiste?

würde mich mal interessieren, wie so ne selbst-bau-lösung gegenüber den teuren geräten der storage hersteller abschneiden...

viele grüße,
jörg

[e-e-e]

Hallo Jörg,

ich kann Dir da jetzt keine genauen Daten geben, denn z.Zt. ist mein Host mit seinem SoftRaid der Flaschenhals. Ich habe beim Backup einen Durchsatz von 40 - 55 MB/s über GBit-Nic (was für mich erst einmal kein Problem ist). Ich habe bis jetzt keine Messungen gemacht, wenn ich einige VMs von der Backup-Kiste aus starte, sondern einfach nur ausprobiert, ob es funktionieren würde. Ich hoffe, dass mein neuer Host noch diese Woche kommt, dann setze ich das System vielleicht über das Wochenende auf, und kann dann mal sehen wie sich die Performance erhöht. Ich wollte mich, wenn das Ganze entsprechend performant funktioniert, mal mit dem ESXi beschäftigen.

Edit: Ich habe ein Opensolaris-Storage mit ähnlichen Anforderungen, wie ich sie habe, bei einem Kunden mit einem ESXi zusammen gesehen und war überrascht, deshalb habe ich mir ja die Kiste zusammengebaut.
Ich melde mich, wenn ich soweit bin.

[the-d]

Hi Jörg,

hast du an spezielle Benchmarks gedacht? Sowas wie bonnie++ oder HDTune in den VMs?
Würd mich auch mal interessieren, da ich meistens nur mit unseren speziellen Applikationen bzw. "nach Gefühl" teste, damit kann aber kein anderer was anfangen...

Viele Grüße

Edit:
Hab diesen Benchmark-Thread gefunden, werd das mal bei uns austesten:
http://vmware-forum.de/viewtopic.php?t= ... rk&start=0

[Tschoergez]

ja, ich dachte an ergebnisse z.B. auch mit iometer usw.

Ich kann mir gut vorstellen,dass so eine selbstbau-kiste auf ner ordentlichen serverplattform mit raid-controller und ein paar spindeln nicht unbedingt schlechter abschneidet als die SAN/NAS-Kisten der "Einsteiger"-Klasse, die aber trotzdem ne gute Ecke mehr kosten...

viele grüße,
jörg

[the-d]

Wenn es hier mal etwas ruhiger ist und ich die Kisten mal etwas penetrieren kann ohne dass das Telefon klingelt, teste ich mal

[the-d]

Hier mal ein paar Werte:
HDTune in einer Windows-VM zeigt so 60-70MB/sec an
bonnie++ in einer Linux-VM bringt bei sequenziellem Lesen/Schreiben so ca. 120MB/sec.
Der Test mit 10GB virtuelle Disk anlegen (über ssh auf einen Host) auf dem gemounteten NFS-Laufwerk bringt ca. 70MB/sec.

Man muss dazu sagen, dass:
- das ganze im Laufenden Betrieb mit 2 Hosts und rund ein dutzend laufenden VMs stattgefunden hat.
- beide Hosts "nur" über je eine 1GBit NIC mit dem NAS verbunden sind.
- die NAS-Hardware ein HP-Server mit 6 x 140GBit, 10k, Raid 5 ist, auf dem Solaris 10 läuft.

Der Flaschenhals ist hier ganz klar die nur 1GBit Verbindung (was demnächt durch 10GBit abgelöst wird), lokale Benchmarks auf dem NAS bringen wesentlich mehr. Auch der Einsatz von Raid 50 statt "nur" 5 wäre dann zu überlegen (ab 6 Platten), würde auch nochmal einiges bringen bzw. natürlich Raid 10.

Ausser den Hardwarekosten fällt dann nix mehr an, kann ja auch was selbstzusammengebautes sein, ein extra Raidcontroller muss auch nicht sein, ZFS bietet da schon feine Sachen von Haus aus.
Man muss/kann (je nach sichtweise ) dann natürlich alles selbst konfigurieren und optimieren (Komprimierung, Link-aggregation, NFS, mehrere NFS-Shares und -Kanäle über mehrere NICs, etc da kann man schon einiges machen).

Alternativ gibts natürlich fertige NAS-Software (mit ZFS) wie NexentaStor o.ä., die auch HA (z.B.) anbieten.

Viele Grüße

[GTMK]

Wir sind gerade dabei, eine NAS-Lösung zu testen (und zwar nicht gerade ein Low-End-NAS), die außer einem zentralen Filer auch Storage für VMware bereitstellen soll (auf der u.a. ein Exchange Server läuft). Viel interessanter als die sequentiellen Werte ist für mich Random I/O, und da habe ich momentan das Gefühl, dass ich da nicht annähernd die IOps bekommen, den mir bspw. eine IBM DS3400 liefert.

Ich hantiere mit IOmeter und Exchange LoadGen.

Georg.

[the-d]

Exchange haben wir garnicht, IOmeter hab ich jetzt mal installiert in einer VM.
Welche Einstallungswerte sind denn üblich? Ich den 10min. laufen lassen mit der Einstellung "All in one".
Es kommen sehr unterschiedliche Werte raus, wenn man mehrmals testet, total IO/s liegt bei ca. 800 -1200.

[sirrossi]

Wir setzen folgende iometer Parameter ein (RAID5, über Open-E/WSS2008 als iSCSI Target):
6 Worker, 4 kB Blockgröße, 75% Read, 75% Random

- bei 16 SATA Platten: 800-1.000 IO/s
- bei 16 SAS Platten: 1.500-1.850 IO/s
- bei 1 SSD: 3.300-3.700 IO/s