NFS vs iSCSI

[mister-man]

Hallo beisammen,

derzeit bin ich damit beschäftigt eine kleinere "Spielumgebung" mit einem vCenter und einem ESXi Server aufzubauen. Der Server soll allerdings die VM's nicht lokal, sondern auf einem Storage ablegen.

Nun stelle ich mir die Frage, ob ich NFS oder iSCSI einsetzen soll.
Die Anbindung würde über handelsübliche Intel NIC's erfolgen, also keine Spezialhardware.
Hat jemand von euch bereits damit Erfahrung?

[rprengel]

Hallo beisammen,

derzeit bin ich damit beschäftigt eine kleinere "Spielumgebung" mit einem vCenter und einem ESXi Server aufzubauen. Der Server soll allerdings die VM's nicht lokal, sondern auf einem Storage ablegen.

Nun stelle ich mir die Frage, ob ich NFS oder iSCSI einsetzen soll.
Die Anbindung würde über handelsübliche Intel NIC's erfolgen, also keine Spezialhardware.
Hat jemand von euch bereits damit Erfahrung?

Schreib bitte noch was zum Zielsystem aber dem die Vms landen sollen.

Gruss

[mister-man]

Schreib bitte noch was zum Zielsystem aber dem die Vms landen sollen

Die Frage ist, welche Informationen fehlen?

Der genutzte Testserver ist ein IBM Server mit einem Xeon und 32 GB Ram. Es sind 2 onboard Netzwerkkarten vorhanden und eine Handelsübliche Erweiterungskarte mit 4 Netzwerkanschlüssen.

Das Storage ist eher ein NAS von QNAP... allerdings ist es nicht ausgeschlossen, dass ein altes IBM Storage eingesetzt werden kann, falls iSCSI nennenswerte vorteile bietet.

Gruß
Peter

[leo]

Die Zuverlässigkeit von NFS und iSCSI hängt nicht vom Protokol ab, sondern von der Hardware. QNAP NAS als Einsteigslösung ist für eine "Spielumgebung" sicher ausreichend, produktiv würde ich das nicht einsetzen.

Ob man NFS oder iSCSI nimmt, hat praktische Gründe.

NFS ist immer thin provisioned, der Vorteil, man hat weniger Speicherplatzverbrauch und muss sich auch nicht im Voraus Gedanken machen über die Volumengröße. Außerdem kann man auf der QNAP-Seite gleichzeitig über SMB zugreifen, ganz hilfreich zu Backup-Zwecken.

iSCSI ist ein logisches Volumen, mit VMFS formatiert und man arbeitet so wie mit einem lokalen Speicherplatz. Empfehlenswert ist die VM thick provisioned anzulegen, dann kann man sie wenn etwas schief läuft einfacher retten.

[mister-man]

Also produktiv ist die Umgebung nicht.
Für unsere Produktivumgebung setzen wir derueit IBM San's ein.

Es soll eben eine Spielwiese sein, ohne Anforderungen an verfügbarkeit. Allerdings sollten die VM's natürlich nutzbar sein und nicht im eignen I/O ersticken.

So wie meine recherchen bisher sind, gibt es auf meine Frage wohl keine klahre Empfehlung.....


Vielleicht mal am rande eine Zusatzfrage. Was spricht gegen den Einsatz von QNap in Produktivumgebung. Vom Datendurchsatz glänzen die geräte und Konkurrieren mit bis zu 10x teuren SAN's. Weiterhin gibt es Modelle mit 2x Netzteilen, 2x NIC und Raid5. Zu guter letzt lassen sich 2 geräte Spiegeln.

Was spricht eurer meinung also gegen den Einsatz? Ein neues IBM San einzukaufen bedarf gute Argumente, die ich auf den ersten Blick nicht erkennen kann. Was übersehe ich?

Danke im voraus für eure Hilfe.

Gruß
Peter

PS: Den großteil der VM's betreibe ich als Thin... wenn etwas schief geht ist ja noch das Backup da. Neben den Normalen Backup setzen wir testweise derzeit Data Protection ein. Was einen guten Eindruck macht.

[PeterDA]

Hi,
Nur mal so als Frage, aber wo hast du das Märchen den her?

Vom Datendurchsatz glänzen die geräte und Konkurrieren mit bis zu 10x teuren SAN's

Solange du keine Last auf die QNAP gibst mag das ja stimmen, aber dann bricht die Performance doch schnell ein. Es sind sicher keine schlechten Kisten, aber wenn es etwas mehr sein soll/muss sicher fehl am Platz.

Ob NFS oder iSCSI mache ich immer davon abhängig was für ein Storage ich habe. Bei einer NetApp würde ich immer NFS nehmen. Bei anderen Storage Typen, geht ja meist nur iSCSI will man nicht noch einen NAS Kopf kaufen.

Gruß Peter

[rprengel]

Hallo,
wir haben einige Qnaps im Einsatz.
Als Massenspeicher ok aber sobald die Anforderungen steigen eher unzuverlässig.
Ausserdem habe ich schlechte Erfahrungen mit dem Support gemacht. eine 859U bootet unter Last häufig durch und vom Support gab es keine brauchbaren Antworten.
Gut ist das man an die Geräte mit einem Rescuemodus ran kommen kann um im Fall der Fälle Daten zu retten aber das will man ja eigentlich auch nicht.
Die Changelog der Updates zeigen aus meiner Sicht auch zu viele Fixes die in High-End nicht vorkommen dürfen.
Ausserdem ist die Firmware für den Geschäftsbereich komplett überladen mit überflüssigen Funktionen.

Gruss

[Ticilein]

Was mir bei den QNAPs aufgefallen ist: Sie stehen im Standard auf intelligente Lüftersteuerung.
Sie haben nach ein paar Monaten angefangen, Platten als defekt heraus zu werfen.
Tests der Platten zeigte jedoch keine Fehler.
Bei der Fehlersuche bin ich dann über die Lüftersteuerung gestolpert.
Seitdem ist der erste Handgriff "Lüfter Vollgas!"
Ergebnis: Keine einzige Plattenfehlermeldung mehr, bei keiner QNAP, ob 19 Zoll oder Desktop.

"Edit: und das mit den angeblich defekten Platten!!"

[Dayworker]

Ob die QNAP von VMware zertifiziert sind oder nicht, spielt auch keine Rolle. VMware bestättigt damit ja nur, daß man sich das Gerät angesehen und im prinzipiellen Zusammenspiel mit ESXi getestet hat. Über die dabei erzielte Performance schweigt sich VMware leider aus. Da NAS-Geräte jedoch immer auf einen hohen sequentiellen Durchsatz wie bei einem Backup optimiert sind, sind bei zufälligen, über das gesamte NAS-Volume verteilten Zugriffen kein grossen Sprünge drin. Dazu verfügen sie einfach nicht über genügend Spindeln sowie RAM und CPU-Power. Falls Dedup noch dazu kommt, sind noch mehr CPU-Power und deutlichst mehr RAM (32GB dürften hier das absolute Minimum sein) von Vorteil. Falls ihr über Flash-Einsatz nachdenkt, ich bin grad über die Purestorage FlashArray 400 Serie gestolpert. Selbst die kleinste Ausführung (FA-405) bringt bei 11TB Raw-Flash bereits 2x Intel 8-Kern CPUs und 128GB RAM pro Controller mit und wegen Redundanz kommen daher zwei Controller zum Einsatz. Das gleiche Spiel wiederholt sich dann bei der Anbindung. Pro Controller stehen 8GB FC oder 10Gb-Ethernet sowie 56Gb/s Infiniband und 6Gb/s SAS zur Verfügung. Nur damit lassen sich die beworbenen, mindestens 100T 32K IOPS bei 3GB/s Bandbreite und einer durchschnittlichen Latenz von <1ms generieren. Das man sich damit natürlich auch preislich in ganz anderen Regionen bewegt, damit muß man halt leben, wenn diese Anforderungen bestehen.



Wegen der Lüftersteuerung bin ich nicht wirklich überrascht. Ein Backup wird gestartet und ist dann zeitlich begrenzt. Viele NAS schalten bei Nichtnutzung automatisch ihre Platten ab und sequentieller Zugriff erzeugt insgesamt deutlich weniger Energieverbrauch, als wenn die Spindeln die Daten im Worst-Case beständig zwischen äusserster und innerster Spur einlesen müßten.

[mister-man]

Ersteinmal danke für eure Zahlreichen Antworten.

Allerdings sollten wir nicht vergessen, das ich Produktivsysteme nicht mit dem QNAPS betreibe, sondern ein reines Testsystem in dem Entwickler Software auf verschiedenen OS testen können.... Eben die kleinen dinge, welche sonst viele viele Computer unter jedem Schreibtisch machen.

Solange du keine Last auf die QNAP gibst mag das ja stimmen, aber dann bricht die Performance doch schnell ein. Es sind sicher keine schlechten Kisten, aber wenn es etwas mehr sein soll/muss sicher fehl am Platz.

Bisher konnte ich dies nicht beobachten, die Durchschnittslast unserer geräte ist aber durch die eher kleine Umgebung gering. Bei Schreib und Lesetest über 24h haben sie aber einen guten Eindruck gemacht.

Allerdings lasse ich mich gerne eines besseren belehren, danke für den schnellen Einwandt!

Ob NFS oder iSCSI mache ich immer davon abhängig was für ein Storage ich habe

Hast du spezielle Kriterien, auf welche Grundlage du dies entscheidest? Ich gehe mal davon aus, dass der verwendete Speicher NFS und iSCSI kann. sonst fällte ja die Entscheidung leicht. Wenn er allerdings beide kann, wo liegen die vor und Nachteile?

Was ich bisher gelesen habe (Achtung gefährliches Halbwissen):

NFS:
- NFS soll höhe CPU Anforderungen an den Speicher stellen
- NFS soll bei einzeldateizugriff sehr schnell sein, allerdings bei zugriff auf die vmdk keine vorteile haben
- NFS ermöglicht einfachen Zugriff für das Backup

iSCSI:
- VMWare's eigenes Dateisystem nutzbar
- Hohen Datendurchsatz da nicht auf einzelne dateien zugegriffen wird
- Relativ unflexibel im vergleich zu NFS


Edit:
Habe folgendes altes Dokument gefunden. So wie es aussieht, ist es absolut egal on man iSCSI oder NFS nimmt. Sofern sich in der neuen VMWare nicht allzuviel geändert hat.

Also ich denke es sind die IOPS, sowie schreib und leseraten des Speichers eher wichtig für die wahl zwischen NFS und iSCSI!

Link

[mister-man]

Um das Thema NAS vs SAN nochmal aufzugreifen.
Größere Nas Systeme mit XEON Prozessoren und >8 GB Ram. Sieht hier jemand Probleme diese ein zu setzen, oder lohnt die ausgabe für ein SAN trotzdem?

Beispiel:
http://www.qnap.com/i/de/product/contrast.php?cp[]=27&cp[]=20&cp[]=17

Danke für eure Hilfe

[vsenguel]

Was mir bei den QNAP/THECUS NAS Systemen aufgefallen ist, dass ein RAID CACHE komplett fehlt, da wirst du dann bei bisschen mehr IO Probleme bekommen was zu mit sehr zähen VMs bezahlen wirst.

Wir nehmen hier für die Tests die "kleineren" DELL EqualLogic her, preislich sind die mit den 1Gig Interfaces nicht sonderlich teurer

Gruss
Volkan

[Supi]

SAN wählst /willst du in einer Dual Controller Config.
EDIT: Bei den hier genannten NAS > (QNAP) gibt es zwar auch zwei netzteile, aber qusi nur einen Controller. SPOF. Dazu halt keine Updates im laufenden Betrieb möglich.

in der HCL von Vmware sind die auch nur mit NFS aufgeführt.
Wieviel Platz braucht ihr denn?
die MD3220i gibts schon ab 6000€ mit 6x600GB 10K Platten und dual Controller. So als Beispiel.
http://www.dell.com/de/unternehmen/p/po ... rage-deals

[PeterDA]

Hi,
das hier stimmt aber nur bedingt:

Bei den NAS hier gibt es zwar auch zwei netzteile, aber qusi nur einen Controller. SPOF.

Große NAS Systeme haben natürlich zwei Controller.

Wir nutzen NFS immer dann, wenn der Kunde eine NetApp hat, da macht NFS mehr Sinn als iSCSI oder FC. Aber das liegt an den NetApp Funktionen. Ansonsten immer iSCSI oder FC (wenn es sein muss)

Gruß Peter

[mister-man]

Mir geht es hierbei nicht um die Frage, ob es eine kostengünstige alternative als SAN gibt, sondern eher ob ein Betrieb mit einem NAS möglich ist.

Bisher sehe ich zusammengefasst nur die Schwachstelle, das ein Controller ausfallen könnte, da die meisten NAS-Systeme nur einen Controller haben. Weiterhin sollte die Hardware groß genug ausgelegt sein. Da es dem Controller um einen Cache fehlt, muss vielleicht auf die SSD Cache Funktion von QNAP zurückgegriffen werden, was dem System einen Festplattenplatz einnehmen könnte.

Als Vorteil ist die kostengünstige Nutzung von 10 GBits\s zu nennen mit NFS, sowie die einfache erweiterbarkeit des Speichers. Denn LUN's fallen bei der Benutzung von NFS weg.
Nach bedarf kann jedoch auch iSCSI und ein Lun auf dem NAS definiert werden (Worin ich allerdings keinen Vorteil erkennen kann, oder er wurde nicht genannt und ist mir in meinem Test nicht aufgefallen).
Neben der einfachen Erweiterung des Speichers, kann das System auch unkompliziert um weitere NICs, sowie Arbeitsspeicher erweitert werden.


Habe ich in meiner Zusammenfassung etwas übersehen?

Gruß
Peter

[Supi]

Da keiner die Last deiner Spielwiese kennt, ist eine allgemeine Aussage schwierig.
Für z.b. 10 Entwickler und nicht extreme Datenbankanwendungen reichen wolle alle deine Beispiele aus.
Ich werfe einfach noch das Seagate Business Storage 8-Bay ins rennen. Das ist im Vergleich zu den QNAP günstiger aber trotzdem mit Dual Core und 4GB ECC.
http://www.storagereview.com/seagate_bu ... nas_review

[mister-man]

Da keiner die Last deiner Spielwiese kennt, ist eine allgemeine Aussage schwierig.

Okay, das kann ich vielleicht besser beschreiben.
Derzeit sind es ca 15 Systeme auf denen täglich getestet wird. Da die Anforderungen stetig wachsen, möchte ich allerdings nicht dauerhaft nachbessern und würde das System für ca 50 VMs auslegen, wobei eine Bunte Mischung von Datenbank, Web un Applikationsserver laufen.

Allerdings ist die nutzerbasis für Entwicklung und Demo beschränkt, Produktiv Systeme sollen weiterhin ins "richtige" RZ.

[Supi]

http://www.anandtech.com/show/7861/seag ... s-review/5

zumindest im Vergleich zur Synology DS1812+ scheint die Seagate mehr Last abzukönnen, wenn man sich I/O Meter 60% Random, 65% Read anschaut.
Insbesondere die Response-Zeit ist doch ein Stück besser. Wobei diese auch nur nen Atom D2700 eingebaut hat und das nur CIFS Multiuser Tests sind.