Shared Storage als Eigenbau

[Borg-HH]

Für eine kleine Umgebung ( 6-8 TB) bräuchte ich ein Storage, welches performant ist und mit 10 GbE arbeitet. SSD´s bzw HDD´s mit SSD Cache sollte schon sein. Diverse Hardware ist vorhanden. Hab leider kein Budget dafür, so das ich nichts "fertiges" anschaffen kann. Hat da jemand was am Laufen bzw gute Ideen ?

[Stefan.r]

ohne hier nen Budget was du Hast zu Nennen ist das Sinbefreit

LG

[Dayworker]

Den Thread ESXi 5.5/5.1 + ZFS/OmniOS/napp-it All-IN-ONE VM kennst du?
Ich nutz die AiO-Appliance seit längerem und bisher auch problemlos. Von persönlichem PEBKAC mal abgesehen, mußte ich bisher aber auch noch keine ausgefallenen Laufwerke etc austauschen. Aber ich bin da inzwischen tiefentspannt, da "gea" im Hardwareluxx-Forum schnelle Hilfe anbietet.

[UrsDerBär]

Als Alternative dann den Windows als Storage Server mit NFS, gibts auch Threads dazu

[Borg-HH]

Ich schaue mir die napp-it Geschichte mal an.
Hatte schon mit OpenFiler bzw Freenas experimentiert, das ist es aber alles nicht.

Übrigens, "Sinbefreit" ist die Schreibweise von Stefan.r

[Stefan.r]

Ich schaue mir die napp-it Geschichte mal an.
Hatte schon mit OpenFiler bzw Freenas experimentiert, das ist es aber alles nicht.

Übrigens, "Sinbefreit" ist die Schreibweise von Stefan.r

ja, ich gehe auch immer in nen Laden und Frage nach TVs, scheiß drauf ob ich mir den leisten kann oder nicht und verschwende Liebend gern die Zeit anderer

Und mal ganz ehrlich? wenn du mit Dingen wie 10 GbE ankommst, solltest du schon klar wissen und nennen können was du Ausgeben kannst.

[UrsDerBär]

Och, kann man doch auch zu Hause oder für ne Spielwiese machen. Völlig wurscht oder ned? Sehe da kein Problem. Ohne Switches und direktverkabelung ist das auch ned besonders teuer. Mit ner Storage App auf der gleichen Maschine wie der ESXi fliegts sogar wie die Hölle. Limitiert nur die IO sowie CPU. Meine VDI's laufen alle so.

[Dayworker]

10GBase-T startet momentan bei 191 Euro für die Intel X540-T2, 2x 10GBase-T, PCIe 2.1 x8, low profile, retail (X540T2) und für einen 8-Port-Switch Netgear ProSAFE Plus XS708E v2, 8-Port (XS708E-200NES) werden bereits 623 Euro aufgerufen.

Alternativ schau bei https://tinkertry.com/superserverworkstation vorbei und sieh dir die Möglichkeiten der 1500er Xeon-D Plattform an. Bei vielen ist 10GBase bereits in Form von Intel X540-T2 verbaut.

[Borg-HH]

Mir geht es weniger um die 10 GbE als um das "Storage" an sich. LAN Karten und Switch sind vorhanden.
Hab testweise mal napp-it aufgesetzt, sieht auch sehr viel versprechend aus. Am liebsten hätte ich ein RAID aus SSD´s. oder wenigstens eine SSD als Cache. Da liegt mein Problem, weil ich nicht weiß, wie ich das realisieren kann.

[UrsDerBär]

Realisieren kannst das mit genannten mitteln als Software-RAID. Alternativ eben ein Hardware-RAID Controller der mit SSD's dann gerne ein IOPS-Bremser ist aber nicht sein muss. Daten zu Verfügung stellen entweder mit nem iSCSI-Host oder NFS-Server-Dienst.

Egal ob Du nun Windows mit StorageSpaces oder ZFS nimmst, bei Software-RAID muss zwingend die Stromversorgung passen. ECC RAM ist ebenso absolut Pflicht (Serverbereich eh überall). ZFS ist zum Beispiel recht anfällig auf RAM-Fehler.

Die SSD's sollten optimalerweise über Kondis verfügen welche die Writes auch ohne Strom noch ausführt. Quasi wie der Write Cache bei Hardware-RAID-Controllern für die Magnetplatten. Dies weil SSD's das Commit ans OS eigentlich immer sendet bevor die Daten tatsächlich geschrieben sind. Da hilfts dann im Extremfall eben auch nicht, wenn das Filesystem erst bei Commit die File Table aktualisiert.

Ich nehme für diese Konstrukte gerne Intels DC S3700. Sind teuer aber von der Ausfallrate her Industriespitze. Hab letztens einen Rücklaufwert/Ausfallrate von 0.2% vernommen für deren Datacenter SSD's.
Andere Hersteller veröffentlichen diese Werte gar nicht erst. Widerspiegelt aber doch meine Erfahrung, habe noch keine DC3700, X25E oder 520er die defekt sind.


Für den eigentlichen software-technischen Aufbau gibts Anleitungen zuhauf.

[Dayworker]

Wenn du unter Napp-it ein Raid-Z1 aufsetzt, hast du bereits ein herkömmliches Raid1. Der Vorteil von ZFS ist ja gerade, daß man eben keinen teuren HW-Raidadapter braucht, sondern einen einfach HBA bzw die Anschlüsse des Chipsatzes nutzen kann. ZFS ermöglicht eine einfache Verwaltung selbst komplexer Konfigurationen, integriert RAID-Funktionalitäten, Volume-Management sowie den prüfsummenbasierten Schutz vor Datenübertragungsfehlern. Im Gegensatz zum ReFS von M$ sind dabei nicht nur die Daten selbst, sondern auch die Metadaten durch Prüfsummen geschützt. Da die Rechner-CPU die Prüfsummen in SW berechnet, erklärt das auch die bevorzugte Nutzung von ECC-RAM, denn der WB-Cache eines HW-Raidcontrollers setzt ebenfalls auf ECC-geschützten Speicher.

ZFS ist ein Copy-on-Write-System. Ein Datum ist daher entweder alt und gültig oder neu, und solange es nicht aktualisiert wurde, ungültig. Das bei einem Stromausfall dann neue Daten verloren gehen, ist auch hier der Fall, verursachen aber zumindest keinen Fehler in der Datenintegrität wie bei einem HW-Raidcontroller.

Sieh dir einfach mal die komplette Featureliste auf http://napp-it.org/features.html an.

[UrsDerBär]

Stimmt meines Wissens nicht ganz. So weit ich informiert bin, ist die Funktionialität sehr vergleichbar. Die ReFs Metadaten haben auch Checksummen. Bei einem 3 Disk-Spiegel wird sogar der dritte verworfen bzw. automatisch wiederhergestellt in nem anderen Sektor.

Grössten Vorteil im MS-System: Die Dinger funktionieren wie gewohnte MS-Maschinen

Grösster Nachteil: Lizenzkosten, wobei auch ZFS bei gewissen nützlichen Funktionen was kostet.

Zweitgrösster Nachteil: Mit Magnetdiscs ist die die Latenz furchtbar und somit auch die Write-Leistung mit Random 4k. Allerdings wurde dem wohl mittlerweile auch entgegengewirkt. Für Magnetdiscs bevorzuge ich allerdings nach wie vor konventionelle RAID-Controller. ZFS ist hier mit gespiegelten Write-Caches auf SSD deutlich im Vorteil wie ich finde.

Das ReFs habe ich mit ziemlich allen Szenarien von provoziertem Stromausfall unter Vollast mit SQL und Datencopy, Disk entfernen, manuelles überschreiben von Sektoren via einem anderen Computer etc. getestet. Ich brachte das Filesystem durch nichts in die Knie.

Das einzige was ReFs gar nicht mag sind volle Volumes, das kann unter bestimmten Bedingungen sogar zu Datenverlust führen. Genau wie bei vmfs.

EDIT: Das Problem ist hierbei eben die verwendeten Techniken zur Datenverfügbarkeit welche eben erst Sektoren freigeben, wenn die neuen geschrieben sind. Ist kein Platz mehr da weil es z.B. ThinDisc's parallel zu einem Copy Job vergrössert werden, crashts heftig. Das ganze wird extrem heikel, wenn nicht gleiche Discs von gleicher Grösse verwendet werden, weil es mitunter vorkommen kann, dass z.B. bei einem gewünschten Spiegel die Daten nicht vollständig auf mehrere unterschiedliche Discs verteilt werden kann. Sprich man meint es sei genügend Speicherplatz vorhanden, in Tat und Wahrheit ist aber nur wenig davon für grosse Files oder dual/tripple Mirror geeignet. Ist vor allem mit grossen Files hochproblematisch. Solange die Files nicht gestriped und dedupliziert sind, lassen sie sich mit den üblichen verdächtigen aus dem NTFS-Bereich grösstenteils extrahieren. Meine Versuche dazu waren recht erfolgreich.
Denke aber, diese Problematik ist mit allen solch hochflexiblen Filesystemen eine latente Gefahr.

Von daher kann ich persönlich eigentlich nur empfehlen nicht unterschiedliche RAID-Sets bzw. Volume-Phylosophien auf den gleichen Discs zu fahren auch wenn die Verlockung mitunter recht gross ist. Ohne Gegenmassnahmen, aufeinander agestimmten Stripe-Design oder riesige Speichervorräte kommts unweigerlich irgendwann zum Crash. Reparieren ist sehr schwierig bis nicht möglich. Auch die Schaden-Voraussicht sowie Reaktion auf einen allfälligen Disk-Ausfälls ist recht schwer richtig zuzuordnen. Ebenso leidet die Performance.
Diese Nachteile gelten bestimmt zum grossen Teil auch für ZFS.

[Dayworker]

ZFS mag auch keine vollen Volumes und reserviert von sich aus einen gewissen Teil, der sich auch niedriger konfigurieren läßt.