Das Forum wurde aktualisiert. Wurde höchste Zeit. Wenn etwas nicht funktioniert, bitte gerne hier jederzeit melden.
(Das "alte Design" kommt wieder, wird ne Weile brauchen!)

ESXi 6.0u2/6.5 + ZFS/OmniOS/napp-it All-IN-ONE VM

Moderatoren: irix, continuum, Dayworker, Tschoergez

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

ESXi 6.0u2/6.5 + ZFS/OmniOS/napp-it All-IN-ONE VM

Beitragvon gea » 28.09.2013, 11:25

Ich erstellle eine vorkonfigurierte Solarish ZFS Storage Appliance
für ESXi 5.5 und mein All-In-One Konzept

wers testen möchte:
http://www.napp-it.org/downloads

Es enthält:
- OmniOS (latest stable, freier Solaris fork mit neuesten ZFS Features, ultraschnell)
- ZFS NAS und SAN features ferttig konfiguriert (AFP, NFS, SMB, iSCSI, FC)
- beste Windows Kompatibilität (AD support, unterstützt Windows ACL und SID)
- napp-it (alles per Web-UI managebar)
- napp-it add-ons wie netatalk und DLNA server Mediatomb (Owncloud demnächst)
- e1000 und VMXnet3 vnics (dhcp) mit vmware 5.5 Tools installiert

Installation auf ESXi 5.5/ 5.1 mit aktiviertem pass-through auf (LSI HBA) SAS controller
- download
- unzip
- upliad auf locales ESXi datastor (ESXi filebrowser)
- import (rechtsclick auf .vmx file, ESXi filebrowser)
- hinzufügen der SAS Controller (add pci-device)
- booten, als root anmelden (kein pw) und mit ifconfig ip erfragen

- managen via browser und http://ip:81
auch kommerziell frei nutzbar

Member
Beiträge: 377
Registriert: 28.01.2005, 11:14

Beitragvon Wirrkopf » 28.09.2013, 15:25

Das kommt ja wie gerufen da ich ja wieder auf ZFS für mein virtuelles Datengrab umsteigen will!

Ist es dort auch per GUI möglich die HDDs schlafen zu legen?

Wie sieht es inzwischen mit der AD integration aus? Ich erinnere mich dunkel das der AD DOmänencontroller beim Start erreichbar sein musste und OI ihn nachträglich nicht mehr angefragt hat wenn er ihn beim start nicht erreichen konnte. Blöd wenn die VM mit dem AD Domänenencontroller auf dem ZFS liegen sollte... Meine VMs starten jetzt eh von SSDs die nativ im ESXi laufen aber aus reinem Interesse würde mich das interessieren obs jetzt besser funktioniert.

Wie ist die Appliance vCPU und vRAM Verbrauchsmäßig konfiguriert?

Benutzeravatar
Jenseits von Gut & Böse
Beiträge: 11938
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 28.09.2013, 15:40

Lad dir doch das Zip-File einfach runter, die 2GB sind ja je nach Inet-Zugang kein grosses Problem. :shock:



[add]
Ein paar mehr Infos erhältst du, wenn du bei "gea" dem Link nach http://forums.servethehome.com oder genauer http://forums.servethehome.com/solaris-nexenta-openindiana-napp/2461-what-current-os-choice-napp-all-one.html folgst.

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 28.09.2013, 16:16

Wirrkopf hat geschrieben:
Ist es dort auch per GUI möglich die HDDs schlafen zu legen?

Wie sieht es inzwischen mit der AD integration aus? Ich erinnere mich dunkel das der AD DOmänencontroller beim Start erreichbar sein musste und OI ihn nachträglich nicht mehr angefragt hat wenn er ihn beim start nicht erreichen konnte. Blöd wenn die VM mit dem AD Domänenencontroller auf dem ZFS liegen sollte... Meine VMs starten jetzt eh von SSDs die nativ im ESXi laufen aber aus reinem Interesse würde mich das interessieren obs jetzt besser funktioniert.

Wie ist die Appliance vCPU und vRAM Verbrauchsmäßig konfiguriert?


1.
siehe Menü system-power management
Ich nutze es nicht selber, sollte aber gehen

2,
AD muss beim Start von OI/OmniOS an sein,
also entweder auf lokales datastore legen oder zweiten All-In-One nutzen.
Der macht als Backup eh Sinn.

(AD Server sollte man nur mit Server 2012 virtualisieren)

3.
einfach vor dem Booten einstellen wie gewünscht
Ram: soviel wie anderweitig nicht benötigt, vcpu 1-4

Benutzeravatar
Jenseits von Gut & Böse
Beiträge: 11938
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 28.09.2013, 19:29

Yay, gut zwei Stunden später ist der Download endlich durch.
gea hat der VM erstmal 3GB RAM, 30GB Plattenplatz nebst Dualcore und einer v.HW-Version=8 gegönnt.
Die beiliegende Readme lautet:
gea hat geschrieben:Napp-it VM for ESXi 5.5

1. Unzip the folder napp-it-13a to your local disk
2. Within vsphere goto menu configuration - storage and right click to your local datastore to open the filebrowser
3. upload the folder napp-it-13a to your local datastore
4. open the folder napp-it-13a and right klick to the file napp-it-13a.vmx to add this VM to inventory
5. start the VM and select copy when asked (options are copy and move)


Konfiguration:
2 vnics (e 1000 and vmxnet3) in dhcp mode
root pw: not set

edit RAM and CPU settings according to your needs

included:
napp-it with afp and mediatomb addon


have fun

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 01.10.2013, 09:17

Bei meiner Testkonfiguration (ESXi 5.5, All-In-One mit NFS datastore, SM X9 SRH-7TF, 10 GbE) habe ich Stabilitätsprobleme mit VMs auf einem OmniOS NFS datastore mit e1000 vnic .

- Hochfahren von VMs dauert ewig bzw bleibt hängen
- Installation von neuen VMs auf dem NFS datastore dauert ewig bzw. bleibt hängen.

Nach Umstellen von OmniOS auf den VMXnet3 Treiber läuft alles

eventuell?:
http://kb.vmware.com/kb/2058692

Benutzeravatar
Jenseits von Gut & Böse
Beiträge: 11938
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 01.10.2013, 12:07

Ich würds mit dem "Allheilmittel" probieren:
Disable TCP segmentation offload (TSO)
Das scheint häufiger für Probleme zu sorgen. Den Rat zur Deaktivierung findet man jedenfalls im Kraken für Novell, Symantec, Cisco, pfsense, Citrix, RedHat etc. Bei pfsense findet sich in den Einstellungen unter "System: Advanced: Networking: Setting-Disable hardware TCP segmentation offload" die Erläuterung:
This offloading is broken in some hardware drivers, and may impact performance with some specific NICs.


Als Lösung wird beispielsweise im älteren Blogeintrag http://www.v-front.de/2011/05/network-troubleshooting-part-iii-real.html empfohlen, TSO nur im Gast-OS zu deaktivieren.

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 01.10.2013, 13:21

Dayworker hat geschrieben:Ich würds mit dem "Allheilmittel" probieren:
Disable TCP segmentation offload (TSO)
Das scheint häufiger für Probleme zu sorgen. Den Rat zur Deaktivierung findet man jedenfalls im Kraken für Novell, Symantec, Cisco, pfsense, Citrix, RedHat etc. Bei pfsense findet sich in den Einstellungen unter "System: Advanced: Networking: Setting-Disable hardware TCP segmentation offload" die Erläuterung:
This offloading is broken in some hardware drivers, and may impact performance with some specific NICs.


Als Lösung wird beispielsweise im älteren Blogeintrag http://www.v-front.de/2011/05/network-troubleshooting-part-iii-real.html empfohlen, TSO nur im Gast-OS zu deaktivieren.


Danke, das scheint zu funktionieren.
Mit e1000 muss man bei OmniOS & Co folgende Zeilen in der datei /kernel/drv/e1000g.conf anfügen (reboot nötig)

#tcp offload disable
tx_hcksum_enable=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;
lso_enable=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 02.10.2013, 20:56

Info
Zu dieser Appliance gibt es aktuell eine Besprechung bei servethemome.com

http://www.servethehome.com/omnios-napp ... ome.com%29

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 11.01.2015, 01:09

betr. Sichere und konsistente ZFS Snapshots auf einem NFS Storage

ZFS Snapshots haben ja den Status einer Festplatte wie wenn man den Strom ausschaltet. Dafür kann man die unbegrenzt oft anlegen, da sie wegen CopyOnWrite ohne Verzögerung, Performanceprobleme oder anfänglichem Platzverbrauch erstellt werden. Es ist ja nur ein Verhindern des Überschreibens der aktuellen Daten. Sie sind damit ESXi Snapshots weit überlegen.

Auch kann man die ZFS Snapshots einfach per asyncroner incrementeller Replikation wegsichern und damit eine Kopie der VMs auf einen anderen Server mit einem ganz kurzen Zeitversatz (>1 Minute) aktuelll halten.

Ich habe jetzt die freie napp-it ZFS Storage appliance 0.9f4 so erweitert, dass man bei einem darauf angelegten NFS Datstore vor einem ZFS Snapshot automatisch einen ESXi Snapshot optional inkl. Speicherabbild erstellen kann. Dieser wird dach dem ZFS Snapshot automatisch wieder gelöscht. Dies passiert Menügesteuert per SSH auf vim-cmd im ESXi.

Diese Variante eines Backups ist damit extrem schnell und universell und geht auch mit ESXi Free.

Gibt es irgendetwas was zu beachten wäre?
Ich habe schon den Hinweis erhalten, dass bei einem Restore mit Vcenter Server die VM neu registriert werden müsste, da diese ansonst bei einem Restore den Snap nicht kennen würde.

Benutzeravatar
Jenseits von Gut & Böse
Beiträge: 11938
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 16.08.2015, 14:09

Falls jemand vor demselben Problem stehen sollte und seinen LSI-Controller von IR- auf IT-Firmware umflashen möchte, findet unter http://blog.michael.kuron-germany.de/2014/11/crossflashing-dell-perc-h200-to-lsi-9211-8i/ die grundsätzliche Reihenfolge. In meinem Fall hat das jedoch nicht im ersten Anlauf geklappt, da sich mein Controller (anscheinend) nicht von alter Firmware und Boot-ROM trennen wollte. Jedes Mal kam im UEFI-Modus eine Fehlermeldung oder der Rechner hing sich weg und ließ sich nur noch per On/Off-Switch wieder reaktivieren. Nach dem Reboot kam leider auch kein Raid-Bios mehr hoch, ich bin von einem gestorbenen Controller ausgegangen und der Bootvorgang verkürzte sich durch den fehlenden Controller massiv. Der Controller war aber auch nicht als HBA nutzbar...

Des Rätsels Lösung habe ich dann bei http://www.vladan.fr/flash-dell-perc-h310-with-it-firmware/ und mit Hilfe von "Rufus" gefunden. Wie sich herausstellte, hat das FW- und ROM-Löschen sehr wohl geklappt. Lediglich das Flashen der neuen Firmware schlug im UEFI-Modus unabhängig von der sas2flash-Version immer fehl. Aber zumindest mit der Version P17, unter anderem bei "Vladan Seget" als Link zu finden, kommt man der Sache näher. Dem Controller fehlt eine FW. Das zeigt die Version P7 zwar auch an, kann dann jedoch aus mir unbekannten Gründen weder FW noch ROM flashen und hängt sich weg, wenn es denn überhaupt den unsichtbaen Controller noch ansprechen will. Mit "sas2flsh.exe" ging es dann mit Hilfe eines unter "Rufus" erstellten FreeDOS und die Kommandos mit "megarec" konnte ich mir sogar komplett ersparen. Ich habe einfach erst die FW (sas2flsh -o -f 6gbpsas.fw), dann die P7-Version von LSI (sas2flsh -o -f 2118it.bin) und dann die P20-Version (sas2flsh -o -f c:\P20\2118it.bin) eingespielt. Ein ROM habe ich nicht mehr eingespielt, da der H200-Controller als HBA direkt an die ZFS-Appliance durchgereicht werden sollte und das klappt sehr gut.


[edit]
Link korrigiert

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 16.08.2015, 15:09

Zwei Ergänzungen

Es gibt eine ganze Reihe von Berichten, dass die aktuelle P20 Firmware besonders bei schnellen SSDs Probleme bereiten kann. Die übliche Empfehlung lautet dann, die vorherige P19 zu nehmen.

Als Option bei Neukauf.
Der LSI 9207 kommt per default mit IT Firmware - ideal für ZFS.
Da erübrigt sich das Umflashen auf die IT Firmware ohne HW Raid-Funktion


ps
ich habe gestern eine aktualisierte ZFS NAS/SAN VM appliance hochgeladen.
http://napp-it.org/downloads/napp-in-one.html

Änderungen
- neuestes OmniOS 151014 LTS (freier Solaris fork, July 2015), ältere Version als BE
- napp-it 0.9f6 Web-UI
- ESXi tools 6.0.0.b, der Kernel Panic beim Herunterfahren via vsphere ist damit behoben.

Die ZFS Storage VM kommt ready to use als thin provisioned OVA Template.
Import per vsphere und Datei >> Deploy OFV Template.
Import dauert daher nur wenige Minuten und spart Platz.


Ergänzung:
Ein Wechsel oder Update einer Storage VM mit aktiviertem NFS kann ein NFS All-Path-Down zur Folge haben. Ein Reboot von ESXi behebt das meist.

Benutzeravatar
Jenseits von Gut & Böse
Beiträge: 11938
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 16.08.2015, 15:58

Für schnelle SSDs mag das ja gelten, aber erst mit der P20 lassen sich angeblich auch HDDs über 2TB ansprechen. Ich habe dazu jedoch keine weiteren Informationen gefunden oder vielleicht einfach nur die falschen Suchbegriffe verwendet.

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 16.08.2015, 16:52

Ob Platten > 2TB unterstützt werden, hängt vom Chipsatz ab, nicht von der Firmware z.B.
LSI 1064/1068: max 2 TB
neuere LSI wie LSI 2008. 2308: kein Problem mit großen Platten

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Beitragvon gea » 21.01.2016, 15:42

Ich habe mal ein paar Tuning- und Performancetests mit OmniOS und 10G gemacht.

Das betrifft die vmxnet3 Einstellungen unter ESXi und bei externen Transfers
die NFS, SMB, IP und Netzwerkeinstellungen.

siehe:
http://napp-it.org/doc/downloads/performance_smb2.pdf

und aktualisisiertes HowTo
http://www.napp-it.org/doc/downloads/napp-in-one.pdf
http://www.napp-it.org/doc/downloads/napp-it.pdf

Member
Beiträge: 34
Registriert: 19.12.2010, 18:26

Napp-it ToGo ZFS Storage Server

Beitragvon gea » 20.04.2016, 15:15

Info zum Napp-it ToGo ZFS Storage Server
Ich habe neue Images hochgeladen (frei verfügbar).

OmniOS 151018 mit SMB2 und napp-it 16.02f,
Base-Tuning, TLS Alert Emai z.B. an Gmail. Alle Nics werden automatisch auf DHCP konfiguriert


Napp-it ToGo Sata
Das sind Images für eine Installation direkt auf Hardware auf eine Sata Platte.
Nach dem Zurück-Clonen der Images auf eine Systemplatte kann man direkt loslegen.

Die Images sind für eine Kingston V300-60G oder Intel S3510-80G mit Powerloss Protection gedacht.
HowTo: http://www.napp-it.org/doc/downloads/napp-it.pdf

Die Images wurden auf einem SuperMicro X11-SSH-CTF erstellt und laufen auch oft auch
auf anderen Boards oder Systemen. Wenn die jemand auf einem anderen System, z.B. HP oder Dell
installiert hat und es läuft, bitte ich um eine kurze Rückmeldung an community@napp-it.org


Napp-it ToGo VM
Das sind Images für ein virtualisiertes ZFS SAN oder NAS unter ESXi
Die kann man fertig konfiguriert direkt in ESXi importieren
HowTo: http://www.napp-it.org/doc/downloads/napp-in-one.pdf

Aktuelles Image 2016.04 für ESXi 5.5U2 - 6.0U2
Open-VM-Tools mit vmxnet3s und MTU9000

Die Open-VM-Tools sind neu in OmniOS 151018 dabei.


Zurück zu „VMs & Appliances“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast