Probkem mit Upload-Geschwindigkeit auf ESXi Host

[TheExpert]

Hallo zusammen,

ich habe derzeit zwei ESXi-Hosts, die an einem Gigabit-Switch angeschlossen sind. Das Management-Netzwerk verfügt jeweils über einen Uplink ins Netzwerk. Die VMs haben jeweils eine eigene Netzwerk-Anbindung.

ESXi1 (Version 5.1, kostenfreie Version):
CPU: 2x Intel Xeon E5420, QuadCore, 2,5 GHz
Board: Intel S5000VSA
RAM: 16 GB
RAID-Controller: 3ware 9650SE Hardware-SATA-RAID-Controller mit 8 SATA-Ports und Cache-Batterie (wird mit einem zusätzlichen Treiber für ESXi eingebunden)
Festplatten: 6x 500 GB WD SATA Server-Platten (4 Platten als RAID 10 für ESXi und VMs, 2 Platten als Einzelplatten für Daten des Windows Home Server v1, da eigener Replikationsmechanismus)

ESXi2 (Version 5.5, kostenfreie Version):
CPU: 1x AMD Opteron 2378, QuadCore, 2,4 GHz
Board: Supermicro H8DM3-2
RAM: 16 GB
RAID-Controller: Adaptec 5805 Hardware-SATA-RAID-Controller mit 8 SATA-Ports ohne Cache-Batterie
Festplatten: 8x 1.000 GB Seagate Barracuda ES.2 SATA Server-Platten (4 Platten als RAID 10 für ESXi und VMs, restliche Platten sind noch nicht eingebunden)

Den Host ESXi2 möchte ich auf 2 CPUs aufrüsten. Und da er mehr Plattenkapazität hat, soll er auch zukünftig alles vom ESXi1 übernehmen. Dazu müssen aber ca. 3 TB Daten von ESXi1 auf ESXi2 übertragen werden. Und damit beginnt mein Problem, denn die Upload-Geschwindigkeit auf den Host ESXi2 kommt nicht über 5 MB/s hinaus. Tests mit dem ESXi1 kommen auf ca. 100 MB/s!

Ich habe inzwischen mehrere Stunden mit Tests verbracht und ich bin am Ende meines Lateins:

- Test mit Veeam FatSCP, Trilead VM Explorer, WinSCP
- Test mit FTP-Upload per ProFTPD auf ESXi (ein zusätzlich zu installierendes Offline-Bundle, mit dem man SSH umgehen kann)
- Test mit SCP von ESXi1 auf ESXi2 (also direkte Übertragung zwischen den Hosts)
- Test mit Jumbo Frames
- Test mit den Onboard-Netzwerkkarten Nvidia MCP55Pro
- Test mit Netzwerkkarten Realtek RTL8169
- Test mit Dual-Port Netzwerkkarte Intel Pro 1000/MT (82546EB, habe ich auch im ESXi1 eingebaut)

Außer merklichen Unterschieden im Download von ESXi2 bei Verwendung der unterschiedlichen Karten (immerhin bis zu 100 MB/s bei Nvidia und Intel) konnte ich bzgl. Uplink keine Besserungen erzielen. Beim Test mit SCP zwischen den beiden ESXi-Hosts konnten zumindest die ersten 1 - 2 GB mit ca. 30 MB/s (mit Nvidia) übertragen werden bevor die Rate auf 5 MB/s abgefallen ist. Somit kann ich zumindest ausschließen, dass der RAID-Controller auf ESXi2 einen Flaschenhals darstellt - auch wenn 30 MB/s nicht berauschend sind.

Ich komme hier nicht mehr weiter und hoffe auf Eure Unterstützung: Kennt Ihr dieses Problem und wie habt Ihr das gelöst?

[Dayworker]

ESXi2
...
RAID-Controller: Adaptec 5805 Hardware-SATA-RAID-Controller mit 8 SATA-Ports ohne Cache-Batterie

Ich würde da behaupten, daß durch den fehlenden Write-Cache keine deutlich höhere und vor allem dauerhafte Leistung herauskommen kann. Beim Lesen fällt das nicht so stark auf, da dann bei günstiger Stripesize von allen Raidmitgliedern gelesen werden kann. Mir erscheint es auch wenig sinnvoll, ein Raid10 nur mit dessen Datenträger-Mindestanzahl aufzubauen. Aber selbst wenn du dein Raid10 über 8 Platten aufbaust, drückt dir der fehlende Write-Cache extrem die IO-Leistung.
Wie schauts eigentlich mit der Kühlung für den Adaptec-Controller aus? Die Teile erwärmen sich ziemlich schnell/stark und ohne ausreichende Kühlung sinkt deren Leistung zusätzlich.

Realtek und nVidia sind ja auch nicht gerade als die schickste Lösung bekannt. Bei Realtek kommt noch hinzu, daß deren SOC so schwach ist, daß deren Netzwerkfunktionalität fast ausschließlich über den Treiber abgebildet wird.

[TheExpert]

Hallo Dayworker,

auch auf dem ESXi1 habe ich ein RAID 10 mit 4 Platten. Bei der geringen Anzahl an Platten muss ich eben einen Kompromiss zwischen Kapazität, ausreichend Sicherheit und Performance finden. Und dieses Konstrukt genügt meinen Ansprüchen für meine Umgebung zu Hause. Es geht hier nicht um eine High-Performance-Produktivumgebung. Mir ist schon klar, dass ein Write-Cache mehr Performance bringt, aber mich überrascht der starke Unterschied schon sehr.

Der Adaptec-Controller hat 512 MB Speicher. Ich könnte natürlich mal einen Test mit Write-Cache fahren, auch wenn ich keine Batterie habe. Macht das für Testzwecke Sinn?

Nach allem was ich gelesen habe, soll der Adaptec- besser als der 3Ware-Controller sein - zumindest habe ich das auf einigen Benchmark-Seiten so gelesen. Ist das ein Trugschluß? Der Adaptec ist passiv gekühlt. Der Server befindet sich in einem 19"-Gehäuse mit 6 großen Lüftern. Es handelt sich um ein 3 HE Supermicro-Gehäuse. Auf dem 3Ware-Controller ist m. W. auch nur ein Kühlkörper. Der steckt in einem 2 HE Intel-Gehäuse.

Die Onboard-Netzwerkkarten des Nvidia-Chipsatzes sind gar nicht mal so schlecht - sie erreichen natürlich nicht die Leistung der Intel-Controller. Ich hatte erst diese bzgl. schlechter Performance in Verdacht. Daher der Test mit den Realtek-Karten, denn die hatte ich noch herumliegen. Diese will ich aber nicht weiter einsetzen, denn da ist mir schon bekannt, dass die nicht viel können. Die Intel-Karte wollte auf dem Server im Management-Network nicht so richtig mit Jumbo-Frames. Erst nachdem ich die Jumbo-Frames auf dem vSwitch deaktiviert habe, funktionierte das Management über die Intel-Karte.

[Kampfwurst]

aktiviere den Write Cache auf den Controller. Habe selber keine Batterie an meinen 2 Controllern und immer den Write Cache aktiviert. Bisher keine Probleme

[Dayworker]

@Kampfwurst
Dann zieh doch bitte einfach mal den Netzstecker, ist für den Rechner ja wie ein Stromausfall und berichte dann erneut.
Zumindest ohne USV ist dein Aussage so in keinster Weise haltbar.
Wie schlecht oder gut bei dir die Qualität der Stromversorgung ist, sieht man am besten am USV-Log. Bei mir steht als Wohnort unterhalb meines Avatars nicht umsonst:

laut USV-Log am Ende der Welt

@TheExpert
Ja ich weiß, zwischen Optimal und Hausgebrauch liegen nicht nur beim Raid meistens Welten.
Ohne USV würde ich wie gesagt auch zuhause, nicht mal testweise, den Write-Cache aktivieren. Ein Backup, egal wie frisch, ist immer älter als der aktuelle Datenbestand.
Mit USV und ausreichender Kapazität derselben würde ich das Wagnis eingehen.

Das die Karte passiv gekühlt ist, ist nichts ungewöhnliches und sagt trotzdem nicht viel über deren Kühlungsbedarf aus. Aber solche Controller kommen meist in gut durchlüfteten Servern zum Einsatz und mit einer zentralen Luftführung würde ein zusätzlicher Miefquirl auf einer Zusatzkarte nur diesen Luftstrom behindern.
Laut http://www.adaptec.com/de-de/support/raid/sas_raid/sas-5805/ ist der Verbrauch mit 0,45 A bei 3,3 V und 1 A bei 12 V angegeben. Macht summiert also bis zu ~13.5W an Kühlbedarf und sowas läßt sich passiv zumindest nicht über den kleinen Kühlkörper abführen.

[Kampfwurst]

OK Habe eine USV die Strom für ca 45 min liefert. Normalerweise fällt der Strom bei mir alle Jahre für max 1-2 min aus. An den letzen Stromausfall kann ich mich gar nicht erinnern

[TheExpert]

Hallo zusammen,

eine USV habe ich nicht. Es wäre nur ein Versuch gewesen, wie viel mehr Performance ich mit Write-Cache hinbekomme. Aber vielleicht sollte ich doch den 3ware-Controller weiter verwenden. Mal ganz unabhängig vom Vorhandensein der Batterie betrachtet: Welcher von den beiden vorhandenen Controller ist zu empfehlen?

Aus der aktuellen Diskussion werde ich nicht schlauer, denn mir steht die Aufgabe bevor, 3 TB Daten zu transferieren und das sollte - auch für den Hausgebrauch - in einer endlichen Zeit möglich sein. Und diese sollte 48 Stunden nicht überschreiten.

[irix]

Aktive den Write-Cache und gucke obs besser wird. Wenn ja rueste die Batterie nach.

Gruss
Joerg

[Dayworker]

@TheExpert
Raidbetrieb und dann nicht mal eine USV am Server?
Ob du den Write-Cache jetzt auch noch aktivierst oder nicht, datensicherheitstechnisch lebst du doch die ganze Zeit schon gefährlich.

[TheExpert]

Hallo Dayworker,

ich habe den Thread nicht eröffnet, um zu erfahren, dass ich eine USV benötige, um RAID zu betreiben. Ich hatte mal kurzzeitig eine USV, die aber zwischenzeitlich defekt war. Und aktuell ist mein "produktiver" Server mit einem RAID-Controller und BBU ausgestattet, so dass hier alles entspannt ist.

Nochmals der Hinweis: Es handelt sich um eine Home-Umgebung!!!

Eine USV ersetzt im Übrigen auch keine Datensicherung!!!

Das hilft hier aber absolut nicht weiter und daher bitte ich um die Rückkehr zum eigentlichen Thema!

[Dayworker]

Hier lesen auch Leute mit, denen der Zusammenhang von Raid, BBU und USV sowie Datensicherung oder Snapshots nicht klar ist...
Das weder Raid noch USV eine Datensicherung ersetzen, ist doch vollkommen unbestritten. Aber du betreibst einigen Aufwand mit dem Raid10, sonst hättest du doch einfach in den ESXi1 eine 1TB- und in ESXi2 eine 2TB-Platte stecken können, und dieser verpufft völlig nutzlos, wenn du eine kleine Stromschwankung durchleben darfst. Selbst wenn die BBU für Datenkonsistenz sorgt, sagt das aber immer noch nichts darüber aus, ob das Betriebssystem nachher mit den konsistenten, aber möglicherweise dennoch unvollständigen Daten etwas anfangen kann. Wie lange die üblichen 512-1024MB WB-Cache von BBU bzw Flashmodul reichen, kannst du dir abgesehen von der Zeitkomponente bei der BBU selbst ausrechnen und kein OS steht sonderlich drauf, hart abgeschaltet zu werden und beim ESXi kommt noch dessen nicht ganz unproblematisches VMFS samt Thin-VMDKs hinzu. Aber das ist wirklich ein Thema für sich.


Es spielt für die Raid-Funktionalität als solche daher prinzipiell keine Rolle, ob das eine Home- oder Businessumgebung ist. Sobald man sich mit Raid auseinandersetzen will/muß, sollte man auch die Voraussetzungen für einen erfolgreichen Betrieb beherzigen. Ansonsten kann man sich doch Aufwand und höheren Energieverbrauch ersparen.

Damit hier keine Mißverständnisse aufkommen. Der Rechner in meiner Signatur ist ebenfalls als familärer Dauerläufer eingesetzt und wird wie bei dir regelmäßig gesichert. Über den Tag laufen aber genügend veränderliche Daten auf, die ich nur ungern verlieren würde, wenn die Sicherung noch nicht durch oder schlimmer noch mittendrin ist. Von der Warte hat mir das Raid sowohl gehirnschmalz- als auch aufwandstechnisch eher mehr Aufwand beschert.

[Dayworker]

Um auf das Thema zurückzukommen. Bist du schon dazu gekommen, den WB-Cache zwangsweise mal zu aktivieren und IO-Werte zu liefern?
Mich würden nämlich die Werte und dort vor allem die Latenzen brennend interessieren. Meine eigene Erfahrung mit dem Einsteigercontroller H200 habe ich im Thread Dell T110 II (11.Generation) niedergeschrieben. Besonders die Schreibwerte unterhalb 16KB waren niederschmetternd und erreichten noch nicht mal fünfstellige Werte...

[TheExpert]

Hallo zusammen,

ich bin beeindruckt, was der Write-Cache möglich macht: Per FTP-Upload konnte ich 111 MB/s erreichen . Das gilt sowohl für die Intel- als auch für die Onboard-Nvidia-Netzwerkkarte. Es war klar, dass eine Steigerung möglich ist, aber gleich um mehr als das 20-fache?! Ich habe nach Recherche im Internet mit dem 5-fachen gerechnet.

Nun gut, das bedeutet wohl, dass ich eine BBU beschaffen muss - kostet derzeit ca. 100 EUR (sprengt gerade etwas mein Budget ). Oder ist der 3Ware-Controller (hat eine BBU, was mir Kosten spart ) im Vergleich zum Adaptec die bessere Wahl? Oder ist es egal, welchen man nimmt?

Die Direkt-Copy per SCP zwischen den beiden ESXi-Hosts schafft immerhin noch ca. 27 MB/s. Im Vergleich zu FTP ist das aber nichts - zumindest nicht für die Migration.

Der AMD-Server ist jetzt auch auf 2 CPUs aufgerüstet, RAM bleibt erst einmal bei 16 GB.

[irix]

Fuer SCP bringt die BusyBox nicht genug CPU Power auf und dafuer finde ich 27MB/s ganz ordentlich.

Ansonsten.... ein guter RAID Controller deaktiviert halt Plattencache und ohne Batterie/Flash nimmt auch seinen Speicher nicht zum Cachen. Ohne Cache ist eine Platte schnarchlarm. Nur redet einem ja jedes Magazin, Blog, Dummy Benchmark ein das eine Platte ja 160MB/s macht. Tja... aber nur bei 16MB Squentiell Read was im Reallife nunmal nicht vorkommt.

Gruss
Joerg

[Dayworker]

Ob du Adaptec oder 3ware nimmst, spielt nur dann eine Rolle, wenn du die CIM-Provider zur Gesundheitsanzeige von Controller und Platten installieren und auch von aussen administrativ auf den Raid-Controller zugreifen willst. Speziell der administrative Zugriff scheint ein grösserer Pferdefuß zu sein. Einige Controller bieten da mit Müh und Not eine Text-Shell bzw "application utility" an, während andere wie die von Areca dort sogar einen RJ45-Anschluß zur out-of-band GUI Verwaltung mitbringen. Letzteres vereinfacht dann natürlich die Controllerverwaltung samt angeschlossener Datenträger.