Festplattenperformance sehr schlecht

[muffinvernichtungswaffel]

ich verzweifel hier, ich hoffe ihr könnt mir helfen.

erstmal hallo, ich bin relativ neu im umgang mit ESXi.
hab mich jetzt die letzten 2 wochen privat damit beschäftigt und mir einen kleinen server für zuhause gebastelt.

Konfiguration wie folgt:

Die Hardware:
HP Proliant Microserver N40l
Mit einem AMD Turion II Neo N40L 2x1,5 GHz
2x8GB PC3 Non-ECC RAM
Die interne Broadcom BCM5723 NIC als LAN schnitstelle
eine PCIe x1 Realtec 8168 NIC als WAN (ESXi treiber mussten nachinstalliert werden)
eine Intel SSD 320 Series mit 80GB als systemplatte. Auch wegen der Performance aber hauptsächlich weil sie leise ist
2x Western Digital RED "NAS Storage" 2TB HDD´s (Von denen wird später noch die rede sein) mit blockgröße 1 MB

im BOIS ist der IDE-Mode auf AHCI, da der Quasiö-hardwareRaid controller von keinem OS außer Windows erkannt wird

Die Software:
Als Host verwende ich ESXi 5.5.0 1331820 mit der Kostenlosen Lizenz auf der SSD installiert
Treiber für die PCIe NIC mussten zusätzlich installiert werden

Darauf laufen 2 VM´s Sophos UTM 9.1 Firewall (sehr schönes stück software)
2xCPU
4GB RAM
Virtuelle Platte auf SSD
Broadcom BCM5723 ins LAN
Realtec 8168 NIC ins WAN

und FreeNAS 9.1.1
2x CPU
10Gb RAM (wegen ZFS)
Virtuelle Systemplatte auf SSD
2x Virtuelle 2TB Platte auf je einer der WD Red HDD´s
Broadcom BCM5723 ins LAN


nun zum Problem:
aufgefallen ist es mir als ich meine Daten auf die NAS übertragen wollte. windows kopiert über die SMB Freigabe nur mit 2.5MB/s
um den Problem auf den grund zu gehen versuchte ich über vSphere mal die gleiche datei (400MB große .mp4 datei) in das datastore einer der beiden WD Red platten zu kopieren
und siehe da, er schafft auch hier nut 4-6 mb/s
also ALLE VM´s Abgedreht --> Selbes ergebniss
kopieren auf die SSD geht mit knapp 30 MB/s was auch nicht besonders schnell ist

dann habe ich über vSphere die datei von der SSD auf die WD Red verschoben. auch hier nicht mehr als 7 MB/s

zu erwähnen ist noch: ich habe auf der LAN NIC in ESXi den Promiscuous Modus auf "Akzeptieren" gestellt um die FreeNAS Plugins im lan zu erreichen, den hab ich aber versuchsweise auch wieder ausgeschaltet

habt ihr eine idee dazu?

[irix]

Moin,
die Hauptprobleme in folgender Reihenfolge:

- Kein RAID Controller mit Cache
- VMs ueberbuchen den unterdimensionerten Host was vCPUs angeht
- Falsche Netzwerkkarte. Nimm etwas von der HCL mit Intel/Broadcom


Realtek hats nur einmalig geschaft da was mit einem Treiber zu machen und bei 5.5 sind sie schon gleich wieder aus der HCL raus. Es ist den Aerger und Aufwand nicht Wert.

Gruss
Joerg

[muffinvernichtungswaffel]

Moin,
die Hauptprobleme in folgender Reihenfolge:

- Kein RAID Controller mit Cache
- VMs ueberbuchen den unterdimensionerten Host was vCPUs angeht
- Falsche Netzwerkkarte. Nimm etwas von der HCL mit Intel/Broadcom


Realtek hats nur einmalig geschaft da was mit einem Treiber zu machen und bei 5.5 sind sie schon gleich wieder aus der HCL raus. Es ist den Aerger und Aufwand nicht Wert.

Gruss
Joerg

erstmal danke für die antwort!

doch die platten sollten auch ohne Raid controller dass 10-fache schaffen
die CPU läuft sogut wie nie über 50% wen beide VM´s laufen. und das problem besteht auch wenn sie aus sind
und die Realtec NIC ist auf der WAN seite und sollte das kopieren Zw den Festplatten oder im LAN nicht beeinflussen.

[irix]

Na dann ist ja alles i.O.

Gruss
Joerg

[muffinvernichtungswaffel]

Na dann ist ja alles i.O.

Gruss
Joerg

naja iO ist es ned es ist exterm langsam

[mbreidenbach]

<kalau>Der I/O ist nicht i.O ?</kalau>

sorry musste raus

[Dayworker]

Ich fand ihn gut. Spaß beiseite.

@muffin...
Sei zufrieden, daß der ESXi überhaupt den Controller annimmt. Wir hatten hier schon einmal die ungeklärte Streitfrage, ob einzelne Laufwerke/Datenträger bei vSphere überhaupt supportet sind. Meiner Meinung nach nämlich nicht, obwohl ich es bisher nirgendwo richtig schwarz auf weiß gesehen habe. VMware schreibt im Zusammenhang mit AHCI oder dem IDE-Modus immer nur von CD/DVD-Laufwerken oder es geht ausschließlich um die Speicherung des ESXi selbst auf einen darüber oder über USB angeschlossenen Datenträger. Für den die VMs beheimatenden Datastore will VMware zumindest NL-SAS und SAS sehen. SATA ist in meinen Augen auch nicht supportet oder muß vom HW-Controller selbst verantwortet werden und VMware ist dann aus der Verantwortung genommen.

Wenn du die Red-Platten nicht gerade zum Sonderpreis erhalten hast, sind die rausgeschmissenes Geld. Die bei den Red-Platten mitgelieferte NAS-Firmware mußt du nämlich mitbezahlen und kannst deren Optimierung ausserhalb eines NAS überhaupt nicht ausnutzen. Selbst die Fehlerrate ansich und die MTBF sind kein Deut besser, als bei jeder stinknormalen SATA-Platte. Der einzigste Unterschied dazu ist die etwas bessere Auswuchtung, damit das NAS sich nicht selbständig macht und der durch die verringerte Drehzahl geringere Stromverbrauch sowie die etwas verlängerte Garantiezeit. Von den Werten einer Re-Platte hinsichtlich Garantiezeit, MTBF, zugesichter jährlicher Schreibleistung, uneingeschränkte Freigabe für 24/7- bzw Raidbetrieb sind Red-Platten weit entfernt.

[~thc]

Wir hatten hier schon einmal die ungeklärte Streitfrage, ob einzelne Laufwerke/Datenträger bei vSphere überhaupt supportet sind. Meiner Meinung nach nämlich nicht, obwohl ich es bisher nirgendwo richtig schwarz auf weiß gesehen habe. VMware schreibt im Zusammenhang mit AHCI oder dem IDE-Modus immer nur von CD/DVD-Laufwerken oder es geht ausschließlich um die Speicherung des ESXi selbst auf einen darüber oder über USB angeschlossenen Datenträger. Für den die VMs beheimatenden Datastore will VMware zumindest NL-SAS und SAS sehen. SATA ist in meinen Augen auch nicht supportet oder muß vom HW-Controller selbst verantwortet werden und VMware ist dann aus der Verantwortung genommen.

Wie findet ihr eigentlich in diesem Zusammenhang die Entwicklung in Richtung vSAN? War bisher jegliche lokale Nicht-RAID-VMFS-Storage ein No-Go, so ist es bei dem neuen Feature genau umgekehrt:

[...] Dazu benutzt sie lokale Festplatten in ESXi-Hosts. Jeder braucht dazu mindestens eine SSD und eine HDD. Als Empfehlung gibt VMWare ein 1:10-Verhältnis von SSD zu HDD an.[...] Ein ESXi-Host muss die physische (sic) Festplatten sehen können, es darf keine virtuelle Schicht dazwischenliegen, etwa durch einen RAID-Controller konfiguriert. Geht es nicht ohne RAID, muss man den Controller im Pass-Thru- oder HBA-Modus konfigurieren, damit der Hypervisor die Platten sieht.

[muffinvernichtungswaffel]

@muffin...
Sei zufrieden, daß der ESXi überhaupt den Controller annimmt. Wir hatten hier schon einmal die ungeklärte Streitfrage, ob einzelne Laufwerke/Datenträger bei vSphere überhaupt supportet sind. Meiner Meinung nach nämlich nicht, obwohl ich es bisher nirgendwo richtig schwarz auf weiß gesehen habe. VMware schreibt im Zusammenhang mit AHCI oder dem IDE-Modus immer nur von CD/DVD-Laufwerken oder es geht ausschließlich um die Speicherung des ESXi selbst auf einen darüber oder über USB angeschlossenen Datenträger. Für den die VMs beheimatenden Datastore will VMware zumindest NL-SAS und SAS sehen. SATA ist in meinen Augen auch nicht supportet oder muß vom HW-Controller selbst verantwortet werden und VMware ist dann aus der Verantwortung genommen.

Wenn du die Red-Platten nicht gerade zum Sonderpreis erhalten hast, sind die rausgeschmissenes Geld. Die bei den Red-Platten mitgelieferte NAS-Firmware mußt du nämlich mitbezahlen und kannst deren Optimierung ausserhalb eines NAS überhaupt nicht ausnutzen. Selbst die Fehlerrate ansich und die MTBF sind kein Deut besser, als bei jeder stinknormalen SATA-Platte. Der einzigste Unterschied dazu ist die etwas bessere Auswuchtung, damit das NAS sich nicht selbständig macht und der durch die verringerte Drehzahl geringere Stromverbrauch sowie die etwas verlängerte Garantiezeit. Von den Werten einer Re-Platte hinsichtlich Garantiezeit, MTBF, zugesichter jährlicher Schreibleistung, uneingeschränkte Freigabe für 24/7- bzw Raidbetrieb sind Red-Platten weit entfernt.

nunja ich bin ja nicht der erste der ESXi auf einem Microserver installiert. ich fand aber niemanden mit dem gleichen problem

die RED platten habe ich weil sie leise, stromsparend und für dauerbetrieb geeignet sind. so im detail hab ich mich damit aber nicht beschäftigt.

[Dayworker]

@~thc
Ohne mich da weiter in die Materie eingelesen zuhaben, klingt vSAN für mich wie SSD-Caching.


@muffin...
Ist schon richtig, daß auch andere wie unser "bla!zilla" den Microserver als ESXi-Host einsetzen. ABER bei allen mir bekannten Installationen kommt ein richtiger HW-Raidcontroller mit BBU und demzufolge auch WriteBack-Cache zum Einsatz. Speziell der WB-Cache verändert die IO-Performance um Welten.

[muffinvernichtungswaffel]

Hmm ich hab noch an anderer Stelle von dem gleichen Problem gehört mit dem controller.
Ich habe das System nach einem how to von sysops.tv nachgebaut und der hat von keinen Problemen der Art berichtet. Allerdings auch mit 5.1 und nicht 5.5.
Vl werd ich das auch nochmal probieren mit der alten Version.

Ansonsten konnt ihr mir einen günstigen contoller empfehlen der auch in das Gehäuse passt? Cache brauch ich Ned viel den FreeNAS verwendet eh dem RAM als Cache und davon hab ich genug

[bla!zilla]

Ich habe einen N36L mit einem Smart Array P212 mit 256 MB Cache und BBWC. Dahinter hängen 4x 1 TB WD Green. Ja, das Teil ist keine Rakete. Bei mir laufen nur ein W2K8 R2 (Fileserver, DNS, DHCP) und eine Utimaco UTM Appliance. Ursprünglich war die Maschine als Lab grdacht, aber dafür ist das Ding einfach viel zu schwach.

Was die Plattenperformance angeht bin ich ganz zufrieden (ein Array mit 4 Platten, ein Volume als RAID 1+0, ein Volume als RAID 0 für Images).

[Supi]

Moin,
die Hauptprobleme in folgender Reihenfolge:

- Kein RAID Controller mit Cache
- VMs ueberbuchen den unterdimensionerten Host was vCPUs angeht

Gruss
Joerg

ich würde trotzdem hier noch mal ansetzen. Nen Dual-Core AMD alter Schule und dann 2x2vcpu VM's? Wann soll der hypervisor denn da zeit für's I/O Handling bekommen.

[muffinvernichtungswaffel]

Wie gesagt das Problem besteht auch wenn die vms aus sind. Und wenn sie laufen dann hätt die CPU selten über 50%.
Auch sonst hab. Ich keine Performanceprobleme. Die Firewall/Proxy ist super schnell, alle webinterfaces und das managen und arbeiten über vsphere reagiert auch sehr flott

[bla!zilla]

Wenn die VMs warten einen Slot im Scheduler zu bekommen, dann zeichnet sich das durch einen hohen CPU RDY Wert aus, und nicht durch hohe CPU Last.

[muffinvernichtungswaffel]

was ist ein hoher CPU RDY Wert und wo seh ich den?

[muffinvernichtungswaffel]

ich hab nochmal nachgesehen

http://www.vmware.com/resources/compati ... tOrder=Asc

laut compatibility list ist der SB700 SATA Controller im AHCI und sogar im RAID Mode für ESXi 5.5 Kompatibel

[irix]

....
laut compatibility list ist der SB700 SATA Controller im AHCI und sogar im RAID Mode für ESXi 5.5 Kompatibel

Die Liste besagt das fuer den entsprechenden Controller der ESXi einen Treiber mitbringt und er mit den genannten Settings laeuft.

Der Controller funktioniert doch auch auch bei dir.

CPU %Rdy sieht man am schoenen auf der Konsole im "esxtop" -> S2 -> C und dann in der Spalte %rdy. Eine Erklaerung der Spalten und Werte kannst du auf yellow-bricks.com nachlesen.

Gruss
Joerg

[bits75]

Code: Alles auswählen

 Eine Erklaerung der Spalten und Werte kannst du auf yellow-bricks.com nachlesen.

Tolles PDF diesbezüglich:

http://www.running-system.com/wp-conten ... sh_v11.pdf

LG
Seb

[muffinvernichtungswaffel]

Ich habe einen N36L mit einem Smart Array P212 mit 256 MB Cache und BBWC. Dahinter hängen 4x 1 TB WD Green. Ja, das Teil ist keine Rakete. Bei mir laufen nur ein W2K8 R2 (Fileserver, DNS, DHCP) und eine Utimaco UTM Appliance. Ursprünglich war die Maschine als Lab grdacht, aber dafür ist das Ding einfach viel zu schwach.

Was die Plattenperformance angeht bin ich ganz zufrieden (ein Array mit 4 Platten, ein Volume als RAID 1+0, ein Volume als RAID 0 für Images).

hast du nen paar werte zu der plattenperformance? ich würde darauf dann auch gern meine backups ablegen, die sind natürlich recht groß