99% iowait, hdparm liefert schlechte Werte

[Sinky]

Hallo,
wir haben hier einen ESX 3.5. Er ist lokal auf einem 500GB SATA RAID 1 installiert.
Die VM's liegen per iSCSI auf einem NAS und sind über 100 Mbit/s angebunden.

Code: Alles auswählen

top
 09:24:43  up 58 days, 18:08,  1 user,  load average: 1.24, 1.27, 1.13
266 processes: 264 sleeping, 2 running, 0 zombie, 0 stopped
CPU states:  cpu    user    nice  system    irq  softirq  iowait    idle
           total    0.7%    0.0%    0.5%   0.0%     0.1%   98.4%    0.0%
Mem:   268564k av,  258544k used,   10020k free,       0k shrd,   11912k buff
                    189400k actv,   33504k in_d,    1012k in_c
Swap:  554200k av,   83880k used,  470320k free                  106772k cached

  PID USER     PRI  NI  SIZE  RSS SHARE STAT %CPU %MEM   TIME CPU COMMAND
20578 root      15   0 82892  70M 10116 S     0.7 26.7  10:55   0 vmware-hostd
 1922 root      15   0 33968  32M 31516 S     0.1 12.2   0:59   0 eecd
28743 root      15   0 82892  70M 10116 S     0.1 26.7   9:32   0 vmware-hostd
31824 root      15   0  1312 1312   880 R     0.1  0.4   0:00   0 top
    1 root      15   0   496  460   436 S     0.0  0.1   0:04   0 init
    2 root      15   0     0    0     0 SW    0.0  0.0   0:00   0 keventd


top zeigt einen dauerhaften "iowait" von ~99% an

Code: Alles auswählen

hdparm -t /dev/sda
 Timing buffer-cache reads:   18152 MB in  2.00 seconds = 9076.00 MB/sec
 Timing buffered disk reads:    8 MB in  3.27 seconds =   2.45 MB/sec

hdparm sieht auch nicht so prickelnd aus.

Probleme sind bis jetzt eigendlich nur bei einer VM zu sehen. Welche eben auch extrem langsame hdparm Werte liefert.
Wie komme ich von diesem iowait runter?

Vielen dank für Tipps
Mfg Marco

[irix]

Ohje....

also eine Spindel ist ja nun erstmal nix. Aber wenn ich das richtig verstanden haben dann liegt auf dem lokalem Storage eh nur der ESX und kein benutzter Datastore oder? Sofern nur der Hypervisor selber die Disk benutzt ist es ok.

Was ist das fuer ein NAS und warum ist es nur ueber den Klingeldraht angebunden? Solltest du dem Irrglauben unterlegen sein das ein SOHO NAS einen akzeptales Storage ist dann hast du nun Klarheit. Die Taugen unter umstaenden nicht einmal als Backup Loesung wie du hier sehen kannst http://vmware-forum.de/viewtopic.php?p=68883#68883

Wenn du nur wenig Geld hast dann guck dir Openfiler oder besser Open-E iSCSI R3 an. Wenn das jemals was Produktives werden soll dann was kleines von HP bzw. DELL (Vault) oder noch eins drunter Infortrend.

Wenn kein shared Storage/SAN benoetigt wird dann lokalen Storage mit 6-8 Spindeln.

Gruss
Joerg

[angoletti1]

Die VM's liegen per iSCSI auf einem NAS und sind über 100 Mbit/s angebunden.

Damit hast du dir doch schon selber die Antwort gegeben.
Ein NAS mit 100MB Uplink ist garantiert kein professionelles. Ein unprofessionelles NAS hat garantiert keine schnellen Platten, also entweder bloß ne SATA oder gar PATA.

Wie soll da was bei rum kommen?
Zum Vergleich: Anständiger shared storage ist mit 4GB angebunden und hat >=16 Platten dahinter.

Kleine Frage zum Nachdenken: Warum läuft Vista auf meinem Pentium 2 so langsam?

[Sinky]

Hi,
vielen dank für deine Antwort.
Unser NAS ist von N-TEC, ein "rapidSAN UDS316" mit Open-E DSS.

Und ja, auf dem lokalen Storage ist nur der ESX selber. Wenn du meinst das es dann ok ist verstehe ich nicht wieso bei der einen VM dann die selben Probleme auftreten? Es laufen noch 14 andere Server auf diesem ESX.

Wenn ich jetzt noch sage das wir nur "einen" ESX haben ...

Mfg

[irix]

Hi,
vielen dank für deine Antwort.
Unser NAS ist von N-TEC, ein "rapidSAN UDS316" mit Open-E DSS.

Hmm.. das ist ja nun schon mal kein Home NAS. Habt ihr das SAN mal mit IOMeter gebenchmarkt und das von einem direkt angeschlossenem Client (also keine VM)?

Bei Open-E gibts 2 unterschiedliche Settings für Block/IO und IIRC wird empfohlen beim Einsatz von ESX den default zu aendern. Hier tut aber der default und wir haben 30 VMs auf einer PE2900 mit 6x500GB SATA RAID6. Also nur 4 Spindeln.

Kannst du nochmal gucken ob ihr wirklich nur 100MBit habt oder warum kein Gigabit?

Wenn ich jetzt noch sage das wir nur "einen" ESX haben ...
Mfg

Einer ist immer der erste

Gruss
Joerg

[Sinky]

Hallo,

ich habe mich hier ein wenig geirrt.

Also nochmal die Angaben:

Wir haben ein RapidNAS-DSS mit insges. 16 HDDs.
4 HDDs laufen in einem RAID 5 Verbund. Diese sind nun für den ESX als ein iSCSI Target mit 1 TB Größe bereitgestellt.

Auf der CLI des RapidNAS haben wir, wie empfohlen, den iSCSI-Volume-Type auf "File I/O" gesetzt.

Wir hatten zunächst die 4 HDDs in einem RAID 10 Verbund.
Open-E hat uns zu einem RAID 5 geraten, da dieses mit 4 HDDs performanter sei als das RAID 10.

Das NAS ist wie hier schon vermutet tatsächlich mit einer Gigabit Leitung im Netz.
Da zur Zeit auch beide NICs des NAS bereits verbunden sind (1. NIC->LAN, 2. NIC-> direkt an NAS2 für Repl.), können wir den ESX nicht direkt anschließen.
Das NAS hat auch keine HDD-Einschübe mehr frei.

Den hdparm-Test habe ich aber mit dem lokalen RAID1-Verbund getestet, nicht mit dem iSCSI-Laufwerk.

Kann ich denn irg.-welche Tests mit dem iSCSI machen?

[daniel1010]

Lese dir erst mal das durch.
http://www.luga.de/Angebote/Vortraege/iSCSI/iSCSI.pdf

Hier bekommst du einen ungefähren Einblick wie schnelle ein iSCSI ungefähr unter 100 Mbit wird.

Und dann schau mal auf auf das NAS und schalte auf WRITE BACK des RAID-Controllers
um. Da solltest du nun auf ca. 15 MiB kommmen.