Performance schwächelt - solved

[dvh]

Servusla

Wir haben einen ESXi 5.1 (kaufversion) mit einem Raid10 aus 8 SAS Platten.
In den ESXi haben wir noch per iSCSI ein NAS-Volume mit 4,5TB reingehängt.
Das "NAS" ist ein ehemaliger Server auf dem Openfiler 2.99 läuft mit 12 SATA Platten im Raid 5.
Verbunden sind NAS und ESXi ganz normal über ein Gigabit Netzwerk - keine dedizierte Leitung.

Darauf installiert sind mehrere VMs unter anderem ein Windows Server 2008R2.
3 seiner Laufwerke (C, D, E) liegen auf dem ESXi Datastore (insg. 1,2TB).
1 Laufwerk (S) liegt auf dem NAS System (1,8TB).

Mein Problem:

Wenn ich viele Dateien (50GB+) innerhalb der Windows Server VM vom Laufwerk D nach S kopieren will,
sackt mir die Leistung kontinuierlich ab - langsam aber stetig.
Am Anfang schreib ich mit ungefähr 100mb/s. Nach 10GB sind es noch 70mb/s.Nach ca. 50GB bin ich bei 20mb/s.
Danach schreib es ziemlich konstant.

Da in diesem Szenario viele Komponenten Mitspielen(2 Raid Controller, hoher Netzwerk Traffic usw.)
fällt es mir schwer die Ursache herauszufinden.

Meine Analyse

Die zum Teil sehr hohen Schreibraten am Anfang sind vermutlich dem Cache zuzuschreiben.
Nach meinen Verständnis würde ein Cache schnell vollaufen. Danach sich eine konstante Kopierleistung einstellen.
Viel schneller als bei meinem Problem. Deswegen würde ich einen zu kleinen Cache ausschließen.

Da ich ganz normal kopiere, also kein gezippe, gehe ich davon aus das die Daten 1:1 übers Netzwerk laufen.
Bei ein unserem Gigabit Netz denke ich mal, dass das Bedeutet das ich eine Bruttoleistung von 125mb/s habe
(Minus Overhead, fremder Datenverkehr, nichts allzu tragisches.)

Die Quelle schließe ich aus, da 8 SAS Platten im Raid 10 ein Bollwerk sind.
Das Ziel könnte schwächeln. 12 SATA Platten im Raid 5. Aber auch da sollten doch 20mb/s locker drin sein.

Im Internet findet man einiges zu iSCSI - Performance schwächen unter ESXi,
die sich mit leichtem Tuning am iSCSI Initiator beheben lassen sollten.
Gibt es diesbezüglich noch Tipps, oder hat vielleicht noch jemand eine Idee wieso das nicht mächtig losfeuert?

Vielen Dank an jeden der es bis hierher durchgelesen hat.

Mit freundlichen Grüßen

dvh

[andiwe]

Du kennst diesen KB Artikel
http://kb.vmware.com/selfservice/micros ... Id=1026596

[Dayworker]

In meinen Augen sind ein Raid10 aus 8 SAS-Platten kein Bollwerk sondern nur sinnvolles Minimum. SAS mit 10kU/min leistet dabei ca 150 IOPS während SATA bei 7.2kU/min zwischen 75 und 100 IOPS verharrt. Daraus ergeben sich theoretische 1200 IOPS bei 8 Platten bzw 600 praktische IOPS wegen Raid1+0 für das "SAS-Bollwerk" und für das Openfiler-NAS irgendetwas zwischen 900 bis 1200 IOPS. Ein Raid 5 hat aber immer die bekannte Schreibschwäche, von daher ist dein Raid5 zwar IOPS-technisch zügiger aber schreibtechnisch trotzdem wesentlich langsamer als dein Raid1+0.
In die Gesamtperformance mit rein spielt auch die Frage, mit welcher Stripe-Size euer OpenFiler aufgesetzt wurde?



[edit]
Fehler dank "irix" korrigiert.

[irix]

Bei einem 8 RAID10 kommen 4x150IOPS heraus was dann so 600 ergibt. Aber das sollte trotzdem fluffig sein und somit ist es der OpenFiler mit dem Sata RAID welches den Bottleneck darstellt.

Gruss
Joerg

[MarcelMertens]

Schau dir mal mit ESXTOP die IOWerte und die SCSI Conflicts an

[dvh]

Erstmal vielen Dank für die Tipps, ich werde gleich weiter am System basteln.
Es sind 8 15K SAS Platten. 2 Hexa Xeons. und 32GB RAM.
Für meine noch sehr junge Karriere (Azubi) in der IT ist dass das stärkste System bis dato.

Das Openfiler (bzw seine Platten) den Bottleneck darstellt hab ich ja schon vermutet (siehe erster Post).
Ich werd mal die Festplatten noch genauer beobachten. Leider war Raid 5 nicht meine Entscheidung (Kundenwunsch wegen Kapazität....). Ich selbst bin seit der Serverinstallation in Raid 10 verliebt

Gestern hab noch einiges gefunden das auf Netzwerkprobleme schließen lässt. Meint ihr ich sollte da auch weiterforschen?

[dvh]

die Quelle war das Problem !!

der Virenschutz hat die Performance gesaugt. Ich dreh echt am Rad.
Tagelanges Suchen fürn **********.

Ich bin jetzt bei 95mb/s.

Völlig ausreichend für unsere Zwecke.

Ich danke euch Allen für euren Input.

[rprengel]

die Quelle war das Problem !!

der Virenschutz hat die Performance gesaugt. Ich dreh echt am Rad.
Tagelanges Suchen fürn **********.

Ich bin jetzt bei 95mb/s.

Völlig ausreichend für unsere Zwecke.

Ich danke euch Allen für euren Input.

Also ein Klassiker.
Welchen Scanner nutzt ihr?

Gruss

[dvh]

Panda Endpoint Protection - Lizensiert

[Klaus_Urban]

Hallo dvh,
>Panda Endpoint Protection - Lizensiert

Panda, Norton, Antivir, Avast und McAfee installiere ich nicht mal auf einem Kinderzimmer-PC. Auf einem Sever erst recht nicht.
Ich setze schon lange NOD32 ein. Damit gibt es keine Probleme und das System bleibt relativ schnell. Wenn es für die Home-Rechner unbedingt eine kostenlose Version sein soll, nehme ich den MSE.

Klaus

[dvh]

Der Panda war vor mir in der Firma. Und in meinen letzten Wochen hier in der Firma werde ich keine Grundsatz diskussion starten.

Ich bin einfach froh das alles läuft.

[Klaus_Urban]

Hallo dvh,
wie hast du das Problem denn beseitigt?
Den Virenschutz deaktiviert?

Klaus

[dvh]

Die Lizenz ist eh end of Life. Vermutlich werden Sie nichtmehr aktivieren. Welches Produkt wir künftig verwenden ist noch nciht geklärt. Letztens waren Kasperskyvertreter da.

Bei Panda nur das Laufwerk auszuschließen würde wohl nicht vollkommen ausreichen (immerhin ist der swap dynamisch). Ich bin an der Sache eh noch dran.

Ich poste dann noch wie wir verblieben sind.

[Klaus_Urban]

Hallo dhv,

> Letztens waren Kasperskyvertreter da.

kopiere die VM und teste erst mal ein paar Demo-Versionen.
Der Kaspersky Virenscanner findet zwar viele Viren, aber er bremst das System auch aus.

Klaus