Latenz wird sehr hoch (Lese mehr als Schreib)

[melberg]

Hallo,
ich habe einen ESXi 4.1 Host auf dem ein Fileserver läuft.
Wenn ich nun auf dem Fileserver ein Verzeichnis mit ca. 300 PDF zippen will,
so geht das bei den ersten paar Dateien noch sehr schnell.
Je mehr Dateien verarbeitet werden, umso langsamer wird der ZIP Vorgang.
Dies kann sogar dazu führen, dass der Fileserver praktisch gar nicht merh auf Anfragen von anderen Clients reagieren kann.
Ich habe jetzt festgestellt, dass dann die Leselatenz des physikalischen Gerätes (Dell MD3000i ISCSI - 2TB - SATA Raid 10) sehr hoch wird (über 1000). auch die Schreiblatenz geht auf Werte um die 300 und höher.
Kann mir jemand sagen, woran das liegen könnte ?
Wo kann ich da was optimieren. Zur Zeit des Tests war praktisch kein anderer Traffic auf dem Fileserver/Host/Storage außer das zippen der PDF.

Vielen Dank
Mark
Eigentlich wollte ich noch einen Screeshot anhängen von der Messung, aber irgendwie wir der nicht angefügt ?!

[Dayworker]

Thema Dateianhänge, schau in meine Signatur und verlinke alle Anhänge auf einen Freehoster.

[irix]

Aufschluss koennen da nur die Logs geben. Latenzen bis 20ms sind "normal" und bei Last bzw. schwachem Storage dann auch mal 50. Alles drueber hinaus macht sich sehr stark bemerkbar und Werte von 300 ist jenseits von Gut und Boese.

Kontrolliere ob der Anschluss und Konfiguration gemaess der VMware Vorgabe ist genauso wie die Firmware. Klappt es dann nicht einen #SR bei VMware aufmachen.

Nur wenn oberes geht schaut man sich die Best Practices des Herstellers an und setzt diese um und Testet dann wieder.

Gruss
Joerg

[kastlr]

Hallo Marc,

du darfst solche Werte niemals alleine betrachten, sondern immer noch weitere Werte prüfen.
Wie hoch sind z.B
      - IO/sec
      - MB/sec

VMware "errechnet" die Werte nämlich und greift gerade bei Peaks oft daneben.
Wenn dieser Latenz Wert korrekt wäre, würdest du gerade einmal einen IO pro Sekunde ausführen können.
Aber ich bin mir sicher das du deutlich mehr IO/sec und auch einen halbwegs passablen Wert bei MB/sec vorfinden wirst.

Nichts desto trotz wird die Ursache höchstwahrscheinlich auf deinem Storage liegen.

Wenn du wie in deinem Fall viele (kleine ?) Dateien zippen möchtest, hast du einen Read Anteil von annähernd 100%, der wahrscheinlich auch noch ausschließlich Random ist.
Damit fällst du auf native Diskperformance zurück, und eine SATA Platte schafft so ca. 100-120 IO/sec.
Je nachdem wo du das ZIP File speicherst müssen die Writes auch noch mit betrachtet werden, und dann kommen auch noch die IO's des Betriebsystems dazu.
Sofern das alles in einem Topf landet, kann das schon ein Teil des Problems sein.

Wie ist denn dein Design,

auf wie vielen Datastores liegt dein Fileserver?
wie viele virtuelle Disks hat dein Fileserver?
Ist der ESX Server overcommitet?

Gruß,
Ralf

[melberg]

Hallo Ralf,
also unser System wurde seinerzeit folgendermaßen aufgebaut.
Es gibt also einen ISCSI Dell MD 3000i mit 2 RAID Controllern.
Dort gibt es 3 LUN.
2 X 270 GB SAS für die SQL / Exchange DB und
1 X Raid 10 SATA mit 1,8 TB
Wir haben VSPHERE 4.1 Essential Plus mit 3 Hosts.
Auf diesen Hosts laufen 9 virtuelle Maschinen
2 SQL Server (Systemplatte auf dem SATA Storage SQL DB auf SAS)
1 SBS (Systemplatte auf dem SATA Storage - Exchange auf SAS)
1 TerminalServer (Festplatte auf dem SATA Storage)
3 Win7 WS (jeweils die Platten auf dem SATA)
1 LINUX WS (Nagios Platte auf dem SATA)

und den Fileserver
1 FileServer(Systemplatte und 1 FestplattenStorage(800 GB) beide auf dem SATA)

ist das von der Konfiguration schon grundsätzlich schlecht ?
Werde heute Abend noch mal die Werte messen, die du angesprochen hast und mich dann noch mal melden.

Danke und Gruß
Mark

[kastlr]

Hallo Mark,

sorry für die späte Antwort, war heute ziemlich beschäftigt.

Deine Frage kann ich nicht wirklich beantworten, da

ich das Array nicht kenne und du
die Anzahl der Disks nicht genannt hast

Aber die Virtualisierung hat aus Sicht der Disk IO's kaum etwas verändert.
Zähle einfach mal die Anzahl der virtuellen Disks zusammen und stelle sie der Anzahl der vom Array bereitgestellten LUNs gegenüber.

Diese 3 LUN's müssen in der Lage sein, sämtliche anfallende IO's in vernünftiger Geschwindigkeit zu verarbeiten.
Wenn du nun z.B. insgesamt 30 virtuelle Disks in deiner Umgebung betreibst und diese bei normaler Last jeweils 50 IO/sec erzeugen, müssen deine 3 LUN's im Storage Array schon 1500 IO/sec verarbeiten können.
Und hierbei handelt es sich zu 99% um Random IO's, so daß die Schreib/Leseköpfe der physikalischen Platten ständig unterwegs sind.
Ein Schreib/Lese Cache im Array kann das bis zu einem gewissen Maß "glätten", aber eigentlich sollte man beim Sizing eines Arrays den Cache immer rausrechnen.

Bin mal gespannt wie es hier weitergeht.

Gruß & schönes Wochenende.
Ralf