gelöst: HP FC Problem Durchsatz ~12MBit

[MarcelMertens]

schon mal mit esxtop geschaut ob irgendwo hohe Latenzen auftreten?

ja hab ich
http://dl.dropbox.com/u/38696947/esxstat.jpg
Da bei mir aber alle Werte sch*** sind weiß ich nicht was gut und schlecht ist...

Irgendwie fühle ich mich bei meinen vermuteten Schwächen im Design nun bestätigt.

Wo sollen da Schwächen sein das Raid6 Array aus allen Platten?
oder das Fabric? Alle Ports point-to point angeschlossen und Zones definiert, in denen Sich immer nur Sender und Empfänger gegenüberstehen .. das Ganze redundant also auf 2 Switchen in unterschiedlichen Domains wo ist der Fehler. über eine konkreteren Lösungsansatz würd ich mich freuen.[/url]

Interessant sind hier die Werte DAVG/wr & KAVG/wr.

DAVG -> Festplattenlatenz beim Schreiben -> Platten antworten nicht schnell genug
KAVG -> Kernellatzen beim Schreiben -> Kernel bekommt seine Daten nicht weg (hohe CPU Last z.B.)

GAVG ist die Summierung von beiden Werten. Und mit 59ms ist dieses definitiv zu hoch. Maximalwert (Backup mal ausgenommen) sollte hier 25ms, ehr 20ms sein.

Das OS ist also schonmal auszuschließen...

[j.michaelis]

Danke für die erklärung der Werte.
Ausgelastete CPU hatte ich noch nie. http://dl.dropbox.com/u/38696947/%60CPU%20und%20Speichernutzung.jpg
Die dümpelt immer bei 4-10% rum. Bei RAM sieht's eher schlecht aus(die wurden zur Anschaffung zu gering dimensioniert) 50gb - ist der einzige Grund außer FT ne zweiten Server überhaupt zu starten;-)

[bla!zilla]

Ca 30 virtuelle Maschinen greifen meist auf eine eigene LUN zu ( um konkurrierende Zugriffe zu minimieren) die Spiewiese(testumgebung) teilt sich eine LUN.

30 VMs teilen sich 10 Disks mit in Summe ca. 750 IOPS... Das Ding wird niemals so aus den Hufen kommen. Zu viele VMs, zu wenig Disks, unpassendes RAID Level für die Anforderungen. Darauf deuten auch die Werte hin, die Marcel gerade erklärt hat. Das Disksystem ist zu lahm für so ein Setup.

[MarcelMertens]

Ich gehe konform mit Patrick.
3 VMs je Platte die auch noch unter einen RAID6 "Leiden" und als "Bonbon" noch SATA...
Ich bin mir nicht mal 100% sicher ob ein Umbau auf RAID10 mit 10 Platten Hilft. Die RAID Penalty ist zwar weg, aber das macht die Platten auch nicht schneller. Und die SATA Latenz ist nun mal doppelt so hoch wie die von SAS/FC Platten.

Am besten ein weiteres Shelf mit 10/15K SAS Platten wohin die wichtigen Maschinen ausgelagert werden

[bla!zilla]

Jap, die 2312fc ist mit den 12 Disks eh voll. Ich sehe da auch nur die Chance mehr Performance durch schnellere und mehr Disks rauszuholen. So eine MSA70 mit 25 10k SAS Disks wird da schon ordentlich was bringen.

[j.michaelis]

30 VMs teilen sich 10 Disks

nicht ganz - es sind doch zwei solche MSAs also30 Maschinen auf 20 Platten in 2 mal 10 Platten RAID 6
halbiert die Fehler

[j.michaelis]

bin jetzt schon beim umschaufeln werd' mal ein RAID 10 Array bauen und testen..

[j.michaelis]

umkopieren aus einem raid6 array in ein 10er
http://db.tt/6DiFgu6U
die Latenzen immer noch sehr hoch!

[irix]

Auf welche Weise bzw. mit was "kopierst" du?

Gruss
Joerg

[j.michaelis]

Mitrieten des Datenspeichers mit vcenter von lun zu lun

[irix]

Mitrieten des Datenspeichers mit vcenter von lun zu lun

Da weis ich nie ob nicht der Dumme Client die Daten erst herunterlaedt und dann hochlaedt.

Warum nimmst du nicht Migrate->Datastore? Da ist sichergestellt das der ESX ist Arbeit macht und die VM bleibt auch weiter registriert.

Gruss
Joerg

[bla!zilla]

Kopierst du auf einer MSA oder von MSA zu MSA?

[j.michaelis]

Ichhab das mit Migräne datastore ausgelöst.
Die Source lun ist auf einer andern Msa als die Destination.

[j.michaelis]

Nicht Migräne sondern datastore migrieren

[irix]

Nicht Migräne sondern datastore migrieren

Sind die Werte da immer noch so Hoch?

Gruss
Joerg

[j.michaelis]

ja leider
http://db.tt/btqVpQ5N

[bla!zilla]

Ich bin mir nicht mal 100% sicher ob ein Umbau auf RAID10 mit 10 Platten Hilft.

... was nun bestätigt wäre.

[j.michaelis]

ja nun bleibt mir nur noch der HyperV-Umstieg oder was
Ich verzweifele bald
Eine Anschaffung neuer Storages kommt nicht in Frage hab keine Mittel dafür.

[MarcelMertens]

dein problem ist nicht dass du den falschen hypervisior verwendest, sondern dass dein storage für deine Anforderung zu langsam ist.

Wie du ja schreibst hast du zwei 2412 Systeme. ist auf dem zweiten weniger los?

[j.michaelis]

ich hatte ja um die Last so gut als möglich zu verteilen;-) beide identisch aufgebaut und die Logischen Disks darauf zugleichen Teilen verteilt

[bla!zilla]

Eine Anschaffung neuer Storages kommt nicht in Frage hab keine Mittel dafür.

Das wäre aber die Lösung, bzw. der Ausbau der Systeme.

[j.michaelis]

Wenns die Platten sein sollen.. hab ich noch eine Frage... s.h. http://db.tt/JfS3V23N
Die schon mehrfach erwähnte Win2008(hyperV) hier kopiert eine vMaschine am selben set ( Port4 auf einem der beiden Fibreswitchs) mit 100MB/s..

vmware VM kopiert mit max 20MB/s vs hyperV VM kopier mit 100MB/s

Irgendwie schließe ich doch auf esx ich bin warscheinlich zu doof den Treiber richtig zu konfigurieren oder ich hab noch irgendwas übersehn.
Ich will meinem windowsaffinen Kollegen nicht recht geben und seinen Migrationsvorschlag zu Hyperv gehen müssen.

[Dayworker]

Wenn ich das richtig gelesen hatte (ich find den Link wieder mal nicht), ist der Unterschied in meinen Augen aber recht einfach im Unterschied zwischen Hyper-V und vSphere zu erklären.
Beide Hypervisoren greifen zwar direkt auf die HW zu, trotzdem werden die Plattencontroller in einer VMware-VM nur in SW abgebildet. Bei Hyper-V erhalten die VM-Controller über optimierte Treiber aber fast direkten Zugriff auf die verbaute Host-HW.
Damit ist die IO-Performance bei VMware anscheinend stärker von der Storageperformance abhängig als bei Hyper-V.

Obwohl sich diese Hypervisoren nur schlecht mit Desktop-Produkten vergleichen lassen, bestättigen meine eigenen Erfahrungen mit den Hosted-Produkten VMserver1/2, Workstation und Player jedoch diesen Zusammenhang.
Die Schreibperformance innerhalb einer VM unter diesen Produkten erreicht unter Dauerlast höchstens 1/3 der möglichen Systemperformance. Sie sinkt sogar je nach Auslastung von Host und Gast auf 1/4 oder darunter ab.

Vor diesem Hintergrund wirst du um den empfohlenen Ausbau oder gleich eine Neuanschaffung nicht herumkommen.


PS: Die größere Abhängigkeit von der Storageperformance sehe ich als verschmerzbaren Preis dafür an, daß sich VMware-VMs ohne grössere Probleme (Spezialitäten ala Passthrough oder Laufwerkskonventionen mal außen vor gelassen) auf den verschiedenen VMware-Produkten direkt starten lassen.

[j.michaelis]

Beide Hypervisoren greifen zwar direkt auf die HW zu, trotzdem werden die Plattencontroller in einer VMware-VM nur in SW abgebildet. Bei Hyper-V erhalten die VM-Controller über optimierte Treiber aber fast direkten Zugriff auf die verbaute Host-HW.
Damit ist die IO-Performance bei VMware anscheinend stärker von der Storageperformance abhängig als bei Hyper-V.
.

Also das Argument bereitet mir Bauchschmerzen:
Ich fasse zusammen ich brauche ein performanzetes Storrage weil VMware mit den Recourcen schlampt.

Bei einer "günstiger Analyse"( die unser Controller mir sicherlich um die Ohren haut) wird der Wechsel zu hyperv als rechnerischer Sieger hervorgehen.
4 Lizenzen + Schulungs- und Migrationsaufwand vs 24 sas Platten a600€ oder sogar ein neues FC-Storage.

Gibt's wirklich nichts wo ich noch stellen kann das kann doch nicht den Faktor 5 (20 vs 100 MB/s) ausmachen oder?
Was haltet ihr zB von solchen Vorschlägen die Maximum queue depth auf 64 zu stellen wie hier http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1267 vorgeschlagen?

[stahly]

Falls Du zu MS-HyV umsteigen möchtest, kannst Du hier den Funktionsumfang der Systeme vergleichen:

http://www.virtualizationmatrix.com/matrix.php