Read Performance langsam, write passt

[jba]

Hallo und guten Morgen,

nach Verschiebung einiger virtueller Systeme auf ein HP P2000 System (iSCSI) haben wir eine unheimlich Differenz zwischen Schreib- und Lese Performance. Die Übertragung einer 500MB großen Datei auf das System geht in ca. 10 Sek von Statten. Das Lesen dauert ca. 2 Minuten (mittel LAN Speed Test). ESX 5.5, laut Update Manager aktuell. Firmware der P2000 ebenfalls aktuell. Gemäß Info VMWare sind Delayed ACK aus sowie LoginTimeout auf 60. Interessanterweise zeigt er mir auf der Console per vmkiscsid --dump-db einen Connecter an, der DelAck auf 1 und den timeout auf 5 hat. Obwohl per vSphere alles geändert.
Nach einen reboot des Host geht das ganze eine Zeit lang flott. Wir reden allerdings von Minuten, nicht Tagen. Dann brichts wieder ein. Backupzeiten sind dementsprechend immens. vmkernel.log zeigt nichts auffälliges. Auf dem System sind 6 virtuelle Kisten, nix davon als Ressourcenfresser. Storage meldet keine Probleme.

Nachtrag: Verbaute Switche sind HP 1910er

Gibts da jmd., der ne Idee hat?

Vielen Dank.

[Supi]

Ohne mehr Angaben wird das nur fischen im Trüben.
Welche Host im Einsatz? Wieiviele ISCSI NIC?
Welche MSA Version genau und welcher FW Stand (Nr) ?
Welcher Switch dazwischen?
Wo langen die VM's zuvor? Wie verhielt es sich da?
Verhielten sich ggf alte VMs, die schon auf der MSA lagen, zuvor auch schon so?

Jumbo Frames an?
http://h30499.www3.hp.com/t5/Disk-Array ... -p/4387225

Blazilla kann da sicher als HP Profi mehr sagen, wenn er obige Infos hat.

[jba]

Ok, das sehe ich ein.
ESXI 5.5 auf nem HP DL380.
2 ISCSI am Host und an beiden Controler der P2000 (via HP 1910er Switch)
HP P2000 G3 ISCSI mit folgender Firmware:
#####
Current Controller Versions
Component Controller A Controller B
Bundle Version TS251P005 TS251P005
Storage Controller Code Version T251P08-01 T251P08-01
Storage Controller Loader Code Version 23.008 23.008
Memory Controller FPGA Code Version F400R02 F400R02
Management Controller Code Version L251R005-09 L251R005-09
Management Controller Loader Code Version 2.5 2.5
Expander Controller Code Version 2028 2028
CPLD Code Version 22 22
#####
Switch 2 HP 1910-16G
Zuvor lagen die VMs auf nem 5.5er ESX auf lokalem Storage. Gleichzeitig zum Umzug auch ein Update des neuen ESX per Updatemanager.
MSA neu, daher leider keine Vergleiche möglich.

Jumboframes an und aus, keine spürbare Veränderung.

Habe jetzt ein paar tests mit 100MB Dateien gefahren. Ab und an läuft das sauber durch, dann wieder gehen die ersten 10 oder 20 MB schleppend, der Rest fix. vmkernel.log bleibt clean.

[irix]

Gemäß Info VMWare sind Delayed ACK aus sowie LoginTimeout auf 60. Interessanterweise zeigt er mir auf der Console per vmkiscsid --dump-db einen Connecter an, der DelAck auf 1 und den timeout auf 5 hat. Obwohl per vSphere alles geändert

Dann hast du die Werte hinterher geeandert und dann ist es so das sich div. Settings nicht mehr aendern (lassen) obwohl man das in den Adv. Settings zu geklickt hat.

Du must nun das Static und Dynamic Binding loeschen und die Anbinung nochmal konfigurieren und dazwischen einmal Neustarten.

Gruss
Joerg

[jba]

Ja, habe ich. Das kann ich dann aber erst machen, wenn der Server problemlos offline gehen kann.

Seltsameweise (ich werd dabei noch verrückt) ist ein Transfer einer 200MB Datei bis dato immer zügig abgeschlossen. 300 und 500 dagegen sind sehr langsam. Kann es da einen Zusammenhang geben (abgesehen von dem der Dateigröße natürlich)?
Gerade getestet:
200 MB: write 3,3s read 2,3s
300 MB: write 4,7s read 88,7s

[kastlr]

Hallo,

lass doch einfach mal ein esxtop mitlaufen, während du die Tests durchführst.
Und dann lass dir doch mal vorher und nacher die Statistiken der iSCSI Adapter anzeigen, ob da eventuell Packete gedropped werden.

Happy hunting,
Ralf

[jba]

esxtop zeigt mir - sofern ich es richtig mache und auswerte - selbst im normalzustand um die 800w/s und 5 r/s. Ich muss dazu sagen, das auf dem ESX nicht allzuviel läuft (was "Bewegung" und Performance angeht). Ist ja erst im Aufbau.

Wo finde ich diese ISCSI Statistiken?

[kastlr]

Hallo,

was hast du denn virtualisiert, wenn du 800 Writes und nur 5 Reads pro Sekunde hast???
Oder sind das die Werte einer LUN,auf der eine DB ihre Transaktions Logs speichert?

Du kannst dir die Statistiken deiner HBA's wie folgt anzeigen,

Code: Alles auswählen

esxcli storage core adapter stats get
esxcli iscsi adapter get -A=Adapter

Ich verwende kein iSCSI und kann daher keine weiteren Beispiele liefern.

Gruß,
Ralf

[jba]

Hi,
da liegt eine virtuelle Win7 drauf, ein Win2012 Datenbank Server der sich allerdings meist langweilen sollte, eine frische Win2012R2 Inst sowie ein zweiter Domänen Controller. (Mit diesem DC teste ich übrigens auch (also per Netzwerk Dateien schreiben und lesen) Alles Kisten, die noch recht ruhig fahren. Ich habe nun folgendes gemacht:

Den DC per Migration auf einen anderen Host gelegt. Keine Verbesserung. Damit schliesse ich den HP DL380 auf dem das virtuelle Systeme normalerweise liegt, erst mal aus.

Einhergehend also auch die dort konfigurierten iSCSI Connectoren.Der HP Srv ist mit 2 NIC Ports an 2 HP Switchen, das Storage System mit 2*2 (Dual Controller) an diesen Switchen. Ich habe einen freien Port des StorageSystems direkt mit der Nic im Server verbunden, sowie die andere Verbindung des Servers zu Switch komplett gezogen. Damit gab es lediglich nach einem Recovery eine Verbindung zw. Esx und dem Storage. Keine Verbesserung ergo denke ich sinds auch die Switche nicht.

Mache ich hier bei meinem Ausschlussverfahren irgendwo einen Gedankenfehler?

[kastlr]

Hallo,

du hast also mehrere aktive Windows VM's auf dem iSCSI Storage liegen.
Eine davon verwendest du als Quelle oder Ziel für deine LAN Transfer Tests, korrekt?

Wie ist denn die Performance, wenn du deine 500 MB Testdatei ausschließlich lokal innerhalb dieser VM kopierst, z. B. von einem Verzeichnis in ein anderes ohne Verwendung des LAN's?

Gruß,
Ralf

[jba]

Hi,

genau so bescheiden! Bis heute morgen.

Das Problem lag ein einer der virtuellen Systeme. Per esxtop (d) und etwaigen Leistungsmessungen im vSphere zeigte sich, das eine Kiste ständig schreibend unterwegs war. Dahinter verbarg (und verbirgt) sich ein Windows Problem mit fehlgeschlagenen Updates, ungültigen handles etc. Nachdem diese Maschine per Workaround gefixt war, gings. Die hat also "lediglich" den Schreibcache der P2000 zugemüllt. Vlt. hätten mehr Platten + Jumboframes + ordentliche iSCSI Switche das Problem etwas abgefangen. Aber sicher nicht behoben. Habe viel gelernt gestern. Vielen Dank für alle Tipps und Hilfestellungen.