Performance Problem bei Erstellung eines Snapshots

[itsure]

Hallo zusammen,

habe hier ein seltsames Phänomen, weshalb unser Kunde auch die Infrastruktur nicht abnimmt.

Kurze Erläuterung zur Infrastruktur:
1x DELL MD3000i
1x DELL PowerConnect 5424
3x DELL R610 mit ESXi + vCenter (virtualisiert) alles Update 2

Ich habe das Problem, dass bei Erstellung eines Snapshots das SAN stark ausgelastet wird. Derzeit laufen 2 virtuelle Maschinen auf dem Cluster. 1x DC als W2k8R2 und 1x vCenter als W2k8R2. Das ganze System hat nichts zu tun. Schieße ich allerdings ein Snapshot geht die Performance eklatant in den Keller. Es geht sogar soweit, dass ich die Verbindung zum vCenter verliere, wenn ich einen Snapshot von der vCenter-VM mache. Interessant ist auch, dass ich bei den Snapshots nur sehe "Vorgang läuft", allerdings nicht wie üblich einen Balken, der hoch läuft.

Ein Snapshot einer VM mit 4 GB RAM und ca. 40 GB Platte dauert ungefähr 8 min! Das ist doch eindeutig zu lang, oder?

Hat jemand eine Ahnung, in welcher Richtung ich den Fehler suchen muss?

Gruß

EDIT: In einem der Server stecken 2x 500 GB. Habe soeben eine VM auf diesen lokalen Speicher verschoben und dort ein Snapshot gemacht. Prozentuale Anzeige läuft wie gewohnt hoch und VM bleibt vernünftig ansprechbar.

[irix]

Wenn man mittels IOMeter die Performance Austestet ist diese auch so unterirdisch? Falls ja dann mal gucken wie es mit FlowControl bei den Switchen ausschaut und ob das auf allen Ports welche iSCSI verwenden auch aktiv ist.

Gruss
Joerg

PS: Diese Konfig mit nur einem Switch ist unueblich oder habt ihr die MD3000i nur mit einem Controller laufen? Ich hoffe die MD3000i gabs guenstig im Ausverkauf da der Nachfolger seit 3 Wochen da ist.

Gruss
Joerg

[Supi]

Also ich habe eine Ähnliche Konfig:

MD3000i
PC5424 fürs ISCSI (nur dafür)
2x R610
Vcenter auf Blech mit R200

Meine Frage: ISCSI physikalisch getrennt? oder per Vlan?
Das MD3000i Storage ist wohl recht bockig, wenn es mit SATA Platte bestückt ist. Schon die NearLine-SAS 7200 scheinen wesentlich besser zu funktionieren.

Snapshot inkl. Ram einer VM (DC, W2k08, 1GB Ram) dauert ca 50sek. (liegt auf nen Raid-5, 5x 15k-SAS HDD)

Vielleicht hier noch ein paar Tips: http://www.delltechcenter.com/thread/39 ... nd+MD3000i

[itsure]

Also ich habe eine Ähnliche Konfig:

MD3000i
PC5424 fürs ISCSI (nur dafür)
2x R610
Vcenter auf Blech mit R200

Meine Frage: ISCSI physikalisch getrennt? oder per Vlan?
Das MD3000i Storage ist wohl recht bockig, wenn es mit SATA Platte bestückt ist. Schon die NearLine-SAS 7200 scheinen wesentlich besser zu funktionieren.

Snapshot inkl. Ram einer VM (DC, W2k08, 1GB Ram) dauert ca 50sek. (liegt auf nen Raid-5, 5x 15k-SAS HDD)

Vielleicht hier noch ein paar Tips: http://www.delltechcenter.com/thread/39 ... nd+MD3000i

Die MD3000i wurde geordert, als es die MD3200i noch nicht gab.
Es sind 9x 500 GB SATA drin, wobei alle zu einem RAID 5 zusammengestellt sind. Controller ist nur einer drin. Bei der Order hieß das Motto "Budget, Budget, Budget"...

PowerConnect 5424 ist in 3 VLANs getrennt.

Komischerweise kriegen wir bei einem anderen Kunden mit 8x 1TB SATA und 2 Controllern eine wesentlich bessere Performance hin. Ist ebenfalls eine MD3000i. Aber hier ist das System dermaßen fertig, dass nicht einmal der Statusbalken hochläuft während des Snapshots. Sobald ich auf Snapshot erstellen klicke, ist ca. 5 sek. später auch die RDP Verbindung in den Gast weg und kommt mit viel Verzögerung nach ca. 2 min super langsam wieder.

Wie soll man einem Kunden vermitteln, dass 9 SATA Platten in einem SAN deutlich langsamer sind als 2 SATA Platten an einem PERC H200 intern, verbunden zu einem RAID 1.

Gruß

[sirrossi]

Moin, moin,

ruhig bleiben, ist Heute viel zu warm um sich aufzuregen

Welche Werte bekommst Du, wenn in einer VM IOmeter mit 4 kB bzw. 8 kB Blöcken laufen läßt? Mehr als 500 IOs mit SATA bzw. 900 IOs mit SAS sollte schon drin sein.
Sicherlich liegt der Hund in der iSCSI Anbindung begraben. Prüfe noch einmal Deine komplette Konfiguration.

Dein anderer Kunde hat auch bereits U2 installiert?

[itsure]

Habe soeben IOMeter in einer VM auf die C: Platte, also als VMDK geschoben.
Parameter:
Maximum Disk Size: 500000
Starting Disk Sector: 0
# of Outstanding I/Os: 64
Specification: 4k, 50% Read, 0% Random

Ergebnis:
550 IOPS
2,17 MB/s

Das ist nicht unterirdisch sondern von einer anderen Welt.
Da müssen normalerweise ein paar Tausend rauskommen. Das kann doch nicht sein, dass das Teil nur wegen SATA so dermaßen schlecht performt.

Eine MD3000i mit 8x 1TB SAS 7.2rpm bringt bei exakt gleicher Konfig 7.500 IOPS bei 30 MB/s. Das ist der 10-fache Wert...

[sirrossi]

Finde die Performance liegt etwa in dem Fenster, das zu erwarten war.

Eine SATA Platte schafft etwa 80 IOs, eine FC/SAS Platte 160 IOs.
Die Anzahl der Nutzplatten multipliziert mit diesen Werten abzüglich Overhead entspricht etwa Deinem Messergebnis. Wir verwenden jedoch 75 % Read und 75 % Random, das entspricht leider eher den Praxiswerten

Hast Du in Deinem anderen Controller einen wesentlich größeren Cache verbaut?

[itsure]

Finde die Performance liegt etwa in dem Fenster, das zu erwarten war.

Eine SATA Platte schafft etwa 80 IOs, eine FC/SAS Platte 160 IOs.
Die Anzahl der Nutzplatten multipliziert mit diesen Werten abzüglich Overhead entspricht etwa Deinem Messergebnis. Wir verwenden jedoch 75 % Read und 75 % Random, das entspricht leider eher den Praxiswerten

Hast Du in Deinem anderen Controller einen wesentlich größeren Cache verbaut?

Wenn ich danach gehe stimmen dann aber ein paar Werte nicht zueinander.

Folgendes Ergebnis erhalte ich auf dem PERC H200 mit 2x 500 GB SATA RAID1 (VM als VMDK auf diesen internen Datastore migriert):
Bei 4k 75% Read, 75% Random: ca. 550 IOPS bei 2,2 MB

Exakt gleiche Einstellung auf MD3000i mit 9x 500 GB:
Bei 4k 75% Read, 75% Random: ca. 830 IOPS bei 3,3 MB

Anderes Kundensystem mit MD3000i bei 8x 1TB SAS Nearline 7.2 rpm:
Bei 4k 75% Read, 75% Random: 4000 IOPS bei 15,5 MB

DELL EqualLogic PS6000XV mit 16x 450 GB SAS 15k:
Bei 4k 75% Read, 75% Random: 10500 IOPS bei 42 MB

Passt eigentlich alles vernünftig ins Bild, bis auf die MD3000i mit den 9x 500 GB.

[Supi]

Vielleicht hilt noch folgender Thread : http://www.delltechcenter.com/thread/39 ... ile+server

insbesondere der Link: http://vmtoday.com/2009/06/ibm-ds3300-i ... ce-solved/

[Supi]

Konntest du das Problem lösen?
Interessiert mich auch als MD3000i nutzer.