Netzwerk zwischen VM's auf einem Host sehr unterschiedlich

[pelzi71]

Hallo,

ich habe meine VM's gerade auf einen neuen Host migriert. Es handelt sich jeweils um Windows 2003 Standard x64. Die Konfiguration der VM's ist nahezu identisch, vorallem Netzwerk-Seitig haben beide eine vmxnet3 Netzwerkkarte mit identischen Einstellungen.

Die VM's sind an den gleichen vSwitch angebunden, der pysikalisch auf dem Host einem 7 x 1 Gb/s Trunk nach IP- Hash entspricht.

Wenn ich Daten auf eine Freibgabe der beiden Server kopiere, komme ich bei einem Server auf eine Datenrate W/R 16,409,463 / 53,316,431 Bit/Seconds bei dem anderen 65,595,050 / 65,579,035 Bit/Seconds (Lan Speed Test mit 50, 200 und 500MB). Auffällig ist, dass die Schreibrate beim ersten Server viel kleiner als beim 2 Server ist.

Die virtuellen Festplatten liegen auf dem gleichen Specherbereich (6 x 2 TB RAID6 SAS).

Von der CPU- Last und den öffenen Netwerkverbindungen ist das 2. System sogar etwas mehr belastet als das erste.

Ich habe meiner Meinung nach schon alles Überprüft:

- Caching der Freigaben
- Einstellungen der vNICs
- Einstellungen der Datei- und Druckerfreigabe

Wer kann mir sagen woher der ziemlich große Unterschied herkommt?
Ach ja, der Virenscanner und dessen Konfig ist auch identisch.

[Dayworker]

Sind deine VMDKs vom Typ Thin oder Thick oder hat die VM einen Snapshot?

[mbreidenbach]

Zwei Vorschläge:

1. Netzwerkperformance mit einem Tool wie iperf messen. Zumindest sollte man hier sehen können ob es denn tatsächlich am Netzwerk liegt oder eher nicht.

2. mal partition alignment prüfen - vielleicht ist ja eine VM 'aligned' und eine nicht ? Je nachdem wie der Raid Controller 'striped' könnte das durchaus was damit zu tun haben.

(und natürlich auch wie bereits vorgeschlagen thick/thin/snapshot prüfen)

P.S.

http://sourceforge.net/projects/iperf/
http://kb.vmware.com/kb/2001003

Zum Thema Alignment gibts hier gerade einen Thread mit Links.

[pirx]

Wie schon vorgeschlagen wurde, würde ich mit iperf oder netio den reinen Netzwerkdurchsatz messen.

Danach z.b. mit iometer den Durchsatz in den VMs in Richtung Storage.

[pelzi71]

Also die vDisks sind alle vom Typ Thick Lazy-Zeroed.

Snapshots gibt es keine.

Ich werde mal wie von Euch vorgeschlagen die reine Netzwerkperformace messen.

2. mal partition alignment prüfen - vielleicht ist ja eine VM 'aligned' und eine nicht ? Je nachdem wie der Raid Controller 'striped' könnte das durchaus was damit zu tun haben.

Wie geht das? Die vDisks liegen jedenfalls auf dem selben RAID6 des selben Controllers.

Ergebnisse folgen.

[pelzi71]

Also ich habe die Messung mit iperf durchgeführt. Die Netzwerk- Messwerte der Server sind nahezu identisch und liegen zwischen 0.76 und 0.83 Gbit/s.

Also sieht es so aus, als ob das Problem durch die vDisk (vmndk) verursacht wird.

[Dayworker]

Sie dir mal den Thread Alignment an.
Allerdings solltest du vorher noch herausfinden, ob dein Storage überhaupt "gerade" eingerichtet wurde. Wenn du die VMs "gerade" ausrichtest und das Storage immer noch "schief" ist, hilft dir das kein bisken weiter.

[pelzi71]

Ich habe das Alignment überprüft, es stimmt auf beiden Systemen nicht.

Das zu korrigeiren, scheint aber schon eine größere Aufgabe zu sein. Vorallem mit der gparted Methode, wenn ich mir überlege, dass ich 500 GB nach "rechts" verschieben muss wird mir ein wenig übel.

Dann lieber eine neue vDisk erstellt und das Alignment durchgeführt, die Daten rüberkopiert und dann in der Registiry die Laufwerksbuchstaben getauscht.

Allerdings scheint das ja mein Problem nicht zu lösen, denn beide Partitionen sind ja betroffen oder sehe ich das falsch.

[Dayworker]

Bevor du irgendetwas rumkopierst, würde ich wie bereits gesagt, erstmal dein Raid6-Volume überprüfen. Möglicherweise ist das ja schon "schief"...
Falls dem so sein sollte, stellt sich die Frage, womit du das Raid6 eingerichtet hast bzw wie alt dein Controller ist.

[pelzi71]

Also eingebaut ist ein LSI MegaRAID SAS 9260-8i Controller und das RAID6 habe ich über den RAID- Bios eingerichtet als Stripe Size habe ich 128K verwendet, wenn ich mich richtig erinnere.

Was soll da schief sein?

[Dayworker]

Der Controller sollte beim Raid-Aufbau selbst dafür gesorgt haben. Sowas könnte bei älteren Controllern auch mal daneben gehen, wenn diese keine neumodischen Platten mit abweichender Sektorgrösse von 512Byte unterstützen.


Wenn du das VMFS bei der ESXi-Inst oder über den vSphere-Client angelegt hast, macht VMware das Alignment schon sehr lange richtig. Problematisch wird es unter ESXi nur dann, wenn du das VMFS auf der "busybox" manuell eingerichtet hast.

[pelzi71]

So ich habe nun die Zeit genutzt und auf dem System mit der niedrigen Schreibrate vm01 die Datenpartition auf der ich Teste neu mit Alignment angelegt.

Leider haben sich die Werte nicht wesentlich verbessert:

W/R: 17,640,320/48,126,646

Das Problem muss woanders her kommen.

Ich habe auf dem Host insgesamt 7 VM's, die alle am gleichen vSwitch hängen:

Hier die Tests mit dem Lan- Speed- Test mit den 5 wichtigsten:

vm01 16,988,664 / 50,392,723 (w2k3x64)
vm02 77,988,551 / 61,581,713 (w2k3x64)
vm03 68,041,115 / 68,198,956 (w2k3x32)
vm04 91,230,762 / 101,685,250 (w2008R2)
vm05 73,005,794 / 65,642,374 (w2k3x64)

Man sieht, dass die Schreibrate nur auf der ersten VM abfällt.
Das ist ausgerechnet noch der File- Server.

Hat noch jemand eine Idee?

[Dayworker]

Bei "vm01" ist nicht nur die Schreibrate deutlich sondern auch die Leserate niedriger. Das könnte darauf hindeuten, daß diese VM im Raid auf den jeweils innersten HDD-Bereichen liegt oder die VMs im DS teilweise fragmentiert sind.
Waren die VMs mal als Thin/Sparse angelegt oder wurden die VMDKs nachträglich bei schon gut gefülltem DS vergrössert?
Welche anderen Funktionen abseits des Fileservers in "vm01" müssen die anderen VMs abdecken?
Wie unterscheidet sich die Plattennutzungscharakteristika bei allen auf dem Raid6 liegenden VMs, Fileserver mit hohem sequentiellen IO-Anteil und DBs vertragen sich nur schlecht.


Wie verbessert sich die Lage, wenn die VM alleine auf dem Raid6 läuft?

[pelzi71]

Bei "vm01" ist nicht nur die Schreibrate deutlich sondern auch die Leserate niedriger. Das könnte darauf hindeuten, daß diese VM im Raid auf den jeweils innersten HDD-Bereichen liegt oder die VMs im DS teilweise fragmentiert sind.
Waren die VMs mal als Thin/Sparse angelegt oder wurden die VMDKs nachträglich bei schon gut gefülltem DS vergrössert?

Nein, die vm01 wurde vor einer Woche von einem anderen Host auf dieses neue System migiriert.

Welche anderen Funktionen abseits des Fileservers in "vm01" müssen die anderen VMs abdecken?

Also die vm01 ist:

DC, DNS, WINS, DHCP, WSUS, OIP- Server (CTI- Server) und File- Server

Wie unterscheidet sich die Plattennutzungscharakteristika bei allen auf dem Raid6 liegenden VMs, Fileserver mit hohem sequentiellen IO-Anteil und DBs vertragen sich nur schlecht.

Der WSUS hat natürlcih eine Datenbank die liegt aber auf der Systempartition, ich teste auf der Datenpartition.
Für Datenbanken mit hohem I/O gibt es ein eigenes SSD- RAID, die befinden sich aber auf der vm02.

Ich habe mal mit dem Lan-Speed-Test einen Test auf den lokalen Platten mit 2GB und fast gleichzeitig durchgeführt, das ist zwar politisch nicht korrekt aber die Ergebnisse sind ziemlich gleich:

vm01 95,913,147 / 66,919,610
vm02 92,632,172 / 77,989,236

Die absoluten Werte geben natürlich keine Auskunft über die Leistungsfähigkeit des Plattensystems, da ich im laufenden Betrieb getestet habe, man kann aber sehen, dass bei lokalem Zugriff auf die Partitionen kein großer Unterschied beim Schreiben und Lesen besteht.

Wie soll ich das interpretieren:

Die Ergebnisse mit iperf sind nahezu gleich.
Die Ergebnisse beim lokalen Zugriff auf den Speicher sind nahezu gleich.

Wo ist der Flaschenhals? ich verstehs nicht.


Wie verbessert sich die Lage, wenn die VM alleine auf dem Raid6 läuft?[/quote]

[Dayworker]

Also die vm01 ist:

DC, DNS, WINS, DHCP, WSUS, OIP- Server (CTI- Server) und File- Server

Der WSUS hat natürlcih eine Datenbank die liegt aber auf der Systempartition, ich teste auf der Datenpartition.
Für Datenbanken mit hohem I/O gibt es ein eigenes SSD- RAID, die befinden sich aber auf der vm02.

Leider kommst auch du mit solchen Informationen erst so spät raus und dabei müßtest du doch inzwischen gemerkt haben, daß sich dein Problem nicht über eine Standardantwort erklären läßt.


Wie stark war der DS bereits ausgelastet, bevor die "lahme" VM darauf migriert wurde?
Läuft in jeder VM ein eigener Virenscanner und belastet das Storage zusätzlich bei jedem IO?

[pelzi71]

Wie stark war der DS bereits ausgelastet, bevor die "lahme" VM darauf migriert wurde?

Das Dateisystem RAID6 hat 7,3 TB und davon sind im Moment 2,9 TB belegt.
Der Server wurde als 4. VM migriert, d.h. dass ca 1,7 TB vor der Migration belegt waren.
Dann habe ich die Datenpartition der VM (1TB) auf Euer Anraten noch mal neu "aligned" angelegt und die Daten von der urprünglichen Partition kopiert, die Laufwerksbuchstaben getauscht und die "unaligned" Partition gelöscht.

Später habe ich noch eine andere VM mit dem vCloner virutualisiert, bei der tritt das Problem nicht auf.

Läuft in jeder VM ein eigener Virenscanner und belastet das Storage zusätzlich bei jedem IO?

Ja das ist im Moment leider noch so. Es handelt sich um Symantec Endpoint Protection.

Ich habe gestern mit esxtop mir die Last auf dem entsprechenden Controller beim Kopiervorgang angesehen.
Bei der Lahmen VM gehen auch wirklich nur 17MB/s über den Controller.
Hier bin ich aber eerst am Anfang, ich werde mir noch die Netzwerk- und Disklasten ansehen.

Dann habe ich noch einen Fehler entdeckt, der evtl. die Ursache des Problems ist.
Die VM war als Windows 2008 R2 -Maschine deklariert, obwohl W2k200364 drinnen läuft. Ich weiss nicht in wie weit das zu Fehlern führt, gelaufen ist das System ja erstmal. Ich habe den Maschinentyp nun angepasst, hat aber auch nichts gebracht. Die Frage ist nur ob das Ändern des Maschinentyps wirklich ausreichend ist.

Würde es evtl. helfen, die entsprechende VM noch mal auf einen anderen Server oder Datenspeicher zu migrieren und dann wieder zurück?