Ist unsere Serverlandschaft überhaupt dafür gemacht? HILFE!

[polysign]

Hallo zusammen und Mahlzeit

Ich kämpfe nun seit inigen Monaten mit unserer Serverlandschaft. Ich habe diese selbst nicht so konzipiert, sondern so in den Schoss gelegt bekommen weil mein Vorgänger MIST gebaut hat!

Folgendes ist nun Stand der DInge:

Wir haben ein Xyratex Storage mit 12 SATA Platten (jeweils 500GB). Darin sind 2 Disk Arrays mit jeweils 5 Platten im Raid 5 und 2 weitere HotSpares (global).

Server 1: Intel S500Pal im SR2500 Gehäuse mit jeweils 8 GB Ram und 2x37GB SAS Platten (15.000RPM). ESX 3.0.2 mit Update 1!

Server 2: Identisch zum ersten Server.

Die beiden Server sind über FibreChannel (QLogic Adapter) über einer QLOgic 2GBit SAN-Box verbunden. 4 Anschlüsse von der Sanbox zum Storage, und jeweils 1 Anschluss vom Server zur San-Box.

Auf einem DiskArray im Storage sind jeweils 2 LUNs mit VMFS formatiert. Jede LUN 1TB gross.

Im Storage auf den LUNS sind nun die VMs installiert, oder einige per VMotion von einem GSX rüber-convertiert worden.

Das 2t DiskArray im Storage wird von einem Apple-Server verwendet. Also ist unabhängig von VMWare am laufen. Teilt sich auch keine Disks!!!

Meine Frage ist nun: IST DIESE CONSTELLATION SINNVOLL?
Ich meine: Sata-Platten im Storage für VMs? Macht das Sinn? Performancemässig mein ich!

Probleme haben wir gravierende! Auf einem Win2003 Server kopiere ich ein paar Dateien hin und her und der Ping fällt weg, oder die ganze VM ist von VMWare nicht mehr erreichbar. Im Performance-Diagramm im VIC ist die VM einfach inexistent für Sekunden, manchmal sogar Minuten!

Ich bin wirklich kein VMWare Experte! Ich habe diese Aufgaben leider übernehmen müssen da es sont niemand hier machen konnte und habe mich in den letzten 6 Monaten richtig ins VMWare reingelernt und bin denke ich mal auf nem guten Wissensstand. Kommt wohl vom vielen testen und herumprobieren

Also, kann mir jemand ein wenig helfen, indem er mir sagt was nun wirklich sinnvoll ist und was nicht? Dann kann ich in Zukunft die Serverlandschaft in die richtige Richtung lenken. Weil somit macht es echt keinen Sinn!!! Dann kann ich die auch wieder zurückgeben

lg

[ostekl1]

Meines Erachtens haben die Probleme mit den Verbindungen zu den VMs nicht unbedingt mit dem Storage zu tun. Ob der mit SATA Platten performant genug ist, hängt nur von den Systemanforderungen ab.
Wir haben 12 ESX Server mit ca 200 VMs an einem EMC Storage. Der Storage langweilt sich irgend wann zu tode, das die meisten der Installierten VMs nur wenig Plattenzugriffe machen.

Das Problem würde ich eher in die Netzwerkkonfiguration stecken wollen. Möglicherweise ist es ein Switch/Adapter Problem mit Half/Full Duplex oder irgendetwas in dieser Richtung.
Ist das mal überprüft worden?
- Wie viele vmnics sind an wieviele physikalische Switche angeschlossen?
- Wie sind die vSwitche konfiguriert?
- ...

[polysign]

Hi, danke für deine Antwort!

Also am Netzwerk wurde NIE gross dran geschraubt! Grundsätzlich habe ich derzeit immer nur das Standard-Netzwerk von VMWare genommen. Es gab derzeit auch keinen grossen Bedarf, da NUR 4 VMs auf der Serverlandschaft laufen (EIN WITZ).

Davon sind 2 der VMs W2k3 Server, ein Debian Linux und ein WinXP!

Was mir jedes mal passiert wenn ich Dateien in den VMs kopiere/verschiebe dass die VM sehr lahm wird, obwohl am Storage nur sehr wenig passiert. Wenn ich 1 GB kopiere (im SAN) und dafür ne halbe Stunde warten muss find ich das schon Affig

[ostekl1]

Das beantwortet die oben stehenden fragen aber nicht unbedingt
Es könnte ja sein, das die physikalischen Netzwerkkarten der Server nicht richtig konfiguriert (Switch steht auf full duplex, die Karten aber auf half duplex) sind. Das könnte schon solche Effekte mit sich bringen ...

[polysign]

OK! Also im VMWare steht alles auf AUTO NEGOTIATE. Und als Status gibt er 1000 MB Full Duplex!

Gibt es denn iirgendwo ein LOG wo ich einsehen könnte dass es auf diesem Level (Netzwerk) Fehler gibt?

Angeschlossen ist ein DLink Switch DGS-1224T.

lg

EDIT: Im Server sind jeweils 2 PCIe Karten mit jeweils 2 LAn-Anschlüsse drin. Diese werden im moment aber nicht genutzt. Läuft alles über die onBoard LAN-Karte des Servers (so vom HW-Lieferanten vorgegeben).

[angoletti1]

Hi,

dort statt "AUTO" -> "1000Full" eintragen.
Wie sind die Einstellungen im Switch?

[ostekl1]

und wenn da alles nicht fruchtet würde ich ggf. auch mal die PCIe Karten ausprobieren.
Werden die Karten denn im VC angezeigt?

Noch einen Nachschlag: Sind beide "Drähte" am gleichen Switch oder an unterschiedlichen Geräten angeschlossen?

[polysign]

Hi,

also folgendes ist am vSwitch konfiguriert:

Ports: 8
Promiscious Mode: Reject
Mac Add Change: Accept
Forged Transmits: Accept
Average Bandwith: NA
Peak Bandwith: NA
Burst Size: NA
Load Balancing: Port ID
Network Failure Detection: Link Status only
Notify Switches: Yes
Rolling: No
Active Adapters: vmnic0
Standby Adapters: none
Unused Adapters: none

Ansonsten hab ich noch ein funktionsfähiges VMotion konfiguriert und die Service Console natürlich

Habs mal auf 1000MBit Full gesetzt. Werd dann mal testen ob das was gebracht hat. Sieht man sonst noch wo ob das was hilft?

Weiteres will ich aber nochmal anmerken dass dieses Verbindungsproblem nicht das grösste Übel ist. Mehr stört mich einfach dass VMs einfach einfrieren wenn man mal auf den VMs Dateien kopiert oder ne grössere SQL-Abfrage machen will. Wir hatten sogar mal kurz ein Navision zu testzwecken drauf laufen. Das ging TOTAL in die Hose! Sogar wenn nur 2 Personen gleichzeitig ne Abfrage gestellt haben, konnte niemand mehr für 15min, oder länger, arbeiten.

[polysign]

Habe nun die VMs auf einen nagelneuen Dell Proliant Server 2950 migriert!
Die VMs (insgesamt 3) laufen auf lokalen SAS Platten. Die Verbindung ins SAN besteht zwar noch, wird aber derzeit nicht verwendet.

Und die VMs laufen super! Schreibgeschwindigkeit ist super (vorhher 20MB/s, jetzt 120MB/s) und die Reaktonszeit der VMs (Win2003Server) sind super! So wie man es erwartet und ich mit GSX auf meinem Rechner auch immer hatte.

Werde das SAN nun neu aufteilen. Überlege gerade ein Raid1 für Log-Dateien, Datenbanken etc zu verwenden wo RAW-Luns entstehen sollen. Und ein weiteres Raid5 für VMs und Daten. Ist das sinnvoll?

Naja, ich teste es mal

Danke noma für die vielen Antworten!

[angoletti1]

Hi,

das Thema SAN-Konfig hat es echt in sich. Bin auch gerade dabei und kann dir nach langen Diskussionen mit SAN-Architekten sagen, dass es nicht ganz so einfach ist. Wie so oft, kommt es immer auf die Umgebung an.
Mal abgesehen von Raid1 oder 5 kann man mit der richtigen Konfig noch einiges raus holen.
Einfaches Beispiel: LUN-Größe: Je kleiner, desto performanter, dann ist's für den VM-Admin aber wieder unkomfortabel und man verliert ne Menge Speicher (man braucht ja immer noch en Reserve für Snaps & Co...). Hier gilt es - je nach Anforderungen - ein gesundes Mittel zu finden.
Eine Beratung in dem Bereich ist also durchaus sinnvoll, sonst generiert man vielleicht Fehler, die später nur schwer zu beseitigen sind, oder verschenkt Leistung durch eine falsche Konfig.

[polysign]

Hi,

ja dieses Thema hatte unser letzte Consultant auch so angesprochen. Er meinte in einem kurzen Gespräch dass es sinnvoll wäre unser SAN in 2 Teile zu teilen: Eins mit Raid5 und eins mit Raid1 wobei das Raid1 für Datenbanken und Logs verwendet werden soll. Das Raid5 dann für reine Daten und eventuelle VMs.

Ich werde mich noch einmal mit dem in Verbindung setzen. Mal sehn was raus kommt. Ich kanns ja hier mal posten

[CLSsupport]

Habe nun die VMs auf einen nagelneuen Dell Proliant Server 2950 migriert!
Die VMs (insgesamt 3) laufen auf lokalen SAS Platten. Die Verbindung ins SAN besteht zwar noch, wird aber derzeit nicht verwendet.

Und die VMs laufen super! Schreibgeschwindigkeit ist super (vorhher 20MB/s, jetzt 120MB/s) und die Reaktonszeit der VMs (Win2003Server) sind super! So wie man es erwartet und ich mit GSX auf meinem Rechner auch immer hatte...

Hi polysign

Ich freue mich, dass da jemand eine affig langsame VMware zu einer superschnellen Config hingetrimmt hat - das möchte ich auch machen und zwar nicht durch Zufall indem ich hektisch 20 Tests mache und mich dann an die einzig schnelle klammere ohne zu wissen warum die nun eigentlich schnell ist.

Hab nun ein paar Fragen zu deiner obigen config, da ich auch mit einer affig langsamen Vmware Installation kämpfe: Was war nun der Schlüssel zu deiner Performancesteigerung ?

1) Der Umzug auf den DELL (also neue HW, CPU und Memory mit mglw besserer Troughput)
2) oder die LAN Einstellungen 1000Gb FullDuplex, Anschluss an externen PCIe Switchkonfiguration
3) ODER die vorübergehende Abschaltung des SAN und Nutzung von internem Storage
4) oder gar eine neue HOST und ESX Installation am Dell die du eigentlich gar nicht erwähnt hast (eventuell ESX 3.5 mit den neuen TCP Networking performance optimizations such as TCP Segment Offload and Jumbo Frames that reduce the CPU overhead associated with processing network i/o)
5) womit hats du die MB/sec gemessen ? ich messe derzeit mit CrystalMark - schaffe aber auf ein VMDK File ca 40MB/sec und auf ein vom WINHOST64 freigegebenes Volume nur 15MB/sec write Performance (und das ist mir auch zuwenig)
6) wie hast du den Storage am DELLHOST denn aufgeteilt ? welche HDDs oder Partitionen hat dein Host-Server und wo liegen derzeit die VMDKs deiner 4 VMs

Michael

[polysign]

Hallo CLSupport!

Also folgendes Problem besteht weiterhin. Am SAN ist alles langsam!!!

Aber da muss ich noch genau herausfinden wieso, da ist immer noch schneller ist als vorher aber bei weitem nicht zufriedenstellend...

Folgendes ist bei uns das Setup.

Storage mit 5 SATA Platten zu folgenden Raids:

Raid1 mit 2 Festplatten: 500GB Platz
Raid5 mit 3 Festplatten: 1000GB Platz

Das Raid1 nehme ich für die Configfiles der VMs. Dafür ist auf diesem Raid eine 50GB VMFS-Partition angelegt. Dort wird auch die Swap-Datei abgelegt. Dachte mir nun, da Raid1 schneller ist, tu ich die da drauf. Eventuell mehr Performance... kann das jemand wiederlegen/bestätigen?

Auf dem Raid5 lege ich dann die VMDK Files ab. Raid5 eben wegen der Ausfallsicherheit. Im Storage sind dann auch noch 2 global Spares!

Jetzt hab ich 2 Hosts an diesem Storage angebunden über eine 2GBit SanBox von QLogic.

- Dell PowerEdge 2950 mit 3 SAS Platten im Raid5: 270GB Platz
- Intel S5000Pal Server mit 2 SAS platten im Raid1. 30GB Platz

Beide Server haben an sich genug Ressourcen zur Verfügung. genug Ram und CPU Power!

Derzeit haben wir auch nur 3-4 VMs drauf laufen und Tests hab ich derzeit immer mit IOMeter durchgeführt:

- 32k 100% lesen erhalte ich fast 40MB/s
- 32k 50% lesen erhalte ich keine 2MB/s
- 32k 0% lesen erhalte ich etwa 25MB/s

Eigentlich sehr lahm! Und ich weiss auch nicht was ich NOCH machen soll.
Übers Netzwerk erhalte ich auch nur mehr 10MB/s obwohl ich es auf 1000MB gesetzt und auch das Netzwerk für VMs mit der Service-Console getrennt habe.

Könnte mein Problem also am Netzwerk liegen? Habe am Wochenende einen neuen Switch im Rack eingebaut und die VMWare-Server dort angeschlossen. Änderte aber nix.

Das ist derzeit der Stand der Dinge.

lg

[Tschoergez]

Hi,

welche ESX-Version verwendest Du?
Wenn Du genügend RAM hast, wird die Swap-Datei für jede VM gar nicht verwendet!

Kannst Du mal versuchen, den Performance-Test bei einem physikalischen Server durchzuführen? Ich denke nämlich, dass das Problem nicht beim ESX liegt.

Wieviel Platz brauchst Du denn für Deine VMs?

evtl. wäre ein Raid10 über 4 platten mit einer Hot-Spare besser, auf dem dann alles liegt.

Configfiles der VMs werden nur beim Starten bzw. bei der Configänderung angefasst, und haben drum gar nix mit der Performance zu tun.
Die .vmdk-Dateien sind die wichtigen

Ist das Storage überhaupt für den ESX zertifiziert?

viele grüße,
jörg

[polysign]

Hi,

also RAM ist auch genug da. Ich habe eben noch folgendes getestet:

Von einem physischen Server am gleichen Switch auf eine VM 5GB Daten kopiert. An der VM gingen die Daten mit ca 20MB/s rein auf das SAN. Das passt zu meinen Performance-Tests auf dem Storage überein, wo ich 20MB/s schreiben konnte.

Das zurückkopieren der 5GB Daten auf den physischen Server bringt er mit 40MB/s zusammen. Das passt auch mit meinen tests überein. Also das Netzwerk wird vom Storage ausgebremst!

Storage kommt von Xyratex und ist zertifiziert. Im Storage liegen eben "nur" Sata platten mit jeweils 500GB. Das ESX auf dem Host ist das 3.0.2 mit Update 1.

Was kann ich noch testen? Hätte an sich auch keine Mühe auf einem der Server mal ein anderes ESX 3.x zu testen.

lg

[CLSsupport]

...Eigentlich sehr lahm! Und ich weiss auch nicht was ich NOCH machen soll.
Übers Netzwerk erhalte ich auch nur mehr 10MB/s obwohl ich es auf 1000MB gesetzt und auch das Netzwerk für VMs mit der Service-Console getrennt habe.
Könnte mein Problem also am Netzwerk liegen? Habe am Wochenende einen neuen Switch im Rack eingebaut und die VMWare-Server dort angeschlossen. Änderte aber nix.

Genau da müssen wir ansetzen. Das Virtuelle Netzwerk. Ich habe zwar kein SAN aber 2 verschiedene NAS.

Ich wäre schon froh, wenn ich aus einer VM den gleichen Datendurchsatz zu den NAS erreichen könnte wie vin einer physikalischen Workstation aus.
Das schaffe ich aber bei weitem nicht. Und ich hab schon viel getestet. Der Datenzugriff vom WINHOST auf meine 2 NAS Boxen ist um ein vielfaches schneller als von einer VM heraus über die gleiche HW vom WINHOST.
Also liegt der Flaschenhals in der virtuellen NIC bzw im virtuellen 1GbEthernet LAN. Das war zumindest mein Ergebnis.
Der Zugriff von einer VM auf die SAS Platten im WINHOST via VMDK Platte ist mind doppelt so schnell wie der Zugriff via Ethernet. Der WINHOST könnte allerdings die Daten schneller liefern, denn eine physikalische Workstation kann auch mit der doppelten Geschwindikkeit auf das freigegebene Laufwerk zugreifen als eine VM.

Michael