Profilserver

[philipp24]

Hallo zusammen,

ich würde in der Firma gerne den Server virtualisieren auf dem die Servergespeicherten Profil liegen. Das sind so ca 2000 User.

Allerdings hab ich da jetzt bedenken das ich mir da mit der Verbindung von der SAN zum ESX Host einen Flasschenhals produziere da hier ja relativ viele Daten hin und her geschoben werden.

Habt ihr hier Erfahrungen mit sowas? Wenn ja welche? Gibt es vielleicht eine möglichkeit diese Verbindung aus dem ESX zu überwachen wie die Auslastung so ist?

So noch ganz Vergessen es ist eine DELL EMC SAN die mit 2 Fibrchannel an dem ESX Host angeschlossen ist. Ich bin mir jetzt leider nicht mehr sicher ob es pro Kabel 1 oder 2 Gbits sind werde das aber nochmal nachschlagen.

danke für die hilfe

gruss philipp

[bla!zilla]

Du hast 2000 Profile auf einem Server? Na ich würde da raus erstmal zwei machen, bzw. die hinter einem DFS verstecken.

Der Rest sollte weniger das Problem sein. Wenn es bisher läuft, dann läuft es auch zukünftig. Ich würde aber die Profile auf der LUN liegen lassen und die LUN als RDM an den Gast durchreichen. Alles andere wäre Selbstmord.

[philipp24]

danke für deine Antwort aber wieso denkst du das soviele Profile ein problem machen könnten?

Wenn wir sonst keine probleme bekommen würden mach ich das glaub wirklich. Aber wieso ist es aus deiner sicht Selbstmord wenn ich die auf ein neues LUN lege?

danke für die hilfe

[bla!zilla]

Weil 2000 Profile in einem VMDK in einem VMFS IO-technisch ungünstig sind.

[kastlr]

Hallo Phillip,

wie ist denn der aktuelle Profilserver konfiguriert????
Er wird das ja wohl kaum mit internen Platten machen.
Hast du von diesem System vielleicht PerfMon Daten?

Ich sehe das Problem nicht wirklich im SAN, jedoch fehlen mir dazu einfach die entsprechenden Details.
Schließlich ist ein SAN genau dazu da, schnell Daten von A<>B zu transferieren.

Und da ein ProfilServer den Usern die Daten übers LAN bereitstellt, ist hier wahrscheinlich eher ein Bottleneck zu erwarten.

Um wirklich helfen zu können, müßten wir jedoch einfach mehr Infos haben.
- Wie viele Server sind bereits am DELL EMC Array angeschlossen?
- Ist es ein AX oder CX Array?
- Wie ist die aktuelle Auslastung des Storage Arrays (IO Last, used Capacity etc.)?
- Wie viele Disks sind im Array vorhanden, (FC oder SATA, 10k oder 15k RPM, Größe in GB)?
- Wie sind die RAID Gruppen und Storage Gruppen aufgebaut?
- Falls mehrere LUN's durch ESX genutzt werden, sind diese gleichmäßig über die SP's verteilt?
- Anzahl der VM's je Datastore?
- Wie ist die generelle Auslastung des/der ESX Server, die diese VM hosten sollen (Anzahl VM's)?
- Muß die VM convertiert werden oder ginge auch ein NewInstall?
- Über wieviel GB/TB reden wir?
- Wie viele NICs hat der aktuelle Profilserver?
- Wie viele NICs stehen dem/den ESX Servern zur Verfügung?
- Wann meldet sich die Masse der User an (Peaks)?
- Wann laufen Backup Jobs, Filesystem Defrag etc.?
...
..
.

Generell ist es kein größeres Problem, einen Fileserver zu virtualisieren.
Aber je nach Anforderung ist es nicht immer sinnvoll, einen sauber laufenden Server zu virtualisieren, nur weil man ESX Server im Hause hat.
Und in deinem Fall wären sehr viele Anwender von diesem Change betroffen, daher sollte man vorher seine Hausaufgaben gemacht haben.

Hoffe das hilft dir ein bisschen weiter, trotz der vielen offenen Fragen.
Falls ich dich jetzt nicht total verschreckt habe, freue ich mich schon auf den nächsten Post zu diesem Thema.

Gruß
Ralf

[philipp24]

Hallo Ralf,

na erschreckt hast du mich nicht weiss ja das es viel arbeit ist. Wir haben den Profilserver nicht zum ersten neu aufgesetzt.

Zu deinen Fragen:

Der aktuelle Profilserver hat ein LUN über FC angebunden das 1 TB groß ist.

Das mit den Daten von A nach B hast du sicher recht nur ich denke mir eben wenn ich den Server nicht virtualisiere hat er seine eigene Leitung und in der VM muss er sich die mit anderen VMs teilen daher mein Angst das es knapp werden könnte.

- Wieviele Server wirklich angeschlossen sind kann ich im moment nicht sagen aber es dürften ohne die VMs ca. 50 sein.
- Es ist ein CX Array
- Die Auslastung kann ich im moment auch nicht genau sagen aber ich denke eher das die SAN nicht viel zu tun hat.
- Wir haben verschiedene Arrays mit verschiedenen Platten von FC mit 15k bis SATA mit 10k im RAID5 und 750 GB bis 500 GB pro LUN.
- RAID ist wie gesat 5 also (4 + 1)
- Wir haben 9 LUNs die auf 2 kompletten Schelfs liegen.
- VM's je Datastore ist verschieden wir haben neue LUNs die noch leer sind.
- Es spricht nichts gegen eine Neuinstallation wir haben da keinen druck.
- Profile sind es ca 600 GB und Files ca 1 TB.
- Der aktuelle aht 2 NICs im Team.
- Der ESX hat 4 NICs zur Zeit können wir aber erweitern.
- Am morgen so gegen 7 Uhr und am Abend gegen 6 Uhr ist die größte bewegung.
- Backup läuft in der Nacht sonst haben wir da nicht viel.

Unser ansatz wäre das wir ihn Virtualisieren wegen der Ausfallssicherheit und wegen der Anschlüsse über FC zum SAN. Daher kommt eigentlich die Idee.

Wir können das aktuelle LUN auch als RAW Device einbinden oder es gleich auf ein ESX LUN legen da haben wir auch vollkommen frei hand.

so jetzt darfst du wieder

gruss philipp

[Tschoergez]

Hi,

naja, wenn die Daten jetzt eh schon auf ner LUN liegen, und es performance technisch klappt, dann muss es mit nem RDM dieser LUN in einer VM genauso gut klappen...

Damit lässt sich dann auch die virtualisierung recht einfach machen (ohne dass Du die 600G Daten kopieren musst).

Wie sieht denn die Netzwerkauslastung des Profilservers aus?
Evtl. empfiehlt sich da ne extra Protgruppe oder vSwitch und IP-based load-balancing (wenns der phys. Switch unterstützt)

Viele Grüße,
Jörg

PS.: Alles in allem schon mal ein super thread, der bestimmt auch für andere Einsatzgebiete interesannt ist (ich denk da an fileserver...). Also weiter so !

[philipp24]

Hallo Tschoergez,

das mit dem RDM hab ich mir auch schon so überlegt aber ich hab da was im hinterkopf das es was gibt das mit dem RDM nicht mehr geht? Weisst du da vielleicht was? Kann natürlich auch sein das ich mir das auch nur einbilde

Die Netzwerkauslastung ist gerade eigentlich schon gar nicht da so wenig macht der aber ich muss mir das zu den Zeiten anschauen wo die User sich an und abmelden.

Das mit der Portgruppe ist eine gute idee das werde ich ziemlich sicher machen.

Der Fileserver werden wir ca im gleichen zug virtualisieren aber da habe ich weniger bedenken das wir da Probleme bekommen könnten.

danke
gruss philipp

[kastlr]

Morgen Philipp,

ich versteh da so, das sich die 1TB LUN auch auf der CX befindet.
Wenn ja, bleibt meines Erachtens nur noch die Frage, ob die ESX Server noch Luft haben, die zusätzliche VM zu hosten.
CPU & Memory hast du sicher geprüft, damit bleiben noch die NIC's und die HBA's.

Den Speed deiner HBA's kannst du mit folgenden Befehlen ermitteln.
Emulex: cat /proc/scsi/lpfc/<Nummer der HBA's>
QLogic: cat /proc/scsi/qlaXXXX/<Nummer der HBA's>

Leider ist die Auslastung nicht so leicht zu ermitteln, das war unter 3.0 noch deutlich einfacher.
Aber da deine reale Maschine nur eine LUN nutzt, werden wahrscheinlich nicht mehr als 250 IO/sec gegen diese LUN gemacht.
Damit hättest du eine durchschnittliche Antwortzeit von 4ms, unabhängig von der Art des IO's.

Check mal die folgenden VMware Knowledgebase Artikel.
http://kb.vmware.com/kb/1267
http://kb.vmware.com/kb/1268

Da sich nämlich ein Großteil deiner User um 7 Uhr an und um 18 Uhr wieder abmelden, werden zu diesen Zeiten wahrscheinlich die Standardeinstellungen zum Diskzugriff nicht ausreichen.

Und dann kann ich dir nur die Webseite http://www.vmware-land.com ans Herz legen, dort wirst du sicher noch weitere Tips und Tricks zu diesem Thema finden.

Viel Spaß
Ralf

[Tschoergez]

wow, klasse Infos, Ralf!

Mit RDMs im virtuellen Mode gibts keine Funktionseinschränkungen (beim physical mode kann man logischerweise keine snapshots machen von der VM).

Die Storage-Auslastung lässt sich mit 'esxtop' recht gut sehen:
esxtop,
dann mit "d" zur Ansicht der Platten wexeln, und da kann man dann mit
"e" vmhbaX
"a" vmhbaX:Y
"t" vmhbaX:Y:Z
"l" vmhbaX.Y:Z:L
(in der reihenfolge eingeben, X=adapternummer, Y= Channel, T=Target und L=LUN), dann sieht man sehr schön, welche VM wieviel Last erzeugt.
Mit "f" kann man dann im esxtop die Spalten zu/wegschalten, z.B. Queueueue-Länge, Latenzen usw....
(Tipp: putty-Fenster möglichst breit machen )



Viele Grüße,
Jörg

[philipp24]

Hallo Kastlr,

danke für die Antwort die Links sind super kann ich echt gut gebrauchen.

Ja stimmt RAM und CPU hab ich geprüft geht nur noch um HBAs und NIC und ja die 1TB LUN liegt auch auf der CX.

Habe den Befehl ausgeführt für die QLogic. Hier gibt es eine Zeile die "Configured data rate" heißt. Ist das wirklich der tatsächliche durchsatz den ich machen kann?

Wenn ja hätte ich für jedes FC 4 Gbit/s was ich verdammt viel finden würde

[kastlr]

Hallo Philipp,

lass dich von den 4 GB nicht täuschen, das ist "nur" die maximale Durchsatzrate für das Fibre Channel Protokoll.
Um diese Durchsatzrate wirklich auszureizen, müßtest du eine Vielzahl von Targets und LUNs nutzen und deine Server/VM's müßten Ihre IO Anforderungen möglichst gleichmäßig über alle verteilen.

Viel wichtiger ist die SCSI Performance.
Und eine LUN kann in einer Sekunde halt nur eine gewisse Anzahl von IO's bedienen.
Somit ergibt sich der Durchsatz immer aus der Anzahl der IO's und Ihrer Größe.

Um auch wirklich für das WorstCase Scenario gewappnet zu sein, darf man auch einen Cache nicht berücksichtigen, schließlich wirst du auch einen Prozentsatz an IO's haben, die nicht aus dem Cache bedient werden können (Cache Hit / Cache Miss)
Wenn die Daten nämlich noch nie benötigt wurden, muß das Array von den Platten lesen.
Fileserver haben üblicherweise eine niedrige Cache Hit Rate, einfach weil sie vorwiegend Random IOs erzeugen.

Somit bist du mit 250 IO's schon am oberen Limit, mehr dürfte kaum möglich sein mit einer LUN.
Du kannst das nur änderen, in dem du mehrere LUN's verwendest (z.B. 4)
Die Daten sollten dann möglichst gleichmäßig verteilt werden, so das du anstelle eines IO Requests z.B. zeitgleich 4 IO Requests stellen kannst.

Aber bitte jetzt nicht gleich dein Design umbauen und dem Server 4 LUNs anstelle einer zuweisen.
Die Clariion hat ja selber nur x Disks, die dein Storage Admin in sichtbare LUN's unterteilt hat.
Nehmen wir jetzt einfach mal an, jede Disk enthält Komponenten von 4 LUN's, jede davon gehört einem anderem Server.
Im ungünstigsten Fall machen die beiden Server am meisten Dampf, welche die LUN am Anfang und am Ende der Platte nutzen.
Dann verbrät die physikalische Disk eine Menge Zeit beim Positionieren der Schreib/Lese Köpfe.
Das kann massive Auswirkungen auf die Performance haben.

Solange die Platte nicht wirklich gefordert ist fällt das kaum auf, aber unter Last bricht die Performance dann zusammen, selbst wenn du ein RAID benutzt.

An deiner Stelle würde ich daher einfach die vorhandene LUN verwenden.
Die Performance Daten kannst du wie durch Jörg beschrieben sammlen oder über den VC ermitteln.
Sofern die ESX Server nicht schon jetzt eine hohe IO Last erzeugen sehe ich im SAN keinerlei Probleme auf dich zukommen.

Bin schon ganz gespannt wie's weitergeht.

Gruß
Ralf

[philipp24]

Hallo Kastlr,

ok super danke für deine Antwort. Ich dachte mir schon das die 4 Gbits nicht der reale durchsatz sind.

Ich habe über das Wochenende von unserem Storage Menschen noch erfahren das die ESX Host mit 2 mal 2 Gbit an der SAN hängen.

Eigentlich klingt das für mich alles sehr vielversprechend. Wir haben am ESX Host ja sowieso mehrere LUNs dran. Da könnte ich den Profilserver einfach auf 2 dieser LUNs aufsplitten und dafür verwende ich die FC Platten damit sollte ich wirklich keine Probleme mehr bekommen.

Ich gebe hier im Forum bekannt ob ich dieses Projekt wirklich machen darf muss das ja noch mit anderen absprechen.

danke für die hilfe
gruss philipp