VMs frieren ein

[oftecs]

Guten Abend,
ein Kunde von mir betreibt einen ESX Host auf dem ca 20-30 virtuelle maschienen drauf laufen.
Die virtuellen maschienen sind kaum einer last ausgesetzt, da sie nur als programmierstationen dienen, aber dort keine compilierung statt findet.
viele sind noch windows 2000, einige xp. alle clients greifen mit dem vmware infrastrukture client auf die 2000er vms zu, bei xp mit rdp.

nun das problem. wenn eine vm eine weile nicht genutzt wird, der infrastrukture client aber weiter mit der vm verbunden ist, friert die vm ein, wenn man nun mit der maus ins fenster(indie vm) klickt, dauert es einige sekunden, bis zu einer minute, bis die vm wieder reagiert.
der esx ist eigetnlcih nur mit 20% cpu ausgelastet. (im durchschnitt ) Klar wenn grad eine vm gestartet wird, geht die last natürlich hoch, aber im durchschnitt 20%.

als hardware dient ein aktueller HP server mit einem dual quadcore. jeweils 2,3ghz pro core. Und 8GB RAM. (die vms, haben teilweise nur 256mb ram reserviert)

Als SAN dient eine SAN von hp. Allerdings, soweit ich das erkennen konnte nur ein Speichercontroller und mehrere RAID 1 oder Raid 5.
Das SAN ist per FC 4gig angebunden.

Hat jemand eine Idee woran es liegen kann, das die vms teilweise einfrieren, wenn sie länger nicht benutzt werden?

Ich persönlich vermute schon, das es am Speichercontroller der SAN liegt, bzw. das zuviele vms auf das gleiche RAID zugreift.(Aso im Raid sind SAS) Platten verbaut.

Leider kann ich ja nicht mal eben so, dem kunden eine SAN zur Teststellung da hinstellen.
Wäre dankbar für jeden tipp.

(Virtual Center ist nicht vorhanden)

[bla!zilla]

Was für ein Storage ist das genau? Der Fehler wird mit ziemlicher Sicherheit nicht beim Storage zu suchen sein. Aber dafür haben wir zu wenig Informationen.

VMware Supportvertrag vorhanden?

[oftecs]

also ich habe mir heute die san konfiguration angeschaut. es läuft auf einer kleinen hp san(name natürlich nicht gemerkt) ein raid 5 mit 4 300gig sas platten. auf denen 30 vms laufen. Das raid 5 ist als eine LUN am esx angebunden.

ist das nicht wirklich ein bisschen viel?

Der esx server selbst liegt auf einem raid 1 mit 2 sas platten und einer eigenen lun.

Das ganze hat der Kudne vor jahren selber installiert und konfiguriert.

vmware support ist leider nicht mehr vorhanden.

[Tschoergez]

wie sieht denn die RAM-Auslastung des Servers aus?

was bedeutet "einfrieren" bei Dir? Abstürzen, bluescreen, oder kurze Pause, danach geht aber alles wieder?

Viele grüße,
Jörg

[oftecs]

einfrieren heißt kurze pause und dann gehts weiter.

ram auslastung ist recht hoch, allerdings sind noch genug reserven frei.

[Eric]

einfrieren heißt kurze pause und dann gehts weiter.

ram auslastung ist recht hoch, allerdings sind noch genug reserven frei.

Eindeutig überlastet die Maschine bzw. deutet das einfrieren darauf hin das die Maschine darauf wartet CPU/Memory/Plattenzeit zu bekommen

Als erstes schau dir mal alle Einstellungen der Gäste an, das alle Resourcen auf "Normal" stehen und auch keine Reservierungen gemacht wurden .. also nicht das eine Maschine z.B. bei CPU oder Memory shares high stehen hat bzw. irgend jemand einen Wert eingetragen hat.

Ebenso das alle Maschinen auch wirklich die Wahl zwischen allen Prozessoren haben .

Als nächstes solltest Du noch die ganzen Windows-Maschinen durchgehen.. Bildschirmschoner aus bzw. nur schwarzer Bildschirm, und vor allem auf den Platten wen möglich die Indexierung deaktivieren.

Selbst wenn du den Maschinen nur 256 MB zugeteilt hast.. was werden die wohl machen wenn sie mehr Speicher brauchen?? Auf Platte auslagern!

Und ist schon ein wenig viel Holz für einen Raid 5 mit 4 Platten..

Grüße

Eric

[bla!zilla]

na ja, also der Name des HP Storage wäre schon nett. Kann ja nicht so schwer sein sich ein paar Buchstaben zu merken.

4x 300 GB SAS sind nicht viel für 30 Gäste. Wenn ein Gast eine Änderung an den Metadaten des VMFS macht, dann wird die gesamte LUN für ALLE anderen Gäste gelockt. Wollen die dann was machen, dürfen sie nicht. Änderungen an den Metadaten können z.B. durch

- Einschalten, Ausschalten, Suspenden von Maschinen
- thin-provisioned VMDKs
- Snapshots
- und noch ein paar andere Sachen hervorgerufen werden.

VMware selber empfiehlt 10 bis 15 Maschinen auf eine LUN zu macken. Pro LUN ein VMFS. Maximal 300 bis 500 GB pro VMFS. Das ganze ist als als SCSI-Reservation-Problem bekannt.

NFS kann hier eine Lösung sein, da NFS das Problem nicht hat, dafür aber andere Nachteile.

[kastlr]

Hallo,

mal ne ganz dumme Frage, sind auf den VM's vielleicht irgendwelche Power Saving Options in use?
Wenn ich dich richtig verstanden habe, hängen die VM nur nach längerer Ruhepause.

Ich glaube eigentlich nicht daran, das du ein Problem im SAN hast.
Natürlich sind 4 SAS Disks nicht die Masse, aber eine Wartezeit von einer Minute????
Selbst wenn die VM inzwischen komplett ausgelagert worden ist (wovon ich nicht ausgehe), sollte dein SAN doch locker in der Lage sein, eben mal 256 MB zu liefern.
Schließlich erwähnst du mit keinem Wort, das andere aktive VM's ein Performance Problem melden.
Bei einem Bottleneck im SAN würden sich aber alle über schlechte Performance beklagen.

Gruß
Ralf

[Tschoergez]

naja, das mit dem Storage Problem müsste sich recht leicht rauszufinden sein, im vmkernel lock stehen evtl. SCSI reservation Konflikt, ansonsten hilft der esxtop weiter.

Woran ich hier denke: Der OP spricht vom Einfrieren bei Verbindungen mit der Infrastructure Client Console...

Das sieht doch so aus, als würde einfach die Konsolen-Verbindung in nen Timeout laufen, und sich (unbemerkt?) disconnecten.

Tritt das Problem z.B. auch bei RDP-Verbindungen auf?

Fällt was auf, wenn Du über längere Zeit nen Ping auf die VM laufen lässt?

achso, bei Konsolenverbindungen außerdem interesannt: Wie viel RAM hat denn die Service Console? evtl. liegt hier der Hund begraben, dass einfach die Service Console des ESX stark ausgelastet ist durch die vielen parallelen Consolen-Verbindungen...

Viele Grüße,
Jörg

[oftecs]

guten morgen,

bin nun von meienr schulung zurück.

zu der hardware.

ESX Host ist ein ProLiant DL380 G5 Quardcore XeonCPU 3 GHZ.
8GB RAM

SAN Ist eine HP MSA 1000.
4 300GB SAS Platten im RAID 5.

Angebunden per 4GB FC.

Ca 20 vms gleichzeitig, tendentiell mehr.


mit rdp kann ich grad gar nicht genau sagen. werde ich mal ausprobieren.

Die ServiceConsole werde ich ebenfalls einmal überprüfen.
Und mich dann zurück melden.

[Saturnous]

SAN Ist eine HP MSA 1000.
4 300GB SAS Platten im RAID 5.

Die MSA1x00 ist eine assbach alte SCSI Kiste, da drin werkelt ein Smartarray 5300 Kontroller. Also SAS Platten sind da 1000% nicht drin verbaut, sondern 10k 300GB U320 die aber effektiv nur mit U3 laufen.

Hier mal ein Aktionsplan :

1. Teste mal folgenden Eintrag in die VMX Dateien.

lsilogic.reflectIntrMask = TRUE

2. check /proc/vmware/interrupts - schmeiss bei IRQ Locking den USB Treiber raus

rmmod usb-uhci

3. Stoppe die Agenten

service hpasm stop

4. Erhöhe Servicekonsole auf Maximalwert 800

5. check mal /proc/scsi/scsi .. die MSA FW sollte 5.20 oder 7.00 sein
7.00 wäre eine A/A Version bei der du die Last verteilen könntest
Verbinde dich mit COM Kabel auf die MSA und schau mal ob "show connections" das Profile "LINUX" ausgeben.

Handbuch
http://bizsupport.austin.hp.com/bc/docs ... 183955.pdf

6. Redesign das SAN (Trick17)

7. Schieb ein VMSupport auf Rapidshare o.ä.

[oftecs]

Guten Abend,

so ich war heute bei meinem Kunden.

Habe mir so ein paar Leistungsdaten des ESX über den VI Client angeschaut.

CPU Auslastugn ist eigentlich schwindent gering. Die dümpelt bei den 25 VMs so um die 10% herum. Allerdings kommt es in unregelmäßigen Abständen ( im schnitt so zwischen 5 und 20 Minuten) zu Auslastungen der CPU, die bis zu 70% gehen. Aber da ist ja dann immernoch genug Luft nach Oben.

Dann habe ich mir den RAM angesehen. Leider bin ich zur Zeit noch nicht so fitt, wie ich die Kurven deuten kann, vor allem mit dem Balooning. Es ist so, das die Kiste eine Auslastung von ca. 6 Gig hat. Der Kunde hat noch einen Win 2008 Server installiert.

Hat jemand eine Beschreibung, die einem das etwas näher bringt, wie das Balooning funktioniert, bzw. wie man die Auswertung von VMware deuten kann?

Diesen haben wir nun eingestellt, das er eine vCPU nutzt. (Habe auf meiner VMWare einführungsschulung "gelernt", das virtuelle Maschienen nicht mehr als 1 vCPU zugewiesenen werden sollen. Hoffe dies ist eine korrekte aussage gewesen.
Haben dann 1GB Speicher der VM zugeteilt.
Auf der SAN ein neues Raid 1+0 aus 4 300GB Platten erstellt. Und den Server dort gestartet. wir konnten Per RDP keine Leistungseinbußen oder einfriervorgänge feststellen.

Was allerdings war, wenn man mit per VI CLient Konsole auf den 2008er zugreift, ruckelt und stockt die Maus ein wenig. Aber glaube dies ist ziemlich normal, oder?

Ich wollte mir nun die Speicherreservierung der Servicekonsole anschauen. Aber ich habe die Konfiguration bzw. Überwachung der Servicekonsole nicht gefunden.
Ist es richtig, das ich dies nur direkt mit angeschlossener tastatur machen kann, oder kann ich das auch irgendwo im VI Client?

Zu der Firmware der MSA. Ich habe mich mit dem HP Raid Controller Utility auf die SAN Verbunden. Dort stand etwas von version 7.5. Kann dies richtig sein? Oder war es die Version der Software? ( Es stand, direkt dick oben über der Raidkonfiguration der SAN)

@saturnous: Dachte der ESX Hat keine USB Unterstützung? Wie kann ich die dann trotzdem rauswerfen? Kann ich dies im laufen Betrieb machen, oder sollte ich dies nur tun, wenn alle vms ausgeschaltet sind?

Ich wollte die Tage nach Feierabend einige der VMs auf das neue RAID rüberschieben und hoffen, das sich damit einiges verbessert.
PS: Im nachhinein hat sich herausgestellt, das die Probleme an jeder VM sind. Es hat sich nur nicht jeder Mitarbeiter beschwert [/b]

[Tschoergez]

moin,

beim anpassen der Anzahl der CPUs für die VMs hast Du drauf geachtet, das der richtige HAL verwendet wird? (=>suchfunktion )

im gast sind die vmware tools installiert, und die hardwarebeschleunigung bei den "eigenschaften der anzeige" (oder wo auch immer das beim W2k8 ist) auf "full" gestellt?

funktioniert die namensauflösung vorwärts und rückwärts zwischen ESX und Client?

gibts swapping-aktivität? =>VI Client performance charts, oder esxtop?

Viele Grüße,
Jörg

[Saturnous]

1. Ballooning, gaanz simpel das wird schon seit Windows 95 als Ramoptimizer, Ramdefrag etc verkauft / verschenkt etc. Die Software arbeitet immer nach dem selben Prinzip - sich selbst kurzfristig aufblähen um den gesamten produktiv genutzten Speicher in die Auslagerungsdatei zu schieben damit er dann unfragmentiert wieder in die ersten physischen Bereiche zurückgeladen wird.

Auf physischen Maschinen habe ich das gerne Schlangenölsoftware tituliert .. bei ESX macht das aber um einiges mehr Sinn wenn der Gast Pools anfragt die schon in der Swapdatei der World liegen, also nicht pagefile.sys in der VM sondern .vswp im VMFS Ordner der Maschine.

Eine VM die Ballooned liegt auf einem ESX host mit zuwenig physischen RAM so einfach ist das. 8GB klingen verdammt ärmlich .. wobei die Heterogenität der Gäste eine Rolle spielt, 10 mal das gleiche OS mit gleichem Patchstand frisst netto sehr wenig RAM, wenn aber die Leute unregelmässig Updates gefahren haben sieht es anders aus.

2. Ja man kann sich die RAM Auslastung über VI Client herausfinden, einfach File - Export - Export Diagnostic Data - Ordner angeben - warten - tgz Archiv öffnen - im /proc/meminfo nachlesen. Die Methode hat auch den Vorteil das man danach etwas vorzeigbares und auswertbares mitnehmen kann.

3. Die lokale Tastatur und Monitor ist nur ein Weg auf die Konsole zu kommen, SSH und ILO die anderen. Die Konsole ist nicht ersetzbar.

4. Die Frage mit der USB Unterstützung beantwortet sich doch selbst, wenn ESX kein USB unterstützt können die produktiven Gäste durch den Rausschmiss des Treibers nicht gestört werden. Der Treiber läuft nur auf der SC nicht im VMIX Kern, deswegen lockt er doch alle gesharten IRQs. Gab es denn eine Nötigkeit für den Rausschmiss ? Waren IRQs auf der CPU null gelockt ? Wenn du ohne Macht warst, dann check es wie bei Pkt 2.

5. Ja das ist die Version des Konfigurationstools, nicht das der MSA ! Wenn du dir die Info per Klickibunti organisieren wolltest, dann siehe Pkt 2.

6. Sag dem Kunden der soll pauschal den SC RAM hochsetzen, die Idee mit dem Zugriff