MySQL auf nem Linux Guest -> langsam

[netzlaff]

:roll: Du machst es einem ja sehr leicht dir zu helfen.

Sorry, liegt vielleicht auch daran, dass ich nicht so tief in der Materie stecke wie du, bin halt noch neu auf dem Gebiet

Nein das iSCSI habe ich noch nicht als Flaschenhals identifizieren können. Jedenfalls ist ein dd in einer VM im SAN oder auf lokaler Platte schon unterschiedlich.

dd in vm auf SAN:

Code: Alles auswählen

dd if=/dev/zero of=file bs=1024000 count=1000
1000+0 records in
1000+0 records out
1024000000 bytes (1,0 GB) copied, 11,5155 s, 88,9 MB/s

dd in vm auf lokaler Platte:

Code: Alles auswählen

dd if=/dev/zero of=file bs=1024000 count=1000
1000+0 records in
1000+0 records out
1024000000 bytes (1,0 GB) copied, 15,6329 s, 65,5 MB/s

Code: Alles auswählen

esxcfg-vswitch -l
Switch Name    Num Ports   Used Ports  Configured Ports  MTU     Uplinks
vSwitch0       64          10          64                1500    vmnic0

  PortGroup Name      VLAN ID  Used Ports  Uplinks
  VM Network          0        6           vmnic0
  Service Console     0        1           vmnic0

Switch Name    Num Ports   Used Ports  Configured Ports  MTU     Uplinks
vSwitch1       64          8           64                1500    vmnic4,vmnic5

  PortGroup Name      VLAN ID  Used Ports  Uplinks
  iSCSI Network VLAN100        1           vmnic5,vmnic4
  Servicekonsole      0        1           vmnic5,vmnic4
  VMotion             0        1           vmnic5,vmnic4
  VMkernel            0        1           vmnic5,vmnic4

Switch Name    Num Ports   Used Ports  Configured Ports  MTU     Uplinks
vSwitch2       64          5           64                1500    vmnic1

  PortGroup Name      VLAN ID  Used Ports  Uplinks
  HA Network          0        2           vmnic1

Switch Name    Num Ports   Used Ports  Configured Ports  MTU     Uplinks
vSwitch3       64          4           64                1500    vmnic2

  PortGroup Name      VLAN ID  Used Ports  Uplinks
  DMZ Network         3        1           vmnic2

Switch Name    Num Ports   Used Ports  Configured Ports  MTU     Uplinks
vSwitch4       64          6           64                1500    vmnic7,vmnic6

  PortGroup Name      VLAN ID  Used Ports  Uplinks
  iSCSI Network VLAN200        0           vmnic6,vmnic7
  Servicekonsole 2    0        1           vmnic6,vmnic7
  VMkernel 2          0        1           vmnic6,vmnic7

Code: Alles auswählen

cat /proc/scsi/vmkiscsi/*
# iSCSI driver version: 3.6.3.0 variant (27-Jun-2005)
#
# SCSI:               iSCSI:
# Bus Tgt LUN         IP address   Port  TargetName
    0   1   0       192.168.10.3   3260  iqn.1984-05.com.dell:powervault.600221900087e1810000000048fa06af
    0   2   0       192.168.20.3   3260  iqn.1984-05.com.dell:powervault.600221900087e1810000000048fa06af
    0   3   0       192.168.10.4   3260  iqn.1984-05.com.dell:powervault.600221900087e1810000000048fa06af
    0   4   0       192.168.20.4   3260  iqn.1984-05.com.dell:powervault.600221900087e1810000000048fa06af
    0   5   0       192.168.10.1   3260  iqn.1984-05.com.dell:powervault.600221900087103d0000000048f89613
    0   6   0       192.168.20.1   3260  iqn.1984-05.com.dell:powervault.600221900087103d0000000048f89613
    0   7   0       192.168.10.2   3260  iqn.1984-05.com.dell:powervault.600221900087103d0000000048f89613
    0   8   0       192.168.20.2   3260  iqn.1984-05.com.dell:powervault.600221900087103d0000000048f89613

Ich habe momentan 10 laufende VMs auf beiden SANs.

Wenn ich den USB-Treiber bei den Hosts deaktivieren, dann habe ich keine Tastatur mehr am Host, da diese am Host per USB abgeschlossen ist.. oder nicht?

[Tschoergez]

wie sind denn deine anderen VMs konfiguriert?

und gibt es hohe werte für swapping und %CSTP und %RDY im esxtop auf der Console?

[Saturnous]

1. Bravo .. für jede LUN ein Target kreiert, ich seh das täglich das Leute alle LUNs auf ein Target öffnen. Und das gibt miese Performance.

2. Der Disk Performancetest hat einen kleinen Fehler, wieviel Schreibcache hat eine SAN und wieviel eine lokaler RAID Kontroller? SAN mind 2GByte lokaler RAID 256 oder 512MByte, man sollte schon mit einem vielfachen des Caches testen. Wobei das Spitzenwerte sind. Aber wie wir in Pkt 1 festgestellt haben hast du mehrere Targets, je nach Routing Typ könnte auch ein Target über vmnic5 gehen die andere über vmnic4. Von der vmnic5 wissen wir das die per IRQ an nur der ersten CPU hängt die vmnic4 hab ich in der IRQ Tabelle nicht finden können.

3. Ja lokale USB Geräte funzen dann nicht mehr, bis man per ssh Shell wieder modprobe usb-ohci ausführt. Alternativ kannst du im BIOS USB 2.0 ausschalten, dann halbiert sich die Menge der gelockten IRQs, ich denke USB 1.0 reicht. Und noch ggf Parelell- und Seriellport deaktivieren, das macht wieder paar IRQs frei über die du die Geräte verteilen kannst. Dämmlicherweise verdrathen viele HW Hersteller fest, dann springen die IRQs beim verstellen mit. Da hilft dann nur umstecken der PCI Karten bis es passt.

4. Jepp der Jörg hat Recht - es wird wohl Richtung knapper Memory gehen.

[netzlaff]

Werde mal schauen was ich im Bios einschalten kann. Ist nur nicht so einfach da ran zu kommen, weil da schon produktive Systeme drauf laufen :S

Hier mal von beiden ESX Server das esxtop:

Code: Alles auswählen

 1:01:05pm up 26 days 20:04, 110 worlds; CPU load average: 0.33, 0.30, 0.31
PCPU(%):  76.76,  22.02,  25.78,  23.74,  58.26,  27.66,  17.35,  24.26 ;   used total:  34.48
CCPU(%):  29 us,  28 sy,   7 id,  36 wa ;       cs/sec:   1081

     ID    GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD
      1      1 idle                8  529.37  529.61    0.00    0.00  276.02    0.00    0.06    0.00    0.00
      2      2 system              7    0.02    0.02    0.00  700.00    0.00    0.00    0.00    0.00    0.00
      6      6 helper             23    0.00    0.00    0.00 2300.00    0.01    0.00    0.00    0.00    0.00
      7      7 drivers            28    0.06    0.32    0.21 2800.00    0.45    0.00    0.00    0.00    0.00
      8      8 vmotion             1    0.00    0.00    0.00  100.00    0.00    0.00    0.00    0.00    0.00
      9      9 console             1   73.68   74.91    0.67   24.70    1.11   24.55    1.91    0.00    0.00
     19     19 vmware-vmkauthd     1    0.00    0.00    0.00  100.00    0.00    0.00    0.00    0.00    0.00
     24     24 virtual-center      7  101.69  102.30    0.18  600.73    1.46   94.83    0.17    0.26    0.00
     26     26 drbd-test1          7    0.69    0.69    0.00  700.00    0.19  199.80    0.04    0.00    0.00
     30     30 router1             5    2.16    2.13    0.04  500.00    1.13   97.99    0.08    0.00    0.00
     32     32 database1          11   22.98   22.27    0.32 1081.79    3.04  377.54    0.20    0.00    0.00
     40     40 web                11   72.57   72.56    0.17 1021.16   14.32  315.84    0.47    0.00    0.00


Code: Alles auswählen

 1:01:19pm up 4 days 23:04, 113 worlds; CPU load average: 0.10, 0.08, 0.07
PCPU(%):   0.00,   0.00,   0.00,   0.00,   0.00,   0.00,   0.00,   0.00 ;   used total:   0.00
CCPU(%):   0 us,   0 sy,   0 id,   0 wa ;       cs/sec:      0
Display ESX cpu on
     ID    GID NAME             NWLD   %USED    %RUN    %SYS   %WAIT    %RDY   %IDLE  %OVRLP   %CSTP  %MLMTD
      1      1 idle                8  758.67   12.69    0.00    0.00  772.40    0.00    0.01    0.00    0.00
      2      2 system              7    0.81    0.81    0.00  685.47    0.00    0.00    0.00    0.00    0.00
      6      6 helper             23    0.04    0.04    0.00 2255.64    0.08    0.00    0.00    0.00    0.00
      7      7 drivers            28    0.04    0.09    0.03 2746.22    0.02    0.00    0.00    0.00    0.00
      8      8 vmotion             1    0.00    0.00    0.00   98.05    0.00    0.00    0.00    0.00    0.00
      9      9 console             1    5.88    5.98    0.00   89.87    2.21   89.76    0.31    0.00    0.00
     20     20 vmware-vmkauthd     1    0.00    0.00    0.00   98.05    0.00    0.00    0.00    0.00    0.00
     21     21 cups-test           5    0.63    0.63    0.00  489.52    0.09   95.90    0.07    0.00    0.00
     22     22 database2          11    1.35    1.32    0.04 1076.93    0.20  374.45    0.11    0.00    0.00
     23     23 router2             5    3.56    3.56    0.01  486.56    0.17   96.18    0.14    0.00    0.00
     24     24 monitoring          5    8.46    8.38    0.12  481.35    0.43   92.45    0.21    0.00    0.00
     30     30 web-test           11    4.49    4.50    0.00 1072.40    1.40  383.45    0.22    0.00    0.00
     32     32 db-test             7    0.44    0.41    0.03  685.60    0.08  196.46    0.08    0.00    0.00

[Saturnous]

Hmm .. soll das ein DRBD Cluster werden ? Läuft der schon auf dem DRBD Blockdevice ?
Wenn ja sehe ich den Sinn von DRBD innerhalb der VMWare nicht ganz.

[netzlaff]

Ja richtig erkannt. Aber drbd läuft noch nicht produktiv. Ist dafür gedacht die Daten redundant zu halten (innerhalb der SANs) um mal die Möglichkeit zu haben eine Maschine im laufenden Betrieb durchzustarten. Aber wie gesagt, ob dbrd jetzt an oder aus ist, bringt absolut keine Verbesserung

[Tschoergez]

kannst Du Deine esxtop Ausgaben so umstellen, dass die %CSTP angezeigt werden?
wie viele vCPUs haben denn die anderen VMs?
und immer noch die Frage nach Memory-Auslastung (Taste "m" im esxtop)
Viele grüße,
jörg

[netzlaff]

vCPUs meiner VMs:
virtual-center 2x
router1 und 2 jeweils 1x
monitorung 1x
web 4x
cups-test 1x
web-test 4x
db-test 4x
drbd-test1 2x

Code: Alles auswählen

 1:00:14pm up 26 days 20:03, 110 worlds; MEM overcommit avg: 0.03, 0.03, 0.03
PMEM  /MB: 16378   total:   272     cos,   288 vmk,    7322 other,   8495 free
VMKMEM/MB: 15869 managed:   952 minfree,  2124 rsvd,  13594 ursvd,  high state
COSMEM/MB:    12    free:   541  swap_t,   457 swap_f:   0.00 r/s,   0.00 w/s
NUMA  /MB:  7875 ( 5823),  8093 ( 2671)
PSHARE/MB:  4658  shared,   455  common:  4203 saving
SWAP  /MB:  1172    curr,     0  target:                 0.00 r/s,   0.00 w/s
MEMCTL/MB:     0    curr,     0  target,  9563 max

   GID NAME             NWLD    MEMSZ    SZTGT     TCHD %ACTV %ACTVS %ACTVF %ACTVN    SWCUR    SWTGT   SWR/s   SWW/s   OVHDUW     OVHD  OVHDMAX
    19 vmware-vmkauthd     1     5.62     5.62     1.92     0      0      0      0     0.00     0.00    0.00    0.00     0.00     0.00     0.00
    24 virtual-center      7  2048.00   991.28   143.36     5      5      5      2   215.18     0.00    0.00    0.00    47.45   105.45   168.80
    26 drbd-test1          7  4096.00  4207.16   122.88     4      1      3      2   798.71     0.00    0.00    0.00    81.52   132.86   231.54
    30 router1             5  1024.00   967.45    81.92     4      3      4      5    41.82     0.00    0.00    0.00    19.90    34.60   104.40
    32 database1          11  4096.00  4238.74   819.20    22     17     20     18    36.99     0.00    0.00    0.00    86.43   233.18   378.18
    40 web                11  4096.00  1943.50   368.64     7      5      6      6    79.87     0.00    0.00    0.00    86.43   184.69   283.39


Code: Alles auswählen

 1:00:38pm up 4 days 23:04, 113 worlds; MEM overcommit avg: 0.05, 0.05, 0.05
PMEM  /MB: 16378   total:   272     cos,   289 vmk,    4310 other,  11506 free
VMKMEM/MB: 15869 managed:   952 minfree,  3064 rsvd,  12652 ursvd,  high state
COSMEM/MB:    12    free:   541  swap_t,   465 swap_f:   0.00 r/s,   0.00 w/s
NUMA  /MB:  7875 ( 6384),  8093 ( 5121)
PSHARE/MB:  2193  shared,   129  common:  2064 saving
SWAP  /MB:  1004    curr,     0  target:                 0.00 r/s,   0.00 w/s
MEMCTL/MB:     0    curr,     0  target,  9880 max

   GID NAME             NWLD    MEMSZ    SZTGT     TCHD %ACTV %ACTVS %ACTVF %ACTVN    SWCUR    SWTGT   SWR/s   SWW/s   OVHDUW     OVHD  OVHDMAX
    20 vmware-vmkauthd     1     5.62     5.62     1.92     0      0      0      0     0.00     0.00    0.00    0.00     0.00     0.00     0.00
    21 cups-test           5  1024.00  1085.76    51.20     5      3      5      3    32.39     0.00    0.00    0.00    19.90    31.93   104.53
    22 database2          11  4096.00  4177.54    40.96     1      0      1      1    78.25     0.00    0.00    0.00    86.43   172.74   325.09
    23 router2             5  1024.00  1091.11    71.68     5      2      4      7    26.38     0.00    0.00    0.00    19.90    31.88   104.53
    24 monitoring          5  1536.00  1614.33   537.60    29     26     28     25    72.38     0.00    0.00    0.00    24.42    35.99   112.44
    30 web-test           11  4096.00  3533.81    81.92     3      0      2      2   795.39     0.00    0.00    0.00    86.43   151.30   250.44
    32 db-test             7  4096.00  3241.26    40.96     1      0      1      1     0.00     0.00    0.00    0.00    81.52    94.70   185.91


[Tschoergez]

putty fenster größer machen (auch bei der memory anzeige fehlen die interesannten spalten), und mit "f" die einzelnen Spalten an- und ausschalten...
man esxtop

Viele Grüße,
Jörg

[netzlaff]

Ah ok, habe in den Posts zuvor die Ausgabe ersetzt, siehe oben!

[Tschoergez]

besser, aber die interessanten spalten für memory swap, ballooning bzw. die cstp bei cpu fehlt immer noch.
Du kannst auch selber anfangen zu interpretieren, Hilfe hierzu:
http://communities.vmware.com/docs/DOC-9279 (geniales Dokument )

grüße,
jörg

[netzlaff]

Swap habe ich hinzugefügt, CSTP ist doch dabei... Siehe oben weiter...

[GTMK]

3 VMs mit jeweils 4 vCPUs und 2 VMs mit jweils 2 vCPUs - ist das nicht reichlich eng?

Georg.

[netzlaff]

Meint ihr das ist zu überdimensioniert?

[GTMK]

Wenn ich das dem Thread richtig entnehme, hast du 2 Server mit je 2 Quadcores. Mindestens 2 der 4 vCPU-Maschinen laufen also auf demselben Host. Jede von denen kommt nur dann zum Zuge, wenn _gleichzeitig_ 4 Kerne frei sind. Das ist hier schon so oft diskutiert worden...

Das Motto "viel hilft viel" trifft bei vCPUs nur bedingt zu. Daher sollte man, wenn nicht wirklich handfeste Gründe dagegen sprechen, jede VM zunächst mit nur einer vCPU ausstatten und dann mal schauen, ob es reicht, zumal nicht jede Anwendung auch anständig mit der Anzahl der CPUs skaliert. Diese Aussage wiird hier auch gebetsmühlenartig wiederholt, nicht nur von mir.

Ich fahre momentan auf 2 Hosts mit je 4 Dualcores knapp 50 aktive VMs, aber alle mit nur einer vCPU. Auch unseren Exchange 2003 für gut 200 Clients. Von allgemeinen Klagen über die Performance ist mir nichts bekannt.

Georg.

[netzlaff]

Habe jetzt angefangen meine VMs auf 1 vCPU zurück zu drosseln. Nur macht mir das VirtualCenter echt Sorgen. Der SQL-Server lastet das System zu 100% aus! Habe diese VM von zwei auf eine vCPU geändert und gestern Abend noch durchgestartet. Heute Morgen sehe ich die 100% Auslastung! Sicher dass das so ne Gute Idee ist mit nur einer vCPU?

[Saturnous]

Du hast doch nur 2 Hosts .. stell die Performancesammeldaten bissel zurück dann passt das schon. Was kümmerts wenns VC ächzst.

[GTMK]

Hast du denn beim Zurückschalten von 2 vCPUs auf eine auch die HAL geändert?

Ansonsten hätte ich erst einmal den 4 vCPU-VMs zwei weggenommen.

Georg.