10 GB BKF-File über vSwitch 11 Minuten ??????????

[djbreezer]

hi,
ich glaub irgendwas stimmt mit unserem Netzwerk nicht! Ich habe eben mal Testweise eine 10 GB große BKF-Datei von einem Windows 2003 Server auf einen anderen kopiert. Beide Server liegen auf dem gleichen ESX und sind am gleichen vSwitch! Der Kopiervorgang hat sage und schreibe 11 Minuten gedauert. Die Virenscanner auf den Servern hatte ich aus.

Die Server verwenden beide eine e1000 NT.

Zum Wirtsystem:
2x Xenon X5450 3.0GHz Quad Core
24 GB RAM
SAS-Platten

Ich bin nun schon seit ner Woche am rätseln woran das liegen könnte. Hat hier vielleicht jemand eine Idee ???

[bla!zilla]

Wieviele Platten werden in welchem RAID Level betrieben? Lagen die Maschinen im gleichen Datastore? Auf dem gleichen logischen Laufwerk am RAID Controller?

Sind umgerechnet 15 MB/s (wenn ich mich nicht auf die Schnelle verrechnet habe).

[djbreezer]

Sind 10 Platten die in einem Raid 5. Gleiches logisches Laufwerk und gleicher Datastore.

[irix]

Sind 10 Platten die in einem Raid 5. Gleiches logisches Laufwerk und gleicher Datastore.

Das heist dann aber 10GB lesen und GLEICHZEITIG wieder schreiben! Guck erstmal mit IOmeter was das Storage so beim lesen und schreiben macht und auch in Groessen welche dann nicht mehr in den Cache passen. Macht das RAID evtl. Write-Trough?

Gruss
Joerg

[djbreezer]

welche größe schlägst du vor ?

[irix]

welche größe schlägst du vor ?

Meine Glaskugel ist zur Reperatur und ich kann somit nicht erkennen wie Gross der Cache DEINES Storage ist.

Gruss
Joerg

[djbreezer]

bin mir nicht bewusst wo ich den einstellen bzw einsehen kann. Oder meinst du den Cache der Festplatten?

[irix]

bin mir nicht bewusst wo ich den einstellen bzw einsehen kann. Oder meinst du den Cache der Festplatten?

Dein RaidController hat doch wohl einen Cache und eine Cachepolicy. So z.B das bei fehlender BBU das WriteThrough genommen wird anstelle des Write-Back. Bei einigen Controllern kann noch das Verhaeltnis zu Schreib-Lese Caching eingestellt werden.

Beim Benchmarken halt drauf achten das man einmal mit Cache und dann auch mal "ohne" sprich mit Pattern welche nicht rein passen den Bench durchfuehrt.

Gruss
Joerg

[djbreezer]

ok nun hab ichs kapiert. Weiß jetzt nur nicht wie der Raidcontroller eingerichtet ist. Muss ich Montag mal schauen... hab leider kein iLo Glaube aber es sind 256 MB

Außerdem muss ich mich jetzt erstmal in IOMeter reinfriemeln. Hab damit noch nie gearbeitet und Übersichtlich sieht des ganze nu nich aus...

[bla!zilla]

Ist das ein HP ProLiant??

Ich vermute die Werte sind bei dem Konstrukt gar nicht so schlecht...

[djbreezer]

so hab nun dt.exe zum testen genommen. Die Dateigröße lag bei 3 GB.

Code: Alles auswählen

Command Line:

    % dt.exe of=c:\dt.dat bs=4k limit=3g iotype=sequential log=c:\dt.log

   --> Date: February 6th, 2001, Version: 14.3, Author: Robin T. Miller <--

Write Statistics:
     Total records processed: 786432 @ 4096 bytes/record (4.000 Kbytes)
     Total bytes transferred: 3221225472 (3145728.000 Kbytes, 3072.000 Mbytes)
      Average transfer rates: 71359196 bytes/sec, 69686.715 Kbytes/sec
     Number I/O's per second: 17421.679
      Total passes completed: 0/1
       Total errors detected: 0/1
          Total elapsed time: 00m45.14s
           Total system time: 00m26.65s
             Total user time: 00m18.09s

Read Statistics:
     Total records processed: 786432 @ 4096 bytes/record (4.000 Kbytes)
     Total bytes transferred: 3221225472 (3145728.000 Kbytes, 3072.000 Mbytes)
      Average transfer rates: 88900631 bytes/sec, 86817.023 Kbytes/sec
     Number I/O's per second: 21704.256
      Total passes completed: 1/1
       Total errors detected: 0/1
          Total elapsed time: 00m36.23s
           Total system time: 00m06.84s
             Total user time: 00m29.39s

Total Statistics:
     Output device/file name: c:\dt.dat (device type=regular)
     Type of I/O's performed: sequential (forward)
   Data pattern read/written: 0x39c39c39
     Total records processed: 1572864 @ 4096 bytes/record (4.000 Kbytes)
     Total bytes transferred: 6442450944 (6291456.000 Kbytes, 6144.000 Mbytes)
      Average transfer rates: 79169904 bytes/sec, 77314.359 Kbytes/sec
     Number I/O's per second: 19328.590
      Total passes completed: 1/1
       Total errors detected: 0/1
          Total elapsed time: 01m21.37s
           Total system time: 00m33.50s
             Total user time: 00m47.48s
               Starting time: Sun Jun 20 10:04:08 2010
                 Ending time: Sun Jun 20 10:05:30 2010


Sollte da nicht ein bißchen mehr bei rauskommen ?

Wenn ich den Test auf 2 Servern gleichzeitig durchführe mit einer Dateigröße von 10 GB.. stelle ich doch 1:1 die Situation nach, wenn ich eine Datei mit 10 GB von A nach B kopiere, oder ? Eventuell noch die Zugriffsart auf "random" stellen?

[irix]

Dann mach das mal mit bs=64k dann hast du dein "bisschen mehr"

Gruss
Joerg

[djbreezer]

aber wenn ich NTFS Partitionen habe sollte ich das doch auch auf die Blocksize der NTFS-Partitionen ausrichten oder nich?

[djbreezer]

Ist das ein HP ProLiant??

Ich vermute die Werte sind bei dem Konstrukt gar nicht so schlecht...

Jap ist eine ProLiant ML370 G5

Was genau meinst du mit "Konstrukt" ? Ist an dem Setup irgendwo n Denkfehler ?

[djbreezer]

hab jetzt auch mal den Netzwerkspeed zwischen den zweien getestet;

[img]

[/img]

daran sollte es nicht liegen.

Komischerweise kann ich auch nicht schneller laden wenn ich eine Datei auf meinen lokalen PC herunterlade. Ich komm immer nur auf die 15 MB/s...

[bla!zilla]

Hat der Smart Array Controller ein BBWC?

Die Blockgröße des Dateisystems ist pommes. Wichtig ist die Chunksize. Je nachdem, was man haben will (ob IOPS oder MB/S) sollte die größer oder kleiner als der durchschnittliche IO sein. Partition Alignment macht vCenter automatisch, wenn man darüber das VMFS anlegt.

Wenn du mit kleinen IOs testest, dann kommen da keine MB/s raus.

[irix]

.. Partition Alignment macht vCenter automatisch, wenn man darüber das VMFS anlegt.

Korrekt... aber die Partiion der virtuellen Disk seines W2k3 beginnt ungluecklicherweise bei Block 63 weil das frueher (<Vista,WIN7,W2k8) mit fdisk so war. Wenn man mit einem Linux fdisk umgehen kann dann ist die Vorbereitung fuer ein XP,W2k3 als VM in 3Min gemacht und die Partion beginnt dann bei Sektor 128 sofern sein Storage eine Stripsize von 64KB hat.
Die Daten DISKs kann man unter W2k3 dann mit dem eigenem "fdisk" anlegen...

Code: Alles auswählen

diskpart
select disk x
create partition primary align=64
exit

Leider kann das ein fdisk von WinXP mal wieder nicht....*grummel*.

Aber zu dem Alignment Thema gibts ja nun unzaehlige Doku. Dafuer das dieses Thema eigentlich schonn immer eine Rolle spiele sobald man ein RAID unter den Fuessen hat ist es erschreckend wieviele davon noch nichts gehoert haben. Aber das wird sich mit Einfuehrung der Platten mit 4K aendern, weil dann jeder Betroffen ist der noch mit legacy OS rummachen muss.

Gruss
Joerg

[bla!zilla]

Die Stripesize des Storage hat damti nix zu tun. Auch eine virtuelle Platte meldet sich mit einem CHS Wert. Die Hersteller verwenden den meist als Ausgangslage für die Organisation der Cacheseiten. Daher ist Partition Alignment auch hier sinnvoll. Aber noch mal: Die Stripesize hat damit erstmal nix zu tun.

[Dayworker]

Leider kann das ein fdisk von WinXP mal wieder nicht....*grummel*.

Aber zu dem Alignment Thema gibts ja nun unzaehlige Doku. Dafuer das dieses Thema eigentlich schonn immer eine Rolle spiele sobald man ein RAID unter den Fuessen hat ist es erschreckend wieviele davon noch nichts gehoert haben. Aber das wird sich mit Einfuehrung der Platten mit 4K aendern, weil dann jeder Betroffen ist der noch mit legacy OS rummachen muss.

Gruss
Joerg

Leider kommt auch W7 zumindest von USB-Datenträgern als Bootplatte nicht mit einer anderen Blocksize als 512Byte klar. Die Versuche mit einem "Samsung S2 Portable USB Drive" und ihrer Sektorgröße von 1024Byte scheiterten laut der c't 13/2010 Seite 168ff.

[djbreezer]

so hab nun mal den Test mit ner Blocksize von 64k gemacht. Hier das Ergebnis:

Code: Alles auswählen

Command Line:

    % dt.exe of=c:\dt.dat bs=64k limit=1g iotype=sequential log=c:\dt.log

   --> Date: February 6th, 2001, Version: 14.3, Author: Robin T. Miller <--

Write Statistics:
     Total records processed: 16384 @ 65536 bytes/record (64.000 Kbytes)
     Total bytes transferred: 1073741824 (1048576.000 Kbytes, 1024.000 Mbytes)
      Average transfer rates: 55868767 bytes/sec, 54559.342 Kbytes/sec
     Number I/O's per second: 852.490
      Total passes completed: 0/1
       Total errors detected: 0/1
          Total elapsed time: 00m19.21s
           Total system time: 00m12.71s
             Total user time: 00m06.06s

Read Statistics:
     Total records processed: 16384 @ 65536 bytes/record (64.000 Kbytes)
     Total bytes transferred: 1073741824 (1048576.000 Kbytes, 1024.000 Mbytes)
      Average transfer rates: 92000842 bytes/sec, 89844.572 Kbytes/sec
     Number I/O's per second: 1403.821
      Total passes completed: 1/1
       Total errors detected: 0/1
          Total elapsed time: 00m11.67s
           Total system time: 00m02.12s
             Total user time: 00m09.54s

Total Statistics:
     Output device/file name: c:\dt.dat (device type=regular)
     Type of I/O's performed: sequential (forward)
   Data pattern read/written: 0x39c39c39
     Total records processed: 32768 @ 65536 bytes/record (64.000 Kbytes)
     Total bytes transferred: 2147483648 (2097152.000 Kbytes, 2048.000 Mbytes)
      Average transfer rates: 69520351 bytes/sec, 67890.968 Kbytes/sec
     Number I/O's per second: 1060.796
      Total passes completed: 1/1
       Total errors detected: 0/1
          Total elapsed time: 00m30.89s
           Total system time: 00m14.84s
             Total user time: 00m15.61s
               Starting time: Mon Jun 21 08:51:28 2010
                 Ending time: Mon Jun 21 08:51:58 2010



[djbreezer]

Hat der Smart Array Controller ein BBWC?

Die Blockgröße des Dateisystems ist pommes. Wichtig ist die Chunksize. Je nachdem, was man haben will (ob IOPS oder MB/S) sollte die größer oder kleiner als der durchschnittliche IO sein. Partition Alignment macht vCenter automatisch, wenn man darüber das VMFS anlegt.

Wenn du mit kleinen IOs testest, dann kommen da keine MB/s raus.

Der markierte Bereich sollte der BBWC sein , oder ?

[bla!zilla]

Jap, alles wunderbar.

[djbreezer]

Jap, alles wunderbar.

dann muss mir jetzt nur noch einer sagen warum das ganze so langsam is Mir gehen nämlich langsam die Ideen aus.

[Dayworker]

Ist das ein HP ProLiant??

Ich vermute die Werte sind bei dem Konstrukt gar nicht so schlecht...

Ich befürchte, du wirst da wohl leider nicht viel mehr erwarten dürfen. Höchstwahrscheinlich zählt der P400-Controller nicht zur performanteren Reihe von Raid-Controllern...

[kastlr]

Hallo,

ich glaube, du mußt deine Erwartungshaltung anpassen.
Laß uns das mal auseinandernehmen, was du bisher gemessen hast.

  4kb Blocksize = 19.000 IO/sec = 0.05 ms Responsezeit
64kb Blocksize =   1.000 IO/sec =       1 ms Responsezeit

Wieviel schneller soll es denn deiner Meinung nach noch gehen, das sind doch schon exzellente Werte!
Speziell dann, wenn du mit nur einem Plattensatz und dann auch noch mit RAID 5 Schutz arbeitest.

Schließlich muß bei jedem Write die Parity Summe neu berechnet und ebenfalls geschrieben werden.
Um dies zu bewerkstelligen, müssen die Daten aller am Parity beteiligten Platten gelesen werden, somit kommst du zusätzlich noch auf eine nicht unerhebliche Anzahl von Reads.
Das macht zwar alles dein RAID Controller, aber auch der muß die Daten erst einmal haben.
Rechne noch die Zeiten zum Positionieren der Köpfe und die Wartezeiten hinzu, bis der Beginn des Tracks wieder unter den Köpfen erscheint, dann sieht die Welt schon wieder ganz anders aus.

Ich denke also, das du keinerlei Grund hast, dich über die Performance zu beklagen, solange wir hier nicht über SSD Disks sprechen.

Und dann mißt du das ganze auch noch offenbar aus einer VM heraus.

Falls du genau wissen möchtest, wie die Disks der VM ausgelastet sind, dann empfehle ich dir das Tool vscsiStats, welches auf jedem ESX Server vorhanden ist.

Gruß
Ralf