veeam backup sehr langsam auf iscsi

[cobain86]

hi
ich hoffe hier kann mir jemand helfen.

wir haben 3 esx 5.1 Server im Cluster
Daneben haben wir eine Synology RS2212+ und einen physikalischen Server(16gb RAM, w2k8 R2)
Veeam Version ist die 7.0.0.871

Auf der Synology ist ein iscsi volume eingerichtet welches am physikalischen Server als Backup Laufwerk eingebunden ist.

in Veeam werden die täglichen Sicherungen dort abgelegt.
Es werden Täglich von den VMs Reverse incemental Sicherungen erstellt.
Leider gehen die Übertragungswerte nicht über max. 15 MB/s

Ich habe auch schon mehrere Tansport Modis ausprobiert und auch den Veeam Proxy mal auf eine VM gelegt aber leider keine abhilfe.
Im Bild sind nochmals die Werte von heute zu sehen.

Am iSCSI kann es nicht liegen da ich auf Dateiebene beim Kopieren einer ISO zum Synlology weitaus höhere Werte habe.

Habt ihr eine Idee? Vielleicht liegt es ja am Reverse incemental modus.

[irix]

Als Bottleneck wird Target bei dir anzeigt und der ReverseIncremental Mode ist der IO Intensivste.

Ich hab einen Kunden welcher das gleiche Setup hat wie du und ich muesste mal nachfragen. Aber bei der Einrichtung und Testlaufs waere mir das aufgefallen wenn da nur 7MB/s herausgekommen waeren weil dann wird ne Sicherung ja nie fertig.

Gruss
Joerg

[continuum]

Wird change-block-tracking benutzt ?

Vielleicht kann das aus irgendwelchen Gründen nicht benutzt werden - ohne CBT geht die Performance massiv in den Keller

[PeterDA]

Hi,
einfach mal die 3. Zeile von unten in deinem Scrrenshoot lesen. Dein Storage ist der Flaschenhals. Was mich andersrum aber auch gewundert hätte wenn es nicht so wäre.

Gruß Peter

[bla!zilla]

Wirf das iSCSI Volume weg und binde die NAS als CIFS Target ein. Da sollte schon etwas mehr gehen. Welche Plattenbestückung ist in dem NAS verbaut?

[PeterDA]

Hi,
ich glaube nicht das es am ISCSI liegt. Das dürfte mal wieder ein Synology Problem sein.

Gruß Peter

[soehl]

Sind die Werte bei einem Full auch so schlecht?! So schön der Reverse Incremental Mode auch ist, regelmäßige Fulls müssen trotzdem sein.

[bla!zilla]

ich glaube nicht das es am ISCSI liegt. Das dürfte mal wieder ein Synology Problem sein.

CIFS ist aber weniger CPU-intensiv. Ich würde CIFS/ NFS jederzeit iSCSI vorziehen, außer da sind dicke CPUs und 10 GbE drin.

[PeterDA]

Ob Fulls dürften noch länger dauern als Reverse incrementel
Dein Problem ist das der Backupspeicher zu langsam ist.

Gruß Peter

[Dayworker]

Wenn der Backup-Speicher zu langsam ist, führt das letztlich wieder zur Frage, wie das NAS plattentechnisch bestückt ist.

Das NAS-Geräte aufgrund ihrer Auslegung auf sequentiellen IO sprich Vollbackup keine hohen Werte bei Random-IO sprich "Reverse incemental modus" erreichen können, ist ja nichts neues und zusammen mit einer Dualcore-CPU mit 2.13GHz (vermutlich Intel Atom-CPU D2700 mit 1GB RAM als Standard- und bei Synology 3GB als Maximalbestückung) sind eh keine deutlich besseren Werte zu erwarten. Die im Produkt-Prospekt als "boasting high performance with read and write speeds at 200.73 MB/sec and 194.32 MB/sec respectively under RAID 5 configuration with Link Aggregation enabled" angegebenen Werte sind hinsichtlich sämtlichen nichtsequentiellen Zugriffen als absolut wertlos zu betrachten. Bei verteilten IO-Zugriffen erreichen NAS-Geräte typischerweise nur Werte um 15MB/s und je nach Plattenanzahl sowie RAM-/CPU-Ausstattung sind auch Werte darunter möglich. Damit das NAS zumindest bei verteilten Zugriffen deutlich schneller wird, bleibt dir eigentlich nur der SSD-Einsatz übrig...

[bla!zilla]

Also von ich mir Veeam KB1799 ansehe, dann ist das Reversed Incremental weit davon entfernt das zu sein, was ich unter Random IO verstehe...

[PeterDA]

Das ist schon richtig. Allerdings habe ich mit QNAP, Synology, und ähnlichen noch nie wirkliche gute Werte gesehen. Und Veeam kann coole Werte liefern wenn die Hardware passt.

Habe einen Kunden der schreibt mit über 250MB in ein datadomain. Okay ist halt andere Preisklasse.

Gruß Peter

[bla!zilla]

250 MB/s sind < 1 TB/h. Soooo wahnsinnig ist das auch nicht.

[Supi]

Anbei zur Orientierung ein Benchmark auf dem Iomega NAS PX6-300D. Je 1 Port für CIFS/NFS und ISCSI genutzt, der ISCSI mit Jumbo-Frames.

Hätte ja gedacht, das ISCSI doch mehr bringt. Zumindest wenn ich mit dem Test im Link vergleiche. (wobei hier die 4-Bay Version getestet wurde)

Angelehnt an den Test hier : http://www.gabesvirtualworld.com/performance-test-of-iomega-storcenter-px4-300r/

[~thc]

@Supi: Vergleichst du hier nicht Äpfel und Regenschirme? Ein RAID aus 15K SAS-Disks hat aufgrund der kürzeren Seektime und höheren Umdrehungszahl sehr viel mehr IOPS als ein RAID5 aus S-ATA-Disks - da kann dann NFS oder iSCSI auch nichts mehr machen. Außerdem waren in dem von dir verlinkten Test doppelt so große S-ATA III Platten mit doppelt so großem Cache am Start.

theoretisch berechnete IOPS:

RAID5 / 5 SAS-Disks: 250 IOPS
RAID5 / 7 SAS-Disks: 350 IOPS
RAID10 / 10 SAS-Disks: 1000 IOPS

RAID5 / 6 S-ATA Disks: 118 IOPS

Diese Werte korrespondieren tendenziell ganz gut mit deinen Messwerten.

[Supi]

@~thc: Natürlich sollte/ist eine MD3XXX schneller als so ein NAS, insbesondere wenn man 15K SAS mit 7.2K SATA vergleicht. Mein Excel-Sheet gibt ja auch nur die von mir verfügbaren Storages wieder.
Ich meinte das auch eher im Vergleich zu "Gabes" Test im Bezug auf Vorteil ISCSI zu NFS bei gleichem NAS.
Aber ich habe irgenwo auch gelesen, das Iomega/EMC/Lenovo für die Serie ein FW Update raus gebracht hat, was deutlich die Performance erhöht. Und mein Vergleichstest aus dem Link ist von 2011 .

Foto ausgeschnitten aus http://www.gabesvirtualworld.com/performance-test-of-iomega-storcenter-px4-300r/

[~thc]

Im Vergleichstest schneidet NFS deutlich schlechter ab als iSCSI. Die damaligen iSCSI-IOPS-Werte sind im gleichen Bereich wie in deinem Test. Und was hast du nun erwartet? Dass dein iSCSI jetzt auch 3-4 mal so schnell ist wie dein NFS? Dass deine iSCSI-Werte deutlich über den alten liegen?

Ich interpretiere das eher so, dass einfach die NFS-Performance seit 2011 deutlich verbessert wurde.

[Supi]

Im Vergleichstest schneidet NFS deutlich schlechter ab als iSCSI. Die damaligen iSCSI-IOPS-Werte sind im gleichen Bereich wie in deinem Test. Und was hast du nun erwartet? Dass dein iSCSI jetzt auch 3-4 mal so schnell ist wie dein NFS?

Das wäre ja mal was?
Nee, ich habe wohl nicht direkt gesehen, dass im alten Test ISCSI passte und nur das NFS so schlecht war. Das kann ja sogar durch Vmware und nicht nur durch die neuere FW des NAS verursacht sein.
Nur das PX4 hat im Vergleich zu mir ja nur 4 statt 6 Platten (PX4 vs PX6). Den Unterschied sehe ich auch zum alten ISCSI Test nicht.

Edit: Kann aber sein, dass es an der anderen CPU (Celeron E1500 vs Atom D525) liegt, dass das PX4-300r trotz nur 4 Platten nicht so schlechter als das PX6-§00D Modell ist.

Aber sei es drum, soll ja nur ein dummes NAS sein, was auch 1-2 VM's verträgt.
Außerdem, genug Thread gekapert. Ich versuche mal, veeam zu installieren und den reverse incremental auf das PX6 auf eine CIFS Share zu speichern. Mal sehen, welcher Speed da rum kommt.

[monster900]

Moin,
auch wenn der Fred schon etwas älter ist.
Wir sind mittelfristig am überlegen uns ein NAS (QNAP) als Backupspeicher für Veeam zuzulegen. So etwas in Richtung QNAP 869 Pro.

Habe testweise einfach mal unsere QNAP 219 PII (2x3TB Raid-1) als Backupspeicher in Veeam hinzugefügt (SMB-Freigabe).
Bei einem Veeam Testjob (Full) mit 3 VM's (292 GB) wurden 103 GB übertragen. Die Prozessrate lag bei 87 MB/s.
Bei einem Reverse Incremental des gleichen Jobs 24h später wurden 2,4 GB übertragen. Prozessrate lag bei 16 MB/s.

Also Eure Synology RS2212+ müsste von der Papierform her deutlich performanter sein als unsere QNAP.

Zum Vergleich mal die Zahlen mit dem lokalen Backupspeicher unseres Backupservers (RAID-5 aus 6x1TB NL-SAS Platten 2,5" an HP P400 mit 256MB-Cache).
Beim gleichen Job wie oben erreicht Veeam bei Full rund 279 MB/s. Beim Reverse Incremental kommen wir auf 76 MB/s.

Gruß
Dirk

[cobain86]

sorry das ich mich jetzt erst melde. irgendwie hatte ich den thread hier total vergessen

also die RS2212+ hat 1GB RAM und das Volume ist ein RAID5 mit 3 Platten je 2,73TB

Vorher war es ein RAID6 mit 10 Platten je 1,82TB
Bei beiden RAIDS die gleichen Werte.

wir werden das ganze die nächsten Wochen generell umbauen auf ein RAID10

CBT ist aktiv und wird auch genutzt.
Auch ein sichern auf eine weitere synology RS2211+ bei der ihr auch Tests über Veeam gemacht habe(auf ein RAID10 mit 8 platten je 1TB)
Auch hier keine Steigerung.

Auch unsere Weekly Backups machen da keinen unterschied

anbei mal die screenshots der letzen werte vom weekly job ink. screenshots von den settings.
ggf. ist unter advanced ja etwas falsch(mir würde da das Active Full backup auffalen was nicht aktiv ist)

[/img]

[monster900]

Moin,
also von der Veeam-Konfig sieht das bei uns ziemlich ähnlich aus.
Hast Du schon mal versucht das NAS nicht per iSCSI-Device sondern als SMB/CIFS an Veeam anzubinden?

Du hast nicht zufällig Datenverschlüsselung auf dem NAS aktiviert?

Gruß
Dirk

[cobain86]

also auch ber SMB keine besseren werte
ich habe jetzt aber mal etwas mit den jobs rumgespielt und eine lösung bzw. abhilfe gefunden.

in den Backup Settings war der hacken bei "Perfom active full perdiodicaly" nicht gesetzt.
nach meiner erkenntis hat der job also beim ersten start ein full backup erstell. und seitdem jedesmal nur ein reversed incremental.

auf die dauer gesehen könnte also die letze vollsicherung schon monate zurückliegen und das ding macht weiterhin revers sicherungen und rechnet dementsprechend die ganze andere zeit ewig zurück.

nachdem ich nun mal wieder ein active Full backup(120 - 160MB/s) gemacht habe, hat die reverse sicherung nun auch Auftragsraten von 20-30MB/s

[monster900]

Ups,
OK, das könnte das natürlich erklären.
Gut zu wissen, dass sich das so negativ auf die Performance auswirkt.
Veeam empfiehlt ja ein regelmäßges Active-Full alle1-3 Monate. Da braucht man aber auch genug Platz auf dem Backupspeicher.

Gruß
Dirk

[stahly]

Ist Reverse Incremental nicht immer ein aktive Full?

[soehl]

Nein das ist mehr ein synthetisches Full, aus dem Grund ist die Perfomance auch nicht sehr hoch. Pro geschriebenen Block braucht es beim Reverse Incremental 3 Schreibvorgänge auf dem Backupziel.

Selbst bei HP EVAs 8100 Systemen, die deutlich über 100 Spindeln (FATA) besitzen und exklusiv für Veeam genutzt werden, sehe ich ähnlich schlechte Werte bei Increment Sicherungen im Reverse Incremental Modus gesehen.
Bei Fulls erreichen die EVAs mehr als 350 MB/s in Summe.
Beim Reverse Incremental kommt erschwerend dazu, das die Performance immer schlechter wird, um so länger die Backupkette ist bzw. auch wenn es hohe Änderungsraten gibt.

Der mit Veeam 8 eingeführte neue Forward Incremental Modus bringt da schon deutlich mehr und ist ähnlich platzsparend.
Aber auf regelmäßige Fulls kann man in keinem Fall verzichten.