VCB - Anzahl gleichzeitiger Jobs

[mullfreak]

Hi,
wir sichern bisher über einen VCB-Proxy unsere VM´s mit folgendem Batch-File:

@echo off
set bkppath=Y:\VCB\DEGBPE01
set vmpath=%bkppath%%1

rd Y:\VCB\DEGBPE01 /S /Q

cd C:\Programme\VMware\VMware Consolidated Backup Framework

vcbmounter.exe -h 10.32.42.16 -u Administrator -p ******** -a ipaddr:10.32.42.25 -r %vmpath% -t fullvm -m nbd

Das Ziel ist eine Netzwerkfreigabe auf einem Fileserver die per iSCSI am SAN (HP MSA2000i) hängt. An dem Fileserver hängt auch ein Bandlaufwerk mit BackupExec 12.5. Hier wird dann auf Band gesichert.

Wir haben nun fast zwanzig Server und es werden stetig mehr. Wenn alle Jobs separat laufen ergibt das einen Backup-Zeitraum von ca. 16 Std. D. h. ein Job dauert z. B. von 14:00h bis 14:40h. Hier gebe ich dann zwanzig Minuten dazu und somit ergibt sich eine Backup-Zeit von 2 Stunden.

Kann man zwei oder mehr Jobs gleichzeitig anstoßen? Wie verhält es sich mit Sicherungen unterm Tage? Ist hier mit Performance-Einbußen zu rechnen?

Gruß
MULL

[irix]

Ich habe nur kurz Zeit,

1. Warum NDB und nicht SAN?
2. Virtueller VCB oder auf Blech?
3. Ja man kann mehrere VCB Jobs parallel laufen lassen allerdings performt das nicht. Ich habe noch die Hoffnung wenn ich die Jobs auf unterschiedliche LUNs, ESXe aufteile das es besser wird.
4. Ich habe sowohl mit iSCSI MPIO oder einem einfachem BOND auf meinen phy. VCB getestet und keinen gr. Unterschied gemerkt. Im Moment ist MPIO aktiv und meistens geht der Traffic ueber ein Interface. Die Auslastung liegt dann bei 30-70%.
5. Geht auch Tagsueber ohne grosse Performance Einbussen, zumin. hier. An was man denken muss ist das der Snapshot dann aber wohl groesser wird am Tage als Abends.

Ich benutze keinen seperate Kiste fuer VCB sondern es laueft auf dem Backupserver welcher auch die Changer angeschlossen hat. Dieser steht also mit einem Bein im ISCSI SAN fuer dieses Zweck.

Fuer eine Sicherung am Abend werden fuer 17 VMs knapp 4h:40min gebraucht. Allerdings sind da einige drin welche viel "Luft" haben.

Code: Alles auswählen

General Stats from 12.11.2009, 22:39:53
  Backup Begin      : 12.11.2009, 18:00:01
  Backup End        : 12.11.2009, 22:39:53
  Backup Duration   : 04:39:41
  Total VMs         : 17      (100%)
  Complete Backups  : 17/17   (100.0%)
  Incomplete Backups: 0/17    (0.0%)
  Not in Schedule   : 0/17    (0.0%)

Detail Stats:
|----------------------------------------------------------------------|
| VM Name             |        Time        |    Size [MB]      |  MB/s |
|----------------------------------------------------------------------|
.....
|----------------------------------------------------------------------|
| xxx                 | Start   : 22:37:27 |             24576 | 192.1 |
|                     | Stop    : 22:39:53 |              2344 |  18.3 |
|                     | Duration: 00:02:26 |     Ratio: 1:0.10 |       |
|----------------------------------------------------------------------|
| Sum      : 17 VM(s) |           04:39:41 |          982.4 GB |       |
|                     |                    |          533.1 GB |       |
|                     |                    |     Ratio: 1:0.54 |       |
|----------------------------------------------------------------------|

Configuration:
  VCB_MOUNTPOINT: e:/vcbMount
  VCB_DATASTORE_PATH: e:/vcbDiskBackup/04_Donnerstag
  VCB_FREEDISK: 100GB
  VCB_VM_INI: inc\backup_daily.ini




Gruss
Joerg

[mullfreak]

Hallo irix,
danke für Deine Antwort.

1. Weil es doch eine Netzwerkfreigabe ist, da brauche ich NDB. Die VCB-Proxy ist eine VM am ESX-Cluster.
2. VM
3. Das mit der Aufteilung ist gut, vielleicht kann man dann jeweils einen Job auf ESX1 und einen auf ESX2 parallel laufen lassen.
4. Wie gesagt, der VCB-Proxy ist VM und keine Hardware, so hab ich keine Möglichkeit über iSCSI zu connecten.
5. Muss ich testen, wie es tagsüber ist.

17 VM´s in knapp 5 Stunden ist eine gute Sache. Woher kommt dieser Auszug: "General Stats"?

Danke.
MULL

[irix]

Hallo irix,
danke für Deine Antwort.

1. Weil es doch eine Netzwerkfreigabe ist, da brauche ich NDB. Die VCB-Proxy ist eine VM am ESX-Cluster.

Na und? Deine Netzwerkfreigabe ist das $Target und NDB/SAN waere die Source. Du kannst beide MODI einsetzen und SAN sollte der schnellere sein weil die Daten nicht durch die SC muessen sofern die Netzwerkfreigabe nicht der Bottleneck ist.

2. VM
3. Das mit der Aufteilung ist gut, vielleicht kann man dann jeweils einen Job auf ESX1 und einen auf ESX2 parallel laufen lassen.

Ich lasse im Moment die Jobs parallel laufen da ich fuer einige VMs definierte Zeitfenster fuer die Custom Quiescing Scripts brauche. Hier werden Exchange/SAP Dienste gestoppt vor dem Snapshot. Server wie den alten NN 4.1+Oracle sowie die Windows DCs werden vor dem Backup automatisch heruntergefahren und spaeter wieder gestartet und das ganze vom Backup Script.

4. Wie gesagt, der VCB-Proxy ist VM und keine Hardware, so hab ich keine Möglichkeit über iSCSI zu connecten.

Gebe der VM eine 2. vNIC welche an einer VM Portgroup haengt auf deinem iSCSI vSwitch bzw. eine welche mit der/den entsprechenden pNIC verbunden ist.

5. Muss ich testen, wie es tagsüber ist.

17 VM´s in knapp 5 Stunden ist eine gute Sache. Woher kommt dieser Auszug: "General Stats"?

Danke.
MULL

Ich habe ein Wrapper Script um die vcbmounter Befehle geschrieben welcher halt die Zeiten und Volumen protokoliert und das ganze nachdem Lauf per E-Mail verschickt.

Performance maessig ist aber diese Konstellation das schlechteste was man haben kann.

Gruss
Joerg Behrens

[mullfreak]

Gebe der VM eine 2. vNIC welche an einer VM Portgroup haengt auf deinem iSCSI vSwitch bzw. eine welche mit der/den entsprechenden pNIC verbunden ist.

Das hört sich gut an, d. h. ich installier in der VM eine zweite NIC, vergebe eine freie IP aus dem SAN, installier den MS iSCSI-Init. und mounte die Backup-LUN? Die zusätzliche NIC hängt dann bereits vorhandenen iSCSI-Switch? Dann stat nbd san verwenden?

[irix]

So der Plan. In dieser Konstellation arbeitet ja auch VDR.

Wenn deine VM ein W2k3 ist dann an das "diskpart automount disable" und "diskpart automount scrub" denken. Wie ich die Tage merkte gibts das automount leider nicht unter XP und darum die Frage ob Windows evtl. auf den LUNs rumschreiben will.

Gruss
Joerg

[mullfreak]

OK. Dann mal antesten in einer VM Workstation mit Openfiler und ESX 3.5. Will das vorher mal sehen.
diskpart automount disable/scrub ist mir jetzt ein Begriff, nachdem ich mir beinahe die beiden produktiven LUN´s am Fileserver zerschossen hätte.
Yep, unter XP gibts das leider nicht.
Kann ich bei Dir nochmal anfragen wenns Stress gibt mit der Einrichtung?

Mull

[irix]

Kann ich bei Dir nochmal anfragen wenns Stress gibt mit der Einrichtung?

Natuerlich.

Gruss
Joerg

[mullfreak]

Hi,
gehts schon los mit der lästigen Fragerei :
Wenn ich jetzt einer bestehenden VM eine weitere Netzwerkkarte installiere, die für den Zugriff auf das SAN über den MS iSCSI-Init. in der VM gedacht ist, dann kann ich bei der Netzwerkkartenkonfig nur das Netzwerk der VM´s auswählen und nicht das Netzwerk, dass über iSCSI läuft.
Wie funktioniert das??? Wie komm ich von einer VM auf das SAN?
Versuche ich mit der neuen Netzwerkkarte einen weiteren vSwitch hinzuzufügen, kriege ich eine Fehlermeldung.

Gruß
Mull

[irix]

Hi,
gehts schon los mit der lästigen Fragerei :
Wenn ich jetzt einer bestehenden VM eine weitere Netzwerkkarte installiere, die für den Zugriff auf das SAN über den MS iSCSI-Init. in der VM gedacht ist, dann kann ich bei der Netzwerkkartenkonfig nur das Netzwerk der VM´s auswählen und nicht das Netzwerk, dass über iSCSI läuft.

Dann hast du noch keine oder den falschen Typ einer Portgruppe auf deinem vSwitch angelegt.

Wie funktioniert das??? Wie komm ich von einer VM auf das SAN?
Versuche ich mit der neuen Netzwerkkarte einen weiteren vSwitch hinzuzufügen, kriege ich eine Fehlermeldung.

Gruß
Mull

Ich bin noch im Buero weil ich was fuer morgen vorbereiten muss. Wenn du Lust auf eine Teamviewer Session hast dann schick mir eine PM mit deiner Telefonnummer und wir gucken mal gemeinsam.

Gruss
Joerg

[mullfreak]

Hi Joerg,

sorry, etwas spät geworden. Ich denke ich habs kapiert jetzt: Stichwort Portgruppen.

Hab zuerst dem vSwitch iSCSI ein Virtual Machine Network 2 hinzugefügt. Dann dem VCB-Proxy eine zweite Netzwerkkarte verpasst, die auf das Virtual Machine Network 2 zeigt. IP aus dem SAN zugeteilt, iSCSI-Initiator drauf und gut wars.
Werde mich morgen dann noch das Skript mit dem Schalter SAN probieren. Irgendwas war da noch mit unmount, cleanup, etc. Muss mal googeln morgen oder im Forum hier schauen.

Gruß und vielen, vielen Dank.

Markus

[irix]

Tja.... "Kaum macht man es richtig und schon gehts"[tm]

Die vcbcleanup.bat mit beacht benutzen wenn man parallele Jobs laufen laesst! Hier tuts ein "vcbmounter .... -U ...".

Gruss
Joerg

[mullfreak]

Hallo Joerg,

hab jetzt noch den VCServer installiert und mal eine Sicherung gemacht mit san statt nbd. Klappt einwandfrei.
Was meinst Du mit dem Schalter -U. Kann den in der Doku zu VCB nicht finden!

Gruß
Mull

[irix]

Einfach mal vcbmounter ohne alles aufufen und es kommen alle Parameter. Da gibts dann auch -U und unten ist auch nen Example fuer den Umount. Bis auf '-Q' stehen IIRC alle Parameter in dieser Hilfe.

Gruss
Joerg

[mullfreak]

OK, kann ich den Befehl in der gleichen Zeile, also als Schalter ausführen, in der ich die Sicherung anstoße. Oder ist diese in einem extra Job aufzurufen?

[irix]

Die Mounts sind "temporaer" auch wenn er da was langwierig hinkopert. Eher sieht und versteht man das Verhalten wenn man anstelle -t FullVM ein -t File macht.
Da die Anzahl der Mounts begrenzt sind muessen die Daten zwischen dem Mount und dem Umount gesichert werden in der Form das sie aufs Band oder aber "Kopiert" werden an eine andere Stelle. Weil bei einem Umount werden die Daten wieder entfernt. Aus Performancegruenden "Verschiebe" ich das Verzeichnis um hinterher an alter Stelle ein Dummy mit der umount.dat anzulegen bevor ich den Umount mache.

Wenn du nun ein vCenter hast kann ich dir gerne meinen Wrapper zur Verfuegung stellen der stur eine Liste abarbeitet. Mein erster Versuch konnte nie direkt mit einem ESX Host reden sondern nur mit einem vCenter. Den Fehler habe ich mittlerweile gefunden allerdings liegt der Rewrite auf Eis weil ich keine Zeit finde.

Da ich keine Installationsanleitung fuer den Wrapper und seine Bedingungen (PHP Script) habe wuerde das aber gerne am Telefon/Teamviewer besprechen.

Gruss
Joerg

[mullfreak]

OK, zwar nicht verstanden, aber mal ausgeführt. In einer extra Batch führe ich nach dem Backup dies aus:
@echo off
cd C:\Program Files\VMware\VMware Consolidated Backup Framework

vcbmounter.exe -h 192.168.137.237 -u Administrator -p ****** -U E:\VCB\DEGVCB01

Damit wird ja das Verzeichnis gelöscht! Vorher muss ich es doch auf Band schreiben!

Ist es nicht das gleiche wenn ich in meinem gesamten Backup-Skript dies ausführe:

@echo off
set bkppath=E:\VCB\DEGVCB01
set vmpath=%bkppath%%1

rd E:\VCB\DEGVCB01 /S /Q

cd C:\Program Files\VMware\VMware Consolidated Backup Framework

vcbmounter.exe -h 192.168.137.237 -u Administrator -p ****** -a ipaddr:192.168.137.236 -r %vmpath% -t fullvm -m san

D. h. vor dem erneutem kopieren wird das Verzeichnis gelöscht.

Vielleicht sollten wir doch mal telefonieren, würde alles ziemlich einfacher machen.
Ich schick Dir mal eine PM.

Merci.

Markus

[mullfreak]

Ah, mit -t File wird praktisch ein mount auf die Partitionen des zu sichernden Servers gesetzt. Diese mounts sind natürlich begrenzt, somit muss vorher der mount aufgehoben werden.

[mullfreak]

So, nun funzt das. Jetzt zur letzten Hürde:
Am VCB-Proxy ist jetzt die LUN mit den Sicherungen gemountet. Um nun die Sachen auf Band zu kriegen, brauche ich ja die Dateien am Backup-Server, bzw. unseren File-Server. D. h. ich müsste jetzt die LUN disconnecten und am Server mit dem Bandlaufwerk wieder connecten. Welche Möglichkeit gäbs sonst?

[irix]

Ah, mit -t File wird praktisch ein mount auf die Partitionen des zu sichernden Servers gesetzt. Diese mounts sind natürlich begrenzt, somit muss vorher der mount aufgehoben werden.

Nein hinterher wieder aufraeumen wenn man fertig. ist.

Gruss
Joerg

[irix]

So, nun funzt das. Jetzt zur letzten Hürde:
Am VCB-Proxy ist jetzt die LUN mit den Sicherungen gemountet. Um nun die Sachen auf Band zu kriegen, brauche ich ja die Dateien am Backup-Server, bzw. unseren File-Server. D. h. ich müsste jetzt die LUN disconnecten und am Server mit dem Bandlaufwerk wieder connecten. Welche Möglichkeit gäbs sonst?

Ich kann nicht folgen! Ich dachte deine VM sichert auf einen Share welche zu deinem Backup/Fileserver gehoert. Das wuerde bedeuten der sieht doch dann seine Daten und kann die von "lokal" auf Band schreiben. In diesem Fall wird der "Mount" auch gleich auf dem Share erstellt.

Warum du das nicht gleich auf deinem Backupserver machst hab ich bis heute nicht begriffen. Das einzige was der halt braucht ist eine pNIC welche dann in deinem iSCSI SAN haengt. Kann oder will man das nicht benutzt man halt den NDB Mode. Das ist halt langsamer aber immer noch schneller als ueber deine Helper VM.

Gruss
Joerg