Verständnisproblem und Fragen zu VCB

[Wolle]

Hallo zusammen,

nachdem ich nun das ganze Forum und Internet durchsucht hab ich immer noch die selben Fragen zu VCB habe. Ich hoffe ihr könnt mir diese beantworten:

- Hab ich das richtig verstanden, dass ich mit VCB selber keine VM's, welche auf einem ESX liegen t sichern kann, sondern ein Fremdhersteller Tool (z.b. vRanger) benötige?

Ich hab in verschiedenen Vmware Dokus gelesen, dass man eine Software von Drittherstellern benötigt um Backups zu erstellen, hier les ich jedoch das es mit Skripts funktioniert.

- Was macht genau VCB?

Warum ich euch die Frage stelle ist folgende. Und zwar hab ich die Freigabe für einen ESX Server (Foundation Version mit VCB). Ich muss jedoch davon ausgehen, dass ich mit dem VCB alleine Backups der VM's erstellen kann. Wenn dies nicht funktioniert würde ich einen ESXi mit VMX Explorer nutzen.

Vielen Dank für eure Antworten

Gruß Wolle

[Drumcode2003]

stehe vor dem gleichen Problem.

VCB dient nur als "Schnittstelle" für ein Backup.
Du benötigst keine Fremdsoftware, wenn Du Dir mit Scripts alles selbst schreiben kannst.

Aber wer macht das schon. Zumal man in produktiven Umgebungen Support, Standards, etc. benötigt. Der Fremdanbieter nutzt das VCB um auf die ESX Systeme oder das Virtual Center zuzugreifen. Normalerweise sieht das im Backupprogramm transparent aus. Man kann unter VM - VC direkt auf die VMs zugreifen u. diese dann fürs Backup auswählen. Der Rest erfolgt wie bereits vom Hersteller bekannt.

Falls Du nur 1 Server hast, der ohne SAN arbeitet, würde ich Tools wie den VMX Explorer benutzen. Ob es Freeware Tools gibt, die auch auf SAN sichern können, kann ich Dir nicht sagen.
Der VMX Explorer läuft jetzt seit gut 1 Stunden u. hat gerade 14GB gesichert. Das ist alles andere als schnell.

Für alles andere sollte man eine professionelle Lösung nehmen.
Zumal man als Firma bereits Backup-Software im Einsatz hat (haben sollte)
wie: - Symantec Backup Exec o.ä.

der vRanger Pro ist im Preis-Leistungsgefüge sehr zu empfehlen.

Ich habe noch dieses Programm gefunden:

http://www.esxpress.com/competitive_comparison.php

kann Dir aber nichts dazu sagen. Müsste ich testen.

[4huf_1]

esXpress hab ich am laufen und bin zufrieden damit.
Allerdings läuft das nach meiner Kenntniss NICHT auf dem ESX3i da man es auf
dem Host in der Linux-Console installiert.
Sehr schön finde ich die Differenz-Sicherung, was die Datenmenge und die Backupzeit wesentlich verringert.

[irix]

stehe vor dem gleichen Problem.

VCB dient nur als "Schnittstelle" für ein Backup.
Du benötigst keine Fremdsoftware, wenn Du Dir mit Scripts alles selbst schreiben kannst.

Aber wer macht das schon.

Ich habs gemacht.... zum besseren Verstaendnis fuer die ganze Sache und weil es kein Hexenwerk war/ist. Des Weiteren wollten sie uns weismachen das bei vRanger pro Sockel lizenziert wird und da wir viele 4 Sockel Server haben summiert sich was. Bei anderen Anbietern waere es pro ESX Host gewesen.

Zur Frage vom OP,
das Programm selber bei VMware heist ja "VCB Framework", wobei ich meine die Betonung liegt auf dem hinteren Teil. Denn zum Thema "Backup" gehoert viel mehr und da liefert VCB 10% zum ganzen. Man muss allerdings sagen das es die wichtigsten 10%

Wenn man die VMware Beschreibung liest dann merkt man ja das Sie selber auch von einem PROXY reden und das trifft die Sache dann schon ganz gut. VCB macht nix weiter als den Inhalt der VMDKs einer VM (Windows) als Files auf einem seperaten Windows Rechner innerhalb eines Laufwerks bereit zustellen.

Als Sahnehauebchen gibts die Moeglichkeit die VM als Fullimage zusichern und wer ein SAN hat auch direkt von diesem, ohne das der ESX Host oder aber die VM davon gross etwas mitbekommen.

VCB erstellt also einen spezifischen Snapshot und gibt die Daten dann an Proxy frei. Dies geschieht wie oben gesagt auf 2 Arten. Bei der Fullimage Geschichte wird auf dem Proxy eine Kopie erstellt innerhalb eines Mountpoints. Bei der SingleFile (nur Windows VMs /NTFS/FAT) wird ein Einblick in die VMDK welche noch auf dem ESX/SAN liegt ermoeglicht.

Bis Dato ist noch kein Byte auf einem Sicherungsmedium, es wurde nichts dauerhaft kopiert, es gibt keine Zeitsteuerung/Jobs und es gibt auch kein Restore. Bei entfernen des Mountpoints verschwindet der Zugriff auf die Daten bzw. die FullImages werden geloescht und der Snapshot wird "comited"

Dies zu implementieren ist dem Hersteller deiner Backup Software ueberlassen worden, welche auf VCB aufsetzen (muessen), um an die Daten der VMs zukommen und anschliessend mit bekannten Mittleln die Daten verwalten bzw. sichern.

Das was jeder SysAdmin scripten kann ist:
- basierend auf einer Liste mit VM Namen bzw. IP Adressen
- Zeitgesteuert über Scheduled Tasks
- unter Verwendung von Custom quiescing Scripts aktionen innerhalb der VM vor und nach Erstellung von Snapshots ausloesen
- mit Hilfe von RCLI die VM stoppen/starten/suspenden vor oder nach der Sicherung
- und letztendlich die Daten dort hin kopieren wo sie im Zugriffsbereich der normalen Backup Software ist
- E-Mail Benachrichtigung

Mit 10min mehr Zeit kann man noch ein Reporting bzw. Verbrauchszeiten und Speicherplatz ermitteln und diese in die E-Mail Benachrichtigung mit einbauen.

Gebraucht habe ich 2 Tage an einem Wochenende und benutzt hab ich die Scriptsprache PHP weil ich die am besten kann, ich die Hoffnung gehegt das VCB auch mal fuer nicht Windows OS verfuegbar wird und immer noch plane mal eine WebGUI drueber zulegen.

Eine Einfache Loesung kann aber auch eine BATCH Datei sein welche 5 Kommandos absetzt pro zu sicherender VM.

Wer ein SAN benutzt sollte mal seinen Storage Anbieter fragen ob er Support fuer VMware bzw. VMFS bietet. Unser (Equallogic) hat mittlerweile da was im Angbot und laesst sich mit dem vCenter verbinden.

Gruss
Joerg

[Wolle]

Super Joerg, vielen Dank, jetzt hab ich es gerafft.

Also kann ich mir mit bestimmten Scripten ein eigenes Backup Programm basteln?

Hast du Quellen wo beschrieben wie man solche Skripte programmiert, bzw. wo es schon fertige Skripte gibt?
Würde mich gerne mal dort reinarbeiten und auch ein recht umfangreiches Skript basteln.
Leider hab ich sehr lang nicht mehr programmiert.

Wäre es möglich das du mir dein Skript mal zu schickst?

Gruß Wolle

[echt_weg]

Hier ein Beispielscript was ich verwende.
Das Script sichert die angegeben VMs imagebased in e:\daily\vm-name. Sollte die Sicherung per SAN nicht funktionieren (verbindung des proxys zum san getrennt) wird das DIR wieder gelöscht und im zweiten Durchlauf klappt die Sicherung dann per LAN
nachdem backupexec die vms geschrieben hat löscht es die dateien (extra batch)

natürlich kann man das viel besser machen - aber langt

Code: Alles auswählen

rem Beispiel-Script VCB
rem infocloud.de, 2009

rem Allgemeine Parameter
rem **************************************************************************************
set VMDIR="C:\Programme\VMware\VMware Consolidated Backup Framework"
set FULLLOG=e:\logs\%date%-vcb.log

rem Komplettlog beginnen
rem **************************************************************************************
echo Start Gesamt-Backup >>%FULLLOG%


rem SAN-Backup
rem **************************************************************************************
set SRV=VM1 VM2 VM3 VM4 VM5
c:
cd %VMDIR%
rem Erster Versuch per SAN
for %%f IN (%SRV%) DO vcbmounter.exe -h HOST -u USER -p PASSWORT -a name:%%f -r e:\Daily\%%f -m san -t fullvm >>%FULLLOG%
rem Wenn der Versuch abbricht per NBD (LAN)
for %%f IN (%SRV%) DO vcbmounter -h HOST -u USER -p PASSWORT -a name:%%f -r e:\Daily\%%f -m nbd -t fullvm >>%FULLLOG%


rem Komplettlog beenden
rem **************************************************************************************
echo Ende Gesamt-Backup>>%FULLLOG%


[/quote]

[irix]

Super Joerg, vielen Dank, jetzt hab ich es gerafft.

Also kann ich mir mit bestimmten Scripten ein eigenes Backup Programm basteln?

Ja da ist Moeglich.

Hast du Quellen wo beschrieben wie man solche Skripte programmiert, bzw. wo es schon fertige Skripte gibt?

Nimm die Scriptsprache welche du am besten kannst. Die einzige Anforderung ist jene das du (Kommandozeilen- )Programme aus der Sprache heraus aufrufen kannst.

Kern der ganzen Geschichte ist "vcbmounter.exe", welche aus dem VCB Paket sowohl fuer die Erstellung von Snaphot + Verfuegbarmachung der Daten auf dem Backup Host veranwortlich sowie ein ein wiederholter aufruf mit dem Parameter "-U" welches den Mountpoint wieder entfernt und den Snapshot der VM loescht.

Da herum schreibst du dir einen Wrapper welcher die Parameter zufuettert welche vcbmounter.exe so braucht.

Würde mich gerne mal dort reinarbeiten und auch ein recht umfangreiches Skript basteln.
Leider hab ich sehr lang nicht mehr programmiert.

Wäre es möglich das du mir dein Skript mal zu schickst?

Gruß Wolle

Ja das waere Moeglich. Damit es aber bei dir funktioniert must du folgende Bedingungen erfuellen
- PHP5 entpacken, php.ini anpassen, ein paar benoetige Extensions laden und einen SMTP angeben
- VCB 1.5 von VMware installieren
- Beides im %PATH fuer das System eintragen
- Sofern du hast dein SAN dem Backup Host bekannt machen. Ansonsten kannst du nur den Mode -m nbd benutzen, welchen ich nie getestet habe (wird aber funktionieren)
- Nur FullVM Sicherung habe ich implementiert... fuer Filelevel waeren ca. 1-2 Stunden noetig
- Optional die VI Perl/RCLI dingsums installieren, da hier die Programme zum GuestShutown enthalten sind
- Im Moment ein vCenter haben weil ich mittels SOAP die Daten was die Festplatten angeht der VMs auslese um damit meine Statistiken besser werden. Ein kurzer Test zeigte das wenn ich auf den ESX connecte ich mich nicht authentifizieren konnte und der "PFAD" dort ein klein wenig anderes ist als im vCenter. Wenn es natuerlich nicht anderes geht kann ich nachgucken woran es liegt.

Mein jetziges Script nimmt definierte Defaults sowie eine *.INI Liste der VMs als Basis. Die Default Parameter lassen sich als optinale Parameter beim Programmaufruf uebergeben damit ich flexibel sein kann was die Anzahl der VMs, Speicherort und Benachrichtigungstext der Mail angeht reagieren kann.

Code: Alles auswählen

D:\inetpub\VMbackup>php vmBackup.php -h
vmBackup Version 0.4
 usage: [-i <FILE>] [-m <DIR>] [-d <DIR>] [-s]

 -i|--ini <FILE>      INI File which contains a list of all VMs and backup options
 -m|--mount <DIR>     Directory where to mount the VM Image
 -d|--datastore <DIR> Location where to store the VM
 -s|--subject         Subject for the mail notification
 -h|--help            This help

Die Datei mit der Liste der VMs:

Code: Alles auswählen

[test_joerg]
name=test_joerg
type=fullvm
mode=san
monolith=0
compress=0
schedule=daily
pre_cmd=
post_cmd=GuestReboot

Inhalt der Mail dann so:

Code: Alles auswählen

Betreff: [servername][backup] Wochensicherung VMs Standard [28.02.2009] VM(s): 47 Errors: 4

General Stats from 28.02.2009, 10:11:43
  Backup Begin      : 27.02.2009, 18:00:01
  Backup End        : 28.02.2009, 10:11:43
  Backup Duration   : 16:11:31
  Total VMs         : 47      (100%)
  Complete Backups  : 43/47   (91.5%)
  Incomplete Backups: 4/47    (8.5%)
                      vm_x(No mountpoint found!)
                      vm_x(No mountpoint found!)
                      vm_x(Specified VM not found)
                      vm_x(Specified VM not found)
  Not in Schedule   : 0/47    (0.0%)

Detail Stats:
|----------------------------------------------------------------------|
| VM Name             |        Time        |    Size [MB]      |  MB/s |
|----------------------------------------------------------------------|
| admin-xxx           | Start   : 18:00:11 |             20490 |  61.5 |
|                     | Stop    : 18:06:04 |             10483 |  31.5 |
|                     | Duration: 00:05:53 |     Ratio: 1:0.51 |       |
|----------------------------------------------------------------------|
| tansanit            | Start   : 06:14:58 |             30720 |  37.2 |
|                     | Stop    : 06:29:05 |             14205 |  17.2 |
|                     | Duration: 00:14:07 |     Ratio: 1:0.46 |       |
|----------------------------------------------------------------------|
| ts-office-0         | Start   : 06:29:05 |            128702 |  21.2 |
|                     | Stop    : 08:10:35 |             95458 |  15.7 |
|                     | Duration: 01:41:30 |     Ratio: 1:0.74 |       |
|----------------------------------------------------------------------|
| ts-office-1         | Start   : 08:10:35 |            122880 |  31.6 |
|                     | Stop    : 09:15:43 |             31104 |   8.0 |
|                     | Duration: 01:05:08 |     Ratio: 1:0.25 |       |
|----------------------------------------------------------------------|
| ts-office-test      | Start   : 09:15:43 |            122880 | 159.2 |
|                     | Stop    : 09:28:56 |             15719 |  20.4 |
|                     | Duration: 00:13:13 |     Ratio: 1:0.13 |       |
|----------------------------------------------------------------------|
..
..
..
|----------------------------------------------------------------------|
| Sum      : 43 VM(s) |           15:53:51 |         1702.1 GB |       |
|                     |                    |          886.9 GB |       |
|                     |                    |     Ratio: 1:0.52 |       |
|----------------------------------------------------------------------|

Configuration:
  VCB_MOUNTPOINT: e:/vcbMount
  VCB_DATASTORE_PATH: E:\vcbDiskBackup\05_Freitag
  VCB_FREEDISK: 100GB
  VCB_VM_INI: inc\backup_weekly.ini

Fuer auserwaehlte VMs wie die SAP und Exchange existieren extra Jobs im Taskplaner weil ich hier definierte Startzeiten brauche, da innerhalb der VMs Systemdienste heruntergefahren werden. Diese Sicherungjobs laufen allerdings parallel bzw. Überschneiden sich in den Laufzeiten.

Im Einsatz haben wir das unter WinXP, Srv2003 und Srv2008.

Auf meiner Todo stehen im Moment:
- Check fuer FreeDisk bei jeder VM und nicht nur beim Start des kompletten Jobs
- Nach der Sicherung eine Kontrolle ob Snaphots nicht geloescht worden sind. Dies ist Sonst ein Shortstopper beim der naechsten Sicherung
- Evtl. Durchreichen der Original Fehlermeldung da ich bis dato nur 2-3 Faelle abfange bzw. identifiziere
- Ueberlegung ob ich die CustomFields bzw. das Notes Feld der VM auslese soll um Informationen zu erhalten ob und wie die VM gesichert werden soll. Da wuerde das fuehren einer Liste ueberfluessig machen

@echt_weg
- Anstelle von Name und Passwort kannst du den Benutzer "__sspi__" mit einem leerem "" Passwort benutzen. Dann nimmt er die Credentials des aktuellen Benutzers und versucht damit die Anmeldung.

Frage: Du benutzt kein vcbmounter -U ... Mein Kenntniss Stand war derer das die Anzahl der Mountpoints begrenzt sei. Wieviele Durchlaeufe macht dein Script oder gibts keine Probleme?

Gruss
Joerg

[MatZ]

stellst du dein tool dann evtl der allgemeinheit zur verfügung? ein web basierendes backup was auf einen backup2disk schiebt würde mich sehr interessieren

[echt_weg]

@echt_weg
- Anstelle von Name und Passwort kannst du den Benutzer "__sspi__" mit einem leerem "" Passwort benutzen. Dann nimmt er die Credentials des aktuellen Benutzers und versucht damit die Anmeldung.

danke für den tip - ich habs bei mir so gemacht weil ich nen vcenter in einer anderen domäne abfrage....darum habe ich das oben auch nicht im kopf als variablen definiert. ich zieh halt von 2 verschiedenen vcenter die vms..

Frage: Du benutzt kein vcbmounter -U ... Mein Kenntniss Stand war derer das die Anzahl der Mountpoints begrenzt sei. Wieviele Durchlaeufe macht dein Script oder gibts keine Probleme?

ich mounte die vms ja nicht sondern schreib die komplett auf ein lokales volume runter. daher ist nach dem kopieren und auflösen des vcb snapshots alles wieder "sauber" bevor der nächste anfängt.

Ich sichere täglich damit knapp 30vms (900gb in 3h20min) - daten kommen von 2 2gbit sans und einem 4gbit san


für dein script interessiere ich mich auch - gerade weil ich auch sehr viel in php löse wäre das recht ideal

[Wolle]

Vielen Dank für eure Antworten.

Ich steh jetzt vor einer schwierigen Entscheidung.

Ich hab die Freigabe für VMWare Infrastructure Foundation Version.
Jedoch nicht für vRanger. Mehr möchte der Chef nicht ausgeben.

Ich könnt natürlich auch nen ESXi aufsetzen und Trilead VMX Explorer kaufen.
So wär ich auf der sicheren Seite.

Viel Zeit werd ich für das Programmieren der Skripte zum sichern über VCB nicht haben.

Was würdet ihr machen in dieser Situation?

Danke

Gruß Wolle

[mangold]

Will der Chefs zuverlässige Backups oder nicht? Das würde ich ihn fragen.

[Drumcode2003]

wenn VM, dann bitte auch ein Backup.
Wie bei allen anderen professionellen Lösungen auch.


Das beschriebene Scripting würde ich auch nur machen, wenn ich ein Crack wäre.