Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

per Konsole und Win SCP kopieren langsam

Alles zum Thema vSphere 6.5, ESXi 6.5 und vCenter Server.

Moderatoren: irix, Dayworker

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 31.07.2017, 14:10

Hi

Ich habe da ein Problem: wenn ich am Host unter der SSH Konsole per CP, bzw. mit WinSCP etwas zwischen den Datastores kopiere, dann habe ich nur ca. 20 MB/s.

Die Storages sind aber nicht das Problem. Wenn ich etwas per NFS, bzw. SMB kopiere (natürlich auf die selben Datastores), komme ich auf die volle Geschwindigkeit (~110 MB/s).

Die Datastores liegen auf SSD, 2x WD Gold und 1 WD RE. Ich habe keinen Controller verbaut oder gar durchgereicht. Das sind ganz normale vDisk's, die an die Gäste angehängt sind. ESXi ist 6.5.0 (Build 4887370).

Im Moment sichere ich die VM's per WinSCP auf SMB, aber das ist mit 20 MB/s sehr mühsam.

Gruss und Danke!

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: per Konsole und Win SCP kopieren langsam

Beitragvon irix » 31.07.2017, 14:34

Ein (s)cp triggert nicht sehr optimale Routinen an was Dateioperationen angeht in der Busybox. Letzere ist auch limiert was den Resourcen verbraucht angeht. Du kannst ja mal kopieren in dem du ein vmkfstools verwendest und die Zeit stoppen.

Hinweis: Solltest du generelle Performance Probleme haben mit Devices welcher an deinem AHCI Controller haengen dann kann es sein das dein 6.5 den neuen Treiber verwendet welcher hier und da Problem hat. Abhilfe hat dann das erzwingen der Verwendung des Legacy Treibers bringen. Mit dem U1 fuer 6.5 ist das behoben worden.

Gruss
Joerg

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 31.07.2017, 19:50

Hi

Danke!

Ich habe jetzt 6.5.0 Update 1 (Build 5969303) installiert. Per vmkfstools ist die Geschwindigkeit jetzt sehr gut. Für 25 GB brauchte er 1 oder 2 Minuten.

Aber per winscp ist die Geschwindigkeit noch kleiner geworden. Ich habe da nur noch um die 16 MB/s.

Kopieren tu ich remote (am Desktop) mit winscp auf einen eingehängten SMB Share, der mit nas4free auf dem Host liegt. Wenn ich auf dem Desktop von SMB Share zu SMB Share (verschiedene Platten) kopiere, dann habe ich über 100 MB/s, was angepeilt wäre.

Wie kriege ich die Daten nun vom Datastore auf den Share? WinSCP ist da nicht geeignet, so wie ich das verstanden habe? Oder kann ich der Busybox noch irgendwie mehr Ressourcen zuteilen, so dass WinSCP schneller wird?

Würde es Sinn machen, wenn ich die SSD mit den VM's als Share dem ESXi zur Verfügung stelle? Ich habe keinen HBA, und möchte eigentlich auch keinen. VT-d läuft eh nicht richtig auf dem unsupporteten Blech. Bis jetzt läuft alles super, und wie es soll. Ich würde da gerne auf gröbere Umbauten verzichten.

Die SSD und die RE4 laufen am Chipsatzcontroller, die beien WD Gold am Marvel. Das ist eigentlich gut so.

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: per Konsole und Win SCP kopieren langsam

Beitragvon irix » 31.07.2017, 20:03

Die Anwort ist eine welche du nicht hoeren willst. Kauf dir ein VM Backupprodukt oder kopiere mit vmkfstools.

Nur weil da ein (s)cp vorhanden ist bedeutet es nicht das du es verwenden kannst in der Form welche du nun gern haettest. Es hat was mit dem internen data-mover zutun.

Gruss
Joerg

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Re: per Konsole und Win SCP kopieren langsam

Beitragvon Supi » 31.07.2017, 20:26

Davor müsste er wohl erst mal den esxi lizensieren? :roll:

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 31.07.2017, 20:29

Oh

Das ist schlecht, da ich gerade noch so böllern kann, morgen. Ansonsten ist da gar nichts eingeplant, für die IT. Und wenn, dann hätte ich noch dringendere Baustellen.

Wenn ich das richtig verstehe, brauche ich neben dem Backuptool ja noch die essential von vmware? Das liegt bei mir einfach nicht drin :(

Was ich mir mal angesehen habe, ist

https://www.cloudbacko.com/en/cloudbacko-advanced-cloud-local-server-workstation-amazon-S3-google-backup-software-benefits.jsp

Aber da bräuchte ich dann auch die essentials?

Oder wie wärs denn, wenn ich einen Filer mit den VM's aufsetzen würde, per iSCSI oder NFS? Für die VM's? Dann könnte ich ja auch kopieren. Das wär günstiger, da bräuchte ich nur eine kleine SSD für den Filer. Aber dort habe ich wieder das Problem, vom Ist zum Soll Zustand zu kommen.

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: per Konsole und Win SCP kopieren langsam

Beitragvon irix » 31.07.2017, 20:34

Na iSCSI bringt da nix weil das wieder VMFS ist. Ein NFS waere da viel besser was das Problem angeht.

Das einzig mir bekannte Program was mit dem kostenfreien vSphere Hypervisor umgehen konnte was VM Sicherung anging war Trilead. K.A wie da der Stand ist nach der Uebernahme durch HPE.

Gruss
Joerg

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: per Konsole und Win SCP kopieren langsam

Beitragvon irix » 31.07.2017, 20:46

Supi hat geschrieben:Davor müsste er wohl erst mal den esxi lizensieren? :roll:


Gibt Leute die machen das.


Ansonsten, guck mal ob man dem scp mitgeben kann welchen Algorythmus es nehmen soll. Gibt durchaus Verschluesselungsverwahren welche weniger CPU intensiv sind. Ich durfte Jahrelang mit Hardware kaempfen welche wenig CPU Leistung hatte. Aber ich kann nicht sagen obs beim ESXi was bringt.

Da du nicht der erste mit der Herausforderung bist auch mal auf den VMware Communityseiten schauen.

Gruss
Joerg

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: per Konsole und Win SCP kopieren langsam

Beitragvon irix » 31.07.2017, 20:47



Laut deren Beschreibung koennen die auch mit dem Free ESXi.

Gruss
Joerg

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 31.07.2017, 20:55

Ja, den HPE Explorer, wie der jetzt heisst, habe ich auch schon seit langem in Betrieb. Dort wären bei der kostenpflichtigen Lizenz auch inkrementelle Backups möglich. Habe ich aber nur schlechtes gelesen, hier im Forum, seit HP das übernommen hat. Wurde übrigens gleich bei mir um die Ecke entwickelt.

Aber zum Einen habe ich definitiv keine 800-1000 EUR für den ESXi zur Verfügung, zum Anderen müsste der ganze Klimbim dann ja auch aktuell gehalten werden. Sprich, da würden dann dauernd wieder solche Summen fällig.

Ich glaube, ich setze auf meinem NAS einen neuen NFS Share (meine SSD) für die VM's auf. Da spricht ja mal nichts dagegen? Wird halt eine riesen kopier Aktion, und eventuell kann ich ja Trial Versionen von vSphere und einem Backup Tool für die Kopieraktion nutzen? Es handelt sich um 2 TB Daten von der SSD, und 1.5 TB von der RE4.

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 31.07.2017, 20:57

Hardware ist sicher kein Thema. Ist eine 6 Kern Sandy mit 64 GB RAM.

Experte
Beiträge: 1823
Registriert: 04.10.2011, 14:06

Re: per Konsole und Win SCP kopieren langsam

Beitragvon JustMe » 31.07.2017, 22:31

Jetzt mal davon abgesehen, dass jeder fuer sich selbst entscheiden muss, fuer was er/sie seine/ihre sauer erwirtschafteten Kroeten raushaut, oder wo man sich besser nur so mit Trials usw. durchschnorrt, gehen hier doch einige Sachen munter durcheinander...

- Die "normale" vSphere Essentials Kit Lizenz kostet derzeit ca. 630€, und ist zeitlich unbeschraenkt gueltig. Also 1x bezahlen, fuer immer&ewig nutzen. Nur der Support sowie ggfs. die Upgrade-Moeglichkeit ("Subscription", jeweils 1 Jahr gueltig) auf neue vSphere-Versionen kostet wieder Geld (innerhalb einer Major-Version, z.B. "6.x" bleibt der Lizenzschluessel i.A. gueltig.
- Neuerdings gibt es eine "Essentials Kit - Laufzeit" Edition, die derzeit unter 300€ kostet. Hier ist die Lizenz tatsaechlich nur 1 Jahr gueltig, aber verlaengerbar. Preise fuer so eine Verlaengerung weiss ich nicht; da kann irix vmtl. ein passendes Angebot unterbreiten, ggfs. zu passender Zeit, wenn das Ende des ersten Jahres mal draeuen sollte, und VMware dann noch immer daran festhaelt.

Natuerlich erhaelt man mit diesen Kits viel mehr als in diesen Falle benoetigt (wo nur ein einzelner Rechner mit einer einzelnen CPU vorhanden ist; selbst wenn diese 6 Kerne hat), dafuer kann man lizensiert und mit einer Reihe von ESXi-VMs auch schon mal gleich vCenter-Funktionen testen. OK, bei Essentials sind das per se erst einmal nicht besonders viele.

Eine Standard-Einzel-CPU-Lizenz (ca. 1200€) macht insofern nun mal gar keinen Sinn, da man sich damit eher den Eintritt weiterer Rechner in ein bestehendes (Standard-)vCenter erkauft.

Alle Informationen Stand heute. Wer weiss, was sich VMware schon ueber Nacht Neues ausdenkt...

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 31.07.2017, 22:43

Hi

Ja, eben.

Also, wenn ich vSphere kaufen könnte (feuchter Traum), würde ich wohl das Developer Pack mit allem was dazu gehört kaufen. Da gibts so ne Version wie MSDN, wo wirklich alles dabei ist. Aber das werde ich in absehbarer Zeit nicht vermögen. Also bis 2150, oder so. Aber wenn, dann das.

Aber was spricht denn gegen die NFS Variante? Einfach das einrichten sprich kopieren?

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Re: per Konsole und Win SCP kopieren langsam

Beitragvon irix » 01.08.2017, 09:56

Das Gegenstueck zu MSDN oder dem ehemaligen Action Pack ist https://www.vmug.com/Join/EVALExperience . Einer hier aus dem Forum hat das ja im Einsatz. Must halt mal den Thread suchen.

Wenn du eine Storage VM und NFS hast dann hat das zumind. den Vorteil das du an die Daten heran kommst und diese auch schnell kopieren kannst. Obs das Wert ist must du entscheiden.

Waere nicht ein NAS mit internen Backupfunktionen oder der Anschlussmoeglichkeit einer externen Platte eine Loesung?

Gruss
Joerg

Member
Beiträge: 186
Registriert: 01.12.2015, 18:35

Re: per Konsole und Win SCP kopieren langsam

Beitragvon Stefan.r » 01.08.2017, 09:56

jeh nach Menge von Vms hat Veeam auch die möglichkeit nach vms Anzahl lizensieren zulassen, sonst für kleinere Mengen gibt es
https://www.unitrends.com/editions das ist kostenfrei, könnte eigentlich auch bei der esx free version gehen, hatte es mal im Kopf aber noch nicht getested.

Dieses Ich will eine Lizenz für Backups und Incr Backups ist im übrigen kein Techniches Problem sondern seitens VMware an seine Partner untersagt zu nutzen.

Experte
Beiträge: 1337
Registriert: 25.04.2009, 11:17
Wohnort: Thüringen

Re: per Konsole und Win SCP kopieren langsam

Beitragvon Supi » 01.08.2017, 15:35

Im Forum habe wir aber glaube ich alle Wochen mal die Diskussion mit Free ESXI und Backup Software. Ebenso mit Links zu den Anbietern.

viewtopic.php?f=51&t=32186&p=178242&hilit=free+esxi#p178242

Bis 2VM Naviko:
https://www.nakivo.com/de/NAKIVO-Backup ... ition.html ansonsten 170 Euro.

https://www.nakivo.com/helpcenter/displ ... imitations

Paragon:
https://www.paragon-software.com/de/med ... nload.html

Benutzeravatar
Profi
Beiträge: 604
Registriert: 20.10.2011, 17:55

Re: per Konsole und Win SCP kopieren langsam

Beitragvon MarroniJohny » 22.08.2017, 18:05

Hi

Ja danke!

Ich bau glaube ich einfach einen HBA und eine kleine SSD für die beiden Filer ein. Dann kann ich per NFS Shares sichern. Gibt halt eine riesen Kopier- und Umbauaktion, dafür habe ich dann aber auch ZFS nativ am durchgereichten Controller. Im Moment habe ich noch virtual Disks an den Filern, das ist ja eh nicht so ideal.

Das wird wohl am günstigsten so. Ich seh das auch nicht, dass das unter "schnorren" geht. Bin ja kein Punk, nur weil ich nen free ESXi zuhause stehen hab :P Ich habe auch ein Wechsel zu Proxmox ins Auge gefasst. Aber wenns irgendwie geht, bleib ich bei vmware.


Zurück zu „vSphere 6.5“

Wer ist online?

Mitglieder in diesem Forum: Google [Bot] und 9 Gäste