Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!

ReDesign VM-Netzwerke

Moderatoren: irix, Dayworker

Wie schell ist eure NFS-Anbindung?

1 GB
1
10%
10 GB
6
60%
FC
3
30%
sonstige
0
Keine Stimmen
 
Abstimmungen insgesamt: 10

Member
Beiträge: 165
Registriert: 01.10.2007, 17:58
Wohnort: Hamburg

ReDesign VM-Netzwerke

Beitragvon ohhmille » 13.10.2015, 14:07

Hallo zusammen

Wir betreiben eine VM-Umgebung mit 7 HOSTs ( ESXi 5.1 /build 258 30 90 ) und einem vCenterServer ( 5.5 / build 21 83 111 ) und ca. 80 VM´s. Von kleinen Domain-Controllern mit nicht mal 100GB, bis zu größeren Server mit mehreren TB pro VM.

Aktuell planen wir die Ablösung der Hardware unserer alten HOSTs und werden neue anschaffen. Dabei planen wir auch eine kleine Umstrukturierung der Netzwerke. Aktuell läuft unser vMotion über das Management - Netz mit 1GB.

Wir wollen zukünftig das vMotion-Netz vom Manegement-Netz trennen. Was ist eure Empfehlung?
Management weiterhin 1GB und vMotion-Netz auf 10GB?

Unser NFS-Netz ist aktuell auch auf 1GB. Das Netzwerk ist nicht mal während des backups ausgelastet, max. 700 MBit/s können wir auf der Leitung verzeichnen.
Macht es Sinn, das Netz auch schneller anzubinden?

Freue mich über eure Meinungen und Ratschläge. ;-)

Grüße
Mille

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 13.10.2015, 15:51

Hm,Hm.....
- Es gibt Multi NIC vMotion
- Wieviel vMotions macht ihr?
- Wieviel Speicher werden die neuen Host haben bzw wieviel die VMS
- Muss Cache von VFRC uebertragen werden?
- Gedanken FT oder PernixData FVP einzusetzen?
- Wenn der Weg nochmal IP Based Storage einzusetzen ist dann wird doch eh 10GbE gemacht werden

Hier machen wir seit 2010 10GbE und mehr als die Hälfte der Projekte sind 10G. Wenn nur 1G dann kommt kein IP Storage zum Einsatz.

Gruss
Joerg

Member
Beiträge: 165
Registriert: 01.10.2007, 17:58
Wohnort: Hamburg

Beitragvon ohhmille » 14.10.2015, 10:46

Wir nutzen vMotion und svMotion ziemlich häufig, da wir unsere Systeme weltweit 24/7 zur Verfüfung stellen müssen. Zu Wartungszwecken z.B. der HOSTs etc. müssen wir die Systeme immer mal wieder verschieben!
Genaue Zahlen kann ich nicht liefern. Aber wenn ich alle HOSTs update, dann müssen alle VMs einmal angefasst werden.

Die SQL-server oder Mailserver haben schon mal 70 - 80 GB RAM.
Die neuen HOSTs werden voraussichtlich 384 GB RAM bekommen!

vFRC haben wir auf Grund der Komplexität und dem ( unserer Meinung nach ) geringen Performancezuwachs nicht im Einsatz

FT ist aktuell bei uns kein Thema. Die richtig wichtigen und unentbehrlichen VMs haben bei uns leider mehr als 2 CPUs ( standard-lizenz ), daher nicht im Einsatz.

Zum letzten Punkt: Ja, wir wollen weiterhin IP-basiert ( also NFS ) arbeiten und haben bisher noch keine wirkliche Begründung gefunden davon abzugehen.
Wir hatten auch schon Consultans im Haus, die nicht wirklich einen Sinn darin sehen von NFS abzuweichen... ;-)

Aber grundsätzlich sollte der Weg auf 10G eingeschlagen werden. Oder?! Wird zwar etwas teurer für uns, aber das geht schon (irgndwie). :-)

Danke soweit und Grüße
Mille

Member
Beiträge: 41
Registriert: 27.02.2013, 11:46
Wohnort: Oldenburg

Beitragvon Schimmi » 02.12.2015, 17:13

Über dieses Thema bin ich auch gerade gestolpert.
Wir verwenden iSCSI-SAN mit 10 GBe. Spricht etwas dagegen, das vMotion auf die iSCSI-Adapter mit drauf zu legen? Derzeit läuft das über die Management-Interfaces.

Oder lieber zwei separate 1 GBe-NICs ausschließlich für vMotion verwenden?

Experte
Beiträge: 1006
Registriert: 30.10.2004, 12:41

Beitragvon mbreidenbach » 02.12.2015, 17:42

vMotion kann kurzzeitig ganz schön Bandbreite fressen. Wenn möglich iSCSI Bandbreite reservieren (QoS).

Member
Beiträge: 41
Registriert: 27.02.2013, 11:46
Wohnort: Oldenburg

Beitragvon Schimmi » 03.12.2015, 07:42

Hmm... oder dann doch lieber separate Interfaces. Sind zwar leider keine 10 GBe-Ports mehr frei, aber so übermäßig viele Storage-vMotions machen wir dann auch nicht.

King of the Hill
Beiträge: 13561
Registriert: 01.10.2008, 12:54
Wohnort: laut USV-Log am Ende der Welt...

Beitragvon Dayworker » 03.12.2015, 16:17

Mit 10GBe kannst du dir den früher üblichen Portsoverkill schenken, zumal der ESXi bei der Netzwerk-Config hostseitig laut KB-Eintrag Configuration maximums for NIC ports on ESXi/ESX 4.x and ESXi 5.x (1020808) auch Grenzen kennt:
ESXi 5.0, 5.1 and 5.5

For 1500 MTU and jumbo frame (for MTU up to 9000 bytes) configurations:

8 x 10G ports

Or

32 x 1G ports

Or

A combination of 10Gb and 1Gb ethernet ports:
ESXi 5.0 and 5.1 : 6 X 10Gb + 4 X 1Gb ports
ESXi 5.5 : 8 X 10Gb + 4 X 1Gb ports

Member
Beiträge: 165
Registriert: 01.10.2007, 17:58
Wohnort: Hamburg

Beitragvon ohhmille » 14.03.2016, 13:39

Wir haben mittlerweile alles notwendige eingerichtet und haben ein eigenes vMotoion Netz eingerichtet.
Allerdings hab ich das Problem, dass ein normales vMotion zwar über das vMotion-Netz läuft, storage vMotion läuft allerdings über das produkte 10G NFS Netz.

Kann man das ändern / beeinflussen oder läuft svMotion generell NICHT über das vMotion Netz.

Zur Info
vMotion-Netz hat anderen IP-Kreis als das normale 10G, VLAN auf Switchen eingerichtet, eigene Netzwerkports auf Storageseite und an den HOSTs

Experte
Beiträge: 1823
Registriert: 04.10.2011, 14:06

Beitragvon JustMe » 14.03.2016, 16:23

Vielleicht habe ich ja etwas nicht mitbekommen, oder auch nicht richtig verstanden, aber ich frage mich, ueber welche Wege denn die Verlagerung von Dateien aus einem Datastore in einen anderen (aka Storage vMotion) stattfinden soll, wenn nicht ueber die Ports der angebundenen Datastores selbst?

Jetzt mal davon abgesehen, dass bestimmte Aufgaben auch von dazu befaehigten Storage-Systemen selbst ausgefuehrt werden koennen (nachdem sie vom ESXi angestossen wurden); aber dann wuerden die Daten ebenfalls nicht ueber das vMotion-Netzwerk laufen...

Member
Beiträge: 165
Registriert: 01.10.2007, 17:58
Wohnort: Hamburg

Beitragvon ohhmille » 14.03.2016, 16:36

Ich habe die NFS Datastores über ein an die HOSTs angebunden, darüber laufen auch die VMs.
1.1.1.x/24

Das vMotion - Netz ist ein anderes Netz, wobei auf dem storage der Zugriff auch erlaubt ist.
2.2.2.x/24
Ich kann sehen, dass vMotion das zweite Netz nutzt und die Bandbreite extrem nach oben schnellt. Relativ gut zu sehen, da auf dem Netz nichts anderes läuft!

Wenn er den "Arbeitsspeicher" darüber verschieben kann, dachte ich, sollte es doch auch mit den anderen Dateien ( vmdk, etc... ) möglich sein.

Experte
Beiträge: 1823
Registriert: 04.10.2011, 14:06

Beitragvon JustMe » 14.03.2016, 16:57

Hm, ok, aber wieso "anderen" Dateien?

Beim vMotion werden (Hauptspeicher-)DATEN direkt von einem Host auf einen anderen uebertragen. Da wird das Storage-System ueberhaupt nicht fuer gebraucht.

Beim Storage vMotion werden, wie erwaehnt, DATEIEN von einem Datastore auf einen anderen transferiert. Selbst wenn man sich hier wuenschen wuerde, dass diese Dateiuebertragung ueber eine Kommunikation von zwei Hosts untereinander per vMotion-Netzwerk stattfaende, muessen die DATEN dieser DATEIEN immer noch vom Storage in den Host gelesen, und dann wieder auf den Ziel-Datastore geschrieben werden (wenn das das Storage-System halt nicht selbst erledigt).

Da ist's doch vmtl. besser, wenn der Host, der die Daten liest, diese auch gleich wieder wegschreibt, denn dann muessen die nicht noch zusaetzlich ueber ein Kommunikationsnetzwerk zu einem anderen Host weitergereicht werden, der dann trotzdem wieder nur dieselbe Last auf die Storage-Anbindung bringt.

Sorry, wenn ich hier womoeglich irgendwie auf dem Schlauch stehe, aber bisher verstehe ich das Problem noch nicht so richtig...

Member
Beiträge: 165
Registriert: 01.10.2007, 17:58
Wohnort: Hamburg

Beitragvon ohhmille » 15.03.2016, 08:59

Wahrscheinlich drücke ich mich falsch aus. Tut mir leid, bin nicht der größte Erklär-.Bär! ;-)

Wie die Daten von storage A zu storage B kommen ist mir klar.
Von unserer Seite her hatten wir geplant, dass wir den Traffic vom storage vMotion auf ein seperates Netz legen, damit wir auch die Netzwerkkarten besser aufteilen.

Wenn wir storage vMotion über die Netzwerkkarte laufen lassen, auf denen auch die VMs produktiv ihr NFS-storage erreichen, belasten wir das Netz ja "doppelt".
Wenn wir nun aber auf der NetApp eine 10G-Netzwerkkarte und auf den HOSTs eine eigene 10G-Netzwerkkarte allein für das (storage) vMotion bereitstellen, haben wir die eigentlichen 10G Netzwerkkarten, die für das NFS genutzt werden, "entlastet"...
Das der Traffic trotzdem über den Switch läuft, egal über welche Netzwerkports, ist uns auch klar. Aber zwei CISCO NEXUS 3064 sollten den kompletten Traffic mit Leichtigkeit abfrühstücken! ;-)

Das war unser eigentliche Grundgedanke. Ist es jetzt klarer geworden, warum wir diesen Weg im Kopf haben?

King of the Hill
Beiträge: 12942
Registriert: 02.08.2008, 15:06
Wohnort: Hannover/Wuerzburg
Kontaktdaten:

Beitragvon irix » 15.03.2016, 09:18

Wir haben das schon verstanden.... nur so funktioniert es nicht und in den Augen der anderen ist das auch gut so bzw. logisch.

Was ist denn ein svMotion ..... kopieren der Daten von einer Festplatte auf die andere. Warum soll der Host nicht die Wege zum Lesen und Schreiben der Daten verwenden, welche er normal fuer sein Stoage Network auch verwendet? Warum sollten die Daten auf einmal "woanders" langlaufen koennen? Ich kann mir keinen Grund vorstellen :)

Wenn das Storage Network keine Kapazitaet mehr hat so sollte dieses halt vergroessert werden.

Schau mal wo die Daten langfliessen wenn du im WebClient eine gleichzeitige Migration von Host/Datastore durchfuehrst.

Gruss
Joerg

Guru
Beiträge: 2731
Registriert: 23.02.2012, 12:26

Beitragvon ~thc » 15.03.2016, 09:24

Ich bin nicht im Enterprise-ESXi-Umfeld zu hause, aber kann es sein, dass ihr erwartet habt, dass Storage vMotion über das exklusive vMotion-Netzwerk läuft, obwohl die Standard-Storage-Anbindung (NFS) ein gemeinsames Netz (das Produktiv-Netz) mit den VMs bildet? Habt ihr deswegen der Storage Zugriff auf das vMotion-Netz gewährt?


Zurück zu „vSphere 5 / ESXi 5 und 5.1“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 13 Gäste