Guten Morgen,
bei der dimensionierung eines ESX Servers kam folgendes Problem auf.
Die technische Dokumentation des ESX besagt dass max. 8 Gigabit Ports und zusätzlich 16 100 Mbit Ports in einem ESX Server verwendet werden können. Wenn ich nun drei HP/Intel 4 Port Netzwerkkarten 10/100/1000 in einen ESX Server einbaue mit welcher Geschwindigkeit wird dann jeder Port erkannt ?
Teilt der ESX Server dann selbstständig die Ports in 8x1000 und 4x100Mbit auf ? Oder ist das technisch so nicht realisierbar ?
Hintergrund: Jeder virtuelle Switch soll eine eigene Netzwerkkarte erhalten. (Ja ich weiß, mit V-lan geht das auch, möchte es aber zuerst auf die physikalische art lösen)
gruß
bas
Die Foren-SW läuft ohne erkennbare Probleme. Sollte doch etwas nicht funktionieren, bitte gerne hier jederzeit melden und wir kümmern uns zeitnah darum. Danke!
zuweisung der Portgeschwindigkeiten
je nach dem was auf dem router bzw. wie die karte konfiguriert ist, unterhalten sie die beiden silizium-haufen miteinander und dann läuft deine gbit-karte mit 1000mbit oder halt nur mit 10mbit halb-duplex.
die karten werden im esx-server als "vmnic" gezeigt. und dann sagste der kiste über die gui-mui oder übers editieren in der /etc/vmware/netmap.conf welcher vSwitch auf welchem vmnic oder bond hängt.
nicteaming ist übrigens dringend zu empfehlen. und vlans sind auch net. machen wir/ich. ist gut und funktioniert.
oder anderst ausgedrückt. im regelfall kommste mit 2/3 vswitchen mit jeweils 2pNICs aus. dann vlans / portgroups drüber und der kittel ist geflickt.
grüße thorsten
ps: der esx kann z.b. auch nur 80vCPUs erschlagen. wenn du dann noch die internen welten abziehst bleiben da vielleicht noch gerade mal 64 gäste übrig...jeder´n vNIC...kommste mit deinen 2vSwitchen gerade hin.
die karten werden im esx-server als "vmnic" gezeigt. und dann sagste der kiste über die gui-mui oder übers editieren in der /etc/vmware/netmap.conf welcher vSwitch auf welchem vmnic oder bond hängt.
nicteaming ist übrigens dringend zu empfehlen. und vlans sind auch net. machen wir/ich. ist gut und funktioniert.
oder anderst ausgedrückt. im regelfall kommste mit 2/3 vswitchen mit jeweils 2pNICs aus. dann vlans / portgroups drüber und der kittel ist geflickt.
grüße thorsten
ps: der esx kann z.b. auch nur 80vCPUs erschlagen. wenn du dann noch die internen welten abziehst bleiben da vielleicht noch gerade mal 64 gäste übrig...jeder´n vNIC...kommste mit deinen 2vSwitchen gerade hin.
500Mbit ? wo haste denn das gelesen/gehört ?
Ich muß allerdings festellen, daß netzwerk-streßtests nicht mehr als 400Mbit gebracht hatten. und das war von 3.2GHz-Kiste zu 3.2GHz-Kiste. Allerdings war die cpu der flaschenhals und nicht das Netzwerk.
bei VMotion Aktivitäten waren aber schon mal echte 1GBit über´s Kupferkabel möglich (sagte zumindest der esxtop und der scheint ein zuverlässiger Zeitgenosse zu sein).
mal von der anderen Seite betrachtet: welchen Sinn hätte es, daß VMware ESX die Bandbreite limitiert ? Brächte doch keinem was.
grüße
thorsten
Ich muß allerdings festellen, daß netzwerk-streßtests nicht mehr als 400Mbit gebracht hatten. und das war von 3.2GHz-Kiste zu 3.2GHz-Kiste. Allerdings war die cpu der flaschenhals und nicht das Netzwerk.
bei VMotion Aktivitäten waren aber schon mal echte 1GBit über´s Kupferkabel möglich (sagte zumindest der esxtop und der scheint ein zuverlässiger Zeitgenosse zu sein).
mal von der anderen Seite betrachtet: welchen Sinn hätte es, daß VMware ESX die Bandbreite limitiert ? Brächte doch keinem was.
grüße
thorsten
mir scheint du bringst da ws durcheinander...
die FAStT wird über HBAs...also Fibre-Chanel ans SAN angestöpselt...
und die werden im regelfall auf 2Gbit eingestellt.
Und an so´nem SAN hast du natürlich gewisse Beschränkungen hinsichtlich des Datendurchsatzes...Der ist nämlich schlicht durch die Physik (platten) bestimmt. Aber der ESX limitiert da nix.
grüße thorsten
die FAStT wird über HBAs...also Fibre-Chanel ans SAN angestöpselt...
und die werden im regelfall auf 2Gbit eingestellt.
Und an so´nem SAN hast du natürlich gewisse Beschränkungen hinsichtlich des Datendurchsatzes...Der ist nämlich schlicht durch die Physik (platten) bestimmt. Aber der ESX limitiert da nix.
grüße thorsten
An der Stelle steht ja Folgendes...
Ich habe daraus keine Limitierung ableiten können. Das sagt doch nur, daß man sich Gedanken hinsichtlich der Dimensionierung der Umgebung machen muß...
grüße thorsten
Network throughput
As with any other operating system, an instance of ESX Server has a given maximum
network throughput capability. Adding faster CPUs or adding more and more network
adapters has either very limited or no effect at all. Typically a single Gbit network adapter can
achieve the maximum network throughput of a server (true for Windows 2000, for example,
and also VMware).
Again, there is no single figure for the maximum throughput of an ESX Server as it depends
on specific characteristics of the network traffic, such as the transfer request size for instance.
Observations indicate that a figure around 300 Mbps is a good assumption (regardless of the
number of virtual machines or number of physical and virtual network adapters).
Take the following example: You want to host or consolidate 20 servers with ESX. The IBM
xSeries x445 is the hardware platform you decided to use. Considering the CPU overhead
that the virtualization introduces, you have determined that you need 16 physical CPUs to run
your 20 servers. The systems will be relatively network intense, and you expect the average
network throughput of each server to be 30Mbps, requiring a total of around 600 Mbps.
102 Implementing VMware ESX Server with IBM TotalStorage FAStT
In this case you should not consider the deployment of a single 16-way x445 (as it will
probably not be able to deliver the required network throughput, but rather opt for two 8-way
or possibly even four 4-way systems.
Again, we are not saying that large SMP systems are not a good choice for ESX Server
implementations. They obviously can be, but depending on the case, you might need to
consider alternatives and compromise the management advantages that come with fewer
larger systems.
Ich habe daraus keine Limitierung ableiten können. Das sagt doch nur, daß man sich Gedanken hinsichtlich der Dimensionierung der Umgebung machen muß...
grüße thorsten
Wirklich nicht? Nach meinen Englischkenntnissen steht da u.a. sinngemäß:
- Ein ESX Server hat einen maximalen Netzwerkdurchsatz, an dem mehr/schnellere CPUs und NICs sehr begrenzt oder gar nichts ändern.
- Typischerweise kann der maximale Netzwerkdurchsatz eines Servers mit einer einzigen Gbit-Karte erreicht werden (W2K, VMware).
- Nach Beobachtungen liegt der maximale Durchsatz so um die 300 Mbps (Du hast 400 Mbps erreicht, was m.E. nicht entscheidend abweicht), und zwar unabhängig von der Anzahl der VMs und der physikalischen NICs.
- In dem Beispiel werden 600 Mbps gefordert, die eine einzelne x445 wahrscheinlich nicht liefern kann.
Als ich das gelesen habe, wollte ich das auch nicht glauben. Ich behaupte auch nicht, daß es richtig ist. Aber wie würdest Du das denn übersetzen?
Grüße, Georg.
- Ein ESX Server hat einen maximalen Netzwerkdurchsatz, an dem mehr/schnellere CPUs und NICs sehr begrenzt oder gar nichts ändern.
- Typischerweise kann der maximale Netzwerkdurchsatz eines Servers mit einer einzigen Gbit-Karte erreicht werden (W2K, VMware).
- Nach Beobachtungen liegt der maximale Durchsatz so um die 300 Mbps (Du hast 400 Mbps erreicht, was m.E. nicht entscheidend abweicht), und zwar unabhängig von der Anzahl der VMs und der physikalischen NICs.
- In dem Beispiel werden 600 Mbps gefordert, die eine einzelne x445 wahrscheinlich nicht liefern kann.
Als ich das gelesen habe, wollte ich das auch nicht glauben. Ich behaupte auch nicht, daß es richtig ist. Aber wie würdest Du das denn übersetzen?
Grüße, Georg.
Hallo Georg,
ich habs mir nun noch ein paar mal durchgelesen und komme zu dem Schluß daß keine harte Limitierung besteht...jetzt stellen wir uns doch einfach mal´ne 8Wege Kiste vor auf der 8VMs laufen...alle spielen Ghost-Server. Also so´n Software/Image-Verteiler der per Multicast die Clients bedient.
Wenn jetzt jeder mal losballert dann sind 8Gaste bei 100%CPU. Und jeder haut, abhängig von der dahinterliegenden Hardware mit mehr als 100Mbit gegen die Netzwerkkarte. Vorausgesetzt das Ethernet-Netzwerk dahinter ist bis zum Client mit Gbit ausgestattet. Und dann sind wir bei 8x100Mbit...
Gut, der Plattentopf muß mitspielen...wenn man sich mal vorstellt, daß 1Gbit 125MegaByte in der Sekunde sind...da müssen sich Platten schnell dafür drehen. Schlimmstenfalls nicht sequentiell sondern wahllos, da sind selbst 10MB/s viel.
Bei VMotion-Übungen hat das liebe VMotion-Netzwerk tatsächlich mal 1Gbit ausgeschöpft...wollte dem esxtop das gar nicht glauben.
...oder mache ich da gerade´n Denkfehler ?
grüße thorsten
ich habs mir nun noch ein paar mal durchgelesen und komme zu dem Schluß daß keine harte Limitierung besteht...jetzt stellen wir uns doch einfach mal´ne 8Wege Kiste vor auf der 8VMs laufen...alle spielen Ghost-Server. Also so´n Software/Image-Verteiler der per Multicast die Clients bedient.
Wenn jetzt jeder mal losballert dann sind 8Gaste bei 100%CPU. Und jeder haut, abhängig von der dahinterliegenden Hardware mit mehr als 100Mbit gegen die Netzwerkkarte. Vorausgesetzt das Ethernet-Netzwerk dahinter ist bis zum Client mit Gbit ausgestattet. Und dann sind wir bei 8x100Mbit...
Gut, der Plattentopf muß mitspielen...wenn man sich mal vorstellt, daß 1Gbit 125MegaByte in der Sekunde sind...da müssen sich Platten schnell dafür drehen. Schlimmstenfalls nicht sequentiell sondern wahllos, da sind selbst 10MB/s viel.
Bei VMotion-Übungen hat das liebe VMotion-Netzwerk tatsächlich mal 1Gbit ausgeschöpft...wollte dem esxtop das gar nicht glauben.
...oder mache ich da gerade´n Denkfehler ?
grüße thorsten
Von einem wirklich harten Limit (300, 400 oder was weiß ich wieviele Mbit/sec) ist auch nicht die Rede, aber davon, daß der maximale Netzwerkdurchsatz, den ein ESX bewältigen kann, durch eine einzelne Gbit-Karte paßt. Sagen die Verfasser des Redbooks, nicht ich. Wenn Deine 8 VMs mit jeweils 100 Mbit/sec am Switch anklopfen, ist es noch nicht gesagt, daß sie die auch bekommen, oder?
Ich würde in dieser Diskussion die Platten außen vor lassen. Wie wäre es mit einem Test etwa folgendermaßen: Auf x VMs parallel netio oder ein ähnliches Tools, das keinen Disk-I/O braucht, gegen die gleiche Anzahl physikalischer Gegenstellen ausführen, die so an den Switches hängen, daß diese keinen Flaschenhals darstellen? Ich habe nicht die Hardware und werde sie auch in absehbarer Zeit nicht haben, um so einen Test zu fahren, aber Du vielleicht?
Georg.
Ich würde in dieser Diskussion die Platten außen vor lassen. Wie wäre es mit einem Test etwa folgendermaßen: Auf x VMs parallel netio oder ein ähnliches Tools, das keinen Disk-I/O braucht, gegen die gleiche Anzahl physikalischer Gegenstellen ausführen, die so an den Switches hängen, daß diese keinen Flaschenhals darstellen? Ich habe nicht die Hardware und werde sie auch in absehbarer Zeit nicht haben, um so einen Test zu fahren, aber Du vielleicht?
Georg.
naja, die hardware könnte sich finden lassen.
aber wenn ich 8vms mit netio loslasse dann ballernd die mir halt eine gbit karte voll. das wars dann. wenn die geschickt über ´n bond verteilt sind kann der ganze esx vielleicht auch 2-n gbit-karten vollhauen. je nach cpu-auslastung.
mir scheint aber wir hatten aneinander vorbeigeredet:
- klar: alle Last eines esx paßt locker durch eine karte.
- klar: im extremfall reichen nicht mal 2karten aus
grüße thorsten
aber wenn ich 8vms mit netio loslasse dann ballernd die mir halt eine gbit karte voll. das wars dann. wenn die geschickt über ´n bond verteilt sind kann der ganze esx vielleicht auch 2-n gbit-karten vollhauen. je nach cpu-auslastung.
mir scheint aber wir hatten aneinander vorbeigeredet:
- klar: alle Last eines esx paßt locker durch eine karte.
- klar: im extremfall reichen nicht mal 2karten aus
grüße thorsten
naja, die hardware könnte sich finden lassen.
aber wenn ich 8vms mit netio loslasse dann ballernd die mir halt eine gbit karte voll. das wars dann. wenn die geschickt über ´n bond verteilt sind kann der ganze esx vielleicht auch 2-n gbit-karten vollhauen. je nach cpu-auslastung.
mir scheint aber wir hatten aneinander vorbeigeredet:
- klar: alle Last eines esx paßt locker durch eine karte.
- klar: im extremfall reichen nicht mal 2karten aus
grüße thorsten
aber wenn ich 8vms mit netio loslasse dann ballernd die mir halt eine gbit karte voll. das wars dann. wenn die geschickt über ´n bond verteilt sind kann der ganze esx vielleicht auch 2-n gbit-karten vollhauen. je nach cpu-auslastung.
mir scheint aber wir hatten aneinander vorbeigeredet:
- klar: alle Last eines esx paßt locker durch eine karte.
- klar: im extremfall reichen nicht mal 2karten aus
grüße thorsten
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste