ESXI 7 - Netzwerk Firewall und DMZ konfigurieren

[kris64]

Ich arbeite auf einem relativ potenten DELL Server mit 1TB RAM und 2 x AMD 48 Core CPU,2x10GBit und 1x1GBit LAN.
Über die 10 GBit LANs greife ich über einen CISCO Switch auf 2 redundante Synology zu.
derzeit ist läuft alles (jede Menge virtuelle Rechner: Datenbankserver, Ubuntu und Windows 10 Clients, verschiedene Testsysteme etc) auf einem 192.168.1.x Netzwerk. Auch die "echten" Rechner (12 Notebooks) sind im 192.168.1.x Netzwerk und das Internet erreichen wir über eine Zywall.
An der Zywall hängt auch eine DMZ mit ein paar alten physischen Rechnern mit Linux Webservern im 192.168.2.x Netzwerk und ein abgesichertes WLAN im 192.168.3.x Netzwerk.

Meine Aufgaben:
1.) Wir bekommen neues schnelles Internet, da ist die alte Zywall zu langsam
2.) die alten Linux Webserver ebenfalls in den DELL virtualisieren.

Mein eingeschlagener Lösungsweg:

Opnsense mit Zugriff auf:
* physische Netzwerkkarte mit Anschluss an Internet-Modem (z.B. 192.168.3.x)
* physische Netzwerkkarte Richtung Benutzernetzwerk und virtuelle Server und virtuelle Clients (192.168.1.1)
* virtuelles Netzwerk Richtung virtuelle Linux Server (192.168.2.x)

Ich virtualisiere quasi die aktuelle funktionierende Lösung

aber:
Ich bekomme bei ESXI partout nur Rechner im 192.168.1.1 (ist auch mein Verwaltungsnetz) netzwerkmäßig hin. Komme nicht auf mein Modem und kann auch kein virtuelles Netzwerk einrichten

Leider habe ich voreilig die freie Version des ESXI als ausreichend bezeichnet und der Geldhahn ist für ein Jahr zu

Wie richtet man mit der freien ESXI vernünftig so eine Lösung ein?
Ist diese Lösung überhaupt noch "zeitgemäß"? (mit VLANs lässt es sich schlecht mit der Firewall arbeiten)

Neben mir liegt die neue Ausgabe "VMWare vSphere 7 - Das umfassende Handbuch", aber hier wird nur über vCenter und vSphere Webclient konfiguriert. Das gibts bei der freien Version nicht

wäre sehr dankbar für "zweckdienliche Hinweise" und/oder Literatur
Christian

[~thc]

- Man kann so etwas durchaus mit ESXi realisieren - die freie Version spielt kaum eine Rolle
- Mit Host-Client und Kommandozeile kommt man auch ans Ziel
- Die VMKernel-Schnittstelle des ESXi sollte auch nur im internen Netz sein und der ESXi selbst wird immer nur dieses Netz sehen

Fragen:

- Warum "virtuelles Netzwerk" (VLAN?) zu den virtuellen Linux-Servern? Das Netzwerk der DMZ existiert nur noch virtuell (im ESXi) und ich halte das für nachrangig.

- Wo ist das "abgesicherte" WLAN hin?

- Wie viele Netzwerkschnittstellen soll denn die virtuelle Firewall bekommen (rot/grün/blau/orange)

[kris64]

Danke für die prompte Antwort!
wenn ich das über die Kommandozeile lösen könnte, wäre das ideal.
Ja, stimmt: wenn schon durch IP-Subnetze die Segmentierung stattfindet, dann brauche ich keine VLANs
VMKernel befindet sich durch die Erstkonfiguration des ESXI (welches ist die Management-Netzwerkkarte) im 192.168.1.1 Netz und ist bei geplanter Konfiguration nur intern erreichbar.
.. und die WLAN-Lösung habe ich wegen geringstem Gebrauch meines Teams "vergessen", da der Server nur vier Netzwerkkarten hat. Das bringt mich auch an die Netzwerkbelegung:
die beiden 10GBit Netzwerkkarten sollen zu den Synologies (10Gbit Switch) und zu den Clients 10/1 Gbit Switch .
Eine 1 GBit geht zum Modem (geplant ist eine 1GBit LWL Verbindung)
Eine 1 GBit geht zu den physischen DMZ Servern (192.168.2.x) und verbindet zu den neuen virtuellen Servern im ESXI.
Wenn die Webserver übernommen sind und nur mehr virtuell laufen, kann diese Netzwerkkarte fürs WLAN verwendet werden.

Nach Übernahme der physischen Webserver könnten dann folgende Netzwerkschnittstellen an der virtuellen Firewall anliegen:
ROT --> Modem (erste 1 GBit Netzwerkkarte)
GRÜN --> internes Netzwerk (die beiden 10 GBit Karten)
ORANGE --> virtuelle Netzwerkschnittstelle zu den DMZ WebServern
BLAU --> WLAN (zweite 1 GBit Netzwerkkarte)

so wäre es geplant

[irix]

Ein "Bezahl" ESXi haette nicht einen Millimeter zur Loesung beigetragen weil es da nichts gibt (Ich lasse NSX mal weg). Einzig die GUI welche das vCenter liefert in Form des vSphere (HTML5) Clients ist bedeutend besser... aber sie fuegt keine Funktionen hinzu. Ansonsten kostet dich das vSphere Essentials Bundle dann 470,- + 60,- EUR.

Dein Problem scheint das Unverstaendnis von Netzwerk im Allgemeinen und der falschen Annahme das der ESXi irgendwas besonderes machen wuerde Bitte nicht falsch verstehen.

Nimm ein Blatt Papier und Stift und so wie es in der rein phys. Welt geloest haettest sieht es dann auch fast genauso in der Virtuellen Welt aus.

Wir hatten auch mal eine Zeitlang "virtuelle" Firewall bei Kleinstkunden im Einsatz und machen das Heute nicht mehr sofern wir fuer die "Remote" Pflege und Unterstuetzung verantwortlich sind. Wenn der ESXi mal gewartet werden muss oder Probleme hat und die Firewall VM ist nicht verfuegbar dann hat man von extern nun mal schlechte Karten da ESXi/ILO/iDRAc natuerlich in einem nun nicht mehr erreichbaren Netz sind.
Geht dann also nur wenn man Vorort ist. Aber selbst Vorort hat der ESXi dann kein DNS/Internet oder Zugriff Ressourcen welche ausserhalb seines Netzes liegen.

Hab hier Installation mit 20-30 Netzen(Zonen) und man wenn es runterbricht kommt aus dem ESXi ein phys. Kabel raus. In der Realitaet sind es dann 2 wegen Redundanz und wer IP basiertes Storage macht hat noch mal 2 weitere in den meisten Fallen. Aber mehr ist es nicht.
Aber es zeigt das es dem ESXI Host egal ist ob du ein oder mehre Netze hast da er ein dummes Layer2 Weiterleitungsgeraet ist.

Gruss
Joerg

[MarroniJohny]

Ich habe ja was ähnliches mit einer Zywall am laufen. Aber sind wir ehrlich, bei Deinem Server mit 1 TB RAM und so. Da würde ich die paar Kröten dazu legen, und mir halt eine schnellere Zywall gönnen. Die kann dann auch sicher VLANs. Weil nach mir, da was mit pfsense virtualisieren, das ist ja sonst mehr so bei home-use üblich. Wobei habe auch mal so angefangen. Allerdings mit weniger RAM. Und immer noch @home; würde meine Zywall aber nicht mehr hergeben

- Was soll es denn für eine neue Anbindung geben?
- Und was für eine Zywall habt ihr aktuell?
- Was für Dienste habt Ihr denn da am laufen auf der Zywall? VPN/IDS/Antivirus? Die ganze Palette?
- Ist der 1TB Server denn der einzige im Netzwerk? Neben den ominösen Linux Maschinen auf der aktuellen DMZ.

Und wie gesagt, mit Deinem 192.168.3.1/24 Netzwerk dürftst Du ein Problem haben. Das ist einmal WLAN, einmal WAN (doppeltes NAT offensichtlich?). Aber mach mal ruhig, Versuch macht klug. Der Server dürfte reichen für Deine Experimente.

Wenn Du die IP des Modems nicht weisst, könntest Du mal am Netzwerk 192.168.1.1/24 ein Tracert auf bspw. 8.8.8.8 machen, dann solltest Du sehen, was für eine IP das Modem, bzw. der Router hat. In der Zywall im Dashboard könntest Du sonst auch nachsehen, ob das WAN per DHCP oder fixer IP vergeben wird. Wenn das Modem bzw. der Router dann wieder Erwarten aus dem LAN immer noch nicht erreichbar ist, musst Du in der Policy Table nachsehen, was da ausgangsseitig geblockt wird aus dem "LAN".

[~thc]

Ich habe seit Jahren das von irix beschriebene Henne-Ei-Problem eine Ebene höher - alle meine VPN-Endpunkte sind virtuelle Maschinen. Für die Wartung des ESXi habe ich Ausweich-VPN-Endpunkte (dedizierter PC, NAS, separater Server) eingerichtet, die dann zum Zuge kommen.

In einem Fall haben ich auch den Router virtualisiert. Für die Anforderung, mit dem /29-Netzsegment des Providers, das in einem Kabel aus der Wand kommt, drei externe IP-Adressen mit separatem NAT/Port forwarding zu versorgen, eine passende Appliance zu finden, stellte sich als extrem schwierig heraus. Ich habe das dann über eine Debian-VM selbst programmiert. Sollte diese VM mal nicht laufen, besteht das Notfall-Kit aus einem Laptop mit LAN-Anschluss und mobilem Hotspot sowie Remote Access.

[kris64]

Guten Abend!
ja, die Argumente sprechen laut:
eine komplette Zentralisierung sieht zwar "schön aus" (nur mehr ein Server und zwei Synology), bringt aber tatsächlich ziemliche Probleme bei Ausfall des DELL Servers. Die steinalte Zywall 5 war zum Anschaffungszeitpunkt ein Highlight, jetzt ist sie entmodet und kann nicht mal mehr das Log per Mail versenden, da der MailClient keinerlei Sicherheit kennt Paketfilterdienst, Virenscanner und VPN sind da auch voll entmodet. Und mit der geplanten 1GBit Internetanbindung mit nem kleinen 8er IPV4 Netz ist die 5er voll überfordert - hat ja nur 100MBit Anschlüsse
Habe mir eure Argumente in der Früh noch einverleibt und muss sagen: Ja, das ist Murks. Als Erkenntnis ziehe ich die Firewall (egal, welche es auch immer werden wird) doch wieder physisch auf und habe als Ziel, zu meinen eingerichteten virtuellen Workstations und Servern auch die Webserver zu virtualisieren - Ziel ist wieder (da bin ich eigen) möglichst einen Server einzusetzen, dafür mit möglichst jeder Art der Redundanz.
Aber: da brauche ich auch mindestens zwei abgeschottete Bereiche:
meinen schon jetzt bestehenden 192.168.1.x für intern und dann 192.168.2.x für die virtuelle Webserver - über eine 1GBit Netwerkkarte des DELL an die Firewall. Da stecke ich wieder im gleich Dilemma.
Wie patche ich eine zweite physische Netzwerkkarte zu einem eigenen vSwitch im ESXI, auf den dann die virtuellen Webserver zugreifen können ??
* ein eigener vSwitch im ESXI mit einem Uplink ins 192.168.2.x Netzwerk ? schon probiert - funktioniert nicht. Dabei muss hier der ESXI auf Layer 2 einfach die Pakete von den virtuellen Rechnern über den vSwitch auf die Netzwerkkarte durchreichen .... Klappt nicht.
* die zweite Netzwerkkarte zusätzlich als Uplink zum ersten vSwitch hinzufügen. Das geht gar nicht. Da stehen alle virtuelle Maschinen.

Gibt es noch eine Möglichkeit, diese jetzt eigentlich einfache Anforderung umzusetzen?

Mit VMWare ESXI 5.x hab ich das mit dem VMWare vSphere Client noch umgesetzt; das war aber vor einigen Jahren. Nur zu dumm, dass ich den schon abgebaut hab

danke euch für die tatkräftige Unterstützung !

[irix]

Ich sehe schon das es noch ein etwas laengerer Weg ist.....

[~thc]

* ein eigener vSwitch im ESXI mit einem Uplink ins 192.168.2.x Netzwerk ? schon probiert - funktioniert nicht. Dabei muss hier der ESXI auf Layer 2 einfach die Pakete von den virtuellen Rechnern über den vSwitch auf die Netzwerkkarte durchreichen .... Klappt nicht.

Das sollte so gehen. Wie testest du das?

[kris64]

also aktuell habe ich einen vSwitch0 mit einem physischen Adapter (10GBit) und 2 Portgruppen (Management Network und VM Network) beide im VLAN0
Wenn alles läuft kommt der zweite physische Adapter mit 10GBit dazu.

Für den 2. vSwitvch bin ich so vorgegangen:
* neuen Virtuellen Standard-Switch hinzufügen:
Name DMZ
Uplink1 vmnic0 (Betriebsbereit 1000mbps)
Verbindungserkennung (Modus Überwachen bzw. Protokoll CDP), und Sicherheit (alles ablehnen) unverändert
* Portgruppe hinzufügen:
Name DMZ Ports
VLAN-ID: 0
Virtueller Switch: DMZ
Sicherheit unverändert

Virtueller Computer (Ubuntu 20.04 Server - "jungfräulich" mit fixer IP 192.168.2.10 mit "DMZ Ports" verbunden
und ...
ping auf die physischen Webserber GEHT
ping auf Firewall GEHT
ping ins web GEHT
oh Mann .... warum gehts jetzt?????
sorry, Leute - aber das ist jetzt peinlich ....
danke für die Unterstützung !!!

[kris64]

Zwei Fragen hätte ich aber noch ...

wie erstellt man über den ESXI-Webclient einen virtuellen Switch/Portgruppe OHNE physischen Netzwerk?
Hintergrund:
ich würde gerne einen Datenbankserver mit sensiblen Daten nur über virtuelle Clients sichtbar und erreichbar machen.

Verwendet ihr "Sicherheit und Benutzer" des ESXI ?
auch hier würde ich
meine Benutzer anlegen (es handelt sich nur um ca 15-20)
den Benutzern die Rechte auf die entsprechenden virtuellen Rechner geben
die Benutzer durch die Firewall/VPN am Webzugang des ESXI anmelden lassen.

So hätte ich:
Externe Benutzer --> VPN (Sicherheit VPN) --> Anmelden an ESXI (Sicherheit ESXI) --> Anmelden an virtuellem Rechner (Sicherheit Workstation) und erst so Zugriff auf den DB-Server

Klingt aufwendig, aber aus meiner Sicht sicher ...

[~thc]

wie erstellt man über den ESXI-Webclient einen virtuellen Switch/Portgruppe OHNE physischen Netzwerk?
Hintergrund:
ich würde gerne einen Datenbankserver mit sensiblen Daten nur über virtuelle Clients sichtbar und erreichbar machen.

In dem du beim Erstellen des neuen Switches neben dem vorgeschlagenen Uplink das kleine graue Kreuz drückst.

Verwendet ihr "Sicherheit und Benutzer" des ESXI ?

Nur insofern, dass ich mir einen Admin-Account abseits von "root" für die Arbeit einrichte.

So hätte ich:
Externe Benutzer --> VPN (Sicherheit VPN) --> Anmelden an ESXI (Sicherheit ESXI) --> Anmelden an virtuellem Rechner (Sicherheit Workstation) und erst so Zugriff auf den DB-Server

Die Konsole im ESXi-Hostclient ist nicht zum dauerhaften Arbeiten geeignet. Besser 1. VPN und 2. RDP.

[kris64]

Schönen guten Abend ....
während die Familie vorgezogene Ostern feiert, dachte ich, dass ich nebenbei meine alten Webserver vom ESXI5.5 auf den neuen Server portiere.
Bin fast stolz auf die Lösung:
Hab einen virtuellen Win10 Rechner mit zwei Netzwerkkarten - eine ins 192.168.1.x interne und eine ins 192.168.2.x ins DMZ Netz gebaut. den alten VMware vSphere 5.5 Client installiert und von diesem OVF Exporte der Webserver gestartet (nicht vergessen: eventuell verbundene ISO vorher lösen, sonst gibts beim Import einen Fehler "FileNotFound"!)
Der Export ging vom alten Server über das 1GB Netzwerk auf eine virtuell 1TB Harddisk mit ca 35 MB/Sekunde. Gut, der alte Server ist wirklich lahm.
Zuerst hab ich den (Denk)Fehler begangen, dass ich den SSH Zugang zu den ESXI Servern gestartet und mit WinSCP die ca 70GB großen vmdk auf den Store des neuen Servers kopiert habe. Das geht nicht, weil der Import von der Verwaltungwebseite des ESXI7 die Dateien lokal verlangt und nicht bereits auf dem Store des ESXI....
Der Import meines ersten Webservers in des ESXI hat nach dieser Denkhürde funktioniert und läuft ....
Jetzt meine Frage mit dem Verdacht meiner Unwissenheit:
Der neue DELL Server besitzt 2x1,84 und 8xDell 3.84TB SSD SATA Read Intensive 12Gbps 512e 2.5in Drive PM5-R. Die 2 "kleinen" SSDs sind im RAID0 und die 8 großen im RAID5 am internen SAS RAID Controller. Eigentlich müsste der Datendurchsatz durch die Decke gehen, aber auf der virtuellen Win10 Maschine (läuft zur Gänze auf dem RAID5) bekomme ich bei copy/paste einer 70GB großen Datei auf dem C: Laufwerk "nur" ca 1,2 GB pro Sekunde!
Wenn ich einen Import des OVF Imports mache gar nur 70MB/Sekunde!
Ich bin entsetzt - die SSDs im Wert eines Mittelklassewagens bringen Datendurchsätze wie mein bissl besseres Notbook
Was läuft da schon wieder schief???? - ich komm mir vor, wie eine Führerscheinanfänger am Hockenheimring
Danke für "zweckdienliche Hinweise" .....
Christian

[~thc]

Oje, die Äpfel- und Birnenparade...

Zwei SSDs als RAID0 (am onboard-Controller? mit Fake/BIOS-RAID?) ist für mich ein typisches Gamer-Desktop-Setup - sorry. So etwas hat in einem Server für mich nichts verloren. Die Treiber des ESXi unterstützen dies meist ohnehin nicht.

8 SSDs am onboard-Dell-RAID-Controller. Ist das ein RAID-Controller mit oder ohne Cache (eigenem RAM)? Mit oder ohne BBU/CacheVault-Modul? Mit welcher Write/Read-Cache-Policy? Ist dieses Modell für SSDs freigegeben?

Hat dein Notebook auch einen RAID5-Volume? Kopierst du auf deinem "bissl besseren Notebook" auch regelmäßig 70 GB große Dateien hin und her? Tu das doch mal und vergleiche die Netto-Performance.

Ein Desktop-Betriebssystem "versteckt" die Performance-Lücken mit ausgeklügelten Caching-Strategien (die bei sehr großen Dateien und normaler RAM-Größe dann auch irgendwann zusammenbrechen) - der ESXi reicht einfach alles an die Controller weiter. Was du da siehst, ist die rohe Performance der Controller.

Der RAID-Controller und seine Firmware müssen mit SSDs umgehen können.

Und dann das Controller-Caching. Im schlechtesten Fall ("Write-Through") meldet der RAID-Controller erst dann den Schreibvorgang als beendet, wenn das Laufwerk dies auch meldet. Zusammen mit den zusätzlichen Prüfsummen-Schreibvorgängen (RAID5 Write Penalty) kann das die Performance mächtig nach unten ziehen.

Bitte keine Desktop-Performance als Vergleiche heranziehen oder erwarten!