vSphere-Anfängerfragen (iSCSI vs. FC, sonstiges)

[coyote_mfr]

Hallo Virtualisierungs-Spezialisten,

ich bin gerade dabei zu eruieren, inwiefern sich einige unserer Serverdienste, die im Moment auf EINER virtuellen Maschine bei unserem Dienstleister liegen, sich im Zuge einer sowieso anstehenden Umstellung auf eine Art "Mini-Cluster" bei uns umziehen lassen. Ich suche also nach einer eher low-budget-HA-Lösung
Ich habe schon mal etwas mit virtuellen Maschinen gearbeitet, allerdings waren die nicht auf HA getrimmt und hatten auch keinen vollständig redundanten Storage drunter.

Von der "kostenlosen" ESXi-Variante bin ich weggekommen, weil sich damit soweit ich das verstanden habe höchstens "manuelles Failover" bei Hardwareausfall realisieren läßt. Im Moment habe ich "VMWare Essentials Plus" im Auge.

Konkret ginge es um vorerst 4 virtuelle Maschinen - voraussichtlich alle Linux (für 2 ist noch Windows Server 2008 im Gespräch).
Die Dienste laufen im Moment mit akzeptabler Geschwindigkeit auf einer einzelnen VM (beim Dienstleister) mit 4GB RAM (ist aber weil alles auf einer Wollmilchsau-VM läuft nicht besonders schön).
Ich denke im Moment an 2 Dell-Server mit folgenden Eckdaten:
2x 4Kern Xeon 1.8GHz, 32GB RAM, RAID 1 150GB, 2 Netzteile (~3000 EUR/Stück)

Jetzt hätt ich ein paar Fragen:
- Jetzt bin ich was redundante Speicherlösungen angeht noch recht unbekleckert. Reicht iSCSI mit Gigabit-Ethernet für die 4 VMs oder sollte es doch besser FC sein?
Und ganz blöd gefragt: wie halten sich die beiden Storages eigentlich auf demselben Stand? Erledigt das VMWare mit? Ich habe was läuten gehört, daß manche FC-Switche diese Funktionalität anbieten? Wenn jemand einen Link für eine gute SAN-Einführung hat, wär ich dafür sehr dankbar.
- Als ich mich eingelesen habe, habe ich irgendwo die Aussage gelesen, daß ich zur Verwaltung der VMs eine dritte dauernd aktive (physikalische!) Maschine bräuchte, auf der das vCenter läuft... stimmt das? Ich war bisher der Meinung das VCenter ist eine Art Management-Konsole, die einfach auf beliebigen Rechnern im Netz installiert wird?
- Reicht für die Datensicherung im Prinzip das in den Essentials Plus integrierte "Backup" aus? Sicherungen der VMs in regelmäßigen Abständen auf einen separaten Storage schreiben lassen, den in Sicherheit bringen bzw. auf Band schreiben lassen und alles ist gut...?
Wird die komplette (laufende) Maschine per Snapshot einfach in sich konsistent (d.h. Platten + RAM-Zustand) weggesichert? Aus Platzgründen für's Backup ist es aber wahrscheinlich empfehlenswerter die Kompletten VM-Snapshots lediglich zu Disaster-Recovery-Fälle vorzuhalten und die eigentlichen Bewegungsdaten mit einem regulären Backup-Agenten von der VM wegzusichern, oder?
- Sind Geräte wie z.B. das Synology DS1512+ etwas, was man ernsthaft für so eine Umgebung in Betracht ziehen kann?
- Gibt es spezielle Ethernet-Switches die geeigneter für iSCSI sind?

Sind jetzt ganz schön viele Fragen - aber es wäre ganz hilfreich wenn Ihr ein paar Tipps hättet.
Danke.

Gruß
Dieter

[weigeltchen]

Wie hoch ist das Budget? Welche downtime ist erlaubt? Workload auf den Linux-VM, z.B i/o-intensiv?
Möglicher Ansatz für nichtkritische Anwendungen: Ein Server mit lokalen SAS-Platten oder angeschlossenes SAS-Storage ala DSXXX, MDXXX oder.., performanter Backup-Server mit viel Platz und ebenfalls schnellen Platten und den üblichen Verdächtigen an Backup-Software (Veeam, vranger, BE, Acronis ...).

[irix]

Moin Dieter,
das sind sehr viele Fragen und bei der ein oder anderen brauchts eine etwas laengere Erklaerung weil du da evtl. eine falsche Vorstellung hast.

Beschreiben tust du etwas was jeder (hier Kunde) gerne haben moechte und zwar eine Ausfallsichere Loesung mit einem gespiegeltem Storage und das fuer moeglichst wenig bis kein Geld. Die schlechte Nachricht vorab.... gibt es nicht und das weder bei VMware bzw. den anderen Marktbegleitern.

1. Ja 1GbE iSCSI kann fuer viele Zwecke mehr als ausreichend sein und ich hatte hier knapp 80VMs auf 2 SATA Storagesystemen liegen bevor es deutlich zulangsman wurde.
Da ja meistenst mehere 1GbE Anschluesse vorhanden sind und genutzt werden kann 1GbE durchaus mehr als ausreichend sein kann.
Anstelle von iSCSI oder FC wuerde ich aber in deinem Falle mal ein Shared SAS mit in die Gleichung einbeziehen

2. Auf loklen Storage im ESXi kann verzichtet werden weil der ESXi in einer RAMdisk laueft und da reicht zum booten bzw. speichern ein USB Stick und im Falle von DELL die redundante SD Card. Eine Ausnahme wo man lokal Storage im Hosts hat koennte sein das man hier Replikate von VMs ablegen moechte.

3 Die Mehrheit meiner VMware Installation hat nur ein zentrales Storage. Fuer ein zweites ist oftmals kein Budget, keine bauliche Vorraussetzung oder aber die RTO laest auch andere Loesungen zu.

Mit dem einen zentralen Storage ist man flexibel was vMotion und HA angeht und der SPOF wird versucht zu reduzieren in dem eine Replikation der VMs auf internen Storage bzw. weiteren SAN zumachen.

Es sind immer die Storage verantworlich was die Replzierung der Daten angeht. Ob das Synchron oder Asynchron muss man dann noch beleuchten. Mit einem IBM SVC koennte man auch eine Abstraktionsschicht in Form von 2 Hardware Kontrollern einbauen aber meistens ist es ein Storage was es koennen muss. Die Switche, iSCSI oder FC, sind es niemals.

VMware vCenter gibts als Windows Software und seit einiger Zeit fuer Kleinumgebungen auch in einer fix und fertigen Linux Version welche als Appliance daher kommt. Aber auch die Windowsversion laesst man bevorzugt in einer VM laufen.

Bei der Sicherung von VMs wird niemals der Snapshot gesichert, sondern der Snapshot ist Mittel zum Zweck. Es wird der Leseschutz aufgehoben bei einem Snapshot und alle Aenderungen gehen in eine neue Datei so das ich die alte in "Ruhe" sichern kann. Den RAM sichert man hier nicht mit.

Nein VDR kann man nicht auf Bandschreiben und das ganze kann durchaus komisch sein. Des weiteren laesst sich max. 2x512GB ueber CIFS anbinden.


Da keiner die genauen Anforderungen deiner VMs kennt kann keiner sagen ob eine Synology passt. Aber der ein oder andere wuerde es eher nicht empfehlen.

Ja, nicht jeder Switch ist geeignet. JumboFrames und Flowcontroll moechte man beides gleichzeitig manchmal, Groesse Buffer, PortFast und das nicht alle 4 Wochen die Verbindungen bzw. Arpcache weggeschmissen werden.

Gruss
Joerg

[coyote_mfr]

Hallo,

erstmal Danke für eure Antworten.

Wie hoch ist das Budget?

Budget gibt es noch keins... ich schätze mal unter 15k sollten wir drunter bleiben, besser unter 10k.

Welche downtime ist erlaubt?

Also eine Recovery-Zeit von 2 - 4 Stunden wäre durchaus auszuhalten, natürlich nicht alle 2 Wochen...

Workload auf den Linux-VM, z.B i/o-intensiv?

Konkret reden wir über folgendes:
- eine J2EE-Applikation unter Linux mit MySQL-Datenbank. Ca. 25 aktive Benutzer pro Tag - die aber nicht dauernd arbeiten. Ca. 2000 HTTP-Requests am Tag.
- ein Continous-Integration-System unter Linux - schaufelt also mehr Daten. Nur eine Handvoll 'Benutzer', allerdings kippen die Maschinen auf denen die SW Kompiliert wird, ihre Ergebnisse auch über HTTP ein, daher ~50000 Requests am Tag.
- Subversion als Konfigurationsmanagement-Tool - ca. 30000 Requests am Tag.
- ein Linux-Server mit NFS und NIS - alle paar Tage mal ein paar Dateien per NFS (fast arbeitslos)

Im Moment sind die Wünsche was diesen Rechner angeht ein bischen ein Moving Target - von daher 'drohen' uns zusätzlich noch folgende virtuelle Maschinen
- 2 Windows-Rechner die die Software für das Continous-Integration-System kompilieren
- ein "TeamFoundation-Server" unter Windows Server 2008 (User: 2)
- ein Linux-Fileserver mit einigen Samba-Shares die ca. 250GB an Daten bereitstellen (größere Dateien)

Möglicher Ansatz für nichtkritische Anwendungen: Ein Server mit lokalen SAS-Platten oder angeschlossenes SAS-Storage ala DSXXX, MDXXX oder.., performanter Backup-Server mit viel Platz und ebenfalls schnellen Platten und den üblichen Verdächtigen an Backup-Software (Veeam, vranger, BE, Acronis ...).

Das heißt, das wäre dann ein Ansatz:
- 1x Produktivserver mit wenig Platz für vSphere, 1x DAS
- 1x "Cold-standby-Server" mit soviel integriertem Plattenplatz, so daß man bei Ausfall des Produktivservers das DAS an diesen Server anschließen kann ODER beim Totalausfall des Storages die VM-Images direkt auf den 'Cold-Standby-Server' restoren und starten kann
Hab ich das richtig verstanden?

2. Auf loklen Storage im ESXi kann verzichtet werden weil der ESXi in einer RAMdisk laueft und da reicht zum booten bzw. speichern ein USB Stick und im Falle von DELL die redundante SD Card. Eine Ausnahme wo man lokal Storage im Hosts hat koennte sein das man hier Replikate von VMs ablegen moechte.

Cool - klingt natürlich noch toller.

3. Die Mehrheit meiner VMware Installation hat nur ein zentrales Storage. Fuer ein zweites ist oftmals kein Budget, keine bauliche Vorraussetzung oder aber die RTO laest auch andere Loesungen zu.

Eigentlich sind unsere Anforderungen bzgl. RecoveryTime IMHO gar nicht sooo streng. Schön ist es natürlich, wenn nach wenigen Klicks alles wieder (woanders) hochfährt und man sich in Ruhe um die Fehlersuche und den Austausch der Hardware kümmern kann.

Mit dem einen zentralen Storage ist man flexibel was vMotion und HA angeht und der SPOF wird versucht zu reduzieren in dem eine Replikation der VMs auf internen Storage bzw. weiteren SAN zumachen.

Jo dann ist man aber doch schon wieder unterwegs in Richtung redundante Storage, wenn Replikation im spiel ist...?

Es sind immer die Storage verantworlich was die Replzierung der Daten angeht. Ob das Synchron oder Asynchron muss man dann noch beleuchten. Mit einem IBM SVC koennte man auch eine Abstraktionsschicht in Form von 2 Hardware Kontrollern einbauen aber meistens ist es ein Storage was es koennen muss. Die Switche, iSCSI oder FC, sind es niemals.

Ok, die Fähigkeiten zur Replikation muß die Storagelösung immer selbst mitbringen.

Bei der Sicherung von VMs wird niemals der Snapshot gesichert oder der Snapshot ist Mittel zum Zweck. Es wird der Leseschutz aufgehoben bei einem Snapshot und alle Aenderungen gehen in eine neue Datei so das ich die alte in "Ruhe" sichern kann. Den RAM sichert man hier nicht mit.

Sorry, ganz habe ich den Satz noch nicht verstanden... der Snapshot wird nicht für Sicherungszwecke verwendet...? Warum nicht? Was sonst?
Sorry, konnte nicht ganz folgen.


Als Quintessenz leite ich jetzt mal folgende Konfiguration vom neu erlernten ab:
- 2x Server (2x 4core, 32GB RAM, Dual SD-Card für vSphere, SAS-HBA für DAS, 2 Netzteile (~2500 EUR/Stück)
- 1x vSphere Essentials ~500 EUR
- Dell MD3200 mit ~5 Platten (~6000 EUR) - ein RAID 1 für die eine Ladung VMs (TeamFoundation, Konfigurationsmanagement) und ein weiteres RAID 1 für die VMs (Continous-Integration, Samba-Filserver incl. Daten) + ein Pool-Hotspare (wenn sowas geht)
- Evtl. noch ein Stapel Platten + RAID-Ctrl. für den zweiten Server, damit man im Falle eines Totalausfalls des DAS man die VM-Images direkt auf dem Server 'restoren' kann.

Wie klingt das...?

Danke.

Gruß,
Dieter

[MarcelMertens]

Bis auf die Plattenkonfig hört sich das gut an.
Ich würde keine MD3200 sondern die 3220 nehme (Preisunterschied etwa 150€)
Dann würde ich die MD320 mit mehr Platten bestücken. 4 Platten für deine Anforderungen sind mir etwas Knapp. Preislich wirst du wohl wieder die 3200 noch die 3220 für <6000€ bekommen. Wir sind Dell Premier Partner und ich bekomme mit unseren standardrabatt für eine leere 3200 mit einen controller + 3y4h support 7100€ angezeigt.
Auch 2500€ / Server halte ich für sehr knapp. mit 3000-3200€ mußt du wohl rechnen.
Wenn du server und Storage addierst kommst du über 10.000€, ab da gehts bei dell mit projektpreisen los... aber an die von dir genannten preise wirst du wohl nicht kommen...

Ersatzcontroller und Platten würde ich nicht vorhalten. 4h ProSupport von Dell und gut ist. Da sind die Ersatzteile schnell da.

[Dayworker]

Bei der Sicherung von VMs wird niemals der Snapshot gesichert sondern der Snapshot ist Mittel zum Zweck. Es wird der Leseschutz aufgehoben bei einem Snapshot und alle Aenderungen gehen in eine neue Datei so das ich die alte in "Ruhe" sichern kann. Den RAM sichert man hier nicht mit.

Sorry, ganz habe ich den Satz noch nicht verstanden... der Snapshot wird nicht für Sicherungszwecke verwendet...? Warum nicht? Was sonst?
Sorry, konnte nicht ganz folgen.

Lies Joergs Antwort mal nachdem du dir deine Fragen bezüglich "Wird die komplette (laufende) Maschine per Snapshot einfach in sich konsistent (d.h. Platten + RAM-Zustand) weggesichert?" nochmal verinnerlicht hast.

[irix]

Moin,
da es vorgestern schon spaet war.

Fast jedes Backup Produkt bringt auch ein Replizierungsmodul mit. Damit kann eine VM von einem ESXi auf den andern Repliziert(kopiert). Hierbei ist es vollkommen egal von welchem Hersteller die Hosts oder auch Storage kommen da hier mit den VMs und nicht mit der Hardware gearbeitet wird.

Obiges kommt so sehr oft zum Einsatz wenn man nur ein zentrales Storage hat. Es hat aber den Nachteil das man die Hosts nun mit RAID Controller und Platten ausstatten muss und das ganze ist eine asynchrone Replikation sprich Zeitgesteuert und man muss vorher definiert haben was als RPO vertragen wird.

Das SAS Storage von dem ich oder auch Marcel gesprochen haben ist ein Shared SAS and dem sich bis zu 4 Hosts redundant anschliessen lassen. Dank dem Clusterfaehigem VMFS haben allso alle Host gleichzeitigen Zugriff auf die Daten. Der Uebergang zwischen DAS und SAN ist mit diesem Modell fliessend.

Das heist du koenntest 2 Hosts ohne interne Platten machen und auch "nur" mit dem Standardsupport machen sofern ein Hosts im Notfall auch die ganze Load verarbeiten kann. Im Normalfall ist die Load auf beide Geraete verteilt. Das zentrale Storage kommt dann mit 2 oder 4 Stunden Missioncritical daher. Das mit den Ersatzteilen erachte ich als nicht Sinnvoll.

Auch ich wuerde mich Marcel nochmal schliessen und wuerde die 2.5" Variante mit dem Namen MD3220 waehlen und das ist dem Umstand geschuldet das mit 24 Platten mehr IOPS erreicht werden koennen und auch mit 12 bzw. 14 Platten eine hoehrere Flexibilitaet gegeben ist was heist man koennte ein RAID5 und RAID10 gleichzeitig machen. Allerdings gibts die 2.5" Platten nur in kleinen Groessen mit 15K sowie dem Umstand das Array und Platten teurer sind im direkten Vergleich so das der ein oder andere eher die MD3200 mit 600GB 15K nimmt.

Aber da man weder die benoetigte Kapazitaet sowie IOPS Anforderungen genau kennt ist es schwer genauer was zusagen. Allerdings gewinne ich den Eindruck das die MD32x0 mehr als genug geeignet waere bzw. sogar eine Nummer zugross wenn heraus kommt das dir 4-6 Platten oder so reichen Da kann es evtl. Sinn machen den Storage in die Host zutun und neben dem Backup eine Replikation der VMs mit zumachen.

Da ich in den letzten 2 Wochen 6 Powervault MDs mit Servern realisiert habe kann ich sagen das es mit deinem Budget nicht klappen kann bzw. extrem sportlich wird.

Wenn dann noch VMware Essentials Plus dazu kommt um HA und vMotion zumachen dann ist es gaenzlich unrealistisch. Natuerlich koennte man die VMware Lizenz spaeter aufruesten.

Gruss
Joerg

[coyote_mfr]

Erstmal nochmal danke für die hilfreichen Antworten.

Lies Joergs Antwort mal nachdem du dir deine Fragen bezüglich "Wird die komplette (laufende) Maschine per Snapshot einfach in sich konsistent (d.h. Platten + RAM-Zustand) weggesichert?" nochmal verinnerlicht hast.

Danke, jetzt hab ich's verstanden was irix gemeint hat... das die Snapshots selbst keine Sicherung sind, war mir klar - mir ging's eher um die Frage ob der Snapshot für das ziehen der Sicherung hergenommen (und dann wieder entfernt) wird.
Wobei mir noch nicht ganz klar ist, ob man wirklich davon ausgehen kann, daß alle Datein auf einer Systempartition, die man zu einem _beliebigen_ Zeitpunkt einfriert, 100% konsistent sind. Theoretisch bräuchte man dazu ja ein Filesystem, welches mit logischen Transactions arbeitet...

Insgesamt scheint mir Dell aber nicht sooo besonders günstig zu sein... beim HP habe ich storagemäßig nichts 100% äquivalentes zum PowerVault MD32x0 gefunden (für mich lesen sich die HP-Seiten ein bischen so als würden die bis zu einer gewissen Größe 'dumme' Gehäuse für Plattenstapel verkaufen und den Controller dafür in den Server selbst packen).
Also habe ich mal bei IBM etwas geschaut... ein IBM DS3524 hat 2 Controller und ist für 10500 bis 11000 EUR zu haben (8x 500GB 10k 2.5"), während Dell bei gleicher Konfiguration 14000 EUR dafür haben will... ist nur die Frage ob "24x7 with four-hour response" mit dem Dell 4h-Service zu vergleichen ist... (?)

Ist es dann nicht eigentlich zuverlässiger 2 Server mit eigenem Controller+Plattenstapel (für die VMs) und regelmäßiger asynchroner Replikation laufen zu lassen, als 2 Server ohne eigene Platten und mit einem (shared) Direct Attached Storage und ggf. 2 Controllern?
Wenn das 'shared' DAS aber dann ausfällt läuft erstmal nix mehr und ein Restore ist notwendig... wenn einer der Server komplett kaputt geht, kann man die andere Hälfte der VMs die NICHT auf dem zweiten Server liefen, einfach vom letzten replizierten Stand hochfahren und gut ist.
Ok, man müsste dann einen Server nehmen in den ordentlich Platten reinpassen....

Von HA und vMotion habe ich mich übrigens quasi schon verabschiedet...

Gruß
Dieter

[irix]

Erstmal nochmal danke für die hilfreichen Antworten.

Lies Joergs Antwort mal nachdem du dir deine Fragen bezüglich "Wird die komplette (laufende) Maschine per Snapshot einfach in sich konsistent (d.h. Platten + RAM-Zustand) weggesichert?" nochmal verinnerlicht hast.

Danke, jetzt hab ich's verstanden was irix gemeint hat... das die Snapshots selbst keine Sicherung sind, war mir klar - mir ging's eher um die Frage ob der Snapshot für das ziehen der Sicherung hergenommen (und dann wieder entfernt) wird.
Wobei mir noch nicht ganz klar ist, ob man wirklich davon ausgehen kann, daß alle Datein auf einer Systempartition, die man zu einem _beliebigen_ Zeitpunkt einfriert, 100% konsistent sind. Theoretisch bräuchte man dazu ja ein Filesystem, welches mit logischen Transactions arbeitet...

Richtig... wenn man nichts weiter hat/macht dann bekommt man ueber die VMware Tools zumind. einen CrashConsistent Zustand hin welcher die gleiche Wertigkeit hat wie ein PowerOFF->Reboot. Damits besser wird laesst sich Microsoft VSS anbinden und bekommt damit auch Filesystem und Anwendung konsistent sofern die Anwendung einen VSS Writer mit gebracht hat.

Wie das bei Linux aussieht steht auf einem anderen Blatt da VSS dort keinen Gegenpart hat. Aber generell gilt das sobald die VMware Tools vorhanden sind man auch die eingebaute Moeglichkeit hat ein Script ausfuehren zulassen was Taetig wird vor und nachdem Snapshot. Hier kann man seine Anwendung evtl. vorbereiten bzw. die Bufferflushen lassen.

Insgesamt scheint mir Dell aber nicht sooo besonders günstig zu sein... beim HP habe ich storagemäßig nichts 100% äquivalentes zum PowerVault MD32x0 gefunden (für mich lesen sich die HP-Seiten ein bischen so als würden die bis zu einer gewissen Größe 'dumme' Gehäuse für Plattenstapel verkaufen und den Controller dafür in den Server selbst packen).
Also habe ich mal bei IBM etwas geschaut... ein IBM DS3524 hat 2 Controller und ist für 10500 bis 11000 EUR zu haben (8x 500GB 10k 2.5"), während Dell bei gleicher Konfiguration 14000 EUR dafür haben will... ist nur die Frage ob "24x7 with four-hour response" mit dem Dell 4h-Service zu vergleichen ist... (?)

Die MD in deiner Konfig ist bei unter 9000,- inkl. HBAs und Kabeln zuhaben. Allerdings nur noch diese Woche und dann wird ein bisschen teurer. Die 14K welche du gesehen hast sind der Listpreis. Allerdings gibt es keine 500GB 10K SAS sondern nur die Nearline mit 7.2K. Mein Vorschlag ist hier unbedingt 300GB 10K SAS oder besser zunehmen. Die Hersteller Listpreise gegen die der Distribution bzw. Systemhaus zustellen macht wenig sinn.

Ist es dann nicht eigentlich zuverlässiger 2 Server mit eigenem Controller+Plattenstapel (für die VMs) und regelmäßiger asynchroner Replikation laufen zu lassen, als 2 Server ohne eigene Platten und mit einem (shared) Direct Attached Storage und ggf. 2 Controllern?
Wenn das 'shared' DAS aber dann ausfällt läuft erstmal nix mehr und ein Restore ist notwendig... wenn einer der Server komplett kaputt geht, kann man die andere Hälfte der VMs die NICHT auf dem zweiten Server liefen, einfach vom letzten replizierten Stand hochfahren und gut ist.

Nun die Wahrscheinlichkeit das bei 2 Server ein Ausfallpassiert ist hoeher als wenn man nur 1 Storage hat. Nur alleine die geplanten Ausfaelle fuer Patching (VMware und Firmware) und mal evtl. Konfigurationsarbeiten treten bei Servern viel oefter auf als bie einem Storage. Gibt natuer immer noch Admins die lieber Nachts oder am Wochende schaffen bzw. wo 24/7 nicht gefordert wird bzw. das Wartungsfenster eigentlich nicht reicht.

Ok, man müsste dann einen Server nehmen in den ordentlich Platten reinpassen....

Die R720 hat 16 und die R720XD auf Wunsch dann 26 Platten. Selbst die R620 gibts mit 10 und ich meine die R420 mit 8. Letztere haette auch der Startpunkt sein muessen um in deinem gewuenschten Preisbereich zubleiben.

Von HA und vMotion habe ich mich übrigens quasi schon verabschiedet...

Guck es dir doch erstmal an

Gruss
Joerg

[stahly]

Hallo Dieter,

habe Dir mal ein Angebot von meinem Dienstleister per PN geschickt. (2x 3650 M4, 1x DS3524 mit 17x 600GB 10k und Vmware Lizenzen) Vielleicht hilft Dir das weiter. Wollte das nicht unbedingt hier veröffentlichen. Außer, es ist allgemeiner Bedarf

Nein, ich bekomme keine Provision